Cython mit PyPy

- das Beste aus drei Welten -

Dr. Stefan Behnel

(Python-Consultant und Cython Core-Entwickler)

http://consulting.behnel.de/

http://cython.org/

Was ist Cython?

Cython ist die Brücke zwischen

der Einfachheit von Python und

der Performance von C/C++/Fortran.

Was ist Cython?

Cython ist die Brücke zwischen

der Einfachheit von Python und

der Performance von C/C++/Fortran.

Was ist Cython?

Cython ist

• ein Open-Source-Project
  • http://cython.org
  • http://github.com/cython/cython
• ein Python-Compiler (annähernd)
  • mit statischer Code-Optimierung
• eine erweiterte Python-Sprache zum
  • Schreiben von Python Erweiterungsmodulen
    • Weiterentwicklung von Pyrex
  • Anbinden von C/C++/usw-Bibliotheken

Wie geht das?

• du schreibst Python- oder Cython-Code
• Cython übersetzt ihn in C-Code
• C-Compiler baut Shared-Library für CPython
• du importierst dein Modul in Python

Dummes Beispiel:

def find_even_numbers(int n):
    cdef int i
    for i in range(1, n):
        if i % 2 == 0:
            yield i

"Wir schreiben C, damit ihr es nicht müsst!"

Und was ist PyPy?

PyPy ist

• eine alternative Python-Implementierung
  • unabhängig von CPython (bis auf stdlib)
• implementiert in RPython (und C und Python)
  • Untermenge von Python ("Restricted")
  • Code nach Import vollständig statisch analysierbar (VPA)
  • üblicherweise übersetzt nach C
• Python-Code interpretiert und JIT-kompiliert

Code anbinden mit PyPy

PyPy bietet

• ctypes (wie in CPython, aber JIT-kompiliert)
• rffi (internes RPython Foreign Function Interface)
• cppyy (externes Tool zur C++-Anbindung)
• geplant: cffi (vereinfachtes FFI, ähnlich LuaJIT's FFI)
  • aktuell nur für CPython

Warum Cython mit PyPy?

• PyPy ist schnell, Cython ist schnell
• viel Cython-Code existiert, aber bisher nur in CPython
• PyPy ist super zum Ausführen von Python-Code
  • aber weniger gut zum manuellen Optimieren
• Cython ist super zum manuellen Optimieren
  • und zum Anbinden von C/C++-Code
  • de-facto Standardtool für CPython-Erweiterungen
• ctypes funktioniert in beiden
  • oft schnell im PyPy-JIT, aber immer langsam in CPython
  • umständliche API, komplizierter Code

Cython-Status

• Cython-Code kompiliert in PyPy
  • verwendet cpyext Kompatibilitätsschicht
• schnell bei C-Code, aber langsam bei PyPy-Interaktion
  • OK solange Cython-Code in C läuft
• aber: oft Code-Anpassungen nötig

cpyext

• PyPy cpyext != CPython C-API
  • nur Emulation, nicht nativ!
  • hat Bugs und Lücken
    • Cython programmiert drum herum
• Unterschiede:
  • Referenzzählung nur außerhalb von PyPy
  • "Geliehene Referenzen" sind emuliert
    • nicht langlebig!
  • (aktuell) keine Lebenszeitbindung von PyObject an PyPy Objekte
    • Bug - kann in cpyext behoben werden

Code-Fallen

• Beispiel:

  cdef char** cstrings = <char**>malloc(...)
  
  for i, name in enumerate(some_list):
      cstrings[i] = name
  

• OK in CPython:

  • C-Referenz == Objekt-Referenz

• Crash in cpyext beim Zugriff auf cstrings

  • Lebenszeit des PyObjects hängt an name
    • nicht am PyPy-Objekt in der Liste
  • tote Pointer in cstrings
  • zusätzliches Py_INCREF() + Py_DECREF() hilft

Extension Types

• staticmethod / classmethod funktionieren nicht sauber

  • fehlerhaftes PyType_Ready(), kein PyType_Modified()

    => nachträgliche Änderungen werden nicht erkannt

• Notlösung:

  hasattr(ext_type, 'method_name')
  

  => interne Aktualisierung

Erfolgsmeldungen

• lxml 3.0
  • Strings
  • Proxy-Hacks
• MPI4Py
  • staticmethod / classmethod

Geschwindigkeit

• ca. 50-100x langsamer als in CPython
  • für Python-intensiven Code
  • über 50% der Zeit in Py_DECREF() :-)
• wäre leicht zu optimieren:
  • Freelist für PyObject structs
  • refcount += 1 wenn PyPy-Objekt lebt
• aber: Code ist kompliziert (PyPy ...)

Zusammenfassung

• es funktioniert !
• aber kein "Einstecken - Einschalten - Geht!"
• cpyext hat immer noch viele Bugs
  • Problem: RPython ist sehr kompliziert
• cpyext ist langsam
  • Emulation !
  • unoptimiert !

Aussicht

• cpyext wird hin und wieder mal besser
  • mit genug Drängeln werden Bugs gefixt
  • noch viele einfache Optimierungen möglich
• viele Ideen für bessere Integration
  • z.B. Neuimplementierung über cffi
  • Zeit? Interesse?

Bitte

• portiert euren Code
• findet Probleme und meldet sie

Danke!