C 라이브러리를 파이썬으로 감싸기 : C, Cython 또는 ctypes? 라이브러리와 통신하는

파이썬 응용 프로그램에서 C 라이브러리를 호출하고 싶습니다. 전체 API를 래핑하고 싶지 않으며 내 경우와 관련된 함수 및 데이터 유형 만 래핑하고 싶습니다. 내가 볼 때 세 가지 선택이 있습니다.

  1. C로 실제 확장 모듈을 만드십시오. 아마도 과잉 일 것입니다. 또한 확장 쓰기 학습의 오버 헤드를 피하고 싶습니다.
  2. Cython 을 사용 하여 C 라이브러리에서 Python으로 관련 파트를 노출하십시오.
  3. ctypes외부 라이브러리와 통신하는 데 사용하여 Python에서 모든 작업 을 수행하십시오.

2) 또는 3)이 더 나은 선택인지 확실하지 않습니다. 3)의 장점은 ctypes표준 라이브러리의 일부이며 결과 코드는 순수한 파이썬 일 것입니다.하지만 그 이점이 실제로 얼마나 큰지는 확실하지 않습니다.

어느 쪽을 선택해도 더 많은 장단점이 있습니까? 어떤 접근법을 권장합니까?


편집 : 모든 답변에 감사드립니다. 이는 비슷한 것을하려고하는 사람에게 훌륭한 자료를 제공합니다. 물론이 결정은 여전히 ​​단일 사례에 대해 내려져야합니다. “이것이 옳은 것”인 사람은 아무도 없습니다. 내 경우에는 아마도 ctypes를 사용하지만 다른 프로젝트에서 Cython을 시험해보기를 기대합니다.

하나의 진정한 대답이 없기 때문에 하나를 받아들이는 것은 다소 임의적입니다. 나는 ctypes에 대한 좋은 통찰력을 제공하고 현재 가장 인기있는 답변이므로 FogleBird의 답변을 선택했습니다. 그러나 좋은 답변을 얻으려면 모든 답변을 읽으십시오.

다시 감사합니다.



답변

ctypes 빨리 끝내기위한 최선의 방법이며, 파이썬을 작성하는 동안 함께 일하게되어 기쁩니다!

나는 최근 ctypes를 사용하여 USB 칩과 통신하기 위해 FTDI 드라이버를 감쌌다 . 나는 하루 종일 하루 안에 모든 일을하고 일했다. (필요한 기능, 약 15 가지 기능 만 구현했습니다).

이전 에는 동일한 목적 으로 타사 모듈 PyUSB를 사용하고있었습니다 . PyUSB는 실제 C / Python 확장 모듈입니다. 그러나 PyUSB는 읽기 / 쓰기 차단을 수행 할 때 GIL을 공개하지 않았기 때문에 문제가되었습니다. 그래서 나는 ctypes를 사용하여 우리 자신의 모듈을 작성했습니다.

주목해야 할 점은 ctypes는 #define사용중인 라이브러리의 상수와 내용에 대해 알지 못하고 함수 만 알고 있으므로 해당 상수를 자신의 코드로 재정의해야한다는 것입니다.

다음은 코드가 어떻게 보이는지에 대한 예입니다 (많은 점이 찍히고 요점을 보여 주려고 시도했습니다).

from ctypes import *

d2xx = WinDLL('ftd2xx')

OK = 0
INVALID_HANDLE = 1
DEVICE_NOT_FOUND = 2
DEVICE_NOT_OPENED = 3

...

def openEx(serial):
    serial = create_string_buffer(serial)
    handle = c_int()
    if d2xx.FT_OpenEx(serial, OPEN_BY_SERIAL_NUMBER, byref(handle)) == OK:
        return Handle(handle.value)
    raise D2XXException

class Handle(object):
    def __init__(self, handle):
        self.handle = handle
    ...
    def read(self, bytes):
        buffer = create_string_buffer(bytes)
        count = c_int()
        if d2xx.FT_Read(self.handle, buffer, bytes, byref(count)) == OK:
            return buffer.raw[:count.value]
        raise D2XXException
    def write(self, data):
        buffer = create_string_buffer(data)
        count = c_int()
        bytes = len(data)
        if d2xx.FT_Write(self.handle, buffer, bytes, byref(count)) == OK:
            return count.value
        raise D2XXException

다양한 옵션에 대한 벤치마킹 을 한 사람이 있습니다.

많은 클래스 / 템플릿 / 등으로 C ++ 라이브러리를 래핑해야한다면 주저 할 수 있습니다. 그러나 ctypes는 구조체와 잘 작동 하며 Python으로 콜백 할 수도 있습니다 .


답변

경고 : Cython 핵심 개발자의 의견.

나는 거의 항상 ctypes보다 Cython을 권장합니다. 그 이유는 업그레이드 경로가 훨씬 매끄 럽기 때문입니다. ctypes를 사용한다면, 처음에는 많은 것들이 간단 할 것입니다. 그리고 컴파일, 의존성 등을 작성하지 않고 일반 파이썬으로 FFI 코드를 작성하는 것이 좋습니다. 그러나 어느 시점에서 루프 또는 더 긴 일련의 상호 의존적 호출에서 C 라이브러리를 많이 호출해야한다는 것을 거의 확실하게 알 수 있으며 그 속도를 높이고 싶습니다. 그것이 ctypes로는 그렇게 할 수 없다는 것을 알게 될 것입니다. 또는 콜백 함수가 필요하고 Python 콜백 코드가 병목 현상이 발생하면 속도를 높이거나 C로 낮추십시오. 다시 ctypes로는 그렇게 할 수 없습니다.

Cython, OTOH를 사용하면 랩핑 및 호출 코드를 원하는만큼 얇거나 두껍게 만들 수 있습니다. 일반 Python 코드에서 C 코드를 간단하게 호출하여 시작할 수 있으며 Cython은 추가 호출 오버 헤드없이 Python 매개 변수에 대한 변환 오버 헤드가 매우 낮은 네이티브 C 호출로 변환합니다. C 라이브러리를 너무 많이 호출하는 시점에서 더 많은 성능이 필요하다는 것을 알게되면 정적 유형으로 주변 Python 코드에 주석을 달고 Cython이 C로 직접 최적화하도록 할 수 있습니다. 또는 호출을 피하고 루프를 알고리즘 적으로 특수화하고 강화하기 위해 Cython에서 C 코드의 일부를 다시 쓰기 시작할 수 있습니다. 빠른 콜백이 필요한 경우 적절한 서명을 가진 함수를 작성하고 C 콜백 레지스트리에 직접 전달하십시오. 다시 말하지만 오버 헤드가 없으며 일반 C 호출 성능을 제공합니다. 그리고 Cython에서 코드를 충분히 빨리 얻을 수없는 경우에도 C (또는 C ++ 또는 Fortran)로 코드의 중요한 부분을 다시 작성하여 Cython 코드에서 자연스럽고 기본적으로 호출 할 수 있습니다. 그러나 이것이 실제로 유일한 옵션 대신 최후의 수단이됩니다.

따라서 ctypes는 간단한 작업을 수행하고 빠르게 무언가를 실행하는 것이 좋습니다. 그러나 상황이 커지기 시작하면 Cython을 처음부터 더 잘 사용한다는 것을 알게 될 것입니다.


답변

Cython은 그 자체로 매우 유용한 도구이며 학습 가치가 있으며 놀랍게도 Python 구문과 비슷합니다. Numpy를 사용하여 과학 컴퓨팅을 수행하는 경우 Cython은 빠른 매트릭스 작업을 위해 Numpy와 통합되기 때문에 갈 수 있습니다.

Cython은 Python 언어의 상위 집합입니다. 유효한 파이썬 파일을 던질 수 있으며 유효한 C 프로그램을 뱉어냅니다. 이 경우 Cython은 Python 호출을 기본 CPython API에 매핑합니다. 코드가 더 이상 해석되지 않기 때문에 속도가 50 % 향상 될 수 있습니다.

최적화를 얻으려면 타입 선언과 같은 코드에 대한 추가 사실을 Cython에 알려 주어야합니다. 충분히 말하면 코드를 순수 C로 끓일 수 있습니다. 즉, 파이썬의 for 루프는 C의 for 루프가됩니다. 여기에서 엄청난 속도 향상을 볼 수 있습니다. 여기에서 외부 C 프로그램에 연결할 수도 있습니다.

Cython 코드를 사용하는 것도 매우 쉽습니다. 나는 매뉴얼이 소리를 어렵게 만든다고 생각했다. 당신은 말 그대로 그냥 :

$ cython mymodule.pyx
$ gcc [some arguments here] mymodule.c -o mymodule.so

그런 다음 import mymodule파이썬 코드에서 C로 컴파일하는 것을 잊어 버릴 수 있습니다.

어쨌든 Cython은 설치 및 사용이 매우 쉽기 때문에 필요에 맞는지 확인하는 것이 좋습니다. 당신이 찾고있는 도구가 아닌 것으로 판명되면 낭비되지 않습니다.


답변

파이썬 응용 프로그램에서 C 라이브러리를 호출하기 위해 ctypes에 대한 새로운 대안 인 cffi 도 있습니다 . FFI에 대한 새로운 모습을 제공합니다.

  • 그것은 매혹적인 깨끗한 방법으로 문제를 처리 (반대 하는 ctypes )
  • SWIG, Cython 등에서 비 Python 코드를 작성할 필요가 없습니다.

답변

나는 또 다른 하나를 던져 : SWIG

배우기 쉽고 많은 일을 잘하며 더 많은 언어를 지원하므로 배우는 데 많은 시간을 할애 할 수 있습니다.

SWIG를 사용하면 새로운 파이썬 확장 모듈을 만들지 만 SWIG를 사용하면 대부분의 작업을 수행 할 수 있습니다.


답변

개인적으로 저는 C로 확장 모듈을 작성했습니다. 파이썬 C 확장에 겁 먹지 마십시오. 전혀 작성하기 어렵지 않습니다. 설명서는 매우 명확하고 도움이됩니다. 파이썬으로 C 확장을 처음 썼을 때, 한 번 작성하는 방법을 알아내는 데 약 한 시간이 걸렸다 고 생각합니다.


답변

ctypes 는 이미 처리 할 컴파일 된 라이브러리 Blob (예 : OS 라이브러리)을 가지고있을 때 좋습니다. 그러나 호출 오버 헤드가 심각하므로 라이브러리에 많은 호출을하고 어쨌든 C 코드를 작성하거나 적어도 컴파일하는 경우 사이 톤 . 그것은 더 많은 작업이 아니며 결과 pyd 파일을 사용하는 것이 훨씬 빠르고 더 pythonic 일 것입니다.

나는 개인적으로 파이썬 코드의 빠른 속도 향상을 위해 cython을 사용하는 경향이 있습니다 (루프와 정수 비교는 cython이 특히 빛나는 두 영역입니다). 다른 라이브러리와 관련된 코드 / 줄 바꿈이 더 관련되어 있으면 Boost.Python으로 돌아갑니다 . Boost.Python은 설정하기가 까다로울 수 있지만 일단 작동하면 C / C ++ 코드를 간단하게 배치 할 수 있습니다.

cython은 또한 numpy 를 감싸는 데 훌륭 하지만 ( SciPy 2009 절차 에서 배운 ) numpy를 사용하지 않았으므로 이에 대해 언급 할 수 없습니다.