從C語言中讀取Python 類文件對(duì)象

更新時(shí)間：2020年07月30日 15:43:05 作者：David Beazley

這篇文章主要介紹了如何從C語言中讀取Python 類文件對(duì)象，文中講解非常細(xì)致，代碼幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下

問題

你要寫C擴(kuò)展來讀取來自任何Python類文件對(duì)象中的數(shù)據(jù)（比如普通文件、StringIO對(duì)象等）。

解決方案

要讀取一個(gè)類文件對(duì)象的數(shù)據(jù)，你需要重復(fù)調(diào)用 read() 方法，然后正確的解碼獲得的數(shù)據(jù)。

下面是一個(gè)C擴(kuò)展函數(shù)例子，僅僅只是讀取一個(gè)類文件對(duì)象中的所有數(shù)據(jù)并將其輸出到標(biāo)準(zhǔn)輸出：

#define CHUNK_SIZE 8192

/* Consume a "file-like" object and write bytes to stdout */
static PyObject *py_consume_file(PyObject *self, PyObject *args) {
 PyObject *obj;
 PyObject *read_meth;
 PyObject *result = NULL;
 PyObject *read_args;

 if (!PyArg_ParseTuple(args,"O", &obj)) {
  return NULL;
 }

 /* Get the read method of the passed object */
 if ((read_meth = PyObject_GetAttrString(obj, "read")) == NULL) {
  return NULL;
 }

 /* Build the argument list to read() */
 read_args = Py_BuildValue("(i)", CHUNK_SIZE);
 while (1) {
  PyObject *data;
  PyObject *enc_data;
  char *buf;
  Py_ssize_t len;

  /* Call read() */
  if ((data = PyObject_Call(read_meth, read_args, NULL)) == NULL) {
   goto final;
  }

  /* Check for EOF */
  if (PySequence_Length(data) == 0) {
   Py_DECREF(data);
   break;
  }

  /* Encode Unicode as Bytes for C */
  if ((enc_data=PyUnicode_AsEncodedString(data,"utf-8","strict"))==NULL) {
   Py_DECREF(data);
   goto final;
  }

  /* Extract underlying buffer data */
  PyBytes_AsStringAndSize(enc_data, &buf, &len);

  /* Write to stdout (replace with something more useful) */
  write(1, buf, len);

  /* Cleanup */
  Py_DECREF(enc_data);
  Py_DECREF(data);
 }
 result = Py_BuildValue("");

 final:
 /* Cleanup */
 Py_DECREF(read_meth);
 Py_DECREF(read_args);
 return result;
}

要測(cè)試這個(gè)代碼，先構(gòu)造一個(gè)類文件對(duì)象比如一個(gè)StringIO實(shí)例，然后傳遞進(jìn)來：

>>> import io
>>> f = io.StringIO('Hello\nWorld\n')
>>> import sample
>>> sample.consume_file(f)
Hello
World
>>>

討論

和普通系統(tǒng)文件不同的是，一個(gè)類文件對(duì)象并不需要使用低級(jí)文件描述符來構(gòu)建。因此，你不能使用普通的C庫(kù)函數(shù)來訪問它。你需要使用Python的C API來像普通文件類似的那樣操作類文件對(duì)象。

在我們的解決方案中，read() 方法從被傳遞的對(duì)象中提取出來。一個(gè)參數(shù)列表被構(gòu)建然后不斷的被傳給 PyObject_Call() 來調(diào)用這個(gè)方法。要檢查文件末尾（EOF），使用了 PySequence_Length() 來查看是否返回對(duì)象長(zhǎng)度為0.

對(duì)于所有的I/O操作，你需要關(guān)注底層的編碼格式，還有字節(jié)和Unicode之前的區(qū)別。本節(jié)演示了如何以文本模式讀取一個(gè)文件并將結(jié)果文本解碼為一個(gè)字節(jié)編碼，這樣在C中就可以使用它了。如果你想以二進(jìn)制模式讀取文件，只需要修改一點(diǎn)點(diǎn)即可，例如：

...
/* Call read() */
if ((data = PyObject_Call(read_meth, read_args, NULL)) == NULL) {
 goto final;
}

/* Check for EOF */
if (PySequence_Length(data) == 0) {
 Py_DECREF(data);
 break;
}
if (!PyBytes_Check(data)) {
 Py_DECREF(data);
 PyErr_SetString(PyExc_IOError, "File must be in binary mode");
 goto final;
}

/* Extract underlying buffer data */
PyBytes_AsStringAndSize(data, &buf, &len);
...

本節(jié)最難的地方在于如何進(jìn)行正確的內(nèi)存管理。當(dāng)處理 PyObject * 變量的時(shí)候，需要注意管理引用計(jì)數(shù)以及在不需要的變量的時(shí)候清理它們的值。對(duì) Py_DECREF() 的調(diào)用就是來做這個(gè)的。

本節(jié)代碼以一種通用方式編寫，因此他也能適用于其他的文件操作，比如寫文件。例如，要寫數(shù)據(jù)，只需要獲取類文件對(duì)象的 write() 方法，將數(shù)據(jù)轉(zhuǎn)換為合適的Python對(duì)象（字節(jié)或Unicode），然后調(diào)用該方法將輸入寫入到文件。

最后，盡管類文件對(duì)象通常還提供其他方法（比如readline(), read_info()），我們最好只使用基本的 read() 和 write() 方法。在寫C擴(kuò)展的時(shí)候，能簡(jiǎn)單就盡量簡(jiǎn)單。

以上就是從C語言中讀取Python 類文件對(duì)象的詳細(xì)內(nèi)容，更多關(guān)于C語言中讀取Python類文件的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: