Scalers点评：在2015年，ScalersTalk成长会完成Python小组完成了《Python核心编程》第1轮的学习。到2016年，我们开始第二轮的学习，并且将重点放在章节的习题上。Python小组是成长会内部小组，如果你想和我们一起学习Python，你需要是成长会成员，并且完成相关进群任务。

我们的节奏是一周一章学到位，章节习题都会一个一个过。通过到位地执行，达到实质性的提升。

第22周学习情况汇总

本周学习情况

本周（20160703-20160710）学习第22章，章节内容为《扩展python》。本周行动主持人为宝二爷。

往期日志：

本章大纲

第22章介绍了如何编写扩展代码并将其功能整合到Python编程环境中。包括什么是扩展、为什么要扩展、如何创建以及一些相关话题。复盘重点为书中的一个实例。

知识点

22.1 介绍/动机

22.1.1 What

扩展：所有能被整合或导入到其他Python脚本的代码

特点：扩展和解释器之间的交互方式与Python模块一样

22.1.2 Why

好处：

• 添加/额外的（非Python）功能：Python核心不提供的功能，可以通过扩展实现

• 性能瓶颈的效率提升：解释型语言运行速度比编译型语言慢。把瓶颈部分在扩展中实现，可以提升整体性能。

• 保持专有源码私密：脚本语言执行源代码，无法保密。编译语言只要发布二进制文件即可，能实现保密。

22.2 创建Python扩展

说明：以下程序在Ubuntu15.10，64bit系统，Python 2.7.10版本下测试通过。

22.2.1 创建应用程序代码

fac：递归求阶乘

reverse：字符串反转算法

Example 22.1

code 见 test.c

使用下列指令

gcc test.c -o test

./test

输出结果：

4! == 24 8! == 40320 12! == 479001600 reversing 'abcdef', we get 'fedcba' reversing 'madam', we get 'madam'

22.2.2 利用样板包装代码

1. 包含Python的头文件

#include "Python.h"

2. 为每个模块的每一个函数增加一个型如PyObject* Module_func的包装函数

为所有想被Python环境访问到的函数都增加一个静态函数，返回类型为PyObject *，函数名格式为模块名_函数名；

表22.1 Python和C/C++数据转换函数

完整的函数：

static PyObject * Extest_fac(PyObject *self, PyObject *args) { int res; // parse result int num; // arg for fac PyObject* retval; // return value res = PyArg_ParseTuple(args,"i", &num); if (!res) { // TypeError return ; } res = fac(num); retval = (PyObject*)Py_BuildValue("i",res); return retval; }

减少中间量，缩短代码

static PyObject * Extest_fac(PyObject *self, PyObject *args) { int num; if (!PyArg_ParseTuple(args,"i", &num)) return ; return(PyObject*)Py_BuildValue("i", fac(num)); }

内存泄漏：内存被申请了，但没有被释放。

Py_BuildValue函数生成要返回Python对象的时候，会把转入的数据复制一份。上面的两个字符串都被复制出来。但是我们申请了用于存放第二个字符串的内存，在退出的时候没有释放掉它。于是内存就泄露了。

正确的做法是：先生成返回的python对象，然后释放在包装函数中申请的内存。

static PyObject * Extest_doppel(PyObject *self, PyObject *args) { char *orig_str; //原始字符串 char *dupe_str; //反转后的字符串 PyObject* retval; if (!PyArg_ParseTuple(args,"s", &orig_str)) return ; retval =(PyObject*)Py_BuildValue("ss", orig_str, \ dupe_str =reverse(_strdup(orig_str))); free(dupe_str); return retval; }

3. 为每个模块增加一个型如PyMethodDef ModuleMethods的数组

完成包装函数后，列在某个地方，以便python解释器能够导入并调用它们。这个就是ModuleMethods数组要做的事。

static PyMethodDef ExtestMethods = { { "fac", Extest_fac,METH_VARARGS }, { "doppel", Extest_doppel,METH_VARARGS }, { , }, };

4. 增加模块初始化函数void initMethod

void initExtest { Py_InitModule("Extest",ExtestMethods); }

22.2.3 编译与测试

1. 创建setup.py

编译最主要的内容由setup函数完成，要为每一个扩展创建一个Extension实例，本例只有一个扩展，只需创建一个实例。

Extension('Extest', sources=['Extest.c'])，第一个参数是扩展的名字，如果模块是包的一部分，还需要加”.”；第二个参数是源代码文件列表

setup('Extest', ext_modules=[...])，第一个参数表示要编译哪个东西，第二个参数列出要编译的Extension对象。

#!/usr/bin/env python from distutils.core import setup, Extension MOD = 'Extest' setup(name=MOD, ext_modules=[Extension(MOD,sources=['Extest.c'])])

2. 运行setup.py编译链接代码

输入命令：python setup.py build

3. Python中导入模块

输入命令：sudo python setup.py install

说明：如果不加sudo,出现如下拒绝访问的错误：

error: [Errno 13] Permission denied: '/usr/local/python2.7/lib/python2.7/site-packages/Extest-0.0.0-py2.7.egg-info

加上sudo后输入密码即可获得权限。

4. 测试

测试函数：把main改名为test，加上Extest_test包装起来。

static PyObject * Extest_test(PyObject *self, PyObject *args) { test; return (PyObject*)Py_BuildValue(""); }

在ExtestMethods加入这个函数，即增加一行代码：{"test", Extest_test, METH_VARARGS },

调用结果如下：

完整的代码见Extest.c

22.2.3 线程和全局解释锁

可以使用两个C宏Py_BEGIN_ALLOW_THREADS和Py_END_ALLOW_THREADS保证运行和非运行时的安全性。由这些宏包裹的代码允许其他线程的运行。

22.2.4 引用计数

表22.3 用于Python对象引用计数的宏

上述函数检查对象是否为空的版本，Py_XINCREF和Py_XDECREF

22.3 相关话题

SWIG：根据特别注释过的C/C++头文件生成包装代码，可以省去样板代码的时间

Pyrex：具有C数据类型的Python

Psyco：just-in-time(JIT)编译器，优化代码速度

嵌入：把Python解释器包装到C程序中。

练习

22-1. 扩展Python. 编写Python扩展都有些什么好处?

• 添加/额外的（非Python）功能

• 性能瓶颈的效率提升

• 保持专有源码私密

22-2. 扩展Python. 编写Python扩展都有些什么不好的地方或是危险的地方？

• 内存泄漏

• 测试函数代替main

• 引用计数

• 多线程环境

• 要编写C/C++代码(TAT)

22-3. 编写扩展。下载或找到一个C/C++编译器，并写一个小程序（重新）熟悉一下C/C++编程。找到你的Python所在的目录，并找到Misc/Makefile.pre.in文件。把你刚写的程序包装到Python当中。按步骤把你的模块编译成动态库，从Python中调用你的模块并测试一下是否正确。

22-4. 把Python移植到C。选几个你在前几章写的代码，并把它们作为模块移植到C/C++中。

22-5. 包装C代码。找一段你之前写的，想移植到Python的C/C++代码。不要去移植，把这段代码改成扩展模块。

22-6. 编写扩展。在13-3的练习中，你写了一个dollarize函数，它能把浮点型转为前置美元符号，逗号分隔的货币金额字符串。请创建一个扩展，包装dollarize函数，并在模块中增加一个回归测试函数test。附加题：除了创建C扩展外，再用Pyrex重写dollarize函数。

22-7. 扩展和嵌入。扩展和嵌入的区别是什么？

• 扩展：把C代码包装到Python中

• 嵌入：把Python解释器包装到C的程序中

ScalersTalkID:scalerstalk

本微信公众号作者Scalers，游走在口译世界的IT从业者。微信公众号ScalersTalk，微博@Scalers，网站ScalersTalk.com，口译100小时训练计划群C 456036104

成长会是由Scalers发起的面向成长、实践行动，且凝聚了来自全球各地各行各业从业者的社群。有意入会者请和Scalers直接联系，我和其他会员会和你直接交流关于成长行动等各方面的经验教训。2016年成长会持续招募中，参见做能说会写的持续行动者：ScalersTalk成长会2016年会员计划介绍(2016.3更新)