Python代码运行不够流畅?看大神如何多角度优化!

更多深度文章，请关注：https://yq.aliyun.com/cloud

这是“Python代码性能优化”系列中的第一篇文章——环境设置。通过每个帖子，我将介绍一些Python代码的工具和剖析器，以及它们中的每一个如何帮助您更好地在前端（Python脚本）和/或后端（Python解释器）中找到突破点。

配置：

在进行基本测试和分析之前，首先需要一个适当的环境。这意味着必须为此任务配置机器和操作系统。

一般来说，我的机器有以下规格：

处理器：Intel（R）Xeon（R）CPU E5-2699 v3 @ 2.30GHz

内存：32GB

操作系统：Ubuntu 16.04 LTS

内核：4.4.0-75通用

我们的目标是得到具有可重复的结果，从而确保我们的数据不受其他后台进程、操作系统配置或任何其他硬件性能带来的影响。

我们从配置我们用于分析的机器开始。

硬件功能：

首先，禁用任何硬件性能功能。这意味着从BIOS / UEFI禁用Intel Turbo Boost和超线程。

正如官方所述，Turbo Boost是一种技术，如果处理器内核运行在低于功率、电流和温度规格限制的情况下，自动允许处理器内核的运行速度高于额定工作频率。另一方面，超线程是“更有效地使用处理器资源的技术，可以使多个线程在每个核心上运行”，如这里所述。

我们花了钱在工具上，而且我们真的想让它们发挥它们的作用。那么为什么在分析/基准测试时能够启用它们呢？因为我们没有得到可靠和可重复的结果，这转化为运行变化。让我们在一个小例子中看到这一点，叫做primes.py。

该代码也可在GitHub上找到。作为依赖分析，您将需要运行：

pip install statistics

让我们在启用了Turbo Boost并超线程的系统中运行它：

python primes.py

Benchmark duration:1.0644240379333496seconds

Mean duration:0.2128755569458008seconds

Standard deviation:0.032928838418120374(15.468585914964498 %)

现在，在同一个系统上，但是禁用Turbo Boost和超线程：

python primes.py

Benchmark duration:1.2374498844146729seconds

Mean duration:0.12374367713928222seconds

Standard deviation:0.000684464852339824(0.553131172568 %)

观察第一种情况下的标准差--15％。相反，在第二种情况下，变化减小到约0.6％。这难道不是优化产生的巨大价值吗？

CPU设置：

禁用一些CPU的功能，能够省电并能使用固定的CPU频率。实现这个功能可以通过将Linux调节器从更改intel_pstate为 acpi_cpufreq。

该intel_pstate驱动程序使用Intel Core（Sandy Bridge和更新的）处理器的内部调节器实现缩放驱动程序。该acpi_cpufreq驱动器利用ACPI处理器性能状态。我们先来看看吧！

$ cpupower frequency-info

analyzing CPU 0:

driver: intel_pstate

CPUs which run at the same hardware frequency: 0

CPUs which need to have their frequency coordinated by software: 0

maximum transition latency: 0.97 ms.

hardware limits: 1.20 GHz - 3.60 GHz

available cpufreq governors: performance, powersave

current policy: frequency should be within 1.20 GHz and 3.60 GHz.

The governor "powersave" may decide which speed to use within this range.

current CPU frequency is 1.20 GHz.

boost state support:

Supported: yes

Active: yes

您会看到使用调节器设置为powersave，CPU频率会在1.20 GHz和3.60 GHz之间。这对您的个人电脑或其他日常使用是有好处的，但在做基准测试时会影响到结果。

调节器还有其他什么功能？如果你浏览文档，你会看到以下内容：

performance - 以最高频率运行CPU。

powersave - 以最低频率运行CPU。

userspace - 以用户指定的频率运行CPU。

ondemand - 根据当前负载动态缩放频率。跳转到最高频率，然后可能随着空闲时间的增加而退回。

conservative - 根据当前负载动态缩放频率。比频率更频繁地扩大频率。

我们想要使用的是性能调节器，并将频率设置在CPU支持的最大值。比如说是这样的结果：

$ cpupower frequency-info

analyzing CPU 0:

driver: acpi-cpufreq

CPUs which run at the same hardware frequency: 0

CPUs which need to have their frequency coordinated by software: 0

maximum transition latency: 10.0 us.

hardware limits: 1.20 GHz - 2.30 GHz

available frequency steps: 2.30 GHz, 2.20 GHz, 2.10 GHz, 2.00 GHz, 1.90 GHz, 1.80 GHz, 1.70 GHz, 1.60 GHz, 1.50 GHz, 1.40 GHz, 1.30 GHz, 1.20 GHz

available cpufreq governors: conservative, ondemand, userspace, powersave, performance

current policy: frequency should be within 2.30 GHz and 2.30 GHz.

The governor "performance" may decide which speed to use

within this range.

current CPU frequency is 2.30 GHz.

cpufreq stats: 2.30 GHz:100.00%, 2.20 GHz:0.00%, 2.10 GHz:0.00%, 2.00 GHz:0.00%, 1.90 GHz:0.00%, 1.80 GHz:0.00%, 1.70 GHz:0.00%, 1.60 GHz:0.00%, 1.50 GHz:0.00%, 1.40 GHz:0.00%, 1.30 GHz:0.00%, 1.20 GHz:0.00% (174)

boost state support:

Supported: no

Active: no

现在你要使用 performance 调节器，固定频率为2.3 GHz。该值是可以在Xeon E5-2699 v3上使用的最大的可能，没有Turbo Boost。要设置所有内容，请以管理权限运行以下命令：

cpupower frequency-set -g performance

cpupower frequency-set --min 2300000 --max 2300000

如果没有cpupower，请使用以下命令安装：

sudo apt-get install linux-tools-common linux-header-`uname -r` -y

调节器对CPU的使用有很大的影响。默认情况下，调速器设置为自动缩放频率以降低功耗。我们不希望在我们的系统上，我们继续从GRUB禁用它。只需编辑/boot/grub/grub.cfg （但是如果您在内核升级时操作要小心，这将会消失）或者在其中创建一个新的内核条目 /etc/grub.d/40_custom。我们的引导行必须包含以下标志：intel_pstate=disable，如下所示：

linux/boot/vmlinuz-4.4.0-78-generic.efi.signed root=UUID=86097ec1-3fa4-4d00-97c7-3bf91787be83 ro intel_pstate=disable quiet splash $vt_handoff

ASLR设置（地址空间布局随机器）：

这个设置是有争议的，你可以在Victor Stinner的帖子中看到。当我第一次建议在执行基准测试时禁用ASLR，这是在进一步改进对CPython中存在的Profile Guided Optimizations的支持的背景下。

什么导致我说这是个事实，在上面提到的特定硬件上，禁用ASLR，运行primes.py，标准差变化到0.4％！

另一方面，在我的个人计算机（拥有Intel Core i7 4710MQ）上进行测试，使得禁用ASLR导致出现了Victor所提出的相同问题。

由于它似乎不是普遍可用的结论，而是在很大程度上取决于硬件/软件配置，所以最好的方法是让它启用并测试，禁用它并重新测试，然后比较结果。

在我的机器上，我通过添加以下内容在全球禁用/etc/sysctl.conf。

申请使用sudo sysctl -p。

kernel.randomize_va_space = 0

如果要在运行时禁用它：

sudo bash -c 'echo 0 >| /proc/sys/kernel/randomize_va_space'

如果要启用它：

sudo bash -c 'echo 2 >| /proc/sys/kernel/randomize_va_space'

未完待续！

希望上述的介绍能够帮助到你！

本文由北邮@爱可可-爱生活老师推荐，

文章原标题《Hunting Performance in Python Code – Part 1. Environment Setup》，

作者：pythonrinf 译者：袁虎 审阅：

文章为简译，更为详细的内容，请查看原文