什么是 PEX？

PEX 是 Python 可执行文件的缩写，是一个将 Python 包打包成名为 pex 文件的工具。这些可执行文件包含 Python 包和一些引导代码。例如，我们可以将 dagster 包和其依赖项打包成单个文件，然后运行它：

% pex dagster --python=python3.8 -o dagster.pex
% ./dagster.pex
Python 3.8.16 (default, Dec  7 2022, 01:24:57)
[Clang 14.0.0 (clang-1400.0.29.202)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
(InteractiveConsole)
>>> import dagster
>>>

复制代码

将整个环境存储在单个文件中非常方便，可以轻松地将其传输到 S3 中进行存储。PEX 提供了更多功能，不仅仅是“文件中的虚拟环境” - 这里是我们使用的其他功能：

• 隔离性

在运行时，pex 环境与其他全局包完全隔离。在环境中只有捆绑在 pex 文件中的包。我们将多个 pex 文件一起发送到同一台机器上，而不必担心环境隔离问题。

• 确定性

使用相同的输入包会生成完全相同的 pex 文件：

$ pex dagster pandas -o out.pex | sha256sum
e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855  -
$ pex dagster pandas -o out.pex | sha256sum
e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855  -

复制代码

这让我们可以使用内容寻址来识别这些 pex 文件，从而对实现可重复性更有信心。为了实现可重复性，除了使用 Docker 镜像哈希之外，我们还使用 pex 文件哈希。

• 组合

多个 pex 文件可以在运行时合并，有效地将多个环境合并为一个环境。

% pex pandas -o pandas.pex
% pex dagster -o dagster.pex
% PEX_PATH=pandas.pex ./dagster.pex
Python 3.8.16 (default, Dec  7 2022, 01:24:57)
[Clang 14.0.0 (clang-1400.0.29.202)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
(InteractiveConsole)
>>> import pandas
>>> import dagster
>>>

复制代码

我们使用这个功能将代码分成两个部分，在运行时合并起来：一个包含所有依赖项的 deps.pex 文件，和一个仅包含用户代码的 source.pex 文件。

• 跨平台构建

我们在 Serverless Cloud 中使用 Linux python：* -slim 衍生的基础镜像。只要有包的 wheel，pex 工具就可以在任何平台上为 Linux 构建 pex 文件。

快速部署

使用 pex 和 S3 存储 pex 文件，我们构建了一个系统，其中快速路径避免了构建和启动 Docker 镜像的开销。

我们的系统工作方式如下：当你将代码提交到 GitHub 时，GitHub 操作根据你的依赖关系是否与上一次部署不同，执行全量构建或快速构建。我们跟踪在 setup.py 和 requirements.txt 中指定的依赖关系集。

对于全量构建，我们将你的项目依赖项构建为 deps.pex 文件，将你的代码构建为 source.pex 文件。这两个文件都会上传到 Dagster Cloud。对于快速构建，我们只构建并上传 source.pex 文件。