TensorFlow2.1正式版上线:最后一次支持Python2，进一步支持TPU

机器之心报道

参与：杜伟、一鸣

TensorFlow2.1的更新，能够让弃坑的用户回心转意吗？

去年 10 月，谷歌才发布了 TensorFlow 2.0 正式版。时隔三个月后，昨日官方发布了 TensorFlow 2.1，本次版本更新带了了多项新特性、功能改进和 bug 修复。

从本次更新的日志来看，TensorFlow 2.1 将成为最后一个支持 Python2 的版本了。同时，本次更新的重点是增加了对 TPU 的多项支持，而 tf.keras 和 tf.data 这两个常用的 API 也得到了很多新的更新。据悉，TensorFlow 2.1 的 CUDA 版本为 10.1，cuDNN 版本为 7.6。

在对操作系统的支持上，Windows 和 Linux 系统的 TensorFlow pip 版本默认支持 GPU。也就是说，如果使用 pip install tensorflow，则版本默认为是 gpu 版本（原始的 tensorflow-gpu 版本依然存在）。当然，不管有没有英伟达版本的 GPU，tensorflow 依然能够运行。
如果需要使用 CPU 版本，用户的安装命令应该为：pip install tensorflow-cpu。
项目地址：https://github.com/tensorflow/tensorflow/releases
对于本次更新的内容，机器之心整理如下：
进一步支持 TPU
TensorFlow 2.1 最大的亮点在于进一步增加对 TPU 的支持。从 tf.keras、tf.data 等 API 的功能调整和更新来看，现在使用 TPU 加载数据集、训练和模型推理会更方便一些。
tf.keras 对 TPU 的支持

• 增加了在 GPU 和 Cloud TPUs 上对混合精度（mix precision）的支持；
• tf.Keras 中的 compile、fit、evaluate、predict 等 API 都支持 Cloud TPUs 了，而且支持所有的 Keras 模型（即以 sequential、functional 和子类方式构建的模型都支持）；
• 现在可以使用 Cloud TPU 进行自动外部编译（automatic outside compilation）了，这使得 tf.summary 和 Cloud TPUs 能够更好地一起使用；
• 分布式策略和 Keras 中的动态批大小控制已支持 Cloud TPUs；
• 支持在 TPU 上使用 numpy 格式的数据进行 fit、evaluate 和 predict。

tf.data 对 TPU 的支持
tf.data.Dataset 现在支持自动数据分发（automatic data distribution）和分布式环境下的分片操作，包括在 TPU pods 上都可以。
tf.distribute 对 TPU 的支持
支持在 TPU 和 TPU pods 上定制训练循环，通过以下 API 即可：
strategy.experimental_distribute_dataset、 strategy.experimental_distribute_datasets_from_function、strategy.experimental_run_v2 和 strategy.reduce。
重要 API 更新
TensorFlow 2.1 进行了以下一些重要的 API 更新：
tf.keras

• 推出了 TextVectorization 层，该层将原始字符串作为输入，并兼顾到了文本规范化、标记化、N 元语法生成和词汇检索；
• 允许 Keras .compile、.fit、.evaluate 和.predict 在 DistributionStrategy 范围之外，前提是模型在该范围内构建；
• 诸多流行模型的 Keras 参考实现都可以在 TensorFlow Model Garden（https://github.com/tensorflow/models/tree/master/official）中获得；

tf.data
tf.data datasets 和分布式策略都进行了改进，以获得更好的性能。需要注意的是 dataset 会变得有些不同，重新进行了分批的数据集会有多个副本；而分布式策略也会进行调整，如下所示：

tf.data.experimental.AutoShardPolicy(OFF, AUTO, FILE, DATA) tf.data.experimental.ExternalStatePolicy(WARN, IGNORE, FAIL)

TensorRT
现在 TensorRT 6.0 是默认的版本，这一版本增加了对更多 TensorFlow 算子的支持，包括 Conv3D、Conv3DBackpropInputV2、AvgPool3D、MaxPool3D、ResizeBilinear 和 ResizeNearestNeighbor。
此外，TensorFlow 和 TensorRT 的 Python 交互 API 被命名为 tf.experimental.tensorrt.Converter。
Bug 修复
TensorFlow 2.1.0 还修复了以前版本中出现的一些 Bug，整理如下：
tf.data

• 修复当 sloppy=True 时 tf.data.experimental.parallel_interleave 出现的并发问题；
• 增加 tf.data.experimental.dense_to_ragged_batch()；
• 扩展 tf.data 语法解析选项，从而支持 RaggedTensors。

tf.distribute
修复使用 tf.distribute.Strategy 时 GRU 崩溃或输出错误结果的问题。
tf.keras

• 导出 tf.keras.backend 中的 depthwise_conv2d；
• 在 Keras Layers 和 Models 中，删除 trainable_weights、non_trainable_weights 和 weights 中变量的重复数据；
• Kerasmodel.load_weights 现将 skip_mismatch 接受为一种自变量；
• 修复 Keras 卷积层的输入形状缓存的行为；
• Model.fit_generator、Model.evaluate_generator、Model.train_on_batch, Model.test_on_batch 和 Model.predict_on_batch 方法现遵循 run_eagerly 属性，并且在默认情况下，使用 tf.function 能够正确地运行。请注意，Model.fit_generator、Model.evaluate_generator 和 Model.predict_generator 是不宜用的端点。这些端点现已被归入支持生成器和序列的 Model.fit、Model.evaluate 和 Model.predict 中。