数据工程师必读:这5本书堪称全能教科书

全文共2405字，预计学习时长7分钟

大约三年前，我开始了作为数据工程师的IT职业生涯，并尝试找出关于数据平台的日常解决方案。我一直希望在这一领域有大学教科书一样的资源，也一直在寻找。

这篇文章中，我将分享5本帮助我大概了解数据工程的书，可以让我在不确定的时候回去查阅。因为有很多本，所以我建立了一个框架，帮助你选择最适合自己的那本，并且就每本而言分享一些看法。

从哪开始呢？

我设置了两个因素，其一是“技术概念——实用性”，这意味着它是处理一般的实现概念还是具体的实现(或API)，另一个是“一般性vs数据上下文性”。根据这两项因素绘制的图表如下：

下面是推荐书目及原因：

· I Hearts Logs，作者Jay Kreps：

这本书解释了日志在分布式环境中的作用。字数不多，但阅读后可以掌握数据系统（数据库或分布式数据系统，如Kafka）的核心概念。

· Designing Data-Intensive Applications，作者Martin Kleppmann：

该书讲述了如数据模型、分布式系统（如两阶段锁定）等数据系统的核心概念，以及数据处理的批处理和流式传输。

· Rebuilding Reliable Data Pipelines Through ModernTools，作者Ted Malaska：

如果你的大部分经历都与数据无关，这本书会是很好的入门书籍，引领你理解数据领域都在发生什么。该书涵盖了数据环境中的利益相关者、数据流水线、常见问题(其中许多都与数据环境相关)等内容。

· Expert Hadoop Administration，作者Sam R. Alapati：

其实关于Hadoop还有一本很好的Oreilly图书，但是我选择了这一本，原因是在过去的一年里，每当我需要一些答案时，都会一遍又一遍地阅读这本书。

· Architecting Modern Data Platform，作者Jan Kunigk, Ian Buss, Paul Wilkinson, Lars George：

这是一本含有奇妙图像的好书。与上一本相比，这本更侧重外部Hadoop服务（服务器内存、CPU规格或网络带宽要求等）。

每本书的主要内容

有的书比较短，有的书需要具备一定水平才能读懂。你可以选择适合自己的那本开始阅读。

· I Hearts Logs (~ 50页)

作者Jay Kreps是Kafka和Samza的开发者之一，他说：我们通常以网络服务器(如Nginx)的形式感知日志，日志在数据库和分布式系统中起着核心作用，与其他替代方案相比，它在以日志为中心的设计和共识方面具有许多优势。

他还举了一些实例：“数据集成”、“实时数据处理”和“分布式系统设计”。其中之一是日志作为“单一真实来源”的作用，在许多“写”系统和“读”系统之间以集成日志的形式存在，使两者的耦合失效。

我把这本书放在首位，你可以运用Jay Kreps的观点进入另一个分布式数据系统，简化它们的基本架构。

· Designing Data-Intensive Applications (~ 550 页)

你肯定都听说过这本书。它涵盖了核心概念及其常见的实现，从早期的数据系统(RDB、NoSQL)到分布式环境(Hadoop等)。

核心概念通常会让你怀疑自己对它们的理解。在这本书中，以下核心概念得到了全面的解释：数据模型、数据结构、数据库或复制的编码和模式演化、分区、事务、分布式系统的主要问题。

这本书给了你一个新的视角，而不是仅仅告诉你如何在Hadoop上使用Lambda架构。就我个人而言，每当概念不清时，我会经常回看这本书。

· Rebuilding Reliable Data Pipelines Through ModernTools (~100 页)

这本书在Unravel网站上是免费的，通过阅读这本书，你可以知道谁是数据环境中的利益相关者，以及数据ETL(提取、转换、加载)的前景如何。书中使用了许多简单的隐喻，但足够实用，你可以在书中描述的环境中体验作为一名数据工程师的感觉。

· Expert Hadoop Administration (~ 750页)

对于那些在Hadoop服务中艰苦奋斗的专业人士来说，很难找到有价值的资源来解决实际问题，包括HDFS、Yarn、Oozie、Sqoop等。

如果你遇到类似“安装HDFS时，需要什么样的服务器配置和规格”、“如何优化Yarn内存和CPU使用率”等问题，这本又厚又详细的书会是一个很好的参考，你可以先去看看。

如果你觉得这本书的内容有点多，可以只看HDFS，Yarn，Spark架构这几个部分(~ 351页)，当你需要更多知识的时候再回头来看其他部分。

· Architecting Modern Data Platforms (~ 600页)

这本书有大量关于Hadoop堆栈的技术资源，这些资源可用于构建一个可扩展的数据中心。前面那本书侧重于Hadoop服务的特性，而这本书主讲服务外部主题:Hadoop环境的服务器、网络和操作系统规范，以及虚拟化等。

对于那些对Hadoop堆栈有点兴趣并想了解更多关于“Yarn应用程序中的虚拟核心对应于物理核心还是虚拟核心(在虚拟环境中)”以及“文件系统驱动程序(etx3、ext4)或页面缓存设置如何影响HDFS性能” 的人来说，这本书是满足好奇心的无价资源。

留言点赞关注

我们一起分享AI学习与发展的干货

如转载，请后台留言，遵守转载规范