ESB平台作为公司的核心产品之一，在主数据治理、数据中台、企业中台等方案都发挥着非常重要的作用，无论是数据处理、接口处理都需要ESB平台的参与与实现，所以对于ESB产品而言，保证ESB平台功能的完备性和稳定性才能保证项目的顺利实施。

在项目实施过程中，要结合项目的实际需求和环境，充分对产品的功能和性能进行验证，从而保证项目的推进，保证产品和项目的上线以及稳定运行。

总体说明

ESB企业服务总线平台主要服务于应用系统集成需求，应用于系统集成、数据集成、业务集成等不同场景中，通过产品本身或于其他产品组合形成灵活的解决方案，以满足具体的使用场景。

1.集成架构

以数据中台为例，在数据中台方案中，ESB作为数据总线进行数据采集与加工汇总，数据中台包括了Portal、DAP、MDM、ESB产品：

数据中台方案以DAP数据分析平台为核心，包括了数仓搭建、数据分析、数据挖掘、资产建设等内容。数仓建设通过平台构建ODS、DWD、DWS等，实现数仓分层建设，并通过数据集、立方体构建ADS层，实现数据的可视化分析展现。而ESB作为ETL工具，主要满足数据从业务系统到ODS、ODS到DW的抽取、加工、转换、汇总过程。在数据集成整合过程中，通过MDM基础数据平台实现基础数据治理，构建数仓维表，保证数仓中业务数据的中准确性。

2.功能架构

从功能而言，ESB平台包括设计器、Runtime运行时、SMC管理控制台三部分，具体功能架构如下图所示。

1.设计器：图形化的开发工具，提供工程、服务、流程向导功能，可以快速拖拽、配置、开发服务接口，设计器提供如数据转换、数据库操作、外部调用等各类不同的图形化组件，满足低代码开发的需要；

2.Runtime运行时：ESB底层运行引擎，为服务运行、调用、编排等提供底层运行机制，支持API、流程、路由的安全、发布、运行；

3.SMC管理控制台：Web端的管理平台，可以通过浏览器页面进行操作，针对服务工程进行查看、启停、安全配置，支持对API接口进行注册、配置、代理、安全控制。同时可以对工程、服务、流程等进行实时监控和统计分析。

3.典型场景

ESB主要是满足业务系统间服务接口的对接以及业务数据集成等需求，在实际项目及业务中，ESB的主要应用场景根据方案的不同也会有所区别，但主要分为数据总线和服务总线。

1.数据总线：主要在数据中台方案中体现，ESB作为ETL平台满足DAP平台的数据抽取、加工、转换、汇总，实现业务系统数据到数仓的汇聚，满足数仓数据分析、数据服务、数据算法等需求；同时ESB也发挥一定的服务总线作用，支持MDM平台的主数据同步分发功能；

2.服务总线：主要满足API治理以及应用集成的需求，在API治理、集成中台等方案中发挥的内容比较多，API治理主要是将应用系统的相关接口统一注册到ESB平台，由ESB提供API代理、API网关、API监控、API安全、API报警等能力，实现API的统一管控；应用集成是基于注册的API接口，根据不同的业务场景实现不同接口对接与数据传输，实现跨系统对接集成的需求。

测试内容

ESB作为总线平台，主要功能是满足于接口开发、接口治理的需求，ESB平台测试主要针对平台的读写性能，接口执行性能进行测试。

1.数据读写

1.数据写入测试：通过ESB设计器开发一个模拟数据写入接口，通过接口进行数据模拟，批量写入服务日志月表，测试数据批量写入性能；

2.数据访问测试：通过SMC的服务运行日志功能查询写入的日志数据，测试大量日志数据的情况下，页面数据查询性能。

2.服务接口

1.通过ESB设计器开发服务接口，在服务接口中进行数据转换或处理，在不涉及数据库以及复杂业务操作的情况下进行性能测试；

2.通过测试工具调用服务接口，通过模拟高并发访问测试接口访问性能。

3.数据查询

1.通过ESB设计器开发服务接口，在服务接口中通过查询组件查询外部数据库，主要针对数据查询的性能进行测试；

2.通过测试工具调用服务接口，通过模拟高并发访问测试接口访问性能；

3.由于数据库查询的性能测试受外部数据库的性能影响比较大，测试时根据数据库情况配置合适的测试参数。

测试方式

ESB性能时主要通过ESB设计器以及Jmeter工具进行测试，其中读写测试主要基于ESB平台本身，通过ESB设计器以及SMC进行测试即可，如果是高并发测试，需要基于Jmeter工具进行。

1.测试工具

2.测试环境

本次测试基于ESB的测试环境进行测试，整体采用非高可用的k8s集群部署，ESB产品本身采用多容器集群部署的方式。

> > > > 服务器清单

k8s集群使用4台服务器，其中1台master+3台worker，ESB产品容器主要部署在worker2和worker3服务器。

> > > > 测试机配置

主要是Jmeter测试工具部署服务器的配置，考虑到Jmeter高并发的对相关资源的需求，将Jmeter部署在Linux服务器上。

注：本次测试资源有效，直接复用k8s的节点服务器作为测试机，在生产环境正式测试时，需要提供单独的测试机器部署Jmeter进行测试。

> > > > 平台运行环境

ESB主要采用容器化部署的方式，由于本次服务器资源有效，ESB采用4个容器，部署在两个k8s服务器节点，分别是woker2和worker3节点。

3.测试流程

按照本次测试的场景，主要构建了三个测试流程，分别是：

1.数据写入流程：Rest服务接口，通过Java转换节点构建模拟数据，通过入参定义模拟一定量的数据，进行数据写入测试；

2.数据转换流程：Rest服务接口，通过Java转换节点提取入参数据并进行处理，将处理后的结果进行输出；

3.数据查询流程：Http流程，通过数据库查询组件查询外部数据库，并将查询的结果转换成JSON格式后进行输出；

> > > > 数据写入流程

1.提取入参信息，主要是单次写入的数据条数；

2.根据写入的数据条数批量构建数据，并将数据的时间戳分散的当月（由于写入的是日志月表，分散时间避免数据堆积）；

3.将构建的数据批量写入数据库。

> > > > 数据转换流程

1.提取接口请求传递的参数报文；

2.通过转换节点对入参报文进行格式转换和数据处理，并将处理后的结果存到变量中；

3.通过映射组件将处理后的结果映射到输出节点进行输出。

> > > > 数据查询流程

1.连接外部数据库进行数据查询，并以入参作为条件构建数据库查询语句；

2.将查询的结果数据转换成JSON格式；

3.通过输出节点输出转换后的结果数据。

过程说明

根据测试规划，分别针对批量写入、并发性能、数据查询设计测试场景，其中考虑到测试服务器以及数据库的性能，单次数据写入不超过50万；性能测试根据测试情况调整并发用户和Ramp-Up参数以提高吞吐量；数据查询并发用户不超过2000。

1.测试场景清单

1.批量写入：

2.并发性能：

3.数据查询

2.数据写入测试

1.测试月表数据量3600万+

2.页面查询默认查询3天数据，数据量140万+条，数据库查询时间0.83s，页面查询时间<1s

3.并发性能测试

4.数据查询测试

总结分析

性能测试是项目实施和交付过程中非常重要的内容，尤其是面对多系统的ESB而言，接口的性能会直接影响后续系统直接的对接和交互，所以需要通过测试检验平台和服务器性能，从而进行有针对性的优化。

1.测试结论

根据整体测试结果以及对相关异常的分析，ESB平台本身在数据处理和调用方面可以充分满足使用需求，但是在环境层面需要进行优化，由于本次采用测试环境，在服务器资源和性能层面还无法达到生产环境的要求，但是2000以下并发的情况下基本可以保证稳定运行，3000以上受限于服务器会存在部分异常，数据库查询受限于数据库性能，而在大批量读写，尤其涉及到千万级数据写入，也基本能满足使用需要。

2.优化提升

本次测试主要是基于测试环境进行的测试，在服务器配置以及资源层面相对不足，后续需要基于生产环境标准进行复测，同时在环境部署方面也要考虑对环境进行优化，包括Nginx、Redis等，同时数据库的也要考虑独立部署，不要和产品环境部署到一起，避免资源抢占。

3.说在最后

ESB作为核心产品之一，在数据中台、企业中台等项目中都是作为基础支撑的平台，所以在性能层面有比较高的要求，同时ESB也负责API治理的内容，会存在大量接口的集成与交互，所以在产品、环境、服务器等方面要充分考虑ESB的使用场景进行性能提升。

一般在企业中台项目中，ESB既会作为数据总线支持DAP的数据采集与加工汇总，同时也会作为服务总线支持API治理的工作，所以保证ESB平台的稳定性和准确性是非常重要的。从产品本身而言，ESB无论是在功能层面和性能层面都已经充分满足了使用需求，对于项目实施人员，更多需要考虑在体系规划和部署架构层面充分发挥ESB平台的性能，才能保证项目的顺利推进和交付。

本文由@数通畅联原创，欢迎转发，仅供学习交流使用，引用请注明出处！谢谢~