如何通过ESB平台配置API网关(esb接口是怎么传送数据的)
off999 2025-04-07 17:40 13 浏览 0 评论
ESB总线平台是企业信息化建设的基础平台,在信息化系统建设和集成过程中起到非常重要的作用。在数据治理、数据中台等核心方案中,ESB支撑MDM、DAP、IDM等平台的数据采集、同步、分发等操作,同时通过ESB平台的API管理能力,可以对服务接口进行统一管理、配置、编排、监控、报警等,实现跨系统的数据集成、业务集成,打通业务系统壁垒,为企业的信息一体化建设整合、数据治理、数据分析奠定基础。
ESB平台除了在数据中台等方案中支持数据采集、同步等操作,也可以独立进行API的管理,支持服务接口的开发、注册、代理,并对服务接口进行安全管控、监控预警,满足服务接口的集中管理要求。本次主要是从API管理功能出发,重点介绍ESB的API网关功能。
总体说明
ESB总线平台主要服务于数据集成、应用集成等需求,在应用集成、数据采集、业务集成等不同场景中,通过产品本身或与其他产品组合形成灵活的解决方案,以满足具体的使用场景。
1.总体架构
ESB平台作为核心产品,广泛应用于数据治理、数据中台等方案中,以数据中台为例, ESB作为数据总线通过实时、离线等方式进行数据采集与加工汇总,完成DAP的数仓建设过程。
数据中台方案以DAP数据分析平台为核心,包括了数仓搭建、数据分析、数据挖掘、资产建设等内容。数仓建设通过平台构建ODS、DWD、DWS等,实现数仓分层建设,并通过数据集、立方体构建ADS层,实现数据的可视化分析展现。而ESB作为ETL工具,主要满足数据从业务系统到ODS、ODS到DW的抽取、加工、转换、汇总过程。在数据集成整合过程中,通过MDM基础数据平台实现基础数据治理,构建数仓维表,保证数仓中业务数据的中准确性。
2.功能架构
ESB平台功能主要包括:设计器、Runtime运行时、SMC管理控制台三部分,具体功能架构如下图所示。
1.设计器:图形化的开发工具,提供工程、服务、流程向导功能,可以快速拖拽、配置、开发服务接口,设计器提供数据转换、数据库操作、外部调用等各类不同的图形化组件,实现低代码的服务开发与部署发布;
2.Runtime运行时:ESB底层运行引擎,为服务运行、调用、编排等提供底层运行机制,支持API、流程、路由的安全、发布、运行;
3.SMC管理控制台:Web端的管理平台,可以通过浏览器页面进行操作,针对服务工程进行查看、启停、安全配置,支持对API接口进行注册、配置、代理、安全控制;同时可以对工程、服务、流程等进行实时监控和统计分析。
3.API网关
API网关功能是API管理中的一个子功能,主要在是服务注册、配置、代理的基础上,通过配置API网关,实现对服务接口访问地址的统一、规范管理,实现集中化的接口管控。API网关可以基于API服务接口动态生成网关地址,支持按照API分组和API地址两种方式生成网关。
1.API分组:对API接口进行分组管理,按照分组编码和接口编码生成API网关地址;
2.API地址:以注册、配置、代理的服务接口地址为基础,通过组合固定的路径形成API网关地址。
API管理
API管理是ESB的SMC模块中的配置功能,是可以独立在SMC配置使用的功能,API管理的主要作用是将内外部的服务接口进行统一注册、配置与管理,对外部应用提供统一的访问地址的同时,对接口访问进行安全、限流等控制,从而保证接口的访问安全。
1.API服务
通过导入、注册、配置的方式新增API服务接口,并对接口进行参数配置、调用测试等。
1.导入:导入ESB设计器开发的Web或Rest服务:
2.注册:通过接口URL地址注册外部系统服务:
3.配置:手动定义服务编码,再通过处理器的方式调用注册或导入的API接口,从而实现对接口的调用和编排:
2.API代理
主要是对API服务中定义的服务接口进行代理,同时对外提供代理后的访问地址,避免直接暴露源接口地址,支持单代理与多代理模式,单代理即一个API服务对应一个代理服务,而多代理可以实现将多个不同的API服务发布到一个代理服务中,从而实现API服务的组合管理。
1.导入:将API服务中的服务接口直接导入API代理进行代理配置:
2.新增:手动新增代理服务,再手动添加API服务中的服务接口,多代理就是手动新增进行配置:
3.手动添加需要代理的服务接口:
3.API接口
通过API分组对API服务下的接口进行添加与管理:
1.统一管理API分组:
2.在分组下添加API接口,从API服务中选择服务下的具体接口:
通过API接口实现服务接口的分组管理,主要作用:
1.配置服务:配置处理器时,从API接口清单中选择调用的接口:
2.API网关:通过API分组或API地址生成API网关,通过API网关地址进行统一访问调用:
3.应用集成:集成场景配置选择来源或目标接口时,通过API接口清单中进行选择:
4.实时集成:在配置Flink实时集成时,如果目标为接口,则从API接口清单中选择接收接口:
API网关
API网关和配置服务、API代理是ESB实现API管理,并对外提供服务的有效方式,其中:
1.API网关配置最为简单,只需要在API接口中开启配置即可,但API网关地址的调用方式和源接口基本一致,包括参数、认证、请求头等;
2.配置服务最复杂,需要配置处理器和参数等信息,但配置服务更灵活,可以进行参数处理转换,多接口分发等复杂业务场景;
3.代理的配置过程比API网关复杂但比配置服务简单,同时也支持通过处理器的方式对参数进行处理。
1.实现方式
API网关主要是通过SMC配置+OpenResty转发实现的,SMC配置主要是配置API网关的访问路径,并把API网关的访问信息存储到Redis存储中,而OpenResty通过访问信息从Redis中获取原始接口访问地址,从而实现接口调用。所以API网关的适用性最广,它对于注册、配置、代理的接口都可以配置网关接入,形成统一的访问地址。
2.环境要求
对于需要启用API网关的环境,需要满足两个前置条件:
1.需要部署OpenResty,API网关主要是通过Lua动态获取和构建API接口访问信息的,而OpenResty通过Nginx和Lua实现API网关的动态解析与转发;
2.单机部署的Redis数据库,主要用于存储和读取API网关的访问路径信息,OpenResty通过读取Redis获取API网关对应的接口地址。
3.接入配置
因为API网关是通过OpenResty实现的动态转发,所以需要在配置OpenResty的访问信息,如果是k8s容器化部署的环境,通过UMC的接入配置进行访问配置,如果是单机部署,则需要手动添加API网关的代理转发片段。
1.UMC接入配置:
(1)在接入配置中添加API网关的模版片段:
(2)修改Redis连接参数(IP、端口、密码):
2.单机部署:直接在OpenResty的Nginx配置文件(nginx.conf)中引入API网关的Lua片段:
配置说明
在SMC中API网关的配置主要是注册、配置或代理接口,然后基于注册、配置、代理的接口启用API网关功能。同时在配置时需要配置Redis资源,以保证API网关访问地址的存储管理。
1.前置配置
1.在共享资源中配置Redis数据库信息:
注意:Redis推荐采用单机Redis,访问IP、端口、密码根据部署的Redis定义。
2.在SMC的全局变量中配置API网关访问信息:
注意:
(1)addressPrefix为API网关对外提供访问地址的前缀,根据环境修改IP即可,如果修改apis,注意修改OpenResty的转发配置;
(2)redisResCode的值需要和贡献资源中注册的Redis资源编码保持一致。
2.接口注册
1.在API服务中通过注册或导入服务:
2.配置接口及参数:
3.调用测试:
3.接入配置
1.在API接口中添加注册的服务接口:
2.启用API网关,通过API分组生成网关地址:
3.启用API网关,调用测试:
4.改用API地址的方式测试:
总结说明
ESB总线平台是公司的核心产品之一,在集成中台、数据中台、主数据治理、数据治理等方案中都发挥着非常重要的作用。根据不同方案中ESB平台的作用以及数据处理的过程不同,ESB平台又可以分成服务总线和数据总线,而API管理主要应用于服务总线的建设中。
1.功能总结
API管理是ESB平台中非常重要的功能,通过API管理可以实现企业内外部服务接口的统一管理,满足接口集成、接口安全、报警通知等功能,并且基于API管理的集成、配置可以直接在ESB的SMC控制台中完成。而在集成对接过程中,API网关、配置服务、API代理是API管理中对外提供接口信息的有效方式,而其中又以API网关的配置方式最简单,覆盖内容最广。
2.集成方案
ESB作为服务总线时,主要强调对服务接口的统一管理,基于服务接口进行系统集成,如集成中台、业务集成等方案;数据总线主要利用ESB的数据抽取、加工、转换、写入以及实时数据采集能力,实现异构系统的数据采集,主要应用数据中台和数仓建设方案。根据实际项目的需要,ESB是可以同时发挥服务总线和数据总线的能力。
3.个人总结
ESB平台的API管理功能随着产品功能迭代不断完善,针对于多系统调用、同步/异步调用、单处理器重试等场景都实现了良好的支持,在实际项目中也得到了很好的验证,配置使用的方式越来越便捷,大大提升了实际项目中使用效果和交付效率。
对实施人员而言,熟练掌握ESB的使用非常重要,可以快速满足实际业务中各类对接场景的需求,同时ESB设计器提供低代码开发的能力,在实际项目中可以通过ESB进行服务接口的定制化开发需求。在实际业务中,ESB作为贯穿各个系统的总线平台,在实现系统集成时会同步记录日志信息,便于对问题的排查以及报警通知,提升系统集成的安全性和可控性。
本文由@数通畅联原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~
相关推荐
- python入门到脱坑经典案例—清空列表
-
在Python中,清空列表是一个基础但重要的操作。clear()方法是最直接的方式,但还有其他方法也可以实现相同效果。以下是详细说明:1.使用clear()方法(Python3.3+推荐)...
- python中元组,列表,字典,集合删除项目方式的归纳
-
九三,君子终日乾乾,夕惕若,厉无咎。在使用python过程中会经常遇到这四种集合数据类型,今天就对这四种集合数据类型中删除项目的操作做个总结性的归纳。列表(List)是一种有序和可更改的集合。允许重复...
- Linux 下海量文件删除方法效率对比,最慢的竟然是 rm
-
Linux下海量文件删除方法效率对比,本次参赛选手一共6位,分别是:rm、find、findwithdelete、rsync、Python、Perl.首先建立50万个文件$testfor...
- 数据结构与算法——链式存储(链表)的插入及删除,
-
持续分享嵌入式技术,操作系统,算法,c语言/python等,欢迎小友关注支持上篇文章我们讲述了链表的基本概念及一些查找遍历的方法,本篇我们主要将一下链表的插入删除操作,以及采用堆栈方式如何创建链表。链...
- Python自动化:openpyxl写入数据,插入删除行列等基础操作
-
importopenpyxlwb=openpyxl.load_workbook("example1.xlsx")sh=wb['Sheet1']写入数据#...
- 在Linux下软件的安装与卸载(linux里的程序的安装与卸载命令)
-
通过apt安装/协助软件apt是AdvancedPackagingTool,是Linux下的一款安装包管理工具可以在终端中方便的安装/卸载/更新软件包命令使用格式:安装软件:sudoapt...
- Python 批量卸载关联包 pip-autoremove
-
pip工具在安装扩展包的时候会自动安装依赖的关联包,但是卸载时只删除单个包,无法卸载关联的包。pip-autoremove就是为了解决卸载关联包的问题。安装方法通过下面的命令安装:pipinsta...
- 用Python在Word文档中插入和删除文本框
-
在当今自动化办公需求日益增长的背景下,通过编程手段动态管理Word文档中的文本框元素已成为提升工作效率的关键技术路径。文本框作为文档排版中灵活的内容容器,既能承载多模态信息(如文字、图像),又可实现独...
- Python 从列表中删除值的多种实用方法详解
-
#Python从列表中删除值的多种实用方法详解在Python编程中,列表(List)是一种常用的数据结构,具有动态可变的特性。当我们需要从列表中删除元素时,根据不同的场景(如按值删除、按索引删除、...
- Python 中的前缀删除操作全指南(python删除前导0)
-
1.字符串前缀删除1.1使用内置方法Python提供了几种内置方法来处理字符串前缀的删除:#1.使用removeprefix()方法(Python3.9+)text="...
- 每天学点Python知识:如何删除空白
-
在Python中,删除空白可以分为几种不同的情况,常见的是针对字符串或列表中空白字符的处理。一、删除字符串中的空白1.删除字符串两端的空白(空格、\t、\n等)使用.strip()方法:s...
- Linux系统自带Python2&yum的卸载及重装
-
写在前面事情的起因是我昨天在测试Linux安装Python3的shell脚本时,需要卸载Python3重新安装一遍。但是通过如下命令卸载python3时,少写了个3,不小心将系统自带的python2也...
- 如何使用Python将多个excel文件数据快速汇总?
-
在数据分析和处理的过程中,Excel文件是我们经常会遇到的数据格式之一。本文将通过一个具体的示例,展示如何使用Python和Pandas库来读取、合并和处理多个Excel文件的数据,并最终生成一个包含...
- 【第三弹】用Python实现Excel的vlookup功能
-
今天继续用pandas实现Excel的vlookup功能,假设我们的2个表长成这样:我们希望把Sheet2的部门匹在Sheet1的最后一列。话不多说,先上代码:importpandasaspd...
- python中pandas读取excel单列及连续多列数据
-
案例:想获取test.xls中C列、H列以后(当H列后列数未知时)的所有数据。importpandasaspdfile_name=r'D:\test.xls'#表格绝对...
你 发表评论:
欢迎- 一周热门
- 最近发表
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python自定义函数 (53)
- python进度条 (67)
- python吧 (67)
- python字典遍历 (54)
- python的for循环 (65)
- python格式化字符串 (61)
- python串口编程 (60)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python人脸识别 (54)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)