如何通过ESB平台配置API网关(esb接口是怎么传送数据的)
off999 2025-04-07 17:40 8 浏览 0 评论
ESB总线平台是企业信息化建设的基础平台,在信息化系统建设和集成过程中起到非常重要的作用。在数据治理、数据中台等核心方案中,ESB支撑MDM、DAP、IDM等平台的数据采集、同步、分发等操作,同时通过ESB平台的API管理能力,可以对服务接口进行统一管理、配置、编排、监控、报警等,实现跨系统的数据集成、业务集成,打通业务系统壁垒,为企业的信息一体化建设整合、数据治理、数据分析奠定基础。
ESB平台除了在数据中台等方案中支持数据采集、同步等操作,也可以独立进行API的管理,支持服务接口的开发、注册、代理,并对服务接口进行安全管控、监控预警,满足服务接口的集中管理要求。本次主要是从API管理功能出发,重点介绍ESB的API网关功能。
总体说明
ESB总线平台主要服务于数据集成、应用集成等需求,在应用集成、数据采集、业务集成等不同场景中,通过产品本身或与其他产品组合形成灵活的解决方案,以满足具体的使用场景。
1.总体架构
ESB平台作为核心产品,广泛应用于数据治理、数据中台等方案中,以数据中台为例, ESB作为数据总线通过实时、离线等方式进行数据采集与加工汇总,完成DAP的数仓建设过程。
数据中台方案以DAP数据分析平台为核心,包括了数仓搭建、数据分析、数据挖掘、资产建设等内容。数仓建设通过平台构建ODS、DWD、DWS等,实现数仓分层建设,并通过数据集、立方体构建ADS层,实现数据的可视化分析展现。而ESB作为ETL工具,主要满足数据从业务系统到ODS、ODS到DW的抽取、加工、转换、汇总过程。在数据集成整合过程中,通过MDM基础数据平台实现基础数据治理,构建数仓维表,保证数仓中业务数据的中准确性。
2.功能架构
ESB平台功能主要包括:设计器、Runtime运行时、SMC管理控制台三部分,具体功能架构如下图所示。
1.设计器:图形化的开发工具,提供工程、服务、流程向导功能,可以快速拖拽、配置、开发服务接口,设计器提供数据转换、数据库操作、外部调用等各类不同的图形化组件,实现低代码的服务开发与部署发布;
2.Runtime运行时:ESB底层运行引擎,为服务运行、调用、编排等提供底层运行机制,支持API、流程、路由的安全、发布、运行;
3.SMC管理控制台:Web端的管理平台,可以通过浏览器页面进行操作,针对服务工程进行查看、启停、安全配置,支持对API接口进行注册、配置、代理、安全控制;同时可以对工程、服务、流程等进行实时监控和统计分析。
3.API网关
API网关功能是API管理中的一个子功能,主要在是服务注册、配置、代理的基础上,通过配置API网关,实现对服务接口访问地址的统一、规范管理,实现集中化的接口管控。API网关可以基于API服务接口动态生成网关地址,支持按照API分组和API地址两种方式生成网关。
1.API分组:对API接口进行分组管理,按照分组编码和接口编码生成API网关地址;
2.API地址:以注册、配置、代理的服务接口地址为基础,通过组合固定的路径形成API网关地址。
API管理
API管理是ESB的SMC模块中的配置功能,是可以独立在SMC配置使用的功能,API管理的主要作用是将内外部的服务接口进行统一注册、配置与管理,对外部应用提供统一的访问地址的同时,对接口访问进行安全、限流等控制,从而保证接口的访问安全。
1.API服务
通过导入、注册、配置的方式新增API服务接口,并对接口进行参数配置、调用测试等。
1.导入:导入ESB设计器开发的Web或Rest服务:
2.注册:通过接口URL地址注册外部系统服务:
3.配置:手动定义服务编码,再通过处理器的方式调用注册或导入的API接口,从而实现对接口的调用和编排:
2.API代理
主要是对API服务中定义的服务接口进行代理,同时对外提供代理后的访问地址,避免直接暴露源接口地址,支持单代理与多代理模式,单代理即一个API服务对应一个代理服务,而多代理可以实现将多个不同的API服务发布到一个代理服务中,从而实现API服务的组合管理。
1.导入:将API服务中的服务接口直接导入API代理进行代理配置:
2.新增:手动新增代理服务,再手动添加API服务中的服务接口,多代理就是手动新增进行配置:
3.手动添加需要代理的服务接口:
3.API接口
通过API分组对API服务下的接口进行添加与管理:
1.统一管理API分组:
2.在分组下添加API接口,从API服务中选择服务下的具体接口:
通过API接口实现服务接口的分组管理,主要作用:
1.配置服务:配置处理器时,从API接口清单中选择调用的接口:
2.API网关:通过API分组或API地址生成API网关,通过API网关地址进行统一访问调用:
3.应用集成:集成场景配置选择来源或目标接口时,通过API接口清单中进行选择:
4.实时集成:在配置Flink实时集成时,如果目标为接口,则从API接口清单中选择接收接口:
API网关
API网关和配置服务、API代理是ESB实现API管理,并对外提供服务的有效方式,其中:
1.API网关配置最为简单,只需要在API接口中开启配置即可,但API网关地址的调用方式和源接口基本一致,包括参数、认证、请求头等;
2.配置服务最复杂,需要配置处理器和参数等信息,但配置服务更灵活,可以进行参数处理转换,多接口分发等复杂业务场景;
3.代理的配置过程比API网关复杂但比配置服务简单,同时也支持通过处理器的方式对参数进行处理。
1.实现方式
API网关主要是通过SMC配置+OpenResty转发实现的,SMC配置主要是配置API网关的访问路径,并把API网关的访问信息存储到Redis存储中,而OpenResty通过访问信息从Redis中获取原始接口访问地址,从而实现接口调用。所以API网关的适用性最广,它对于注册、配置、代理的接口都可以配置网关接入,形成统一的访问地址。
2.环境要求
对于需要启用API网关的环境,需要满足两个前置条件:
1.需要部署OpenResty,API网关主要是通过Lua动态获取和构建API接口访问信息的,而OpenResty通过Nginx和Lua实现API网关的动态解析与转发;
2.单机部署的Redis数据库,主要用于存储和读取API网关的访问路径信息,OpenResty通过读取Redis获取API网关对应的接口地址。
3.接入配置
因为API网关是通过OpenResty实现的动态转发,所以需要在配置OpenResty的访问信息,如果是k8s容器化部署的环境,通过UMC的接入配置进行访问配置,如果是单机部署,则需要手动添加API网关的代理转发片段。
1.UMC接入配置:
(1)在接入配置中添加API网关的模版片段:
(2)修改Redis连接参数(IP、端口、密码):
2.单机部署:直接在OpenResty的Nginx配置文件(nginx.conf)中引入API网关的Lua片段:
配置说明
在SMC中API网关的配置主要是注册、配置或代理接口,然后基于注册、配置、代理的接口启用API网关功能。同时在配置时需要配置Redis资源,以保证API网关访问地址的存储管理。
1.前置配置
1.在共享资源中配置Redis数据库信息:
注意:Redis推荐采用单机Redis,访问IP、端口、密码根据部署的Redis定义。
2.在SMC的全局变量中配置API网关访问信息:
注意:
(1)addressPrefix为API网关对外提供访问地址的前缀,根据环境修改IP即可,如果修改apis,注意修改OpenResty的转发配置;
(2)redisResCode的值需要和贡献资源中注册的Redis资源编码保持一致。
2.接口注册
1.在API服务中通过注册或导入服务:
2.配置接口及参数:
3.调用测试:
3.接入配置
1.在API接口中添加注册的服务接口:
2.启用API网关,通过API分组生成网关地址:
3.启用API网关,调用测试:
4.改用API地址的方式测试:
总结说明
ESB总线平台是公司的核心产品之一,在集成中台、数据中台、主数据治理、数据治理等方案中都发挥着非常重要的作用。根据不同方案中ESB平台的作用以及数据处理的过程不同,ESB平台又可以分成服务总线和数据总线,而API管理主要应用于服务总线的建设中。
1.功能总结
API管理是ESB平台中非常重要的功能,通过API管理可以实现企业内外部服务接口的统一管理,满足接口集成、接口安全、报警通知等功能,并且基于API管理的集成、配置可以直接在ESB的SMC控制台中完成。而在集成对接过程中,API网关、配置服务、API代理是API管理中对外提供接口信息的有效方式,而其中又以API网关的配置方式最简单,覆盖内容最广。
2.集成方案
ESB作为服务总线时,主要强调对服务接口的统一管理,基于服务接口进行系统集成,如集成中台、业务集成等方案;数据总线主要利用ESB的数据抽取、加工、转换、写入以及实时数据采集能力,实现异构系统的数据采集,主要应用数据中台和数仓建设方案。根据实际项目的需要,ESB是可以同时发挥服务总线和数据总线的能力。
3.个人总结
ESB平台的API管理功能随着产品功能迭代不断完善,针对于多系统调用、同步/异步调用、单处理器重试等场景都实现了良好的支持,在实际项目中也得到了很好的验证,配置使用的方式越来越便捷,大大提升了实际项目中使用效果和交付效率。
对实施人员而言,熟练掌握ESB的使用非常重要,可以快速满足实际业务中各类对接场景的需求,同时ESB设计器提供低代码开发的能力,在实际项目中可以通过ESB进行服务接口的定制化开发需求。在实际业务中,ESB作为贯穿各个系统的总线平台,在实现系统集成时会同步记录日志信息,便于对问题的排查以及报警通知,提升系统集成的安全性和可控性。
本文由@数通畅联原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~
相关推荐
- Python自动化脚本应用与示例(python自动化脚本教程)
-
Python是编写自动化脚本的绝佳选择,因其语法简洁、库丰富且跨平台兼容性强。以下是Python自动化脚本的常见应用场景及示例,帮助你快速上手:一、常见自动化场景文件与目录操作O批量重命名文件...
- 如何使用Python实现一个APP(如何用python做一个程序)
-
要使用Python实现一个APP,你可以选择使用一些流行的移动应用开发框架,如Kivy、PyQt或Tkinter。这里以Kivy为例,它是一个跨平台的Python框架,可以用于创建漂亮的图形用户界面(...
- 免费定时运行Python程序并存储输出文档的服务推荐
-
免费定时运行Python程序并存储输出文档的服务推荐以下是几种可以免费定时运行Python程序并存储输出结果的云服务方案:1.PythonAnywhere特点:提供免费的Python托管环境支持定时...
- 【Python程序开发系列】如何让python脚本一直在后台保持运行
-
这是我的第385篇原创文章。一、引言让Python脚本在后台持续运行,有几种常见的方式,具体方式可以根据你的系统环境和需求选择。二、Linux或macOS系统2.1使用nohup命令no...
- 运行和执行Python程序(运行python的程序)
-
一、Python是一种解释型的脚本编程语言,这样的编程语言一般支持两种代码运行方式:交互式编程在命令行窗口中直接输入代码,按下回车键就可以运行代码,并立即看到输出结果;执行完一行代码,你还可以继续...
- Python 初学者指南:计算程序的运行时长
-
在编写Python程序时,了解程序的运行时长是一项很有用的技能。这不仅能帮助你评估代码的效率,还能在优化程序性能时提供关键的数据支持。对于初学者来说,计算程序运行时长其实并不复杂,接下来就让我们看...
- pyest+appium实现APP自动化测试,思路全总结在这里
-
每天进步一点点,关注我们哦,每天分享测试技术文章本文章出自【码同学软件测试】码同学公众号:自动化软件测试码同学抖音号:小码哥聊软件测试01appium环境搭建安装nodejshttp://nodej...
- 血脉觉醒后,编程小白我是如何通过Deepseek和Trae轻松开发软件的
-
以下就是作为一个编程小白的我,是如何一步步开发软件的保姆级教程,请点赞收藏:第一步:打开#deepseek#(首先关闭深度思考和联网搜索)输入或复制你要让它做一个什么样软件的要求和提示词(你可以先用...
- 我用Deepseek+Trae写的python小软件,小白也能轻松用上模型啦!
-
利用AI大模型deepseek,搭配TraeCN,用半个小时做了一个本地Ollama安装部署和一键卸载的小工具,哈哈哈!感觉还不错#deepseek#一直想做一个本地Ollama安装部署和一键卸载...
- 在安卓设备上运行Python的方法(安卓能运行python吗)
-
技术背景在安卓设备上运行Python可以为开发者提供更多的开发选择和灵活性,能够利用Python丰富的库和简洁的语法来开发各种应用,如游戏、脚本工具等。然而,由于安卓系统原生不支持Python,需要借...
- 零基础小白,DeepSeek全自动编程,超详细提示词,一键生成软件!
-
我前面发表了文章,详细说了编程零基础小白,如何利用DeepSeek进行编程的全过程,感兴趣的可以去看看:DeepSeek全自动编程很多人不会写提示词,不知道怎么开始对话。话不多说,请先看下图中的对话,...
- 小白用DeepSeek+Python编写软件(用python制作软件)
-
周末无事,用DeepSeek生成全部代码,写了一个mp3音乐播放器,几分钟搞定,DeepSeek确实太强大了。我的提示语是这么写的:“请用Python语言写一个音乐播放器,支持常见音乐格式,我是Pyt...
- 零基础使用DeepSeek开发Windows应用程序,超简单超实用!
-
你敢相信,我居然用DeepSeek开发了一个能用的Windows软件!整个过程就像和学霸同桌组队做作业,我负责提需求,DeepSeek负责写代码改bug,全程碰到任何问题直接丢给DeepSeek即可。...
- 第二篇:如何安装Python并运行你的第一个程序
-
欢迎回到我的Python入门教程系列!在上一篇中,我们讨论了为什么Python是一门值得学习的编程语言。今天,我们将迈出第一步:安装Python并运行你的第一个程序。无论你是Windows、macOS...
- Python 运行,带你找入口,快速读懂程序
-
有C或Java编程开发经验的软件开发者,初次接触python程序,当你想快速读懂python项目工程时,是否觉得python程序有些太过随意,让你看有些无所适从,进而有些茫然。这是...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- Python自动化脚本应用与示例(python自动化脚本教程)
- 如何使用Python实现一个APP(如何用python做一个程序)
- 免费定时运行Python程序并存储输出文档的服务推荐
- 【Python程序开发系列】如何让python脚本一直在后台保持运行
- 运行和执行Python程序(运行python的程序)
- Python 初学者指南:计算程序的运行时长
- pyest+appium实现APP自动化测试,思路全总结在这里
- 血脉觉醒后,编程小白我是如何通过Deepseek和Trae轻松开发软件的
- 我用Deepseek+Trae写的python小软件,小白也能轻松用上模型啦!
- 在安卓设备上运行Python的方法(安卓能运行python吗)
- 标签列表
-
- python计时 (54)
- python安装路径 (54)
- python类型转换 (75)
- python进度条 (54)
- python的for循环 (56)
- python串口编程 (60)
- python写入txt (51)
- python读取文件夹下所有文件 (59)
- java调用python脚本 (56)
- python操作mysql数据库 (66)
- python字典增加键值对 (53)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python qt (52)
- python人脸识别 (54)
- python斐波那契数列 (51)
- python多态 (60)
- python命令行参数 (53)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- centos7安装python (53)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)