如何通过ESB平台配置API网关(esb接口是怎么传送数据的)
off999 2025-04-07 17:40 17 浏览 0 评论
ESB总线平台是企业信息化建设的基础平台,在信息化系统建设和集成过程中起到非常重要的作用。在数据治理、数据中台等核心方案中,ESB支撑MDM、DAP、IDM等平台的数据采集、同步、分发等操作,同时通过ESB平台的API管理能力,可以对服务接口进行统一管理、配置、编排、监控、报警等,实现跨系统的数据集成、业务集成,打通业务系统壁垒,为企业的信息一体化建设整合、数据治理、数据分析奠定基础。
ESB平台除了在数据中台等方案中支持数据采集、同步等操作,也可以独立进行API的管理,支持服务接口的开发、注册、代理,并对服务接口进行安全管控、监控预警,满足服务接口的集中管理要求。本次主要是从API管理功能出发,重点介绍ESB的API网关功能。
总体说明
ESB总线平台主要服务于数据集成、应用集成等需求,在应用集成、数据采集、业务集成等不同场景中,通过产品本身或与其他产品组合形成灵活的解决方案,以满足具体的使用场景。
1.总体架构
ESB平台作为核心产品,广泛应用于数据治理、数据中台等方案中,以数据中台为例, ESB作为数据总线通过实时、离线等方式进行数据采集与加工汇总,完成DAP的数仓建设过程。
数据中台方案以DAP数据分析平台为核心,包括了数仓搭建、数据分析、数据挖掘、资产建设等内容。数仓建设通过平台构建ODS、DWD、DWS等,实现数仓分层建设,并通过数据集、立方体构建ADS层,实现数据的可视化分析展现。而ESB作为ETL工具,主要满足数据从业务系统到ODS、ODS到DW的抽取、加工、转换、汇总过程。在数据集成整合过程中,通过MDM基础数据平台实现基础数据治理,构建数仓维表,保证数仓中业务数据的中准确性。
2.功能架构
ESB平台功能主要包括:设计器、Runtime运行时、SMC管理控制台三部分,具体功能架构如下图所示。
1.设计器:图形化的开发工具,提供工程、服务、流程向导功能,可以快速拖拽、配置、开发服务接口,设计器提供数据转换、数据库操作、外部调用等各类不同的图形化组件,实现低代码的服务开发与部署发布;
2.Runtime运行时:ESB底层运行引擎,为服务运行、调用、编排等提供底层运行机制,支持API、流程、路由的安全、发布、运行;
3.SMC管理控制台:Web端的管理平台,可以通过浏览器页面进行操作,针对服务工程进行查看、启停、安全配置,支持对API接口进行注册、配置、代理、安全控制;同时可以对工程、服务、流程等进行实时监控和统计分析。
3.API网关
API网关功能是API管理中的一个子功能,主要在是服务注册、配置、代理的基础上,通过配置API网关,实现对服务接口访问地址的统一、规范管理,实现集中化的接口管控。API网关可以基于API服务接口动态生成网关地址,支持按照API分组和API地址两种方式生成网关。
1.API分组:对API接口进行分组管理,按照分组编码和接口编码生成API网关地址;
2.API地址:以注册、配置、代理的服务接口地址为基础,通过组合固定的路径形成API网关地址。
API管理
API管理是ESB的SMC模块中的配置功能,是可以独立在SMC配置使用的功能,API管理的主要作用是将内外部的服务接口进行统一注册、配置与管理,对外部应用提供统一的访问地址的同时,对接口访问进行安全、限流等控制,从而保证接口的访问安全。
1.API服务
通过导入、注册、配置的方式新增API服务接口,并对接口进行参数配置、调用测试等。
1.导入:导入ESB设计器开发的Web或Rest服务:
2.注册:通过接口URL地址注册外部系统服务:
3.配置:手动定义服务编码,再通过处理器的方式调用注册或导入的API接口,从而实现对接口的调用和编排:
2.API代理
主要是对API服务中定义的服务接口进行代理,同时对外提供代理后的访问地址,避免直接暴露源接口地址,支持单代理与多代理模式,单代理即一个API服务对应一个代理服务,而多代理可以实现将多个不同的API服务发布到一个代理服务中,从而实现API服务的组合管理。
1.导入:将API服务中的服务接口直接导入API代理进行代理配置:
2.新增:手动新增代理服务,再手动添加API服务中的服务接口,多代理就是手动新增进行配置:
3.手动添加需要代理的服务接口:
3.API接口
通过API分组对API服务下的接口进行添加与管理:
1.统一管理API分组:
2.在分组下添加API接口,从API服务中选择服务下的具体接口:
通过API接口实现服务接口的分组管理,主要作用:
1.配置服务:配置处理器时,从API接口清单中选择调用的接口:
2.API网关:通过API分组或API地址生成API网关,通过API网关地址进行统一访问调用:
3.应用集成:集成场景配置选择来源或目标接口时,通过API接口清单中进行选择:
4.实时集成:在配置Flink实时集成时,如果目标为接口,则从API接口清单中选择接收接口:
API网关
API网关和配置服务、API代理是ESB实现API管理,并对外提供服务的有效方式,其中:
1.API网关配置最为简单,只需要在API接口中开启配置即可,但API网关地址的调用方式和源接口基本一致,包括参数、认证、请求头等;
2.配置服务最复杂,需要配置处理器和参数等信息,但配置服务更灵活,可以进行参数处理转换,多接口分发等复杂业务场景;
3.代理的配置过程比API网关复杂但比配置服务简单,同时也支持通过处理器的方式对参数进行处理。
1.实现方式
API网关主要是通过SMC配置+OpenResty转发实现的,SMC配置主要是配置API网关的访问路径,并把API网关的访问信息存储到Redis存储中,而OpenResty通过访问信息从Redis中获取原始接口访问地址,从而实现接口调用。所以API网关的适用性最广,它对于注册、配置、代理的接口都可以配置网关接入,形成统一的访问地址。
2.环境要求
对于需要启用API网关的环境,需要满足两个前置条件:
1.需要部署OpenResty,API网关主要是通过Lua动态获取和构建API接口访问信息的,而OpenResty通过Nginx和Lua实现API网关的动态解析与转发;
2.单机部署的Redis数据库,主要用于存储和读取API网关的访问路径信息,OpenResty通过读取Redis获取API网关对应的接口地址。
3.接入配置
因为API网关是通过OpenResty实现的动态转发,所以需要在配置OpenResty的访问信息,如果是k8s容器化部署的环境,通过UMC的接入配置进行访问配置,如果是单机部署,则需要手动添加API网关的代理转发片段。
1.UMC接入配置:
(1)在接入配置中添加API网关的模版片段:
(2)修改Redis连接参数(IP、端口、密码):
2.单机部署:直接在OpenResty的Nginx配置文件(nginx.conf)中引入API网关的Lua片段:
配置说明
在SMC中API网关的配置主要是注册、配置或代理接口,然后基于注册、配置、代理的接口启用API网关功能。同时在配置时需要配置Redis资源,以保证API网关访问地址的存储管理。
1.前置配置
1.在共享资源中配置Redis数据库信息:
注意:Redis推荐采用单机Redis,访问IP、端口、密码根据部署的Redis定义。
2.在SMC的全局变量中配置API网关访问信息:
注意:
(1)addressPrefix为API网关对外提供访问地址的前缀,根据环境修改IP即可,如果修改apis,注意修改OpenResty的转发配置;
(2)redisResCode的值需要和贡献资源中注册的Redis资源编码保持一致。
2.接口注册
1.在API服务中通过注册或导入服务:
2.配置接口及参数:
3.调用测试:
3.接入配置
1.在API接口中添加注册的服务接口:
2.启用API网关,通过API分组生成网关地址:
3.启用API网关,调用测试:
4.改用API地址的方式测试:
总结说明
ESB总线平台是公司的核心产品之一,在集成中台、数据中台、主数据治理、数据治理等方案中都发挥着非常重要的作用。根据不同方案中ESB平台的作用以及数据处理的过程不同,ESB平台又可以分成服务总线和数据总线,而API管理主要应用于服务总线的建设中。
1.功能总结
API管理是ESB平台中非常重要的功能,通过API管理可以实现企业内外部服务接口的统一管理,满足接口集成、接口安全、报警通知等功能,并且基于API管理的集成、配置可以直接在ESB的SMC控制台中完成。而在集成对接过程中,API网关、配置服务、API代理是API管理中对外提供接口信息的有效方式,而其中又以API网关的配置方式最简单,覆盖内容最广。
2.集成方案
ESB作为服务总线时,主要强调对服务接口的统一管理,基于服务接口进行系统集成,如集成中台、业务集成等方案;数据总线主要利用ESB的数据抽取、加工、转换、写入以及实时数据采集能力,实现异构系统的数据采集,主要应用数据中台和数仓建设方案。根据实际项目的需要,ESB是可以同时发挥服务总线和数据总线的能力。
3.个人总结
ESB平台的API管理功能随着产品功能迭代不断完善,针对于多系统调用、同步/异步调用、单处理器重试等场景都实现了良好的支持,在实际项目中也得到了很好的验证,配置使用的方式越来越便捷,大大提升了实际项目中使用效果和交付效率。
对实施人员而言,熟练掌握ESB的使用非常重要,可以快速满足实际业务中各类对接场景的需求,同时ESB设计器提供低代码开发的能力,在实际项目中可以通过ESB进行服务接口的定制化开发需求。在实际业务中,ESB作为贯穿各个系统的总线平台,在实现系统集成时会同步记录日志信息,便于对问题的排查以及报警通知,提升系统集成的安全性和可控性。
本文由@数通畅联原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~
相关推荐
- 使用 python-fire 快速构建 CLI_如何搭建python项目架构
-
命令行应用程序是开发人员最好的朋友。想快速完成某事?只需敲击几下键盘,您就已经拥有了想要的东西。Python是许多开发人员在需要快速组合某些东西时选择的第一语言。但是我们拼凑起来的东西在大多数时候并...
- Python 闭包:从底层逻辑到实战避坑,附安全防护指南
-
一、闭包到底是什么?你可以把闭包理解成一个"带记忆的函数"。它诞生时会悄悄记下自己周围的变量,哪怕跑到别的地方执行,这些"记忆"也不会丢失。就像有人出门时总会带上...
- 使用Python实现九九乘法表的打印_用python打印一个九九乘法表
-
任务要求九九乘法表的结构如下:1×1=11×2=22×2=41×3=32×3=63×3=9...1×9=92×9=18...9×9=81使用Python编写程序,按照上述格式打印出完整的九...
- 吊打面试官(四)--Java语法基础运算符一文全掌握
-
简介本文介绍了Java运算符相关知识,包含运算规则,运算符使用经验,特殊运算符注意事项等,全文5400字。熟悉了这些内容,在运算符这块就可以吊打面试官了。Java运算符的规则与特性1.贪心规则(Ma...
- Python三目运算基础与进阶_python三目运算符判断三个变量
-
#头条创作挑战赛#Python中你学会了三步运算,你将会省去很多无用的代码,我接下来由基础到进阶的方式讲解Python三目运算基础在Python中,三目运算符也称为条件表达式。它可以通过一行代码实现条...
- Python 中 必须掌握的 20 个核心函数——set()详解
-
set()是Python中用于创建集合的核心函数,集合是一种无序、不重复元素的容器,非常适合用于成员检测、去重和数学集合运算。一、set()的基本用法1.1创建空集合#创建空集合empty_se...
- 15个让Python编码效率翻倍的实用技巧
-
在软件开发领域,代码质量往往比代码数量更重要。本文整理的15个Python编码技巧,源自开发者在真实项目中验证过的工作方法,能够帮助您用更简洁的代码实现更清晰的逻辑。这些技巧覆盖基础语法优化到高级特性...
- 《Python从小白到入门》自学课程目录汇总(和猫妹学Python)
-
小朋友们好,大朋友们好!不知不觉,这套猫妹自学Python基础课程已经结束了,猫妹体会到了水滴石穿的力量。水一直向下滴,时间长了能把石头滴穿。只要坚持不懈,细微之力也能做出很难办的事。就比如咱们的学习...
- 8÷2(2+2) 等于1还是16?国外网友为这道小学数学题吵疯了……
-
近日,国外网友因为一道小学数学题在推特上争得热火朝天。事情的起因是一个推特网友@pjmdoll发布了一条推文,让他的关注者解答一道数学题:Viralmathequationshavebeen...
- Python学不会来打我(21)python表达式知识点汇总
-
在Python中,表达式是由变量、运算符、函数调用等组合而成的语句,用于产生值或执行特定操作。以下是对Python中常见表达式的详细讲解:1.1算术表达式涉及数学运算的表达式。例如:a=5b...
- Python运算符:数学助手,轻松拿咧
-
Python中的运算符就像是生活中的数学助手,帮助我们快速准确地完成这些计算。比如购物时计算总价、做家务时分配任务等。这篇文章就来详细聊聊Python中的各种运算符,并通过实际代码示例帮助你更好地理解...
- Python学不会来打我(17)逻辑运算符的使用方法与使用场景
-
在Python编程中,逻辑运算符(LogicalOperators)是用于组合多个条件表达式的关键工具。它们可以将多个布尔表达式连接起来,形成更复杂的判断逻辑,并返回一个布尔值(True或Fa...
- Python编程基础:运算符的优先级_python中的运算符优先级问题
-
多个运算符同时出现在一个表达式中时,先执行哪个,后执行哪个,这就涉及运算符的优先级。如数学表达式,有+、-、×、÷、()等,优先级顺序是()、×、÷、+、-,如5+(5-3)×4÷2,先计算(5-3)...
- Python运算符与表达式_python中运算符&的功能
-
一、运算符分类总览1.Python运算符全景图2.运算符优先级表表1.3.1Python运算符优先级(从高到低)优先级运算符描述结合性1**指数右→左2~+-位非/一元加减右→左3*//...
- Python操作Excel:从基础到高级的深度实践
-
Python凭借其丰富的库生态系统,已成为自动化处理Excel数据的强大工具。本文将深入探讨五个关键领域,通过实际代码示例展示如何利用Python进行高效的Excel操作,涵盖数据处理、格式控制、可视...
你 发表评论:
欢迎- 一周热门
- 最近发表
-
- 使用 python-fire 快速构建 CLI_如何搭建python项目架构
- Python 闭包:从底层逻辑到实战避坑,附安全防护指南
- 使用Python实现九九乘法表的打印_用python打印一个九九乘法表
- 吊打面试官(四)--Java语法基础运算符一文全掌握
- Python三目运算基础与进阶_python三目运算符判断三个变量
- Python 中 必须掌握的 20 个核心函数——set()详解
- 15个让Python编码效率翻倍的实用技巧
- 《Python从小白到入门》自学课程目录汇总(和猫妹学Python)
- 8÷2(2+2) 等于1还是16?国外网友为这道小学数学题吵疯了……
- Python学不会来打我(21)python表达式知识点汇总
- 标签列表
-
- python计时 (73)
- python安装路径 (56)
- python类型转换 (93)
- python进度条 (67)
- python吧 (67)
- python的for循环 (65)
- python格式化字符串 (61)
- python静态方法 (57)
- python列表切片 (59)
- python面向对象编程 (60)
- python 代码加密 (65)
- python串口编程 (77)
- python封装 (57)
- python写入txt (66)
- python读取文件夹下所有文件 (59)
- python操作mysql数据库 (66)
- python获取列表的长度 (64)
- python接口 (63)
- python调用函数 (57)
- python多态 (60)
- python匿名函数 (59)
- python打印九九乘法表 (65)
- python赋值 (62)
- python异常 (69)
- python元祖 (57)