python+OPC UA，实现数据边缘采集

概要：

边缘计算，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求，可实现设备层与自动化层的无缝连接，从而在生产端实现对生产数据的直接读取和处理。当工业应用程序底层的框架条件发生变化时，边缘设备上的应用可以实现同步调整，以保持设备功能性的实时更新。

然而该产品与之配套的边缘解决方案目前并未正式发布，于是结合西门子S7-1500的所具备的OPCUA服务器，用python进行数据采集，并上报到阿里云服务器，实现数据的边缘采集处理并上报到云端

关键字

Python edge compute OPC UA Ali Cloud S7-1500 nanomsg msgpack

背景或相关技术：

各个汽车主机厂的都具备PMC系统，但是目前的PMC系统存在很多问题，比如由于数据采集频率低导致数据颗粒度不够，数据采集接口繁杂，采集数据成本高，以及上云的成本高等等。

而本案例是基于python编程，采用开源的软件包 free OPCUA 、 asyncio、nanomsg、 msgpack等，实现数据采集，存储及上报到阿里云平台。

• 什么是OPC UA

为了应对标准化和跨平台的趋势，为了更好的推广OPC，OPC基金会近些年在之前OPC成功应用的基础上推出了一个新的OPC标准-OPC UA。OPC UA接口协议包含了之前的 A&E, DA,OPC XML DA or HDA，只使用一个地址空间就能访问之前所有的对象，而且不受WINDOWS平台限制，因为它是从传输层Scoket以上来定义的，导致了灵活性和安全性比之前的OPC都提升了。

OPC UA的优势

1. 一个通用接口集成了之前所有OPC的特性和信息，A&E, DA,OPC XML DA or HAD
2. 更加开放，平台无关性，WINDOWS,Linux都能兼容
3. 扩展了对象类型，支持更复杂的数据类型比如变量，方法和事件
4. 在协议和应用层集成了安全功能，更加安全
5. 易于配置和使用

核心的区别是因为OPC和OPC UA协议使用的TCP层不一样，如下：

OPC是基于DOM/COM上，应用层最顶层；OPC UA是基于TCP IP scoket 传输层.

• OPCUA库

而free OPCUA是基于Python 的OPC UA 开源库，遵从 IEC 62541可以实现OPCUA客户端和服务器。GitHub地址为https://github.com/FreeOpcUa/python-opcua。

安装python OPCUA库，在命令行输入： pip3 install opcua

然后回车即可

Ubuntu安装:

apt install python-opcua # Library

apt install python-opcua-tools # Command-line tools

• python版本要求

Python > 3.4: cryptography, dateutil, lxml and pytz.

• 在此项目中我们采用OPCUA订阅和发布的模式进行数据采集

图2.4.1展示了server端的对象结构

图2.4.2发布和订阅的机制

-图2.4.3 S7-1500发布和订阅的机制

-图2.4.4 S7-1500采样

• asyncio --- 异步 I/O

asyncio 是用来编写并发代码的库，使用 async/await 语法。

asyncio 被用作多个提供高性能 Python 异步框架的基础，包括网络和网站服务，数据库连接库，分布式任务队列等等。

asyncio 往往是构建 IO 密集型和高层级 结构化 网络代码的最佳选择。

是Python 3.4版本引入的标准库，直接内置了对异步IO的支持。

• nanomsg

nanomsg是一个socket library，它提供了几种常见的通信模式，为了能使网络层快速、可扩展并且能易于使用。用C实现，且适用于广泛的操作系统，几乎不需要依赖。这里的通信模式（也称为“可扩展性协议”）是构建分布式系统的基本框架。通过组合它们，可以创建广泛的分布式应用程序。

目前可用的可扩展性协议有：

PAIR - 简单的一对一沟通

BUS - 简单的多对多通信

REQREP - 允许构建无状态服务集群来处理用户请求

PUBSUB - 将消息分发给订阅消息的用户

PIPELINE - 汇总来自多个来源的消息，并在许多目的点之间进行负载平衡

SURVEY - 允许一次查询多个应用程序的状态

阿里云平台采用的就是这个协议

• msgpack

?JSON更轻量的数据结构的序列化?案，在保证?性能的同时，节省了传输量，提?了效率。

应注意：序列化应当使?确定的数据类型，例如C语?实现中，应当使?msgpack_pack_fix_int32系

列接?，不要使?msgpack_pack_int32，注意 _fix_ 的区别。

msgpack?有多种语?的实现，详情参阅：https://msgpack.org/

这个包我们会用来打包数据并转换成二进制字节流，然后通过nanomsg发送到阿里云上。

图2.4.6 导入python相应的库并设置PLC参数

图2.4.7 启动异步IO，实例化OPCUA

客户端并连接OPCUA服务器，启动订阅服务

图2.4.8 定义OPCUA客户端类与方法

图2.4.6 定义OPCUA回调函数，并将值放入redis数据库

• -至此，基于S7-1500的OPCUA的数据采集和存储已经实现，下一步需要将数据打包上传到阿里云服务器

图2.4.7 导入namomsg msgpack库并设置参数表

• 阿里云服务器采用的是msgpack协议作为通讯报文，所以需要定义2个函数实现数据打包和解包

打包：数据上传至阿里云时，需要调用该函数，将数据打包成符合阿里云接口的通讯报文发出去

解包：数据从阿里云下发到边缘侧时，需要调用该函数，将通讯报文解包成string，然后返回字典。

图2.4.8 数据打包和解包

• 通讯握手需要符合以下的工作流程

图2.4.9 通讯建立流程图

图2.4.10 通讯建立请求格式

• Python通讯建立代码如下：

图2.4.11 通讯建立握手代码

• 点位列表上报

图2.4.12 点位列表上报格式

图2.4.13 点位数据上报格式

• 点位数据上报Python代码

图2.4.14 点位数据上报Python代码

图2.4.15 点位数据下行

图2.4.15 点位数据下行python代码

• 系统架构图

• 目前该案例实现了红色框内的功能，后期可以结合MQTT协议以及websocket协议，将数据分发或者传入到前端进行展示。
• OPCUA数采运行效果如下
• Nanomsg阿里云运行效果如下

技术实践经历及总结：

进过接近1个多月的时间的测试，还发现有一些bug存在，opcua连接在网络不稳定时重连接的时候会导致连接不断增加，session会话没有及时关闭，订阅也没有取消，后期需要增加在重连的时候先取消订阅，再关闭session会话，然后再连接，这样就能避免这样的问题，

与阿里云对接是发现，在接收从阿里云下发的数据时，由于此方法会阻塞通道，而且无法预判服务器何时会发数据，所以在程序中增加了接收超时的定时器，如果10秒内未接收到来自云端的数据，即马上重连，再次接收，测试下来运行比较稳定，也已经基本满足要求。

该案例也分别在ubuntu和centos两个Linux系统以及window平台测试通过。