方 旭，顾 毅，杨志军
(无锡雪浪数制科技有限公司，浙江 无锡 214121)
航空工业是体现国家综合国力和国防水平的战略性高科技产业，具有技术密集、高度综合的特点，航空工业的发展对国家的基础工业体系和科学技术发展具有巨大的产业辐射效应[1]。航空企业生产类型为典型的离散制造过程，需要对生产线按照工艺对象进行专业化布置，使物流管理成为连接产品研制供应链和生产制造各部门的关键环节。据统计，产品制造过程中，90%左右的时间用在存储、等待加工和运输等待等物流时间，物流费用占总本的50%[2]。因此，建立科学的物流管理体系成为降低生产成本、缩短研制周期、实现航空工业快速发展的关键问题。
国内航空制造企业物流信息化还处于初级阶段，企业内部不同设备、不同工位、不同车间存在数据孤岛的现象。信息化水平低会导致信息无法及时传递，信息与物流不对等，造成物料等待、仓库积压等问题，严重制约物流效率的提升。由于业务流程未完全实现信息化贯通，不利于各系统各部门之间的数据传递和交换，从而无法保证数据传输的完整性、准确性和及时性[3]。通过 SAP、ERP、PDM、OA、CAPP 等众多系统的集成，飞机的研发、制造、工艺、物流、质量等方面信息化技术得到了长足发展，但各种信息化软件的输入输出数据格式属性不一致，软件之间的链路尚未打通，信息孤岛尚未被消除，对质量信息化建设极为不利[4]。
目前对智能化的物流系统研究更多关注体系的建立[5]及系统性问题[6]；
在具体的软件实施层面，较多是基于现有国外商业软件的应用性研究[7-8]。然而在航空发动机的研发设计、加工制造工艺等领域已进行了大量的数据系统开发[9]、数据可视化[10]、数据管理[11]等相关研究，为飞机制造的国产化提供了极大的支持。为了实现全流程的信息化与智能化，飞机本体复杂系统的数字化制造变得越来越紧迫。
面对民用航空制造的复杂物流系统，应考虑大飞机制造系统多智能体、多物料、多物流设备等场景需求，提出结合多源和多类型数据接入、数据开发、数据治理和数据应用的航空制造物流系统数据资产管理平台(以下简称管控平台)。通过对民用航空制造物流系统人、机、料数据的全面采集、清洗、处理、存储、打通，为民用航空制造物流场景提供大数据与人工智能技术支持，为民用飞机制造系统的复杂物流智能综合协同管控提供技术支撑，为软件的国产化及自主可控提供借鉴。
2.1 多源异构数据的采集与集成接口子系统
民机制造系统的数据主要分为实时数据和离线数据。管控平台的一大特色在于可实现多源异构数据的接入。在实际的飞机制造过程中，存在实时加工过程数据、非实时结构化数据、过程历史数据等[12]。为满足高实时性的需求，实时加工数据一般须通过实时内存数据库进行管理，结构化数据可采用关系型数据库进行存储管理。过程历史数据具有数据量大、数据项不确定的特点，不适合用关系数据库处理。因此，多源异构数据在实时性、数据量、存取速度和数据利用时效性等方面都存在差异。对多源异构数据的处理需结合多种数据存储与管理方法，满足多元化数据管理需求。
2.1.1 离线非实时数据的采集
为了实现离线数据的接入，管控平台集成的离线同步方案使用开源框架DataX，并采用定时同步机制获取数据。DataX框架支持包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS、SAPHANA等各种异构数据源之间高效数据同步。如图1所示，DataX将复杂的网状结构同步链路转化为星型数据链路，DataX作为中间传输载体负责各种数据源的连接。当需要接入新的数据源时，只需要将此数据源对接到DataX，便能实现与已有的数据源的无缝同步。
图1 数据同步链路方法的对比
具体而言，DataX采用Framework+plugin架构构建。如图2所示，DataX在实现数据同步的过程中，将数据源的读取和写入接口抽象为Reader/Writer模块。其中Reader为数据采集模块，负责采集来自于数据源的数据，并将数据发送给Framework。Writer为数据写入模块，负责不断向Framework提取数据，并将数据写入到目的端。Framework连接Reader和Writer模块，形成两者之间的数据传输通道，用于处理数据的缓冲、流控、并发及转换等核心技术问题。
通过基于DataX框架的离线数据采集方案包括并发、记录流、字节流三种流控模式，可任意控制作业的速度，通过一定的控制算法可达到最佳的同步速度。该方案还具有较强的同步性能。具体而言，每一种读插件都有一种或多种切分策略，从而将作业合理切分成多个Task并行执行，单机多线程执行模型可以让DataX框架的执行速度随并发成线性增长。除此之外，基于DataX框架还具有如下优点：①可靠的数据质量监控，能够实现让数据完整无损的由输入端传输到目的端。②丰富的数据转换功能。③精准的速度控制。④健壮的容错机制，可以很方便地实现多层次、局部或者全局的测试及重试。
2.1.2 实时数据的采集
实时数据可以通过特殊设计的API实时获取。如图2所示，少量实时数据可直接通过Websocket同步获取。对于现场已部署的第三方支持实时数据交换的应用程序，如果数据量适当且对响应性要求较高，推荐采用Websocket方案。Websocket方案尤其适用于喷码系统、AGV实时定位、图片或视频传输等应用场合。
图2 基于消息队列的数据湖同步
Websocket连接建立后，后续数据会以帧序列的形式双向传输。在客户端断开Webscket连接或Server端中断连接前，不需要客户端和服务端重新发起连接请求。在较多设备进行并发交互、负载流量大的情况下，采用WebSocket连接可极大地节省网络带宽资源消耗。客户端发送和接受消息是在同一个持久连接上发起，实时性优势明显。各种语言都有成熟且配套的针对WebSocket连接的解决方案，利于低代码化的实现。
对于大批量的实时数据，可通过消息队列同步实现。数据湖中的实时数据和智能物流管控通过一个消息服务器进行数据交换。数据湖发送消息到消息服务器，如果智能物流管控订阅数据湖中发送过来的消息，消息服务器会将消息推送给智能物流管控，双方约定消息格式即可。
基于消息队列的实时数据对接方法，不论用什么语言系统开发，均采用统一的消息格式，可更方便地进行解耦。消息队列也会根据不同的需要将数据进行持久化，保证数据在投递的过程中不会丢失，具有更高的可靠性。来自一个子模块的数据可以准确地送达到另一个模块，等确定被使用或消费时，另一子模块会进行回复，通过这样的“握手”及应答操作，极大提高了系统的可靠性。在数据的传输中，由于JMS定义了规范，有很多成熟的开源消息控件可供选择。基于消息队列的实时数据对接的交互方案，标准及接口均较为通用，来自其他软件的相应接口也可以非常方便的接入。本论文的研究中运用广泛使用的Kafka协议及接口，除此之外还可使用RabbitMQ、RocketMQ等接口组件。消息队列的部署方式比较灵活，可以采取同步、异步等方式进行处理，极大地提高了平台的适用范围和应用场景。
多源异构数据的采集与集成接口模块通过建立实时和非实时的数据接入，实现信息化贯通，利于各系统、各部门之间的数据传递和交换，保证了数据传输的完整性、准确性和及时性。
2.2 数据开发子系统
民机制造系统物流场景数据的数据开发子系统运用ETL算法，可实现全删全插、追加、更新、历史拉链等数据操作。
全删全插算法的数据处理只保存当前最新的全量数据，不保留过往历史信息，要求源表为全量数据表，具体通过清空目标表和源表全量插入2个步骤实现。
追加算法将事件类流水数据写入目标表，如员工打卡记录，要求源表为增量数据表，具体可通过源表直接插入目标表实现。
更新算法适用于对历史信息变化无需进行跟踪保留的情况，只保留其最新状态且数据量有一定规模。具体通过3个步骤实现：①PK主键对比。②目标表和源表PK一致时更新PK属性。③源表存在但目标表不存在的PK，记录直接插入。
历史拉链算法用于记录数据的历史变化信息。在目标表设计辅助字段来标识数据信息生效的起止时间，该算法相比其余算法对数据的处理最精细，代价也最大。具体通过3个步骤实现：①PK主键对比。②目标表中当前有效记录与源数据全字段比对，有差异的数据集做闭链操作。③取源数据与目标表当前有效记录有差异的数据集以及源数据在目标表不存在的记录作为当前有效记录插入目标表。
数据开发子系统对原始数据进行进一步处理，为智能运维及管理系统提供准确的源数据。同时，数据开发子系统对数据格式及属性进行统一，打通不同专业应用软件之间的数据孤岛。
2.3 数据的智能运维与管理子系统
民机制造系统物流场景数据的智能运维与管理子系统主要分为数据质量监控模块、结果查看浏览器两个组成部分。
2.3.1 数据质量监控模块
数据质量监控模块支持多种异构数据源的质量校验、通知及管理服务。数据质量监控可全程监控加工流水线的数据，如表1所示的质量规则，及时发现问题，通过强弱报警通知数据开发人员及时处理问题。数据质量以数据集为监控对象，当离线数据发生变化时，数据质量监控模块会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散。数据质量监控提供了历史校验结果的管理，以便对数据质量进行分析和定级。
表1 规则管理表
2.3.2 结果查看浏览器
结果查看浏览器支持查看数据质量监控任务的运行记录及结果详情。结果表中的每行记录对应一个数据质量监控任务，由表名称、表描述、任务频率、任务状态、任务修改时间、规则数、间隔数及操作等几个属性描述。其中操作属性可对任务规则进行配置，并对任务详情及任务结果进行进一步查看。通过结果查看浏览器对数据质量监控设置规则，并实现了结果的可视化。
数据的智能运维与管理子系统作为管控平台的功能输出模块，提供了便捷、可操作性强的人机接口。通过人机交互和实时数据采集，从海量的生产数据中，在数据开发子系统的支持下获取并确定唯一性强、血缘关系清晰、数据模型规范的数据；
基于此，对飞机制造物流过程的业务流数据、物料流数据和决策信息实现统一的管控和调度，从而促进企业的精细化管理，最大限度降低管理成本、提高产品质量、提高生产效率。
本文针对民用航空制造物流系统信息化程度低的问题，提出了初步的数字化管理与协同平台。通过多源异构数据的采集与集成子系统实现生产过程的实时数据及非实时数据(包括加工制造数据及流程管理数据)的准确采集；
原始数据通过数据开发子系统的处理实现数据清洗、处理及存储，数据格式得到统一，从而进一步打通不同流程及系统间的数据孤岛。经过处理的高质量数据一部分进入到数据的智能运维与管理子系统，实现了基于数据的质量管理及结果展示。本文的研究成果可对航空制造企业的数字化及信息化提供技术支持，为制造流程物流管理的自动化及智能化提供支撑。