基于多源异构数据融合的人体跌倒检测研究进展

姜珊 刘勇国 李巧勤 陶文元 朱斌 邢萍

(1电子科技大学信息与软件工程学院中医知识与数据工程实验室,四川 成都 610054;
2成都市第八人民医院;
3四川省中医药科学院)

跌倒是指由于各种原因导致人体无意识、非自主的体位变化,从而倒在地面或更低位置所造成的意外事件〔1〕。世界卫生组织报告人体跌倒主要受生物因素、行为因素、环境因素和社会经济学因素等相互影响〔2〕。据预测,中国60岁及以上的老年人口2025年将达3亿,2035年超过4亿〔3〕。随着年龄增长,人体功能和平衡控制能力下降,导致跌倒风险增加。研究显示,30%的65岁及以上老年人每年均发生意外跌倒〔2〕,导致身体受伤,如骨折、颅脑损伤、扭伤及拉伤等,严重者甚至导致死亡,对老年人正常生活造成严重威胁。2008年美国和英国老年人因跌倒导致1 480亿元人民币(233亿美元)和138亿元人民币(16亿英镑)的医疗费用,中国老年人每年因跌倒所致直接费用超50亿元人民币,巨额医疗费用给家庭和社会造成沉重的经济负担〔4〕。因此,有效防控人体跌倒已成为公共卫生领域的重要研究问题〔5〕。

人体跌倒防控包含3个方面:跌倒事件前预警、跌倒事件中检测及跌倒事件后施救与伤害评估。人体跌倒后的跌倒状态保持时间是决定伤害程度的关键因素之一,及时发现跌倒行为并报警可显著减少跌倒事件对人体的不良影响〔6〕。人体跌倒行为检测包含数据采集、数据预处理、特征提取及跌倒检测。Mubashir等〔7〕根据传感器类型将跌倒检测系统分为3类:基于可穿戴传感器、基于环境传感器和基于视觉传感器的跌倒检测系统。Igual等〔8〕将视觉传感器归属于环境传感器类型,将跌倒检测系统划分为基于可穿戴传感器的跌倒检测系统和基于环境感知的跌倒检测系统,前者通常将可穿戴传感器放置于人体胸部、腰部、手腕、大腿等部位感知人体,如加速度计感知人体方位变化,陀螺仪探测人体行为角动量变化等〔9,10〕。基于环境感知的跌倒检测系统通常采用红外传感器、震动传感器、麦克风、雷达和视频传感器等设备放置于室内对人体进行定位与跟踪。研究人员发现,基于单一传感器的跌倒检测系统由于单一数据类型不能完整表征人体跌倒时身体姿态变化,造成检测精度不足〔11〕,故引入多传感器通过多源异构数据融合技术提高人体跌倒检测系统的检测性能〔12〕。多源异构数据融合是将多传感器数据进行关联与组合,实现多源信息准确全面地推断和估计〔13〕。根据融合方式可分为集中式融合和分布式融合〔14〕,集中式融合将多传感器的测量数据传输至融合中心,进行统一数据预处理与特征提取;
分布式融合是单一传感器根据测量数据进行局部状态估计并发送至融合中心,根据特定融合标准生成全局最优或次优状态估计。根据节点处理层次可分为数据层融合、特征层融合和决策层融合〔15,16〕,数据层融合将多传感器采集数据经最小程度处理(如加权平均或卡尔曼滤波等)后直接进行融合提取特征;
特征层融合将各传感器进行目标观测,提取代表性特征并对特征矢量进行融合;
决策层融合根据各传感器的局部状态估计综合分析后进行决策。人体跌倒行为检测系统将多传感器的多源异构信息进行全面综合,形成相对完整的人体感知描述,实现准确识别人体跌倒行为〔6〕。本文从传感器类型出发,通过可穿戴融合、环境感知融合、可穿戴与环境感知结合融合三方面综述国内外基于多源异构信息融合的人体跌倒行为检测相关研究工作。

基于可穿戴传感器的跌倒检测系统通过可佩戴或附着于人体表面的可穿戴设备采集人体日常行为数据,经过预处理和特征提取生成样本集进行跌倒检测模型训练〔17~19〕。可穿戴传感器主要包括加速度计、陀螺仪、磁强计、肌电传感器等。基于单一可穿戴传感器的人体跌倒检测由于单一数据源无法全面反映人体跌倒时的姿态变化规律,研究人员开展可穿戴传感器融合的跌倒检测研究〔20~24〕。

胡双杰等〔25〕利用三轴加速度计、陀螺仪和方向计提出一种基于长短期记忆(LSTM)循环神经网络(RNN)的跌倒检测算法,利用滑动时间窗获取传感器数据,经归一化处理后采用数据层融合作为网络学习模型输入进行迭代学习,通过softmax分类器进行跌倒行为识别,通过MobiAct和SisFall数据集进行测试,检测精度达99.68%和99.58%。

Yi等〔26〕利用加速度计和心电传感器开展人体跌倒检测,将两个三轴加速度计置于测试者胸部与大腿前侧,通过阈值法估计人体姿势,心电信号通过QRS信号处理技术计算心率以监测心脏活动,采用分布式融合方法通过SVM分类方法实现前向、后向、左右侧跌倒的行为检测。

李坤等〔13〕将陀螺仪和加速度计置于人体腰部设计跌倒行为检测系统,通过中值、均值滤波进行数据预处理,采用数据级融合提取人体加速度及其动态量、静态量、身体姿态角等特征,设计基于阈值法的跌倒检测方法,通过前倒、后倒、侧倒及日常行为(如行走、站立、坐下等)实验测试,算法灵敏度和特异性达96%和97%。

Felisberto等〔27〕利用加速度计、陀螺仪和磁力计研制跌倒行为检测系统应用于老年人日常监控与康复训练,通过对比数据级融合、特征级融合、决策级融合方式,分别研究扩展卡尔曼滤波器、直接余弦矩阵、控制算法等3类融合方法,将传感器集成模块置于胸前、臀部和大腿外侧进行实验,发现扩展卡尔曼滤波器数据级融合方式获得98%的最佳准确率。

可穿戴传感器数据融合方法促进跌倒行为识别率显著提升,由于人体可穿戴设备数量明显增加,造成现实场景应用困难,研究人员开展非接触式环境感知传感器条件下的人体跌倒检测研究。环境感知传感器主要包括视频、红外线、音频等,基于环境感知传感器的跌倒行为检测通过传感器数据采集、数据预处理和特征提取,进行跌倒行为识别〔28,29〕。单一环境感知传感器信息类型单一,无法完整表征人体跌倒时的姿态变化,研究人探索多环境感知传感器融合的跌倒检测研究〔30〕。

Zigel等〔31〕采集人体跌倒冲击地面的振动与声音信号开展跌倒行为检测,其中包括跌倒事件检测和分类。跌倒事件检测通过提取跌倒冲击的振动和声音信号能量特征,根据阈值法提取可疑跌倒事件;
事件分类采用特征层融合提取时间特征,即从振动和声音信号提取时间长度与振幅平方特征,此外,从振动信号提取冲击响应谱特征并从声音信号提取梅尔频率倒谱系数特征,通过顺序浮动前向搜索算法进行特征选择,采用最大似然估计识别跌倒行为,其检测灵敏度和特异性为97.5%和98.6%。

Li等〔32〕采用三轴加速度计和深度视频传感器,设计基于阈值法和支持向量机分类的跌倒协同检测平台,采用基于逻辑规则和D-S证据理论的决策级融合开展跌倒行为检测,阈值法的检测准确率达84.17%,支持向量机法的准确率达97.08%,协同检测的准确率达98.00%。

Chen等〔33〕提出红外超声传感器数据融合方法检测老年人跌倒行为,红外阵列传感器用于热点检测,超声波传感器用于范围检测,根据阈值法估计受试者位置,通过数据层融合采用支持向量机分类识别跌倒行为,针对站、坐、弯腰等日常行为动作和前倒、侧倒等跌倒动作开展实验,检测精度达91.3%。

可穿戴传感器适宜于昼间户外环境的人体跌倒检测,不适合室内休息和私密环境下使用;
环境感知传感器适合室内条件,不宜推广于户外环境应用〔34〕。研究发现将可穿戴传感器和环境感知传感器结合使用,可实现多场景、多信号通道的跌倒行为检测,提高跌倒检测精度和适应性〔35,36〕。

Poi Voon等〔37〕设计基于加速度计和音频传感器的跌倒检测系统,提出基于模糊逻辑的决策层融合跌倒检测算法处理加速度计和音频传感器信号,首先对人体加速度数据通过阈值法进行识别,再以跌倒音频阈值法再次识别,最终通过模糊逻辑识别人体跌倒,针对前倒、后倒、侧倒及日常行为(步行、上下楼梯、坐下、站立、蹲下等)开展实验,跌倒检测率达95%。

Xu等〔38〕根据人体运动中上下肢协调运动关系,提出基于协调运动融合的助行机器人系统,采用力感电阻传感器获取上肢握力,激光测距仪获取人体腿部行走速度,基于模糊逻辑控制和卡尔曼滤波器的协调运动融合算法预测人体行走状态下的运动意向,通过支持向量机进行跌倒检测,实现提前5.8 s检测人体跌倒。

Daher等〔39〕利用地砖下压力传感器和内嵌三轴加速度计针对老年公寓环境开展人体跌倒行为检测,提取地砖表面最大压力和压力持续时间以阈值法确定人体姿势(行走、站立、坐/跌倒),基于负载地砖数量区分人体坐下与跌倒行为,对三轴加速计与压力传感器进行数据级融合以阈值法识别人体平躺与跌倒动作,根据模糊逻辑分类实现人体跌倒行为检测,对人体步行、坐和站立条件下的跌倒情况进行实验,检测准确率分别达90.0%、94.1%和92.3%。

当前,研究人员已将多源异构数据融合技术引入人体跌倒行为检测研究,取得多个研究成果。但研究工作仍存在以下问题:①现有研究工作关注人体日常行为的三轴加速度、角速度传感信息和红外、音频等环境信息,缺乏人体生理体征信息(如血压、心率等)以开展全维度跌倒行为检测;
②跌倒行为检测中决策层数据融合将传感器数据作为局部状态估计,缺乏考虑估计结果的关联二义性问题,导致准确性降低;
③现有研究工作多在试验条件下进行且设定统一的跌倒行为检测参数,较难精准感知用户的动态个性化行为。

针对上述问题,人体跌倒行为检测后续可在以下方面开展相关研究:①开展异构多模态传感数据的无监督表征学习,获取血压、心率、肌电等人体生理表征数据,自适应关联日常行为信息,基于深度对抗学习人体跌倒时空场景并实现全维度人体跌倒检测;
②基于深度共现图卷积构建多元模型决策框架,建立多源数据决策点,根据决策点二义性生成相邻决策边,引入动态规划机制触发决策共现性,聚合共现决策点实现多源异构传感数据的决策级融合;
③基于增量学习方法面向用户动态个性化数据对模型进行持续更新与自适应调整,结合统计学习理论的精准泛化能力和单隐层神经网络的高效计算速度,实现渐进个性化、跌倒感知的智能化。

综上,随着我国老龄化进程加快,人体跌倒成为老年群体面临的主要危险因素之一,跌倒检测是有效防控人体跌倒的重要研究内容。由于单一传感器数据不能准确表征人体跌倒时身体姿态变化,基于多传感器多源异构数据融合的人体跌倒检测成为研究热点。

猜你喜欢加速度计阈值人体人体“修补匠”小哥白尼(趣味科学)(2022年1期)2022-04-26人体冷知识(一)大科技·百科新说(2021年10期)2021-12-31小波阈值去噪在深小孔钻削声发射信号处理中的应用制造技术与机床(2019年9期)2019-09-10人体可笑堂小猕猴学习画刊·下半月(2019年6期)2019-08-13基于自适应阈值和连通域的隧道裂缝提取西南交通大学学报(2018年6期)2018-12-18奇妙的人体止咳点特别健康(2018年3期)2018-07-04比值遥感蚀变信息提取及阈值确定(插图)河北遥感(2017年2期)2017-08-07基于遗传算法的加速度计免转台标定方法中国惯性技术学报(2017年1期)2017-06-09常温下硅微谐振加速度计零偏稳定性的提高光学精密工程(2016年5期)2016-11-07室内表面平均氡析出率阈值探讨衡阳师范学院学报(2016年3期)2016-07-10

推荐访问:研究进展 跌倒 融合