基于深度学习的可穿戴交互式全身运动追踪与触觉反馈网络系统

基于深度学习的可穿戴交互式全身运动追踪与触觉反馈网络系统由于虚拟现实也就是 VR 以及运动重建技术取得了突破, 运动追踪系统有关需求随之呈现为爆发式增长, 把物联网即 IoT 领域的创新成果进行结合, 这样的系统已经催生出了从沉浸式用户体验到个性化医疗解决方案等具有颠覆性的应用。但是呢, 传统系统常常难以做到精准追踪与反馈, 而专门用于精细动作分析的设备不但价格高昂, 而且还受到受控环境的限制。本研究开发出了一款具有全身体动分析以及实时双向触觉反馈的具备高性价比的系统。此系统运用柔性贴片式皮肤触觉装置, 再配合远程机器学习框架, 它不但能够捕捉全身动作, 而且还可以提供个性化、且实时同步的反馈。该系统的闭环设计, 为实时双向触觉提示奠定了基础能够有效提升用户响应速度, 以及交互体验。VR跟运动重建技术取得突破, 致使运动追踪系统的需求急剧增长, 再结合物联网的成果, 催生出具有颠覆性的应用。然而, 传统系统难以进行精准的追踪反馈, 精细动作分析设备价格高昂, 还受到环境局限。在这样的情况下, 本研究开发出了高性价比系统, 该系统采用柔性贴片式皮肤触觉装置以及远程机器学习框架, 能够捕捉全身动作, 提供个性化的实时反馈, 其闭环设计能够提升用户的响应速度以及交互体验。研究背景基于传感的触觉反馈交互系统发展迅速, 它能将实时生理监测与情境响应式触觉刺激相融合, 变更人机交互模式, 构建起双向交互平台, 打通物理与虚拟的连接通道。当前, 现代交互系统整合了多种传感模态以及触觉执行器, 搭建了反馈回路, 从而提升用户体验, 其中动作捕捉技术是关键所在, 它可为远程交互提供必要信息, 精准地感知并解读动态动作, 这对于沉浸式应用极为重要。然而, 构建一个可穿戴平台, 该平台具备集成动作追踪以及触觉反馈功能, 这存在着技术方面的挑战, 当下的现有平台大多是针对特定的部位, 如此便制约了应用场景的真实感觉以及沉浸感觉。在多惯性传感器的时间同步方面有难题, 在漂移校正方面有难题, 在实时动作分类方面也有难题, 这些难题阻碍了实时交互应用的落地。本研究提出了柔性贴肤传感网络, 它是由多个柔性贴片组成的, 这些柔性贴片集成了三轴加速度计与触觉执行器 , 它可以贴附在人体的不同部位 , 利用精准 时间同步驱动技术搭建了闭环双向交互架构 , 降低了系统延迟 , 减少了服务器依赖 , 研发的机器学习分类器能够处理不同部位的动作数据 , 提升了追踪精度 , 使得系统性能得到跃升。本研究将触觉反馈技术予以引进, 把焦点对准可穿戴振动触觉平台, 仅仅凭借振动触觉信号便能够维系用户参与度以及感知灵敏度, 从而为沉浸式系统给出解决办法。本系统对异地用户实时同步触觉反馈双向交互予以支持, 这对于沉浸式应用发展有着重大意义。研究团队在虚拟现实或者增强现实的场景下, 对验证系统展开工作, 致力于营造出自然状态下的交互体验, 使其能够具备支持居家使用的特性, 去采集相关数据来定制出有着个性化的方案, 从而达到增强远程交流之时的存在感以及互动性的目的。综上, 本研究提出了一种多功能可穿戴系统, 这种系统融合了实时全身动作传感技术, 还有柔性触觉交互界面, 以及物联网赋能的深度学习技术, 它突破了传统的局限, 能够广泛应用于多个领域, 为下一代人机交互技术的发展提供了新的思路。研究流程这是关于实验方法的伦理声明, 人体实验的流程, 严格依照成均馆大学生物伦理委员会审定的方案, 这个方案拥有IRB批准号为 - 03 - 012, 其严格符合各项指南, 在数据采集之前, 获得了受试者的口头知情同意。组件备制: 将按质量比10比1掺和的硅基弹性体也就是PDMS当作柔性的基底, 在载玻片上面进行旋涂, 转速是500转每分钟, 持续30秒, 在95℃的环境下固化10分钟, 接着贴上10μm厚的铜箔, 运用光纤激光打标机去制作电路。把蓝牙低功耗系统级芯片等电子元件, 借助焊锡膏焊接到铜质导线之上, 铜质导线要经过360℃的高温烘烤, 最终使用同批次的PDMS进行滴涂封装。进行电子系统电路设计时, 加速度计的三个输出端点与蓝牙微控制器的GPIO相连, 经过ADC处理的数据, 会按照50Hz的采样率传输至用户交互设备。无线电子模块的核心是搭载定制固件的蓝牙芯片, 它负责驱动触觉执行器, 还会与机器学习服务器进行通信。关于振动反馈功能, 微控制器会激活GPIO引脚, 促使驱动电流流入偏心旋转质量电机, 其中金属氧化物半导体场效应晶体管充当开关元件。该系统由扣式电池供电。对于传感器分辨率进行测试, 采用函数信号发生器以及振动台来对传感模块的效能展开评估。信号发生器会输出不同频率的正弦波, 将传感器固定于金属板之上, z轴是垂直于金属板平面的, 加速度计z轴的输出端连接数字示波器用以测量数据。为了评估3M公司2477P医用级双面胶带的黏附性能, 进行黏附性能剥离测试, 开展90°剥离测试, 此胶带两侧黏附层特性不同, 分别把皮肤与黏附层的界面、器件与黏附层的界面进行测试, 使用拉力试验机夹紧非黏附端, 进而以恒定速率垂直剥离, 并且在相同解剖位置重复测试。振动传输效率评估, 要探究基底厚度对触觉反馈传输效果的影响, 把偏心旋转质量执行器固定在振动传导层的一侧, 将加速度计贴在另一侧, 再插入不同厚度的基底样品, 用相同电压和电流驱动执行器, 让加速度计记录振动信号, 通过FFT分析提取振动能量谱。针对反复弯曲形变状况下的机械可靠性测试, 要开展有着固定弯曲半径25mm的循环弯曲测试, 将器件安装于拉力测试系统里, 在室温环境中完成1000次的弯曲循环操作, 其中加速度计不断进行无线传输数据的动作并且实时记录相关数据, 还要进行下采样至1Hz的操作来呈现那信号长期的变化趋势。对含保护层器件的力学特性进行表征, 采用电动拉力测试系统来开展单轴拉伸测试, 将有PET保护层的器件与无PET保护层的器件应力 -应变行为予以对比。选取两组样品, 所嵌入的铜质互连线宽度均为0.2mm, 其中一组仅仅进行PDMS封装, 另一组在此基础上增设PET薄膜, 之后把它们加工成矩形试样, 以每分钟3mm的速率进行拉伸, 直至达到最大应变1%。对于单轴拉伸情形下器件机械稳定性展开有限元分析, 借助软件来评估器件机械稳定性, 构建两种模型, 一种是含有PET保护层的, 另一种是不含有PET保护层的, 给模型施加拉力载荷, 设置绑定约束, 采用不一样的单元类型, 展开网格收敛性测试, 各种材料具备特定的杨氏模量以及泊松比参数。研究触觉器件特性表征, 按要求制成仿生皮肤模型, 模型的表皮层是由PDMS制成的, 其真皮层是由软质硅基弹性体制成状态下, 还要向其中植入三轴加速度计。进一步设计单个执行器触觉覆盖范围实验, 此实验是关于与执行器电压强度相关的振动信息实验, 最后输出的数据是用数字示波器测量得出。系统级芯片固件的配置情况是: 那些软件组件以及代码是基于北欧半导体软件开发套件来进行开发工作的, 所有的器件烧录的是一样的固件程序, 外围设备运用的是统一的协议还有配置文件, 在连接移动设备之后会自动启动数据采样序列。角度计算以及对比方式: 依据加速度计数据, 运用基于向量的方向估计算法来计算肢体连续角度的变化, 把原始加速度值进行转换成为重力加速度单位并且予以归一化, 通过点积公式计算夹角, 使用基于视频的标记点追踪法获取肘关节角度参考值。校准以及触发阈值的配置方面, 校准的过程属于触发机制其中的起始步骤, 用户将器件进行配对之后始然动身开启校准层面的流程, 保持静止状态长达10秒钟的时间, 进而开展计算动态的阈值这一系列操作。在实时监测这个环节, 运用滑动窗口来缓存数据, 计算方差并与阈值进行对照比较, 引入了处于受动状态下用户能够进行配置调节的机制, 触发机制总共分为两层, 记录1秒之内的加速度信号并传输至远程的数据库里。对数据进行记录, 并将二者相对比展开分析, 运用t - SNE算法针对10类不一样的动作数据展开聚类分析, 从中提取特征, 把这些特征组织成特征矩阵, 在进行归一化处理后应用算法实现降维, 通过库生成三维聚类图谱。挑选出10类动作数据, 构建验证集以及测试集, 收集上肢与下肢动作集, 同时兼顾线性与非线性运动模式。连续小波变换, 也就是CWT, 用于特征提取跟转换。先是要用它对10类动作做分类。受试者完成动作后, 采集2秒的数据,之后在末端裁剪, 然后滤波。从5个器件获取三轴数据, 拼接后去进行连续小波变换。这里采用的是解析莫尔斯小波, 要生成小波基函数族, 跟原始数据做卷积运算, 以此来提取动作特征。有一个用于三轴加速度计数据融合的统一卷积神经网络, 也就是 CNN 框架, 它采用多分支卷积神经网络框架来处理三轴加速度计数据, 其中每个轴都对应着一个独立的子模型, 其网络结构包含卷积层、池化层等, 在融合了三轴特征向量之后, 经过全连接层来完成 10 分类动作识别任务, 还要设置模型训练参数。提取不同传感器朝向条件下的特征: 采集有关传感器处于不同角度以及位置的10类目标动作所产生的数据, 对重力偏移量加以校正, 将三轴加速度均方根值计算出来当作输入特征。展开传感器位置偏移实验的设计, 对分类器的泛化能力以及位置容错性进行评估。结果解析运动分类与反馈综合系统示意图及框图数据传输同步与自动触发功能示意图全身及肢体分类表皮触觉反馈的驱动功能处理及输出方法研究结论本研究针对动作追踪方面的难题, 提出了一种系统, 该系统由贴片式表皮器件构成, 具备高性价比, 且呈现出轻量化柔性的特点, 它能够对全身动作展开全面监测, 在兼顾舒适度的同时还考虑到长期穿戴性, 其贴肤设计可以适配于不同部位, 并且还支持高精度的动作分析。系统核心的优势在于, 借助双向通信框架, 将实时动作传感以及触觉反馈功能予以整合, 以此推动运动监测、沉浸式虚拟现实等诸般应用的发展。虽说当前仅仅达成了单模态振动触觉反馈, 然而单一模态在康复理疗等场景里面, 能够提升用户的感知以及交互参与度。未来能够升级成为多模态触觉交互界面, 进而整合更多的模态。有一种电机叫偏心旋转质量电机也就是你说的ERM, 它具备振动频率与振幅相互耦合这种特性, 其机械稳定性蛮强, 易于进行集成, 能耗效率还挺高, 因而适合持续穿戴设备。有人推测通过调控机械参数能够优化反馈特性, 围绕此未来研究将会展开, 从而提升反馈精准度以及用户个性化响应能力。该平台存在着独特的应用场景, 在康复医疗领域当中, 能够实时地矫正功能性动作, 以此助力运动功能的学习 , 在远程协作领域, 可推动远程康复等场景的发展, 进而提升用户的参与度以及临场感。就当前而言, 系统没办法从解剖学的层面, 精确地估算关节的角度, 不过提取角度信息能够作为动作特征分析的参考, 在未来呢, 可以构建更为稳健的人体运动学的模型, 精准地整合那些关节级的反馈功能。现在所使用的系统运用的是轻量化分类模型, 依靠UDP进行数据的传输, 可以降低延迟, 并且还能减少对于中心化服务器的依赖。未来的研发方向是要在器件端嵌入实时推理功能, 从而能够实现完全独立运行, 进而拓展应用范围。技术