文 ▍谈风
编辑 ▍谈风
无人机 (UAV) 在关键应用中的日益普及使得基于控制回路中人员存在的监控系统变得至关重要。
在无人机交通监控场景中，人类操作员负责管理无人机，需要灵活支持不同自主级别的系统，以便在发生危急情况时为其提供帮助。
对无人机控制器性能的评估及其脑力负荷可用于区分所需的自动化水平和类型。
目的是建立一个基于无人机操作员认知需求的脑力工作量预测模型，以支持可调节自主监控系统的设计。
执行分类和验证程序，对脑电图信号测量的认知工作量进行分类，并从准确性的角度评估获得的模式。
进行了用户研究，通过评估操作员完成指定任务的表现来确定关键工作负载条件。本研究获得的结果为指导该领域的下一步发展提供了宝贵的指导。
近年来，无人机 (UAV) 应用领域对开发能够协助人类执行关键操作的系统的兴趣迅速增长。
此类应用的示例包括安全和监视，监控，搜索和救援，灾害管理等。
能够根据人类的认知资源及其完成关键任务的表现灵活支持不同级别的自主性（LOA）的系统可用于确定可能需要系统干预的情况。
人类的认知资源和系统根据所考虑的上下文动态改变 LOA 的能力通常分别称为“认知或心理工作负载”和“可调整或滑动自主性”。
已经研究了几个标准来评估人类的认知负荷，主要的测量技术历来被分为三类：生理的，主观的和基于表现的。
生理测量是基于身体的物理反应的认知负荷评估技术。
主观测量用于通过利用排名或量表来评估人类感知的脑力负荷，绩效或客观测量用于评估人类执行给定任务的能力。
基于上述考虑，本文的目的是建立无人机操作员脑力负荷的分类和预测模型，以支持能够相应调整自主水平的自适应自主系统的设计。
脑电图 (EEG) 信号用作评估操作员脑力负荷的生理技术，并利用支持向量机 (SVM) 作为学习和分类模型。
这项工作利用 3D 模拟框架来实验一群自主无人机在城市环境中飞行的不同飞行场景，并测试操作员在无人机交通管理方面的表现。
用户界面还用于显示实验环境的二维可视化，并允许操作员通过发出飞行命令与无人机进行交互。
与几名志愿者一起进行了一项用户研究，以评估操作员在完成越来越多的无人机的监管任务方面的表现，并收集关键条件下不同的工作负载测量结果。
概述了总体模拟框架并报告了本工作中考虑的用户界面的详细信息，介绍了进行实验测试所采用的方法，并讨论了数据分析和分类程序。
最后，讨论了所获得的结果，并通过为该领域未来的研究活动提供可能的方向来总结本文。
相关工作许多研究调查了个人执行的任务与其认知负荷之间的关系，在文献中，已经提出了不同的脑力负荷评估技术。
例如，关于主观测量技术，利用 NASA-TLX 问卷分别评估用户在凝视书写和机器人操作任务中的感知工作量。
研究了模拟游戏活动中自我评估的心理负荷的影响。
尽管这些测量已被证明是评估人类脑力负荷的可靠方法，但它们通常需要通过要求用户填写不同的排名或量表来与用户进行烦人或重复的交互。
与这些研究并行，其他工作也将生理测量作为精神负荷评估技术进行评估。
举例来说，威尔逊等人，利用脑电图通道，心电图（ECG），眼电图（EOG）和呼吸输入作为空中交通管制任务中的认知工作量评估。
分别利用功能近红外光谱（fNIRS）和心率变异性（HRV）技术来评估人类在n-back工作记忆任务和船舶模拟器中的心理负荷。
贝瑟夫等人，研究了脑电图数据和反应时间 (RT) 之间的关系，以表征认知任务期间的表现水平，从而预测人为错误。
尽管这些研究提供了提高工作负载测量准确性的证据，但它们传统上使用笨重且昂贵的设备，在实际应用场景中使用起来几乎不舒服。
实际上需要有关生理测量中替代设备的适用性的数据，以便正确支持该领域的下一步进展。
这方面的一些活动已经开展。 已经证明，一个小型设备，通道 EMOTIV®Headset，可以成功地用于表征简单的记忆 n-back 任务中的脑力负荷。
目的是研究中报告的结果，利用脑电图信号的不同应用场景来构建无人机操作员在无人机监控任务中的脑力负荷预测模型。
Emotiv Epoc 耳机本节简要介绍大脑可穿戴设备EMOTIV Epoc ®在本研究中通过说明其硬件和软件功能来考虑，更具体地说，EMOTIV Epoc是 Emotiv 制造的无线脑机接口（BCI）设备。
该耳机由14个无线EEG信号采集通道组成，采样率为128个样本/秒。
记录的EEG信号被传输到USB适配器，以将收集到的信息传输到主机工作站。
一款订阅软件，名为PureEmotiv 提供 EEG，用于收集原始 EEG 数据和包含每个采样间隔数据的密集空间分辨率阵列。
本框架设计的基本思想是在城市环境中测试不同的无人机飞行场景，此类场景模拟了无人机可能涉及的潜在危急情况，为实现所提出的框架而组装的逻辑组件。
通过深入挖掘细节，无人机模拟器是负责模拟在3D虚拟环境中飞行的自主无人机群的模块。
它由三个不同的模块组成，即：自动驾驶仪，物理模拟和地面控制站（GCS）。
自动驾驶仪模块负责运行无人机飞行稳定性软件，无需任何特定硬件，更具体地说，它利用了软件在环 (SITL)运行 PX4 Autopilot Flightcode 的模拟器，多种车辆类型的开源无人机固件。
物理模拟模块是专门加载 3D 城市环境并在其中执行无人机飞行模拟的模块，凉亭该块中利用4.4物理引擎对无人机的3D模型及其物理属性，约束和传感器，进行建模和渲染。
特别是，Gazebo 在机器人操作系统 (ROS) 上运行，它是为执行机器人任务而开发的软件框架。
然后，地面控制站（GCS）模块包含用于设置无人机起始位置、规划任务和获取实时飞行信息的软件。
Autopilot Flightcode 和GCS模块之间的通信由微型飞行器 ROS (MAVROS) 节点通过 MAVLink 通信协议提供。
最后，警报模块是专门通过从无人机和带宽模拟器收集数据来确定每架无人机的风险级别（以后称为“警报”）的块。具体来说，无人机模拟器提供有关无人机电池电量和与障碍物（例如建筑物）距离的信息。带宽模拟器发送无人机位置周围区域的估计网络传输速率。这些参数与每架无人机的“警报”之间的映射是通过定义如下的函数执行的：y=(b−1）-1*(o−1）-1＊（n-1）-1y=（乙-1）-1*（哦-1）-1*（n-1）-1。
其中b代表无人机的电池电量，o是其与障碍物的距离，n是其位置周围的估计带宽覆盖范围，y是其风险级别。
本工作提出了三个不同的“警报”级别，即：“安全”，“警告”和“危险”。
操作员显示屏的大片区域被城市的2D地图覆盖，其中显示了实时无人机的位置。
彩色标记用于描绘无人机的GPS位置及其当前状态。使用三种不同的颜色来说明无人机的风险级别：绿色（“安全”）、黄色（“警告”）和红色（“危险”）。
界面右侧显示了每架无人机的详细视觉摘要，包括其独特名称，电池电量。
其位置周围区域的带宽覆盖范围以及飞行高度，地图正下方放置了五个按钮，允许操作员发出飞行命令或显示有关地图或无人机的一般信息。
更具体地说，“开始”按钮用于运行 3D 模拟，而“选项”按钮用于显示或隐藏城市的带宽覆盖范围和无人机的路径。
其他三个按钮分别供操作人员用来着陆，悬停或改变无人机的路径。
在这种情况下，值得注意的是，脑电图信号可能会受到操作人员按下上述按钮的移动的影响。
因此，需要一个伪影去除阶段，以便去除所有不需要的信号。
用户任务目标是利用脑电图信号建立无人机操作员脑力负荷的预测模型，以训练能够自动预测操作员在无人机监控操作中的表现的系统。
为此，利用支持向量机分类算法来了解操作员在不同飞行场景中执行分配的无人机交通控制任务的能力。
本工作实验了四个监控任务，即：M1，M2，M3和M4。特别是，M1由一架飞行无人机组成，其路径旨在避开其路线上的障碍物。
无需操作员采取任何行动即可成功完成任务。M2旨在评估操作员在监控两架有碰撞风险的无人机方面的表现。
碰撞专门设计为远离时间，以便操作员实际上能够通过保持相对较低的完成任务的努力来处理碰撞。
M3任务由五架无人机组成，其中三架相撞的风险很高。这个任务被故意设置为非常难以完成，尽管理论上仍然可以完成。
最后，M4由六架无人机组成，每架都需要操作员的干预才能成功完成任务。它的设计很难完成。
此外，当所有无人机降落在预定位置时，任务被视为“成功完成” ；当至少一架无人机坠毁时，任务被视为“失败” 。
每个任务中的无人机数量也是根据初步实验确定的，该实验证明监控三架或四架无人机时操作员的脑力负荷没有显着差异。
任务 M1 期间收集的数据用作脑力工作量基线，而 M4 中记录的数据则用作高脑力工作量参考。
正如预期的那样，本文的目标是建立无人机操作员的心理工作量预测模型，以训练能够自主预测操作员在无人机监控操作中的表现的系统。
为此，我们通过用户研究收集了心理负荷数据。
该研究共有10名参与者（8名男性和2名女性，年龄在19至24岁之间）。
经过简短的培训后，参与者被邀请通过用户界面依次执行四个任务 M1，M2，M3和M4。
此类任务专门设计用于测试操作员在无人机监控操作中的表现，并提高无人机的风险水平。
每项任务的长度严格取决于操作员的驾驶选择，需要2到7分钟。
在每次实验期间（即执行的所有任务），都会记录通过 EMOTIV Epoc ® 耳机收集的 EEG 信号的生理测量结果。
脑电图信号被分成不同的时间窗口，对于每个窗口，计算以下特征：功率谱密度，平均值，方差，偏度，峰度，曲线长度，平均非线性能量和峰值数量。
然后将这些特征连接起来，以使每个窗口对应于按通道顺序出现的一行特征。
然后，每一行都被分配一个标签，说明操作员是否失败了该特定任务的任务。
执行此过程是为了生成异质群体，以便构建能够根据脑电图信号测量的操作员心理工作量自主预测标签的分类器。
报告了分类算法准确性方面获得的结果，其中指定了用于训练每个模型的超参数。
前十行表示使用单个受试者数据训练的单个模型中获得的结果。
最后一行显示使用所有收集的数据的总体结果，通过深入挖掘更多细节，显示出于验证目的而被丢弃的损坏数据。
在这些情况下，参与者仅成功完成一项任务，由于类别偏度，训练模型变得非常困难。因此，没有使用这些数据来训练单独的模型。然而，它们被用于整体模型中。
通过十倍交叉验中报告为“准确度（验证集）”，使用新的未见过的数据获得的准确性被报告为“准确性（测试集）”。
值得注意的是，同一行的这两列的准确度分数相差不大。
这一观察结果可以得出结论，所提出的模型不受方差问题的影响，因此如果在相同条件下与其他参与者进行测试，则表现良好。
关于测试集准确性的结果表明，对于各个模型，线性核的性能始终优于或等于 RBF 核。
对于整个模型来说，RBF核的表现优于线性核。
具有线性核的 SVM 能够预测操作员的绩效结果，从而预测他/她的脑力负荷水平，平均准确度等于95.8 ?.8?.9 ?.9%当模型分别针对单个用户和所有收集的数据进行训练。
准确度等于94.1 ?.1%和85.6 ?.6%当分别使用单用户和整体数据训练模型时，可以通过 SVM - RBF 内核实现。
这可能是合理的，因为使用单个主题数据训练的各个模型比使用所有收集的数据训练的模型是更简单的分类问题。
在这项工作中，数据分析和分类过程是对通过用户研究收集的数据进行离线执行的。未来的工作将致力于解决替代程序，以便能够在线评估数据。
参考文献；
【1】Kopeikin, A.、Clare, A.、Toupet, O.、How, J.、Cummings, M.：在人工监督下对异构多无人机系统进行飞行测试。
【2】Freedy, A.、Sert, O.、Freedy, E.、McDonough, J.、Weltman, G.、Tambe, M.、Gupta, T.、Grayson, W.、Cabrera, P.：多智能体可调节自治框架（ MAAF）适用于多机器人、多人团队。
【3】Wang, S.、Gwizdka, J.、Chaovalitwongse, WA：使用无线脑电图信号评估大脑中的记忆工作量nn-返回任务。
【4】Squire, P.，Parasuraman, R.：在动态环境中人类监督多个半自主机器人期间，自动化和任务负载对任务切换的影响。
【5】Sugimoto, I.、Kitamura, K.、Murai, K.、Wang, Y.、Wang, J.：利用心率变异性研究船舶操纵模拟器练习中操作员和受训者脑力负荷之间的关系。
