眼动追踪技术评估心理疲劳对施工设备操作人员检测危险能力的影响

这是“神经工程管理”第30篇推送

内容来源：董杰

编 辑：张雅岚

校 对：付汉良

审 核：李珏（Jue Li）(本文第一作者)

更多内容请关注我们的公众号：神经工程管理

仅用于学术交流，原文版权归原作者所有

文章标题：Evaluating the impact of mental fatigue on construction equipment operators' ability to detect hazards using wearable eye-tracking technology

发表时间：2019年

发表期刊：《AUTOMATION IN CONSTRUCTION》

作者：Jue Li, Heng Li, Hongwei Wang, Waleed Umer, Hong Fu, Xuejiao Xing

本文是针对论文《应用可穿戴眼动追踪技术评估心理疲劳对施工设备操作人员检测危险能力的影响（Evaluating the impact of mental fatigue on construction equipment operators' ability to detect hazards using wearable eye-tracking technology）》的一篇论文解析，这篇论文旨在研究利用可穿戴眼动跟踪技术来评估心理疲劳对施工设备操作人员危险识别能力的影响及相应的视觉注意分配模式。

图1

与施工设备有关的意外，例如设备与步行工人之间的碰撞，对施工现场安全构成重大挑战。注意缺失而导致的人员危险检测能力的下降是造成这些事故的主要原因。长时间和单调的操作任务引起的心理疲劳是注意力缺失的主要原因，但关于心理疲劳是如何影响操作人员检测危险情况和相关视觉注意特征的研究很少。针对这一问题，本研究利用可穿戴眼动跟踪技术评估心理疲劳对操作人员危险识别能力的影响及相应的视觉注意分配模式。研究结果表明，可穿戴眼动技术在测量和量化操作人员的心理疲劳和危险检测能力方面是有效的，并从视觉注意的角度揭示了心理疲劳对操作员危险识别能力的损害作用。

关键词：施工设备操作员、心理疲劳、危险检测、可穿戴眼动追踪技术、注意力、碰撞事故

一、研究背景

施工现场最常见的事故之一与建筑设备操作有关，这类事故中工人与设备的接触碰撞占了很大一部分。设备操作人员未能发现危险是这类事故的主要原因，而这种未能发现危险的失误通常是注意缺失引起的。施工设备操作人员在日常工作中往往需要将视觉注意力分配到多个区域，并长期对设备周围的潜在危险保持警惕。因此在作业过程中，持续的作业和检测活动引起的心理疲劳是操作员没有检测到危险的主要原因。

二、研究现状

以往的研究大多是通过定性的方法得出，心理疲劳会导致变化盲视、注意力不集中、警觉性缺失等与危险检测相关的结论，或从其他角度分析工人的危险检测能力，如危险检测与安全知识的关系。关于心理疲劳如何影响操作人员检测危险情况能力的研究很少。也即，在心理疲劳积累过程中，作业人员的危害检测能力的变化以及相应的视觉注意分配模式尚不清楚。

三、研究问题

利用可穿戴眼动追踪技术，通过实验方法，评估心理疲劳对施工设备操作人员危险检测能力及相应的视觉注意模式的影响。

与从事体力活动的建筑工人相比，建筑设备操作员更容易因为长时间的认知相关操作和监控任务而心理疲劳。当人们处于心理疲劳状态时，通常会出现难以集中注意力于执行任务的情况，危险探测能力降低。危险检测能力的降低是影响施工设备操作人员工作表现和施工安全的关键因素。但建筑行业关于心理疲劳对建筑工人危害检测的影响缺乏深入定量研究，特别是对建筑设备操作人员的视觉注意力的测量和评价。为了解决这一研究空白，首先需要找到一种测量操作人员的心理疲劳水平的有效方法，同时测量他们在任务中的危险检测行为。从而分析和解释心理疲劳与危险检测之间的关系。

心理疲劳测量和眼动追踪技术

图2

危险探测、视觉注意和眼动追踪技术

探测危险涉及到复杂的认知阶段，主要的认知阶段是视觉注意，研究注意力的科学方法是检测眼动。但随着心理疲劳程度的增加，对施工设备操作人员的危险检测及相应的注意分配模式知之甚少。何种类型的眼动指标可用于描述和量化注意力分布仍未确定。本研究采用可穿戴眼动技术直接测量操作人员的心理疲劳和视觉注意。

图3

从两家私人建筑承包商征聘的具有现场施工经验的12名男性挖掘机操作员，年龄在24-35岁之间（年龄平均值27.92，标准差3.2）。所有被试实验前充分休息且视力或矫正视力正常。要求所有被试睡眠时间在7小时以上，实验前24小时不能喝酒或咖啡因饮料，且不知道任何关于实验目的和预期结果的信息。实验前获得书面知情同意。

可穿戴的眼动追踪器

图4

挖掘机操作模拟系统

以施工设备运行仿真软件为基础，建立了挖掘机运行仿真系统，如下图所示。

图5

使用NASA-TLX和斯坦福睡眠量表(SSS)评估个体主观心理疲劳感觉。NASA-TLX旨在从六个维度测量操作员的感知工作量:心理需求、身体需求、努力程度、自身表现、时间需求和挫折感。SSS提供了一个整体的测量一个人的警觉程度的方法，它包含了七种陈述，从“感觉活跃、有活力、警觉或完全清醒”(1级)到“不再与睡眠作斗争，很快入睡，有梦一般的感觉”(7级)。

实验设计

设计挖掘机操作实验任务

（1）首要任务：“挖-卸”任务

在本研究中，设计了一种在多边形施工现场进行挖掘机作业的单调、长时间开挖卸料任务，被试必须驾驶挖土机进入挖掘区，然后才能使用挖土机挖掘土方工程，最后将挖出的土装上卡车。这种循环操作过程要求参与者不断操作挖掘机。所有参与者应尽可能多地挖掘，并将土卸到右侧的卡车上。

图6

（2）次要任务：危险检测任务(HDT)

HDT要求被试对视觉刺激做出简单的手动反应，以衡量他们的危险检测能力。挖掘机作业时，周围的潜在危险可能来自移动行走的工人或其他设备。操作人员对周围危险的检测在很大程度上依赖于后视镜。本实验主要关注的是驾驶员对后视镜所反映的情况进行危险检测。

实验中对事件的定义如下图所示：

图7

在实验中，将所有事件的频率设置为4次/min，信号事件占事件总数的15%，这是一个中等较低的频率，旨在反映真实施工现场的特征和HDT情况。对于所有被试来说，不同类型的事件的出现是随机的。一旦信号事件出现，所有被试必须尽最大努力迅速反应，放慢挖掘机的转速或暂停作业，避免碰撞。典型的三种事件情况详见下图。

图8

任务时间是指积极参与一项任务所花费的时间长度。在本研究中，被试必须完成一项长时间、单调的实验操作任务，包括挖掘任务和HDT危险检测任务。在实验任务中采用了操作时间(TOO)的实验程序。

在本研究中，所有被试均采用相同的自变量TOO。每个实验阶段包括5个12分钟的TOO阶段(TOO1: 0-12分钟，TOO 2: 12 - 24分钟，TOO 3: 24 - 36分钟，TOO 4: 36 - 48分钟，TOO 5: 48 - 60分钟)。被试应在每个阶段同时进行挖掘和危险检测任务。

实验过程

被试在一个控温实验室中使用模拟系统执行操作时间TOO程序。实验室模拟明亮的日光条件场景。考虑到正常工作时间，实验设置在上午9:00-11:00或者下午3:00-5:00进行。整个实验持续约100分钟，包括练习，休息和五个操作时间TOO阶段。

整个实验过程中，实时记录受试者的主要任务和HDT表现。为了有效地收集HDT危险检测能力数据，仿真系统在两个操纵杆上都提供了一个按钮。当左侧后视镜出现信号事件时，参与者需要尽快按下左侧按钮，当右侧后视镜出现信号事件时，按下右侧按钮。为了评估TOO疲劳诱导手法的有效性，参与者被要求完成NASA-TLX和SSS，以评估他们在每个TOO阶段前后的主观心理疲劳感。

图9

图10

数据分析

使用探索性的数据分析方法来检查错误的数据（异常值、噪声数据和偏离实验值）。剔除错误数据集，同步传感器数据，删除所有在正式实验中不需捕捉的观测数据。

为了实现研究目标，必须定义和计算指标，以更好地描述危害检测性能和相应的视觉注意力分配，并提供可用的因变量进行统计分析。

（1）危险检测能力指标—反应时间、危险漏报率、误报率

如果在信号出现后的150ms到1800ms之间按下正确的按钮，则认为反应是正确的。设置这个阈值是为了测量操作人员对潜在刺激(即危险)的反应速度。如果按错了按钮，则会被认为是误报，所有其他的响应都被认为是“危险失误”。

（2）视觉注意力分配指标

注视时间和注视次数通常用来描述一个人分配给一个物体多少注意力资源。注视时间是指注视在一定半径内的停留时间。注视次数表示参与者注视某一区域的次数。

在本研究中，用平均注视时间来描述在感兴趣区域内(AOI)注视的停留时间。每个兴趣区分配的注视次数的百分比用来描述被试的注意资源分配。

本文确定了3个AOIs，分别为仿真系统的AOIleft、AOIfront、AOIright。

为了描述和揭示任务过程中操作人员视觉注意的空间分布特征，本文重点研究了操作人员注视点的分布。为了定量描述和分析注视点的分布，给每个AOI 显示区分配一个归一化坐标系统。在归一化坐标系下，可以给每个注视点一个标准化的坐标值。在每个操作时间TOO阶段中，注视点从左侧AOI和右侧AOI到前方AOI的水平距离直接描述了操作人员视觉注意的空间分布变化。计算相应注视点dl→f、dr→f的第10百分位、第50百分位、第90百分位作为本研究收集的代表性数据。第50百分位被用作因变量平均值的指标，用于统计分析，而第10百分位和第90百分位之间的差异是在每个操作时间阶段注视点分布的度量。

图11

通过数据准备，我们得到了可以用于统计分析的自变量和因变量。

表1

第三步：统计分析--单因素重复测量方差分析（ANOVA方差分析）

为了分析心理疲劳的影响，本研究以TOO为重复测量因子，对HDT表现和注意分配相关因变量进行了单因素重复测量方差分析。当违背球度假设时，应用Greenhouse Geisser修正。使用Bonferroni调整来校正事后成对比较。随着危险绩效增加，为深入分析视觉注意分配的特征，本文采用Spearman相关分析方法研究了危险识别绩效指标与注意分配指标在各TOO阶段的相关性。显著性水平设为α≤0.05。所有统计分析均使用IBM SPSS Statistics 25。

为了证明该实验成功地诱发了心理疲劳，必须通过检验TOO操作的有效性来识别和分析相关的心理疲劳指标。以TOO为自变量，瞳孔直径、眨眼时长和眨眼次数的变化，以及每个TOO阶段前后NASA-TLX和SSS评分的变化为因变量，评估心理疲劳。

下表提供了这些因变量的平均值。

表2

主观评估

NASA-TLX测量的主观心理疲劳从第一个TOO阶段前的18.90显著增加到最后一个TOO阶段后的63.06。同样，SSS得分也随着任务时间的增加而增加。事后比较表明，这五个TOO阶段的主观心理疲劳评估得分存在显著差异。这些结果表明，随着实验的进行，被试心理疲劳程度越来越高。

图12

时间对眨眼次数和眨眼市场有显著的主要影响。事后两类比较显示，对于眨眼次数，在每个TOO阶段，都有显著差异，且与之前的研究结果一致，即在任务时间疲劳效应下，眨眼次数会增加。对于眨眼时长，第1阶段明显短于第3、4、5阶段 ，第2、3阶段明显短于第4、5阶段，其他两两比较结果均不显著。有研究表明，眨眼时间的增加与心理疲劳的增加有关。综上，眨眼行为的所有变化都表明时间对任务诱导心理疲劳的有效性。

图13

图14

（2）瞳孔直径和瞳孔直径变化百分比(PCPD)

平均瞳孔直径变化百分比(PCPD)显示个体的平均瞳孔直径在各TOO阶段均持续下降。但时间对PCPD的影响不显著，表明瞳孔直径缩小率相对稳定。这一发现与人们感到心理疲劳时瞳孔变小的结论相一致。

图15

综上，主观评价和眼动测量的结果表明，被试在经历了这五个TOO阶段后，会感到更加的心理疲劳。这些验证指标证明通过操纵TOO来诱导心理疲劳的有效性。因此，可以通过五个TOO阶段的相关变量来分析心理疲劳对操作人员危险检测的影响，并探索视觉注意分配的潜在表现。

平均来看，随着任务时间的增加，被试的反应速度减慢。事后比较表明，这五个阶段中每个阶段的反应时间存在显著差异，这意味着参与者对危险的反应随着心理疲劳的增加而减缓。

图16

危险漏报率和误报率

随着完成任务时间的增加，被试越易错过危险并误报。

图17

总之，结果表明参与者需要相当长的时间来识别危险。随着心理疲劳的增加，他们越来越多地忽略危险，并对非危险进行了相当多的错误识别。这些结果与主观测量结果一致，表明心理疲劳与任务绩效存在一定的关系。

操作人员视觉注意的空间分布特征

注视时间

任务时间对注视时间的影响不显著。随时间推移，被试在每个AOI内的平均注视时间没有显著变化。随着心理疲劳程度的增加，注视时间保持在一个稳定的水平。但从与AOIfront与AOIleft、AOIright平均注视时间差异较大可以看出，被试观察的时间较长。

图18

注视次数

图19

注视点位置

表3给出了AOIleft、AOIright归一化坐标系中对应注视点dl→f 、dr→f的第10、50、90百分位平均值。

表3

随疲劳程度增加，AOIleft注视点的平均dl→f和AOIright注视点的平均dr→f显著降低。事后两两比较表明，第1阶段AOIleft注视点的平均dl→f显著大于第3、4、5阶段。第5阶段AOIleft注视点的平均dl→f显著小于第1-4阶段。在AOIright上，事后比较发现，阶段1注视点的平均dr→f明显大于阶段5。其他两两比较不显著。

图20

当被试经历心理疲劳时，其注视点分布在AOIleft和AOIright的位置逐渐接近挖掘机座舱前部(AOIfront)。

为了直观地显示随着心理疲劳的增加，操作人员注视点位置分布的变化情况，绘制了五个TOO阶段的注视点分布热图。

图21

基于以上对危害检测绩效和视觉注意空间分布特征的分析，操作员的危险检测能力的下降可能是由于随着心理疲劳程度的增加，视觉注意分配发生变化造成的。相关分析发现，所有危险检测能力指标与相应的视觉注意分配指标之间存在很强的相关性。这一发现从统计学上证实，当任务时间与特定的视觉注意力分配模式相关联时，危险探测性能的下降。这一结果揭示了几个关键的发现：

a) AOIleft、AOIright注视次数与反应时间呈负相关。

b) 反应时间、危险漏报率、误报率与注视点位置显著相关。

c) 随着心理疲劳程度的增加，被试的AOIleft、AOIright注视点减少，注视点逐渐向AOIfront靠近。

在本研究中，应用可穿戴眼球追踪技术来测量眨眼和瞳孔行为。这些措施的使用与主观评估心理疲劳相结合，以验证通过使用操作时间TOO程序诱发心理疲劳的能力。结果表明，随着时间的推移，操作者会感到更高程度的心理疲劳。通过可穿戴眼动跟踪技术测量并量化了被试注意力的空间分布特征，深入探讨心理疲劳下操作人员的危险检测能力是如何下降的。同时从视觉注意分配的角度分析了心理疲劳与危险检测的关系。结果表明，操作员的视觉注意分配随心理疲劳程度的增加而发生变化。心理疲劳一般会降低操作人员努力观察施工设备周围环境的主观意愿，这意味着对周围危险的注意力资源分配较少。操作人员在经历心理疲劳时，往往倾向于快速扫视周围环境，而不是直接观察设备周围的危险。

2.引入其他安全干预措施，如听觉注意提示、模拟增亮强度、神经心理恢复方法等，来提高作业人员在作业过程中的危险检测能力。3.考虑施工任务的复杂性(即周围环境和任务操作难度)所造成的心理疲劳积累速度的差异，对轮班进行精准的调整和制定。

危险检测是一项警觉任务，是信号检测理论(SDT)的典型应用范式。SDT说明了操作人员的危险检测能力是由他的响应标准和对危害的敏感性决定的。响应标准是一个人用来判断信号(即危险)是否已经发生的标准，而灵敏度则表示如果目标信号从背景事件中出现，检测的难度或容易程度。如果处于心理疲劳状态，则标准和敏感性就会发生变化。这一思路可用于施工设备操作人员的安全培训。

可穿戴眼动仪的使用可帮助捕捉操作员在各种设备操作场景下的危险检测或其他视觉行为策略。从而提出基于注意力引导的操作安全培训方法，以增强操作员的危险检测能力并减轻心理疲劳的影响。本研究论证，眨眼和瞳孔行为是工程机械操作人员心理疲劳的可行指标。可穿戴眼动仪可以最直接地实时检测操作人员注视点位置的变化，也可用于危险探测能力下降或警戒失效的预警。

实验室实验的局限性：1.实际施工现场的复杂性和不确定性是很难在实验室实验中复制的。2.在实际的施工设备操作任务中，心理疲劳积累的速度可能会更快，操作人员的危险检测能力可能会迅速下降。

未来的研究可以通过现场实验进一步验证研究结果的有效性和眼动跟踪技术的可用性。

本研究论证了眼动跟踪技术用于检测和量化施工设备操作人员心理疲劳和危险检测能力下降的可行性。发现了心理疲劳对操作人员危险识别能力的损害作用，以及相应的视觉注意模式的变化规律。因此，可以提出有效的安全干预措施和基于视觉的安全培训方法，减少操作人员的危险检测失误，提高其危险检测能力。但与现场实验相比，实验室实验有其固有的缺陷。未来的工作可以重点改进实验设计，进一步验证研究的可靠性和眼动跟踪技术在建筑工地的实用性。

Li, J.; Li, H.; Wang, H.; Umer, W.; Fu, H.; Xing, X. Evaluating the impact of mental fatigue on construction equipment operators' ability to detect hazards using wearable eye-tracking technology. Automation in Construction. 2019, 105, 102835.