最近，在一项全球第一项研究中，来自阿德莱德和伊拉克的研究人员将无人机摄像机检测灾区的生命迹象又向前迈进了一步。
南澳大利亚大学和巴格达中级技术大学的工程师采用一种新技术远程监测生命体征，设计了一种计算机视觉系统，该系统可以区分四到八米外的死者遗体，只要可见人体的上半身，摄像头就可以捕捉到胸腔中的微小运动，这些运动表明心跳和呼吸频率。与以前的研究不同，该系统不依赖于肤色变化或体温。
研究人员说，这一突破是一种更准确的检测生命迹象的方法。
介绍
就救灾而言，在与幸存者接触是一项困难的任务，在认知和身体疲劳的情况下，对幸存者的搜索操作对救生员而言是一项困难的挑战。在无人机（UAV）的最新进展，“无人驾驶”的技术将适用于这个目的，可以在搜索在灾后，用于检测人类目前陆基选项，如救援机器人，是昂贵的，需要侵入性的设备，并需要一个团队操作人员的走动的搜救行动中。此外，由于轮式和履带平台的活动性有限，救援机器人要比救援人员和救援犬更难进入灾区。为了应对这些挑战，我们正在开发一种高度自主的无人机，以协助急救人员寻找灾区的幸存者。
在过去的十年中，在室外环境中从空中机器人观察和分析人类的任务已引起计算机视觉界的关注。已经提出了用于解决从天空估计人的姿势和轨迹的问题的技术。
例如，Perera等人提出了一种方法来从视频人类受试者由无人驾驶飞机捕获的步态序列和移动轨迹的估计。但是，他们提出的方法仅限于完全可见的对象和有限的姿势范围，例如站立或行走。
Lygouras等人的另一项研究：使用无人机视频来识别和定位开放水域游泳者。通过应用深度学习架构来检测游泳者的存在，并且能够在没有明显人工干预的情况下准确检测游泳者。但是，建议的系统在某些环境条件下可能会失败，并且在该研究中未尝试进行生命检测。用于检测天线视频人类受试者的其它技术已经被提出用于搜索和救援行动中的灾难场景。
这些研究的主要重点是确定人类的位置并确定地面上的各种人类姿势，而无需检测到受试者的生命迹象。已经提出了使用航拍视频的其他技术。
例如，Kang等人的一项研究提出了一种技术，用于基于无人机捕获的热图像从空中检测和跟踪人类对象。
Portmann等人的研究使用无人机捕获的空中热图像进行人类检测和跟踪。
Rudol和Doherty的另一项研究提出了一种基于热像仪和彩色相机相结合的技术，以在室外环境中的自主无人机上使用标准硬件检测人类。Rivera等人也使用将热像仪和彩色摄像机连接到无人机的组合，以发现幸存者的地理位置。
然而，这些研究具有一些缺点，例如短距离检测，低分辨率，高成本和运动伪像。并非所有先前的研究都建立了人类生命体征检测。热像仪仅检测与背景存在热反差的活体，因此，缺乏专门检测死者温度的能力，并且在温暖的环境，温暖的背景下或存在下检测活体的能力有限使用热像仪时，应穿着绝缘衣服。
Al-Kaff等人提出的一个值得注意的系统的开发是利用从无人机上的传感器获得的颜色和深度数据来检测处于不受约束姿势的人。尽管该系统对于检测各种姿势的人是有效的，但它仅限于在没有生命体征检测的任何情况下检测人的形式，并且仅限于近距离。
Al-Naji等人的最新研究提出了一种健壮的技术来监视人类生命体征（无人驾驶飞机拍摄的视频远离心率和呼吸频率），该技术基于3米距离面部区域的肤色分析，使用了成像光体积描记法（iPPG），但是该技术比运动分析更多地依赖于皮肤颜色分析，这意味着当由于衣服，碎屑，血液的阻塞而导致目标区域（ROI）不清楚或受试者面朝下躺着时，很难应用该技术。
此外，该技术仅限于受试者站在无人机前的一个姿势。实验还受到限制，无法控制没有生命迹象的人类形式。
因此，本文的组织结构如下：介绍了生命探测器系统的方法和材料，包括主题和道德考量，实验设置，数据收集，系统框架和数据分析。
MATLAB的图形用户界面（MathWorks公司，NSW，澳大利亚），并用不同的姿势所提出的生命体征检测系统的实验结果中呈现。并讨论了实验结果，局限性和未来工作的方向。
方法与材料
- 人文伦理考量
本研究中描述的研究程序是根据《赫尔辛基宣言》的伦理标准（涉及人类受试者的医学研究的伦理原则）进行的，并得到南澳大利亚大学人类研究伦理委员会（HREC）的批准（Mawson南澳大利亚州的湖泊，协议编号：0000035185）。在开始实验之前，向签署知情同意书的参与者提供了实验程序的书面说明。
这项研究是此类研究中的首次，它是针对一系列活着的被试和一个模仿死者的人体模型进行的。对死者的研究需要很高的感知社会效益，这可能适合该主题工作产生的产品的成熟开发和认证。因此，我们关注的是活着的人类的外表多样化，而不是将死者纳入其中。
- 实验装置和数据采集
视频数据是使用GoPro Hero 4黑色运动摄像机（GoPro Inc.，圣马特奥，加利福尼亚州，美国）与备用镜头（5.4毫米，10MP，红外IR滤镜）捕获的，以减轻鱼眼效果并缩小视野安装在三轴3D机器人独奏万向节上的视图。为了减少安装在无人机上的摄像机的振动，使用了一个标准的云台来最小化摄像机的振动并稳定镜头。摄像机通过三轴云台（3DR Solo云台，美国加利福尼亚州伯克利的3DR Inc.）连接到无人机。万向架可自动处理摄像机的姿态和稳定度，并以0.1度的指向精度记录稳定的视频。万向架可将传递到相机的电机的振动降至最低。
视频以每秒25帧的速度进行采样，分辨率为3840×2160像素，对于国际标准组织（ISO），图像传感器的灵敏度为400。如图所示，在距对象4至8米的高度上捕获了视频。
该实验是使用八名年龄在20至40岁之间的人类受试者（四名男性：南亚，中东，两名高加索人和四名女性：一名撒哈拉以南非洲，两名中东，一名亚洲人）进行的模特。要求所有受试者以不同的姿势躺在地上并正常呼吸。除人类受试者外，还使用身高1.96 m，全身穿着，戴着黑色假发的全身男性模特进行数据收集，以模拟死者。人体模型的脸很逼真，人体的手臂和头部都可以调节到不同的角度，以产生不同的姿势。在三天的白天和相对低风的条件下为每个对象采集了1分钟的视频，然后以不同的姿势重复获取了足够的视频数据以用于实验目的。但是，我们从每个视频仅使用30 s来减少执行时间，与更长的视频记录时间相比，产生相同的检测精度。无人机还记录了人类受试者和人体模型。图中显示了八位人体和一个人体模型在不同姿势下的数据采集图。
- 系统框架和数据分析
拟议的系统用作从无人机捕获的视频数据中的生命迹象检测器的示意图，使用无人机采集非接触获取的视频数据以检测人类受试者和人体模型的生命体征的过程，如图所示：
由于活体对象的心肺活动而引起的胸壁运动直接导致图像序列中反射强度值的变化。为了检测这种运动，在这项工作中应用了几种图像和视频处理技术来自动分析和从视频数据中提取感兴趣的亮度值。首先，将每个视频转换为图像序列，并作为联合图像专家组（JPEG）格式文件保存在个人计算机（PC）上，以进行进一步分析。无人机摄像机以红色，绿色和蓝色（RGB）颜色模型捕获视频，因此，为了获取图像强度数据作为亮度分量，使用了MATLAB的内置函数'rgb2ycbcr'来转换使用以下公式将RGB颜色模型转换为YCbCr颜色模型：
其中y分量代表亮度值，范围从16到235，而Cb和Cr组分是16〜240 [色度值20，21 ]。
其次，胸部区域，其中最明显被自动选择的心肺运动使用体联合估计方法，称为OpenPose 。
OpenPose是一种有效而强大的方法，可以解决与无约束或多个主题相关的挑战，这些主题可以以较低的计算成本生成高质量的身体姿势解析[。OpenPose方法可以在单个图像上估计135个关键点（每个对象18个身体关节）。但是，我们仅使用躯干关节（脖子，左肩，右肩，左臀部和右臀部）选择胸部区域。在确定检测到的指示上半身姿势的关节之后，将躯干区域划分为上部和下部躯干区域。
如图所示，基于OpenPose方法的ROI选择，其中通过为（a）人体受试者（b）人体模型在上躯干（品红色）周围绘制一个边框（红色）来选择胸部区域:
第三，从Y分量中选择的ROI的图像序列上的亮度像素值平均如下：
其中，I（x，y，t）是图像序列中随时间（t）在图像位置（x，y）上的亮度像素值，| ROI | 是所选ROI的大小。
为了减少来自IYavg（t）信号的运动伪影噪声，该噪声是由于在视频拍摄过程中无人机移动而引起的，使用了使用经验柯式先验贝叶斯方法的小波信号去噪方法和使用移动平均滤波器的平滑信号方法。首先使用MATLAB的内置函数“ wdenoise”对信号进行去噪，如图所示:
它具有小波Daubechies（dbN）系列和一种基于水平的去噪方法，该方法采用通用软阈值来估计基于噪声的方差 每个分辨率级别的小波系数。其次，使用MATLAB的内置功能“平滑”来平滑去噪后的信号，如图5c所示。
最后，为了识别峰值的周期性，其位置以及平滑信号中的峰值数量，使用了基于小波变换的峰值检测。连续小波变换（CWT）定义为输入信号的标量乘积IYavg（t），以及小波母函数ψ的缩放后的偏移版本。数学上，在点（x，y）处的信号IYavg（t）上的CWT描述为：
其中IYavg（t）是经过去噪和平滑处理后的信号，并且ψx，y（t）是ψ（t），由比例x转换并偏移y。CWT系数的结果包含峰和周期性的模式，可用于检测IYavg（t）中与ψx，y（t）c相似大小的峰数，其位置及其强度。改变ψx，y（t）中的x会产生不同宽度的小波，因此可以检测IYavg（t）中的所有峰，无论其峰高如何。根据峰值的模式及其周期性，我们提出的系统可以检测目标对象的生命体征。
实验与结果
通过使用带有Microsoft Windows 10操作系统的MATLAB程序R2019a（MathWorks，NSW，澳大利亚）来执行图形用户界面（GUI）面板。该面板允许用户加载无人机捕获的视频数据，自动选择最容易出现胸部运动的ROI，并执行算法。所建议的GUI提供了一种简单的工具，可以查看视频信息，所选的ROI，输入信号，去噪/平滑信号以及峰值数量。如图6和图7所示，它还使用户能够检测到目标对象（活着的或死去的）的生命体征， 分别。为了检测人类受试者的胸部运动，我们提出的生命体征检测器系统从选定的ROI中提取信号，并对选定的信号应用去噪/平滑方法，然后计算每个图像的峰值数量及其周期性。在确定每个信号的峰值数量之后，我们提出的系统可以确定目标对象是活着的还是死亡的。图中显示了针对人类对象的拟议生命检测器系统的GUI主面板。
针对人类受试者（活着）的拟议生命检测器系统的图形用户界面（GUI）。
针对已死亡人体检测仪系统的图形用户界面（GUI）主面板
由于人体模型没有胸部区域的运动，因此我们提出的系统认为人体模型是已死的对象，输入信号在选定的ROI上没有峰值。即使无人机运动产生的一些峰值和其他运动伪影可能掉入信号中，但这些峰值的周期性仍然不均匀，我们的系统会将人体模型视为已故对象。图中那个显示了针对死者（人体模型）的拟议生命检测器系统的GUI。
如图所示，
不同姿势的被摄体（a）姿势1：向后的姿势，（b）姿势2：对着照相机的侧面姿势，（c）姿势3：不面对照相机的侧面位置，以及（d）姿势4：肚子位置.
以四个不同的姿势（背部位置，面向相机的侧面位置，不面向相机的侧面位置以及胃部位置）对所有受试者进行了实验结果。表1示出了基于心肺活动引起的运动而在图中所示的姿势下的八个人类对象和一个时装模特的生命检测结果。
八个人体和一个人体模型在不同姿势下的实验结果
结果表明，可以有效地利用胸部区域的运动检测来计算每幅图像的运动峰值数量，从而确定所有八个人类受试者和一个人体模型在不同状态下该受试者是否活着还是死了。
姿势为了检测多个对象的生命体征，我们录制了一个人类对象和人体模型并排放置的视频。拟议的系统成功地识别了这些受试者的生命体征，并确定了哪些还活着，哪些没有，如下图所示：
讨论
利用可用的数据集，我们证明了在测试条件下可以高度确定地从空中平台进行基于运动的呼吸检测。该技术可以包括在地图绘制软件中，以使用生命标志注释增强无人机生成的灾难现场地图，尽管将需要更多的自动化和集成功能。
我们提出的系统成功地将白天的人体模型与人体模型区分开来，在安静的条件下，并使用配备了MATLAB软件和操作员的功能强大的PC。这些条件中的每一个都是一个限制。尽管参与者包括合理的人类子集，但南亚，东亚，非洲，中东和欧洲的个体却存在未测试的性别和外貌组合。模特有点现实。但是，对于人类来说，显然不是8m左右的人，距离与测试的最长距离相同。由于实验是在4–8 m的海拔高度上进行的，因此上躯干区域（ROI）的大小包含足够的细节，可以以较高的检测精度提取由呼吸引起的身体运动。在我们记录的分辨率（3840×2160像素）下，在8 m高处录制的视频的投资回报率很小，并且没有足够的图像细节。因此，对于合理大小的ROI，数据记录被限制在上述高度范围内。尽管OpenPose方法的效果很好，但毫无疑问，野外条件和部分遮挡对象会造成挑战。
相机范围的限制更多地是由万向架的稳定性决定的，而不是由平台的光学原理或动力学决定的。尽管已测试了4–8 m的范围，但鉴于图4中的干净波形，较长的焦距光学元件可能会在此范围的倍数处进行检测。这种可能性将归因于云台的性能，在不那么平静的条件下，云台也可能变得更糟。
由于检测手段侧重于ROI中的心肺运动，因此仅周期性的胸部运动也可能是寻找被闭塞或伪装对象的线索。这种方法在每个成像的场景上都需要大量的停留时间，但是可能会产生新的功能。
几个研究已经利用与人类受试者视频放大技术，以揭示在适当的ROI标志生理时心肺运动很难见到利用视觉系统。这些研究可能会为该技术提供进一步的见解，以用于将来的工作方向。
结论
该系统非常适合许多情况，包括地震和洪水，福岛等核灾难，化学爆炸，生物袭击，大规模枪击，战斗搜寻和营救或飞机坠毁在偏远地区。
在全球范围内，灾区中幸存者的恢复是时间紧迫的。在本文中，我们首次展示了一种使用标准彩色摄像机的技术，该技术默认情况下适用于消费级无人机，该技术可以检测到人和躺在地面上许多姿势的人形物体是否存在生命体征。在测试条件下，在距对象4–8米的距离处获得的结果证明了所提出的系统在不同姿势下检测生命体征的鲁棒性，其准确度为100％。我们注意到，提出的系统能够有效地检测多个对象的生命体征，显示出有望作为搜索和救援行动的未来工具。未来的工作将集中在更现实的场景和该技术的更多自动化上，以简化该技术的操作应用。由于存在大量的变量和场景，因此必须开发用于在混乱的模拟场景中呼吸人类的软件模拟器，才能获得可靠且经过测试的功能。
