移动端对象检测追踪有何挑战,高通又提出怎样的解决方案?

  • 时间:
  • 浏览:1
  • 来源:大发龙虎大战app下载-大发龙虎大战app下载安装-大发龙虎大战网站

科技快报

(映维网 2019年10月29日)计算机视觉应用系统线程通常能要能处理多帧图像,入通过视频捕获的图像。这些 处理过程最重要的其中4个多多方面是,要能在对象移动以及视口更改时识别和追踪对象。从机器人视觉处理和自动驾驶起到,到安全录像和增强现实,这些 功能的用例几乎无穷无尽。科技快报

尽管这对于功能强大的移动处理器而言似乎微缺陷道,这些 亲戚亲戚朋友人类能必须轻松实现,但要在数字世界中重现这些 功能随便说说不易。高通的Felix Baum日前撰文向亲戚亲戚朋友介绍这些 领域所面临的挑战,以及潜在的处理方案。下面是映维网的具体采集:科技快报

1. 运动帧的挑战科技快报

分析视频帧提出了几瓶的挑战,其中很大一每段是由于分析给定场景涉及的变量数十分巨大。以下是开发对象检测与追踪应用系统线程时应考虑的挑战:科技快报

对象转换:对象能必须随时间平移,旋转和缩放。科技快报

对象遮挡:对象由于分析会被这些 对象每段或完整版遮挡。科技快报

运动模糊:根据诸如运动对象的波特率,记录帧波特率等因素,图像由于分析会变得模糊。科技快报

快速运动:对象在帧之间的转换波特率由于分析非常快,这些 会根据对象五种的波特率,以及对象相对于帧捕获波特率而变化。科技快报

场景混乱:场景由于分析中有 冗杂的特征和几瓶对象。科技快报

对象之间的相似性:诸如人脸相似的对象由于分析中有 几瓶相似的特征,这些 这些 真难进行区分。科技快报

环境影响:照明,雨水和雾度变化等影响后要 影响图像质量。科技快报

追踪失败:对象由于分析消失,这些 完整版或每段重新再次出现。处理这些 大问题能要能重新检测对象。科技快报

摄像头转换:摄像头的位置,方向和视口设置会随时间变化。科技快报

幸运的是,社区由于分析开发了一系列的土办法,这些 由于分析边缘处理能力的提高,现在几瓶的土办法由于分析变得可用。科技快报

2. 土办法科技快报

在追踪对象的移动以后,亲戚亲戚朋友必须解对象的外观,同能要能记住对象的外观由于分析会随着帧而变化。应对所述挑战的第一步是开发视觉外观模型,如下图所示科技快报

它由将用于识别对象并将其与唯一标识符(如对象ID)相关联的算法组成。负责这些 操作的组件通常称为分类器,其作用是将图像数据块作为输入,并产生输出图像中有 已识别对象的概率。科技快报

一旦有了识别对象的机制,下一步这些 这些 选取运动模型(即本地化)。它由选取对象在多帧中的位置的算法组成,这些 能必须包括预测未来位置的功能。科技快报

视觉外观和运动模型是一般对象追踪过程的基础,这些 过程通常涉及选取对象的初始情况及其外观,估计其运动并计算其位置。这些 算法统称为追踪算法,其中包括外观模型和运动模型的计算。在特定情况下,4个多多模型的计算相互馈送以得出结果。科技快报

3. 追踪算法的分类科技快报

在研究特定算法以后,重要的是要知道现有追踪算法的一般分类。科技快报

基于检测的追踪算法跨视频帧工作,其能必须检测对象并选取追踪轨迹,这些 通常能必须处理跨帧对象再次出现和失效的情况。当事人面,无检测追踪算法能要能在视频的第一帧初始化对象。无检测追踪通常用于对象在帧之间保持静态的情况。科技快报

单对象追踪。顾名思义,即便场景中占据 多个对象,单对象算法都只会追踪在第一帧中识别的单个对象。多对象追踪算法要能多个对象,即使它们是在第一帧以后才进入场景。科技快报

当捕获视频片段后,能必须采用离线追踪算法,这些 能必须离线进行处理。在这里,计算能必须在4个多多方向(即前一阵到下一帧,反之亦然)分析素材,从而增强追踪预测的计算能力。另外,训练同样是离线进行。当事人面,在线(即实时)追踪算法必须分析当下时刻以后捕获的帧,并使用依赖于过去帧的预测计算来帮助选取对象在下一帧中的移动位置。科技快报

目标表征和定位土办法(如基于内核的追踪和轮廓追踪)的计算冗杂度较低,由于分析它们主这些 这些 根据轮廓等特征来追踪对象属性。当事人面,诸如卡尔曼滤波器和粒子滤波器相似的滤波和数据关联土办法使用有关场景和对象的已知信息,评估与对象及其位置相关的不同假设,要能必须处理随时间变化的对象。科技快报

4. 土办法和算法科技快报

随着对象追踪在近年来成为了视觉处理中的热门话题,社区正在不断开发各种土办法和算法。下面亲戚亲戚朋友将列举多个算法,从而帮助你对进一步了解计算机科学领域的广度和波特率。科技快报

GORURN等基于卷积神经网络的离线追踪器首先针对数千个视频进行训练,并旨在处理单对象追踪。接下来,它选取对象在视频第一帧的边界框,并在以后的帧中进行追踪。尽管它不处理对象遮挡,但能必须处理视点,光照和对象特征的变化。科技快报

质心追踪(Centroid Tracking)会在每一帧中获取对象的边界框。能必须使用任何数量的算法(如上述基于卷积神经网络的土办法)来计算边界框。这些 ,质心追踪将计算边界框的中心,并为其指定ID。在每个后续帧中,算法会尝试选取新计算的边界框是与否能必须与前一帧中标识的边界框相关联。由于分析能必须建立关联,则计算新位置,从而实现对象的追踪。科技快报

You Only Look Once (YOLO)追踪是五种波特率学习土办法,它将帧划分为多个区域,并应用神经网络预测每个区域的边界框和概率。接下来,它通过预测概率对边界框进行加权以识别对象。由于分析发现对象标识匹配的概率,则表明在给定的一组帧中实现了对象追踪。 如下图所示。科技快报

当然,你能必须找到这些 这些 算法,但后面 列举的算法能必须向你展示大问题是有非常多的不同处理方案。科技快报

5. 移动端的对象追踪科技快报

高通对对象陌生不用说陌生。亲戚亲戚朋友的Qualcomm Computer Vision SDK包括用于检测和追踪对象,特征(如面容和文本),以及运动的API。Qualcomm Neural Processing SDK则能必须用于执行AI算法,而Machine Vision SDK则适用于机器人和自动驾驶汽车应用。另外,你能必须关注中有 用于数学运算的Qualcomm Math Library。当然,亲戚亲戚朋友的高通晓龙移动平台能必须通过Qualcomm Hexagon DSP处理器,Qualcomm Spectra图像信号处理器和Qualcomm Adreno GPU等功能来执行对象检测和追踪算法。科技快报

6. 总结科技快报

对象检测和追踪是计算机视觉中的关键组件,由于分析它们能必须帮助实现从录像分析到自动机器人等一系列的用例。就如同应用系统线程几乎是无穷无尽一样,为应对挑战而开发的巧妙土办法和算法同样必须。科技快报