NVIDIAGPU推动野生动物面部追踪与识别技术新进展

NVIDIA GPU推动野生动物 面部追踪与识别技术新进展

案例简介

? 本案例中，利用Tesla K40和Jetson TX1，将图像处理与模式

识别技术应用于金丝猴面部特征提取与识别的过程中，实现了在复杂的野外环境下对金丝猴面部进行快速检测、追踪与识别。相对于传统方法，本技术在效率和准确率等方面都有很大程度的提升。

? 本案例主要的NVIDIA产品为：Tesla K40 GPU 和 Jetson TX1

Case Introduction

? In this case, we can apply image processing and pattern

recognition to extracting the features and recognizing the

monkeys’ faces by utilizing Tesla K40 and Jetson TX1, our method can detect and track these monkeys’ faces and recognize them in wild. Compared with the traditional methods, our method has much higher efficiency and accuracy.

? Major NVIDIA product: Tesla K40 GPU and Jetson TX1

背景

在前期对金丝猴的监测和研究中，野生动物研究人员利用多种数码成像设备，已经获得了大量金丝猴的图像视频数据。但是，面对数据量如此庞大的金丝猴图像数据，研究人员主要还是采用传统的人工处理与分析方法，该方法需要大量的人力和较长的时间，导致这些珍贵的图像视频数据没有得到及时的处理，严重降低了其实际应用价值。

目前，面向野生动物的图像视频数据，利用图像处理与模式识别方法进行野生动物监控的研究已越来越受到动物研究人员和计算机视觉研究者的关注，并且已有较多

研究成果。例如：有利用传统机器学习方法进行红腹狐猴的面部识别，也有利用CNN进行大猩猩面部识别的方法。但这些方法基本都是将现有的图像处理与模式识别的相关方法或模型直接地（或稍加改进）应用于动物的检测与识别中，却没有专门根据某一种野生动物的个体特征，有针对性地分析与研究相关动物在图像视频数据中的检测与识别。

本案例利用深度学习框架ResNet，并结合金丝猴面部的具体特征，设计了一种浅层ResNet，并将其应用于金丝猴面部识别中。该方法不仅提供了算法的效率，同时也提高了金丝猴面部识别的准确率。而所有方法都基于Tesla K40和Jetson TX1开发应用。

挑战

1. 相对于人脸，金丝猴的面部特征具有更大的相似

性，如图1所示，对面部识别算法的区分能力有更高的要求。

9字头 八字头

黑头 1字头 图1 金丝猴面部图像

2. 金丝猴面部图像的训练样本难以获得标准的正

脸或者指定角度的侧脸图像，这就对面部图像特征的提取能力有更高的要求。

3. 金丝猴活泼多动，使得在野外环境下对其进行

实时追踪需要有计算力能力更高的硬件设备，并且所使用的算法具有更高的效率。

方案

目前，野生动物研究人员的需求主要集中在两个方面：已获取图像数据的处理和野外实时监控。针对不同的需求，我们分别在Tesla K40和Jetson TX1上部署应用。Tesla K40开满了全部2880流处理器，频率核心745MHz，支持动态加速，且有810MHz、875MHz两个档次，浮点性能单精度4.29TFlops、双精度

1.43TFlops(3:1)。Tesla K40的性能优势结合我们的应用可以高效处理已获取的图像数据。Jetson TX1基于Tegra? X1处理器打造，采用和超级计算机完全相同的Maxwell架构256核心GPU，可提供高达1T-Flops的强大计算性能；其次，TX1功耗峰值才10W，符合我们野外部署的条件。与此同时，NVDIA为开发者提供强大且易用工具软件包，辅助资源非常丰富，我们可以快速完成环境的准备，集中精力在产品的研发上，大大提高了产品研发的效率。

本案例提出的算法主要可分为三个阶段：1.预处理阶段，对于视频中的每一帧，利用金丝猴面部毛发的色彩信息进行金丝猴头部区域的预提取；2.在预提取的金丝猴头部区域利用增量自步学习（Incremental Self-paced Learning）算法进行面部的检测；3.将检测得到的面部区域送入浅层ResNet进行个体识别。在预处理阶段，用到了经过NVIDIA优化过的OpenCV；在识别阶段，用到了CUDA，取得了很好的加速效果。算法整体框架图如图2所示。

图2 本案例的整体框架图

其中，本框架中浅层ResNet网络模型的总体结构如图3所示：

Conv1BNReLU1Conv2BNReLU2Conv3BN输入Eltwise1BNConv4ReLU5Eltwise2ReLU3BNConv6ReLU4BNConv5Conv7BNReLU6Conv8BNElteise3PoolingInnerProductSoftMax 图3 浅层ResNet网络模型的总体框架

浅层ResNet网络模型对一幅川金丝猴面部图像进行特征抽取的可视化效果示意图如图4所示，从左起依次是data1、conv1、conv2、conv3、Eltwise1、conv4、conv5、conv6、Eltwise2、conv7、conv8、Eltwise3各层的特征图。其中，data1是输入的图像数据，conv表示卷

积层，Eltwise是Caffe提供的实现多个blobs elemen-wise的相加、相乘或者取最大值，默认操作是相加。

图4 浅层ResNet网络结构所有层的特征可视化

影响

受益于NVDIA GPU的性能优势和NVDIA的技术支持，我们得以快速的将深度学习应用于野外环境下金丝猴面部的检测、追踪与识别中，为后续金丝猴行为规律的监测、识别与分析奠定基础。未来，我们将持续推进，把现有的技术开发成方便易用的APP软件，实现实用化。进一步，我们将此技术推广应用于所有灵长类动物、甚至更多的野生动物的面部检测与识别中，为野生动物个体与群体行为研究，以及野生动物的监测与保护提供科学并可靠的数据依据。