一文看懂人脸识别算法技术开展头绪

前言

大家应该都看过布拉德.伯德执导、汤姆.克鲁斯主演的《碟中谍4吧》？茫茫人海的火车站，只需一眨眼的功夫曾经被计算机识别进去，随即被特工盯梢；迎面相逢的美女是致命杀手，手机收回嘀嘀的报警声，上方曾经显示美女的姓名和消息。这就是本文想要引见的人脸识别算法，以及假设经常使用私有云AI平台训练模型。

作为目先人工智能畛域中成熟较早、落地较广的技术之一，人脸识别的目的是要判别图片和视频中人脸的身份。从平时手机的刷脸解锁、刷脸支付，再到安防畛域内的人脸识别布控，等等，人脸识别技术都有着宽泛的运行。人脸是每团体与生俱来的特色，该特色具有惟一性并且不易被复制，从而为身份甄别提供了必要的前提。

人脸识别的钻研始于20世纪60年代，随着计算机技术和光学成像技术的开展不时提高，以及近几年神经网络技术的再次兴起，尤其是卷积神经网络在图像识别和检测中取得的渺小成功，使得人脸识别系统的成果失掉了极大的优化。本文，咱们从人脸识别技术的技术细节讲起，带你初步了解人脸识别技术的开展环节，文章的后半篇，咱们将会经常使用ModelArts平台的自定义镜像，带你看看如何应用私有云的计算资源，极速训练一个可用的人脸识别模型。

注释

不论是基于传统图像处置和机器学习技术，还是应用深度学习技术，其中的流程都是一样的。如图1所示，人脸识别系统都包括人脸检测、对齐、编码以及婚配四个基本环节组成。所以该局部首先经过对基于传统图像处置和机器学习算法的人脸识别系统启动概述，就可以看出整个深度学习算法在人脸识别畛域内开展的头绪。

人脸检测流程

传统机器学习算法

前面曾经说过，人脸识别的目的就是要判别图像中的人脸身份是什么，所以就首先须要先把图像中的人脸检测进去，其实这一步归根结底就是一个指标检测的疑问。传统的图像指标检测算法关键有三局部组成，倡导框生成、特色工程以及分类，包括驰名的RCNN系列算法的优化思绪也是基于这三局部启动的。

首先是倡导框生成，该步骤最繁难的想法就是在图片中crop进去一堆待检测框，而后检测该框内能否存在指标，假设存在，则该框在原图中的位置即为指标检测出的位置，因此在该步骤中对指标的笼罩率越大，则倡导框生成战略越好。经常出现的倡导框生成战略有sliding window、Selective Search、Randomized Prim等等，生成少量的候选框，如下图所示。

失掉少量的候选框后，传统的人脸检测算法接上去最关键的局部就是特色工程。特色工程其实就是应用算法工程师的专家阅历对不同场景的人脸提取各种特色，例如边缘特色、外形外形学特色、纹理特色等等，详细的算法是技术有LBP、Gabor、Haar、SIFT等等特色提取算法，将一张以二维矩阵表示的人脸图片转换成各种特色向量的表示。

失掉特色向量之后，就可以经过传统的机器学习分类器对特色启动分类，失掉能否是人脸的判别，例如经过adaboost、cascade、SVM、随机森林等等。经过传统分类器分类之后就可以失掉人脸的区域、特色向量以及分类置信度等等。经过这些消息，咱们就可以成功人脸对齐、特色表示以及人脸婚配识别的上班。

以传统方法中，经典的HAAR+AdaBoost的方法为例，在特色提取阶段，首先会应用haar特色在图片中提取出很多繁难的特色。Haar特色如下图所示。为了满足不同大小人脸的检测，通常会应用高斯金字塔对不同分辨率的图像启动Haar特色的提取。

Haar特色的计算方法是将红色区域内的像素和减去彩色区域，因此在人脸和非人脸的区域内，失掉的值是不一样的。普通在详细成功环节中，可以经过积分图的方法极速成功。普通在归一化到20*20的训练图片中，可供经常使用的Haar特色数在一万个左右，因此在这种特色规模的状况下，可以应用机器学习的算法启动分类和识别。

失掉Haar特色后，可以应用Adaboost启动分类，Adaboost算法是一种将多个比拟弱的分类方法合在一同，组合出新的强分类方法。依据该级联分类器，和训练好的各个特色选用阈值，就可以成功对人脸的检测。

从上述方法可以看出，传统的机器学习算法是基于特色的算法，因此须要少量的算法工程师的专家阅历启动特色工程和调参等上班，算法成果也不是很好。而且人工设计在无解放环境中对不同变动状况都鲁棒很艰巨的。 过去的图像算法是工程师更多的是经过传统的图像处置方法，依据事实场景和专家阅历提取少量的特色，而后对提取的特色再启动统计学习的处置，这样全体算法的性能就十分依赖于事实场景和专家阅历，关于人脸这种类别渺小，每类样本不平衡状况重大的无解放场景成果并不是很好。因此，近几年随着深度学习在图像处置中取得的渺小成功，人脸识别技术也都以深度学习为主，并且曾经到达了十分好的成果。

深度学习在人脸识别畛域的运行

在深度学习的人脸识别系统中，该疑问被分红了一个指标检测疑问和一个分类疑问，而指标检测疑问在深度学习中实质还是一个分类疑问和回归疑问，因此随着卷积神经网络在图片分类上的成功运行，人脸识别系统的成果失掉了极速且渺小的优化，并以此降生了少量的视觉算法公司，并将人脸识别运行在了社会生存的各个方面。

其实应用神经网络来做人脸识别并不是什么新思维，1997年就有钻研者为人脸检测、眼部定位和人脸识别提出了一种名为基于概率决策的神经网络的方法。这种人脸识别 PDBNN 被分红了每一个训练主体一个全衔接子网络，以降低暗藏单元的数量和防止过拟合。钻研者经常使用密度和边特色区分训练了两个 PBDNN，而后将它们的输入组合起来失掉最终分类选择。但是受限于过后算力和数据的重大无余，算法相对繁难，因此该算法并没有失掉很好的成果。随着仅往年反向流传通常和算力框架等的日趋成熟，人脸识别算法的成果才开局失掉渺小的优化。

在深度学习中，一个完整的人脸识别系统也包括图1所示的四个步骤，其中第一步骤叫做人脸检测算法，实质也是一个指标检测算法。第二个步骤叫做人脸对齐，目前又基于关键点的几何对齐和基于深度学习的人脸对齐。第三个步骤特色表示，在深度学习中是经过火类网络的思维，提取分类网络中的一些feature层作为人脸的特色表示，而后用相反的方式对规范人脸像启动处置，最后经过比对查问的方式成功全体的人脸识别系统。上方关键对人脸检测和人脸识别算法的开展启动繁难综述。

人脸检测

深度学习在图像分类中的渺小成功后很快被用于人脸检测的疑问，后来处置该疑问的思绪大多是基于CNN网络的尺度不变性，对图片启动不同尺度的缩放，而后启动推理并直接对类别和位置消息启动预测。另外，由于对feature map中的每一个点直接启动位置回归，失掉的人脸框精度比拟低，因此有人提出了基于多阶段分类器由粗到细的检测战略检测人脸，例如关键方法有Cascade CNN、 DenseBox和MTCNN等等。

MTCNN是一个多义务的方法，第一次性将人脸区域检测和人脸关键点检测放在了一同，与Cascade CNN一样也是基于cascade的框架，但是全体思绪愈加的奇妙正当，MTCNN总体来说分为三个局部：PNet、RNet和ONet，网络结构如下图所示。

首先PNet网络对输入图片resize到不同尺寸，作为输入，直接经过两层卷积后，回归人脸分类和人脸检测框，这局部称之为粗检测。将粗检测失掉的人脸从原图中crop进去后，在输入的R-Net，再启动一次性人脸检测。最后将失掉的人脸最终输入O-Net，失掉的O-Net输入结果为最终的人脸检测结果。MTCNN全体流程相对比拟繁难，能够极速的启动部署和成功，但是MTCNN的缺陷也很多。包括多阶段义务训练费时，少量两边结果的保留须要占用少量的存储空间。另外，由于改网络直接对feature点启动bounding box的回归，关于小指标人脸检测的成果也不是很好。还有，该网络在推理的环节中为了满足不同大小人脸检测须要，要将人脸图片resize到不同尺寸内，重大影响了推理的速度。

随着指标检测畛域的开展，越来越多的试验证据证实指标检测中更多的瓶颈在于底层网络语义低但定位精度相对较高和上层网络语义高但定位精度低的矛盾，指标检测网络也开局盛行anchor-based的战略和跨层融合的战略，例如驰名的Faster-rcnn、SSD和yolo系列等。因此，人脸检测算法也越来越多的应用anchor和多路输入来满足不同大小人脸检出的成果，其中最驰名的算法就是SSH网络结构。

从上图中可以看出，SSH网络曾经有对不同网络层输入启动处置的方法，只须要一遍推理就能成功不同大小人脸的检测环节，因此称之为Single Stage。SSH的网络也比拟繁难，就是对VGG不同卷积层惊醒了分支计算并输入。另外还对上层feature启动了上采样，与底层feature做Eltwise Sum来成功底层与上层的特色融合。另外SSH网络还设计了detection module和context module，其中context module作为detection module的一局部，驳回了inception的结构，失掉更多高低文消息以及更大的感触野。

SSH中的detection module模块

SSH中detection module里的context module模块

SSH应用1×1卷积对输入最终的回归和分类的分支结果，并没无应用全衔接层，因此可以保证不同尺寸图片的输入都能失掉输入的结果，也是照应了过后全卷积设计方式的潮流。遗憾的是该网络并没有输入landmark点，另外其实高低文结构也没有用到比拟盛行的特色金字塔结构，VGG16的backbone也相对较浅，随着人脸优化技术的不时启动，各种各样的trick也都日趋成熟。因此，最后向大家引见一下目先人脸检测算法中运行比拟广的Retinaface网络。

Retinaface由google提出，实质是基于RetinaNet的网络结构，驳回特色金字塔技术，成功了多尺度消息的融合，对检测小物体有关键的作用。网络结构如下所示。

从上图可以看出，Retinaface的backbone网络为经常出现的卷积神经网络，而后参与特色金子塔结构和Context Module模块，进一步融合高低文的消息，并成功包括分类、检测、landmark点回归以及图像自增强的多种义务。

由于人脸检测的实质是指标检测义务，指标检测未来的方向也适用于人脸的优化方向。目前在指标检测中小指标、遮挡指标的检测照旧很艰巨，另外大部份检测网络更多的开局部署在端侧，因此基于端侧的网络模型紧缩和重构减速等等愈加考验算法工程师对与深度学习检测算法的了解和运行。

人脸识别

人脸识别疑问实质是一个分类疑问，即每一团体作为一类启动分类检测，但实践运行环节中会发生很多疑问。第一，人脸类别很多，假设要识别一个城镇的一切人，那么分类类别就将近十万以上的类别，另外每一团体之间可取得的标注样本很少，会发生很多长尾数据。依据上述疑问，要对传统的CNN分类网络启动修正。

咱们知道深度卷积网络只管作为一种黑盒模型，但是能够经过数据训练的方式去表征图片或许物体的特色。因此人脸识别算法可以经过卷积网络提取出少量的人脸特色向量，而后依据相似度判别与底库比拟成功人脸的识别环节，因此算法网络能不能对不同的人脸生成不同的特色，对同一人脸生成相似的特色，将是这类embedding义务的重点，也就是怎样样能够最大化类间距离以及最小化类内距离。

在人脸识别中，骨干网络可以应用各种卷积神经网络成功特色提取的上班，例如resnet，inception等等经典的卷积神经网络作为backbone，关键在于最后一层loss function的设计和成功。如今从两个思绪剖析一下基于深度学习的人脸识别算法中各种损失函数。

1. Metric Larning

（1）Contrastive loss

深度学习中最先运行metric learning思维之一的便是DeepID2了。其中DeepID2最关键的改良是同一个网络同时训练verification和classification（有两个监视信号）。其中在verification loss的特色层中引入了contrastive loss。

Contrastive loss不只思考了相反类别的距离最小化，也同时思考了不同类别的距离最大化，经过充沛运用训练样本的label消息优化人脸识别的准确性。因此，该loss函数实质上使得同一团体的照片在特色空间距离足够近，不同人在特色空间里相距足够远直到超越某个阈值。(听起来和tripletloss有点像)。

Contrastive loss引入了两个信号，并经过两个信号对网络启动训练。其中识别信号的表白式如下：

验证信号的表白式如下：

基于这样的信号，DeepID2在训练的时刻就不是以一张图片为单位了，而是以Image Pair为单位，每次输入两张图片，为同一人则为1，假设不是同一人则为-1.

（2）Triplet loss from FaceNet

这篇15年来自Google的FaceNet雷同是人脸识别畛域分水岭性质的上班。它提出了一个绝大局部人脸疑问的一致处置框架，即：识别、验证、搜索等疑问都可以放到特色空间里做，须要专一处置的仅仅是如何将人脸更好的映射到特色空间。

Google在DeepID2的基础上，放弃了分类层即Classification Loss，将Contrastive Loss改良为Triplet loss，只为了一个目的：学习到更好的feature。

直接贴出Triplet loss的损失函数，其输入的不再是Image Pair，而是三张图片(Triplet)，区分为Anchor Face, Negative Face和Positive Face。Anchor与Positive Face为同一人，与Negative Face为不同的人。那么Triplet loss的损失函数即可表示为：

该式子的直观解释为：在特色空间里Anchor与Positive的距离要小于Anchor与Negative的距离并超越一个Margin Alpha。他与Contrastive loss的直观区别由下图所示。

（3）Metric learning的疑问

上述的两个loss function成果很不错，而且也合乎人的主观认知，在实践名目中也有少量的运行，但该方法仍有一些无余之处。

2. 关于Metric Learning无余启动修正的各种trick

（1）Finetune

参考论文：Deep Face Recognition

在论文《Deep Face Recognition》中，为了放慢triplet loss的训练，坐着先用softmax训练人脸识别模型，而后移除顶层的classification layer，而后用triplet loss对模型启动特色层finetune，在减速训练的同时也取得了很不错的成果。该方法也是如今训练triplet loss时最罕用的方法。

（2）对Triplet loss的修正

参考论文：In Defense of the Triplet Loss for Person Re-Identification

该作者说出了Triplet loss的缺陷。关于Triplet loss训练所须要的一个三元组，anchor(a)、positive(p)、negative(n)来说，须要从训练集中随机筛选。由于loss function的驱动，很有或许筛选进去的是很繁难的样本组合，即很像的正样本以及很不像的负样本，而让网络不时在繁难样本上启动学习，会限度网络的范化才干。因此坐着修正了triplet loss并参与了新的trick，少量试验证实，这种改良版的方法成果十分好。

在Google提供的facenet triplet loss训练时，一旦选定B triplets汇合，数据就会依照顺序排好的3个一组，那么总共的组合就有3B种，但是这些3B个图像实践上有多达种有效的triplets组合，仅仅经常使用3B种就很糜费。

在该片论文中，作者提出了一个TriHard loss，其外围理想是在triplet loss的基础上参与对hard example的处置：关于每一个训练的batch, 随机筛选P个ID的行人，每个行人随机筛选K张不同的图片，即一个batch含有P×K张图片。之后关于batch中的每一张图片a，咱们可以筛选一个最难的正样本和一个最难的负样本和a组成一个三元组。首先咱们定义和a为相反ID的图片集为A，剩下不同ID的图片图片集为B，则TriHard损失表示为：

其中是人为设定的阈值参数。TriHard loss会计算a和batch中的每一张图片在特色空间的欧氏距离，而后选出与a距离最远(最不像)的正样本p和距离最近(最像)的负样本n来计算三元组损失。其中d表示欧式距离。损失函数的另一种写法如下：

另外，作者在轮中也提出了几个试验失掉的观念：

该方法思考了hard example后成果比传统的triplet loss好。

（3）对loss以及sample方法的修正

参考论文：Deep Metric Learning via Lifted Structured Feature Embedding

该论文首先提出了现有的三元组方法无法充沛应用minibatch SGD training的training batches的长处，发明性的将the vector of pairwise distances转换成the matrix of pairwisedistance，而后设计了一个新的结构化损失函数，取得了十分好的成果。如下图所示，是contrastice embedding，triplet embedding以及lifted structured embedding三种方式的采样示用意。

直观上看，lifted structured embedding触及的分类形式更多，作者为了防止少量数据形成的训练艰巨，作者在此基础上给出了一个结构化的损失函数。如下图所示。

其中P是正样本汇合，N是负样本汇合。可以看到对比上述的损失函数，该损失函数开局思考一个样本汇合的疑问。但是，并不是一切样本对之间的negative edges都携带了有用的消息，也就是说随机采样的样本对之间的negative edges携带了十分有限的消息，因此咱们须要设计一种非随机的采样方法。

经过上述的结构化损失函数咱们可以看到，在最终计算损失函数时，思考了最像和最不像的hard pairs(也就是损失函数中max的用途)，也就相当于在训练环节中参与了difficultneighbors的消息了训练mini-batch，经过这种方式训练数据能够大略率的搜索到hard negatives和hard positives的样本，而随着训练的不时启动，对hard样本的训练也将成功最大化类间距离和最小化类内距离的目的。

如上图所示，该文章在启动metric learning的时刻并没有随机的选用sample pairs，而是综合了多类样本之间较难区分者启动训练。此外，文中还提到了以为的寻求max的环节或许寻求single hardest negative的环节会造成网络收敛到一个bad local optimum，我猜想或许是由于max的截断效应，使得梯度比拟峻峭或许梯度连续点过多。作者进一步改良了lossfunction，驳回了smooth upper bound，即下式所示。

（4）对sample方式和对triplet loss的进一步修正

参考论文：Sampling Matters in Deep Embedding Learning

文章指出hard negative样本由于anchor的距离较小，这是假设有噪声，那么这种采样方式就很容易遭到噪声的影响，从而形成训练时的模型坍塌。FaceNet曾经提出一种semi-hard negative mining的方法，它提出的方法是让采样的样本不是太hard。但是依据作者的剖析以为，sample应该在样本中启动平均的采样，因此最佳的采样形态应该是在扩散平均的负样本中，既有hard，又有semi-hard，又有easy的样本，因此作者提出了一种新的采样方法Distance weighted sampling。

在事实形态下，咱们队一切的样本启动两两采样，计算其距离，最终失掉点对距离的散布有着如下的相关：

那么依据给定的距离，经过上述函数的反函数就可以失掉其采样概率，依据该概率选择每个距离须要采样的比例。给定一个anchor，采样负例的概率为下式：

由于训练样本与训练梯度强相关，因此作者也绘制出了采样距离、采样方法与数据梯度方差的相关，如下图所示。从图中可以看出，hard negative mining方法采样的样本都处于高方差的区域，假设数据集中有噪声的话，采样很容易遭到噪声的影响，从而造成模型坍塌。随机采样的样本容易集中在低方差的区域，从而使得loss很小，但此时模型实践上并没有训练好。Semi-hard negative mining采样的范围很小，这很或许造成模型在很早的时刻就收敛，loss降低很慢，但实践上此时模型也还没训练好；而本文提出的方法，能够实如今整个数据集上平均采样。

作者在观察constractive loss和triplet loss的时刻发现一个疑问，就是负样本在十分hard的时刻loss函数十分的平滑，那么也就象征着梯度会很小，梯度小关于训练来说就象征着十分hard的样本不能充沛训练，网络得不到hard样本的有效消息，因此hard样本的成果就会变差。所以假设在hard样本周围loss不是那么平滑，也就是深度学习中常罕用的导数为1(像relu一样)，那么hard形式会不会就处置了梯度隐没的疑问。另外loss function还要成功triplet loss对正负样本的统筹，以及具有margin设计的性能，也就是自顺应不同的数据散布。损失函数如下：

咱们称anchor样本与正例样本之间的距离为正例对距离；称anchor样本与负例样本之间的距离为负例对距离。公式中的参数beta定义了正例对距离与负例对距离之间的界限，假设正例对距离Dij大于beta，则损失放大；或许负例对距离Dij小于beta，损失放大。A控制样本的分别距离；当样本为正例对时，yij为1，样本为负例对时，yij为-1。下图为损失函数曲线。

从上图可以看出为什么在十分hard的时刻会发生梯度隐没的状况，由于离0点近的时刻蓝色的线越来越平滑，梯度也就越来越小了。另外作者对的设置也启动了调优，参与了样本偏置、类别偏置以及超参，对损失函数进一步优化，能够依据训练环节智能修正的值。

3. Margin Based Classification

Margin based classification不像在feature层直接计算损失的metric learning那样对feature加直观的强限度，是依然把人脸识别当 classification 义务启动训练，经过对 softmax公式的变革，直接成功了对 feature 层施加 margin 的限度，使网络最后失掉的 feature 更 discriminative。

（1）Center loss

参考论文：A Discriminative Feature Learning Approach for Deep Face Recognition

ECCV 2016的这篇文章关键是提出了一个新的Loss：Center Loss，用以辅佐Softmax Loss启动人脸的训练，为了让同一个类别紧缩在一同，最终失掉愈加discriminative的features。center loss意思即为：为每一个类别提供一个类别中心，最小化min-batch中每个样本与对应类别中心的距离，这样就可以到达增加类内距离的目的。下图为最小化样本和类别中心距离的损失函数。

为每个batch中每个样本对应的类别中心，和特色的维度一样，用欧式距离作为高维流形体距离表白。因此，在softmax的基础上，center loss的损失函数为：

团体了解Center loss就似乎在损失函数中参与了聚类的性能，随着训练的启动，样本自觉地聚类在每一个batch的中心，进一步成功类间差异最大化。但是我觉得，关于高维特色，欧氏距离并不能反映聚类的距离，因此这样繁难的聚类并不能在高维上取得更好的成果。

（2）L-Softmax

原始的Softmax的目的是使得，将向量相乘的方式变换为向量的模与角度的相关，即，在这个基础上，L-Softmax宿愿可以经过参与一个正整数变量m，可以看到：

使得发生的决策边界可以愈加严厉地解放上述不等式，让类内的间距愈加的紧凑，让类间的间距愈加有区分性。所以基于上式和softmax的公式，可以失掉L-softmax的公式为：

由于cos是减函数，所以乘以m会使得内积变小，最终随着训练，类自身之间的距离会增大。经过控制m的大小，可以看到类内和类间距离的变动，二维图显示如下：

作者为了保证在反向流传和推理环节中能够满足类别向量之间的角度都能够满足margin的环节，并保证干燥递减，因此构建了一种新的函数方式：

有人反应L-Softmax调参难度较大，对m的调参须要重复启动，才干到达更好的成果。

（3）Normface

参考论文：NormFace: L2 Hypersphere Embedding for Face Verification

这篇论文是一篇很无心思的文章，文章关于权重与特色归一化做了很多无心思的讨论。文章提出，sphereface只管好，但是它不柔美。在测试阶段，sphereface经过特色间的余弦值来权衡相似性，即以角度为相似性度量。但在训练环节中也有一个疑问，权重没有归一化，lossfunction在训练环节中减小的同时，会使得权重的模越来越大，所以sphereface损失函数的优化方向并不是很谨严，其实优化的方向还有一局部去增大特色的长度了。有博主做试验发现，随着m的增大，坐标的尺度也在不时增大，如下图所示。

因此作者在优化的环节中，对特色做了归一化处置。相应的损失函数也如下所示：

其中W和f都为归一化的特色，两个点积就是角度余弦值。参数s的引入是由于数学上的性质，保证了梯度大小的正当性，原文中有比拟直观的解释，可以浏览原论文，并不是重点。s既可以变成可学习的参数，也可以变成超参，论文作者给了很多介绍值，可以在论文中找到。其实，FaceNet中归一化的欧氏距离，和余弦距离是一致的。

4. AM-softmax/CosFace

参考论文：Additive Margin Softmax for Face Verification

CosFace: Large Margin Cosine Loss for Deep Face Recognition

看上方的论文，会发现少了一个物品，那就是margin，或许说是margin的象征少了一些，所以AM-softmax在归一化的基础上有引入了margin。损失函数如下：

直观过去看，-m比更小，所以损失函数值比Normface里的更大，因此有了margin的觉得。m是一个超参数，控制处罚，当m越大，处罚越强。该方法好的一点是容易复现，而且没有很多调参的tricks，成果也很好。

与 AM-softmax 相比，区别在于 Arcface 引入 margin 的方式不同，损失函数：

乍一看是不是和 AM-softmax一样？留意 m 是在余弦外面。文章指出基于上式优化失掉的特色间的 boundary 更为优越，具有更强的几何解释。

但是这样引入 margin 能否会有疑问？细心想 cos(θ+m) 能否肯定比 cos(θ) 小？

最后咱们用文章中的图来解释这个疑问，并且也由此做一个本章 Margin-based Classification 局部的总结。

这幅图出自于 Arcface，横坐标为 θ 为特色与类中心的角度，纵坐标为损失函数分子指数局部的值（不思考 s），其值越小损失函数越大。

看了这么多基于分类的人脸识别论文，置信你也有种觉得，大家似乎都在损失函数上做文章，或许更详细一点，大家都是在讨论如何设计上图的 Target logit-θ 曲线。

这个曲线象征着你要如何优化偏离指标的样本，或许说，依据偏离指标的水平，要给予多大的处罚。两点总结：

1. 太强的解放不容易泛化。例如 Sphereface 的损失函数在 m=3 或 4 的时刻能满足类内最大距离小于类间最小距离的要求。此时损失函数值很大，即 target logits 很小。但并不象征着能泛化到训练集以外的样本。施加太强的解放反而会降低模型性能，且训练不易收敛。

2. 选用优化什么样的样本很关键。Arcface 文章中指出，给予 θ∈[60° , 90°] 的样本过多处罚或许会造成训练不收敛。优化 θ ∈ [30° , 60°] 的样本或许会提高模型准确率，而过火优化 θ∈[0° , 30°] 的样本则不会带来显著优化。至于更大角度的样本，偏离指标太远，强行优化很有或许会降低模型性能。

这也回答了上一节留下的不懂，上图曲线 Arcface 前面是回升的，这有关紧要甚至还无好处。由于优化大角度的 hard sample 或许没无好处。这和 FaceNet 中关于样本选用的 semi-hard 战略是一个情理。

Margin based classification 加长浏览

提出了 center loss，加权整合进原始的 softmax loss。经过保养一个欧式空间类中心，增加类内距离，增强特色的 discriminative power。

Sphereface 作者的前一篇文章，未归一化权重，在 softmax loss 中引入了 margin。外面也触及到 Sphereface 的训练细节。

经常使用ModelArts训练人脸模型

人脸识别算法成功解释

本文咱们部署的人脸识别算法模型关键包括两局部：

如下图所示，全体算法成功的流程分为线下和线上两个局部，在每次对不同的人启动识别之前首先应用训练好的算法生成人脸规范底库，将底库数据保留在modelarts上。而后在每次推理的环节中，图片输入会经过人脸检测模型和人脸识别模型失掉人脸特色，而后基于该特色在底库中搜索相似对最高的特色，成功人脸识别的环节。

在成功环节中，咱们驳回了基于Retinaface+resnet50+arcface的算法成功人脸图像的特色提取，其中Retinaface作为检测模型，resnet50+arcface作为特色提取模型。

在镜像中，运转训练的脚本有两个，区分对应人脸检测的训练和人脸识别的训练。

run_face_detection_train.sh

 run_face_detection_train.sh>其中model_output_path为模型输入的门路，data_path为人脸检测训练集的输入门路，输入的图片门路结构如下：
detection_train_data/train/images/label.txtval/images/label.txttest/images/label.txt
run_face_recognition_train.sh
 run_face_recognition_train.sh>其中model_output_path为模型输入的门路，data_path为人脸检测训练集的输入门路，输入的图片门路结构如下：
recognition_train_data/cele.idxcele.lstcele.recproperty
run_generate_data_base.sh
 run_generate_data_base.sh>其中data_path为底库输入门路，detect_model_path为检测模型输入门路，recognize_model_path为识别模型输入门路，db_output_path为底库输入门路。
run_face_recognition.sh
 run_generate_data_base.sh>其中data_path为测试图片输入门路，db_path为底库门路，detect_model_path为检测模型的输入门路，recognize_model_path为识别模型的输入门路
训练环节
华为云ModelArts有训练作业的性能，可以用来作模型训练以及对模型训练的参数和版本启动治理。这特性能关于多版本迭代开发的开发者有肯定的协助。训练作业中有预置的一些镜像和算法，关于罕用的框架均有预置镜像（包括Caffe, MXNet, Pytorch, TensorFlow ）和华为自己的昇腾芯片的引擎镜像（Ascend-Powered-Engine）。
本文咱们会基于ModelArts的自定义镜像特性，上行自己在本机调试终了的完整镜像，应用华为云的GPU资源训练模型。
咱们是想在华为云上的ModelArts基于网站上经常出现的明星的数据训练成功一团体脸识别模型。在这个环节中，由于人脸识别网络是工程师自己设计的网络结构，所以须要经过自定义镜像启动上行。所以整团体脸训练的环节分为以下九步：
Docker环境可以在本地计算机启动构建，也可以在华为云上购置一台弹性云主机启动Docker环境构建。全环节参考Docker官方的文档启动：
从华为云下载基础镜像
咱们训练须要经常使用到的是MXNet的环境，首先须要从华为云高低载相对应的自定义镜像的基础镜像。官方给出的下载命令如下：
在训练作业基础镜像的规范里，找到了这个命令的解释。
依据咱们的脚本要求，我经常使用的是cuda9的镜像：
官方还给出了另一种方法，就是经常使用docker file的。基础镜像的dockerfile也是在训练作业基础镜像的规范里找到的。可以参考一下的dockerfile：
依据自己需求构建自定义镜像环境
由于比拟懒，所以还是没有经常使用Dockerfile的方式自己构建镜像。我驳回的是另一种方式！
由于咱们的需求就是cuda 9 还有一些相关的python依赖包，假定官方的镜像提供的是cuda 9的，咱们大可以在训练脚本中跟着这个教程加一个requirement.txt。繁难高效快捷就能处置需求！！！上方是教程~~~
上行镜像的页面写着，文件解压后不得超越2GB。但是官方提供的基础镜像就3.11GB，咱们加上须要的预训练的模型后镜像是5+GB，所以不能经常使用页面启动上行的上班，肯定经常使用客户端。上行镜像首先要创立组织，
假设觉得产品文档了解还是比拟难，可以尝试一下SWR页面的pull/push镜像体验：
这里前面疏导了客户如何将本地镜像推上云端，第一步是登陆仓库：
第二步拉取镜像，这个咱们就用自己打的自定义镜像替代，
第三步修正组织，经常使用依据产品文档创立的组织名。在这一步须要将本地的一个镜像重命名为云上识别的镜像命。详细看下图解释：
当熟练掌握这四步技巧的时刻，可以脱离这个教程，经常使用客户端启动上行。经常使用客户端登陆而后上行。客户端登陆可以经常使用生成暂时docker loging指令。这个页面在”我的镜像“-> ”客户端上行“->”生成暂时docker login指令“中：
在本地docker环境中，经常使用这个生成的暂时docker login指令登陆后，经常使用上方的命令启动上行镜像：
经常使用华为云训练作业启动训练
华为云ModelArts提供训练作业给用户启动模型训练。在训练作业中有预置镜像和可以选用自定义镜像。预置的镜像蕴含市面上大局部框架，没有不凡要求的时刻，经常使用这些框架的镜像启动训练也是很繁难的。本次测试还是经常使用的自定义镜像。
自定义镜像中不只须要在镜像中启动性能自己的环境，假设扭转了训练作业启动的方式，还须要修正训练的启动脚本。从华为云ModelArts官方拉取上去的官方镜像的/home/work/门路下有一个启动脚本”run_train.sh”，自定义的启动脚本须要基于这个脚本启动修正。关键是要留意 “dls_get_app”，这个是从OBS下载相关的命令。其余的局部依据自己的训练脚本启动修正。
假设须要上行训练结果或许模型到OBS，须要参考”dls_get_app”加”dls_upload_model”的命令。在咱们这次训练中，上行的脚本如下：
训练作业启动调试的时刻，可以经常使用收费提供的一小时V100。ModelArts的训练作业一个比拟好的中央是繁难了咱们版本治理。版本中会记载一切经过运转参数传入到训练脚本里的一切参数，还可以经常使用版本对比启动参数对比。还有个比拟繁难的中央是可以基于某一个版本启动修正，增加了从新输入一切参数这一步骤，比拟繁难调试。
在训练作业中训练成功后，还可以在ModelArts中启动模型部署上线。
后记
目前针对人脸识别算法的优化曾经抵达一个瓶颈期，但是在技术层面针对人脸面部结构的相似性、人脸的姿态、年龄变动、复杂环境的光照变动、人脸的饰物遮挡等还面临这很多的疑问，因此基于多种算法技术的融合处置人脸识别中的各种疑问依然在安防、互联网中有着渺小的市场。另外，随着人脸支付的逐渐完善，人脸识别系统也运行于银行、商场等等，因此人脸识别的安保疑问和防攻打疑问也是一个亟待处置的疑问，例如活体检测、3D面部识别等等。
最后，人脸识别作为目前深度学习中运行比拟成熟的名目，其开展还与深度学习自身技术开展毫不相关，目前在很多优化上，深度学习最大的缺陷是没有相应的数学通常撑持，优化所优化的性能也很有限，因此对深度学习算法自身的钻研也是未来的重点。
  起源：今天头条 人脸识别