论文原文：
YOLO（you only look once）是继RCNN、faster-RCNN之后，又一里程碑式的目标检测算法。yolo在保持不错的准确度的情况下，解决了当时基于深度学习的检测中的痛点---速度问题。下图是各目标检测系统的检测性能对比：
如果说faster-RCNN是真正实现了完全基于深度学习的端到端的检测，那么yolo则是更进一步，将 目标区域预测 与 目标类别判断 整合到单个神经网络模型中。各检测算法结构见下图：
每个网格要预测B个bounding box，每个bounding box除了要回归自身的位置之外，还要附带预测一个confidence值。这个confidence代表了所预测的box中含有object的置信度和这个box预测的有多准两重信息，其值是这样计算的：
其中如果有object落在一个grid cell里，第一项取1，否则取0。第二项是预测的bounding box和实际的groundtruth之间的IoU值。
每个bounding box要预测(x, y, w, h)和confidence共5个值，每个网格还要预测一个类别信息，记为C类。即SxS个网格，每个网格除了要预测B个bounding box外，还要预测C个categories。输出就是S x S x (5*B+C)的一个tensor。（注意：class信息是针对每个网格的，即一个网格只预测一组类别而不管里面有多少个bounding box，而confidence信息是针对每个bounding box的。）
举例说明: 在PASCAL VOC中，图像输入为448x448，取S=7，B=2，一共有20个类别(C=20)。则输出就是7x7x30的一个tensor。整个网络结构如下图所示：
在test的时候，每个网格预测的class信息和bounding box预测的confidence信息相乘，就得到每个bounding box的class-specific confidence score:
等式左边第一项就是每个网格预测的类别信息，第二三项就是每个bounding box预测的confidence。这个乘积即encode了预测的box属于某一类的概率，也有该box准确度的信息。
得到每个box的class-specific confidence score以后，设置阈值，滤掉得分低的boxes，对保留的boxes进行NMS（非极大值抑制non-maximum suppresssion）处理，就得到最终的检测结果。
1、每个grid因为预测两个bounding box有30维（30=2*5+20），这30维中，8维是回归box的坐标，2维是box的confidence，还有20维是类别。其中坐标的x,y用bounding box相对grid的offset归一化到0-1之间，w,h除以图像的width和height也归一化到0-1之间。
2、对不同大小的box预测中，相比于大box预测偏一点，小box预测偏一点肯定更不能被忍受的。而sum-square error loss中对同样的偏移loss是一样。为了缓和这个问题，作者用了一个比较取巧的办法，就是将box的width和height取平方根代替原本的height和width。这个参考下面的图很容易理解，小box的横轴值较小，发生偏移时，反应到y轴上相比大box要大。其实就是让算法对小box预测的偏移更加敏感。
3、一个网格预测多个box，希望的是每个box predictor专门负责预测某个object。具体做法就是看当前预测的box与ground truth box中哪个IoU大，就负责哪个。这种做法称作box predictor的specialization。
4、损失函数公式见下图：
在实现中，最主要的就是怎么设计损失函数，坐标（x,y,w,h），confidence，classification 让这个三个方面得到很好的平衡。简单的全部采用sum-squared error loss来做这件事会有以下不足：
解决方法：
只有当某个网格中有object的时候才对classification error进行惩罚。只有当某个box predictor对某个ground truth box负责的时候，才会对box的coordinate error进行惩罚，而对哪个ground truth box负责就看其预测值和ground truth box的IoU是不是在那个cell的所有box中最大。
作者采用ImageNet 1000-class 数据集来预训练卷积层。预训练阶段，采用网络中的前20卷积层，外加average-pooling层和全连接层。模型训练了一周，获得了top-5 accuracy为（ImageNet2012 validation set），与GoogleNet模型准确率相当。
然后，将模型转换为检测模型。作者向预训练模型中加入了4个卷积层和两层全连接层，提高了模型输入分辨率（224×224->448×448）。顶层预测类别概率和bounding box协调值。bounding box的宽和高通过输入图像宽和高归一化到0-1区间。顶层采用linear activation，其它层使用 leaky rectified linear。
作者采用sum-squared error为目标函数来优化，增加bounding box loss权重，减少置信度权重，实验中，设定为\lambda _{coord} =5 and\lambda _{noobj}= 。
作者在PASCAL VOC2007和PASCAL VOC2012数据集上进行了训练和测试。训练135轮，batch size为64，动量为，学习速率延迟为。Learning schedule为：第一轮，学习速率从缓慢增加到（因为如果初始为高学习速率，会导致模型发散）；保持速率到75轮；然后在后30轮中，下降到；最后30轮，学习速率为。
作者还采用了dropout和 data augmentation来预防过拟合。dropout值为；data augmentation包括：random scaling，translation，adjust exposure和saturation。
YOLO模型相对于之前的物体检测方法有多个优点：
1、 YOLO检测物体非常快
因为没有复杂的检测流程，只需要将图像输入到神经网络就可以得到检测结果，YOLO可以非常快的完成物体检测任务。标准版本的YOLO在Titan X 的 GPU 上能达到45 FPS。更快的Fast YOLO检测速度可以达到155 FPS。而且，YOLO的mAP是之前其他实时物体检测系统的两倍以上。
2、 YOLO可以很好的避免背景错误，产生false positives
不像其他物体检测系统使用了滑窗或region proposal，分类器只能得到图像的局部信息。YOLO在训练和测试时都能够看到一整张图像的信息，因此YOLO在检测物体时能很好的利用上下文信息，从而不容易在背景上预测出错误的物体信息。和Fast-R-CNN相比，YOLO的背景错误不到Fast-R-CNN的一半。
3、 YOLO可以学到物体的泛化特征
当YOLO在自然图像上做训练，在艺术作品上做测试时，YOLO表现的性能比DPM、R-CNN等之前的物体检测系统要好很多。因为YOLO可以学习到高度泛化的特征，从而迁移到其他领域。
尽管YOLO有这些优点，它也有一些缺点：
1、YOLO的物体检测精度低于其他state-of-the-art的物体检测系统。
2、YOLO容易产生物体的定位错误。
3、YOLO对小物体的检测效果不好（尤其是密集的小物体，因为一个栅格只能预测2个物体）。
论文名称：Rich feature hierarchies for accurate object detection and semantic segmentation 提出时间：2014年 论文地址： 针对问题： 从Alexnet提出后，作者等人思考如何利用卷积网络来完成检测任务，即输入一张图，实现图上目标的定位（目标在哪）和分类（目标是什么）两个目标，并最终完成了RCNN网络模型。 创新点： RCNN提出时，检测网络的执行思路还是脱胎于分类网络。也就是深度学习部分仅完成输入图像块的分类工作。那么对检测任务来说如何完成目标的定位呢，作者采用的是Selective Search候选区域提取算法，来获得当前输入图上可能包含目标的不同图像块，再将图像块裁剪到固定的尺寸输入CNN网络来进行当前图像块类别的判断。 参考博客： 。 论文题目：OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks 提出时间：2014年 论文地址： 针对问题： 该论文讨论了，CNN提取到的特征能够同时用于定位和分类两个任务。也就是在CNN提取到特征以后，在网络后端组织两组卷积或全连接层，一组用于实现定位，输出当前图像上目标的最小外接矩形框坐标，一组用于分类，输出当前图像上目标的类别信息。也是以此为起点，检测网络出现基础主干网络(backbone)+分类头或回归头（定位头）的网络设计模式雏形。 创新点： 在这篇论文中还有两个比较有意思的点，一是作者认为全连接层其实质实现的操作和1x1的卷积是类似的，而且用1x1的卷积核还可以避免FC对输入特征尺寸的限制，那用1x1卷积来替换FC层，是否可行呢？作者在测试时通过将全连接层替换为1x1卷积核证明是可行的；二是提出了offset max-pooling，也就是对池化层输入特征不能整除的情况，通过进行滑动池化并将不同的池化层传递给后续网络层来提高效果。另外作者在论文里提到他的用法是先基于主干网络+分类头训练，然后切换分类头为回归头，再训练回归头的参数，最终完成整个网络的训练。图像的输入作者采用的是直接在输入图上利用卷积核划窗。然后在指定的每个网络层上回归目标的尺度和空间位置。 参考博客： 论文题目：Scalable Object Detection using Deep Neural Networks 提出时间：2014年 论文地址： 针对问题： 既然CNN网络提取的特征可以直接用于检测任务（定位+分类），作者就尝试将目标框（可能包含目标的最小外包矩形框）提取任务放到CNN中进行。也就是直接通过网络完成输入图像上目标的定位工作。 创新点： 本文作者通过将物体检测问题定义为输出多个bounding box的回归问题. 同时每个bounding box会输出关于是否包含目标物体的置信度, 使得模型更加紧凑和高效。先通过聚类获得图像中可能有目标的位置聚类中心，（800个anchor box）然后学习预测不考虑目标类别的二分类网络，背景or前景。用到了多尺度下的检测。 参考博客： 论文题目：DeepBox: Learning Objectness with Convolutional Networks 提出时间：2015年ICCV 论文地址： 主要针对的问题： 本文完成的工作与第三篇类似，都是对目标框提取算法的优化方案，区别是本文首先采用自底而上的方案来提取图像上的疑似目标框，然后再利用CNN网络提取特征对目标框进行是否为前景区域的排序；而第三篇为直接利用CNN网络来回归图像上可能的目标位置。创新点： 本文作者想通过CNN学习输入图像的特征，从而实现对输入网络目标框是否为真实目标的情况进行计算，量化每个输入框的包含目标的可能性值。 参考博客： 论文题目：AttentionNet: AggregatingWeak Directions for Accurate Object Detection 提出时间：2015年ICCV 论文地址： 主要针对的问题： 对检测网络的实现方案进行思考，之前的执行策略是，先确定输入图像中可能包含目标位置的矩形框，再对每个矩形框进行分类和回归从而确定目标的准确位置，参考RCNN。那么能否直接利用回归的思路从图像的四个角点，逐渐得到目标的最小外接矩形框和类别呢？ 创新点： 通过从图像的四个角点，逐步迭代的方式，每次计算一个缩小的方向，并缩小指定的距离来使得逐渐逼近目标。作者还提出了针对多目标情况的处理方式。 参考博客： 论文题目：Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition 提出时间：2014年 论文地址： 针对问题： 如RCNN会将输入的目标图像块处理到同一尺寸再输入进CNN网络，在处理过程中就造成了图像块信息的损失。在实际的场景中，输入网络的目标尺寸很难统一，而网络最后的全连接层又要求输入的特征信息为统一维度的向量。作者就尝试进行不同尺寸CNN网络提取到的特征维度进行统一。创新点： 作者提出的SPPnet中，通过使用特征金字塔池化来使得最后的卷积层输出结果可以统一到全连接层需要的尺寸，在训练的时候，池化的操作还是通过滑动窗口完成的，池化的核宽高及步长通过当前层的特征图的宽高计算得到。原论文中的特征金字塔池化操作图示如下。 参考博客 ： 论文题目：Object detection via a multi-region & semantic segmentation-aware CNN model 提出时间：2015年 论文地址： 针对问题： 既然第三篇论文multibox算法提出了可以用CNN来实现输入图像中待检测目标的定位，本文作者就尝试增加一些训练时的方法技巧来提高CNN网络最终的定位精度。创新点： 作者通过对输入网络的region进行一定的处理（通过数据增强，使得网络利用目标周围的上下文信息得到更精准的目标框）来增加网络对目标回归框的精度。具体的处理方式包括：扩大输入目标的标签包围框、取输入目标的标签中包围框的一部分等并对不同区域分别回归位置，使得网络对目标的边界更加敏感。这种操作丰富了输入目标的多样性，从而提高了回归框的精度。 参考博客 ： 论文题目：Fast-RCNN 提出时间：2015年 论文地址： 针对问题： RCNN中的CNN每输入一个图像块就要执行一次前向计算，这显然是非常耗时的，那么如何优化这部分呢？ 创新点： 作者参考了SPPNet（第六篇论文），在网络中实现了ROIpooling来使得输入的图像块不用裁剪到统一尺寸，从而避免了输入的信息丢失。其次是将整张图输入网络得到特征图，再将原图上用Selective Search算法得到的目标框映射到特征图上，避免了特征的重复提取。 参考博客 ： 论文题目：DeepProposal: Hunting Objects by Cascading Deep Convolutional Layers 提出时间：2015年 论文地址： 主要针对的问题： 本文的作者观察到CNN可以提取到很棒的对输入图像进行表征的论文，作者尝试通过实验来对CNN网络不同层所产生的特征的作用和情况进行讨论和解析。 创新点： 作者在不同的激活层上以滑动窗口的方式生成了假设，并表明最终的卷积层可以以较高的查全率找到感兴趣的对象，但是由于特征图的粗糙性，定位性很差。相反，网络的第一层可以更好地定位感兴趣的对象，但召回率降低。 论文题目：Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks 提出时间：2015年NIPS 论文地址： 主要针对的问题： 由multibox（第三篇）和DeepBox（第四篇）等论文，我们知道，用CNN可以生成目标待检测框，并判定当前框为目标的概率，那能否将该模型整合到目标检测的模型中，从而实现真正输入端为图像，输出为最终检测结果的，全部依赖CNN完成的检测系统呢？ 创新点： 将当前输入图目标框提取整合到了检测网络中，依赖一个小的目标框提取网络RPN来替代Selective Search算法，从而实现真正的端到端检测算法。 参考博客 ：
最近一直了解人脸检测的算法，所以也尝试学多人脸检测框架。所以这里将拿出来和大家分享一下 Retinaface 与普通的目标检测算法类似，在图片上预先设定好一些先验框，这些先验框会分布在整个图片上，网络内部结构会对这些先验框进行判断看是否包含人脸，同时也会调整位置进行调整并且给每一个先验框的一个置信度。 在 Retinaface 的先验框不但要获得人脸位置，还需要获得每一个人脸的五个关键点位置 接下来我们对 Retinaface 执行过程其实就是在图片上预先设定好先验框，网络的预测结果会判断先验框内部是否包含人脸并且对先验框进行调整获得预测框和五个人脸关键点。 MobileNet 网络是由 google 团队在 2017 年提出的，专注移动端和嵌入式设备中轻量级 CNN 网络，在大大减少模型参数与运算量下，对于精度只是小幅度下降而已。 在主干网络输出的相当输出了不同大小网格，用于检测不同大小目标，先验框默认数量为 2，这些先验框用于检测目标，然后通过调整得到目标边界框。 深度可分离卷积好处就是可以减少参数数量，从而降低运算的成本。经常出现在一些轻量级的网络结构(这些网络结构适合于移动设备或者嵌入式设备)，深度可分离卷积是由DW(depthwise)和PW(pointwise)组成 这里我们通过对比普通卷积神经网络来解释，深度可分离卷积是如何减少参数 我们先看图中 DW 部分，在这一个部分每一个卷积核通道数 1 ，每一个卷积核对应一个输入通道进行计算，那么可想而知输出通道数就与卷积核个数以及输入通道数量保持一致。 简单总结一下有以下两点 PW 卷积核核之前普通卷积核类似，只不过 PW 卷积核大小为 1 ，卷积核深度与输入通道数相同，而卷积核个数核输出通道数相同 普通卷积 深度可分离卷积
人脸关键点检测可以精确定位面部的关键区域位置，包括眉毛、眼睛、鼻子、嘴巴，脸部轮廓等。支持一定程度遮挡以及多角度人脸。使用关键点检测技术，可以精确定位人脸美化局部，还可以实现表情交互。
python使用dlib进行人脸检测与人脸关键点标记
Dlib简介：
首先给大家介绍一下Dlib
Dlib是一个跨平台的C++公共库，除了线程支持，网络支持，提供测试以及大量工具等等优点，Dlib还是一个强大的机器学习的C++库，包含了许多机器学习常用的算法。同时支持大量的数值算法如矩阵、大整数、随机数运算等等。
Dlib同时还包含了大量的图形模型算法。
最重要的是Dlib的文档和例子都非常详细。
Dlib主页：
这篇博客所述的人脸标记的算法也是来自Dlib库，Dlib实现了One Millisecond Face Alignment with an Ensemble of Regression Trees中的算法
这篇论文非常出名，在谷歌上打上One Millisecond就会自动补全，是CVPR 2014(国际计算机视觉与模式识别会议)上的一篇国际顶级水平的论文。毫秒级别就可以实现相当准确的人脸标记，包括一些半侧脸，脸很不清楚的情况，论文本身的算法十分复杂，感兴趣的同学可以下载看看。
Dlib实现了这篇最新论文的算法，所以Dlib的人脸标记算法是十分先进的，而且Dlib自带的人脸检测库也很准确，我们项目受到硬件所限，摄像头拍摄到的画面比较模糊，而在这种情况下之前尝试了几个人脸库，识别率都非常的低，而Dlib的效果简直出乎意料。
相对于C++我还是比较喜欢使用python，同时Dlib也是支持python的，只是在配置的时候碰了不少钉子，网上大部分的Dlib资料都是针对于C++的，我好不容易才配置好了python的dlib，这里分享给大家：
Dlib for python 配置：
因为是用python去开发计算机视觉方面的东西，python的这些科学计算库是必不可少的，这里我把常用的科学计算库的安装也涵盖在内了，已经安装过这些库的同学就可以忽略了。
我的环境是:
大家都知道Ubuntu是自带的，而且很多Ubuntu系统软件都是基于的，有一次我系统的python版本乱了，我脑残的想把卸载了重装，然后……好像是提醒我要卸载几千个软件来着，没看好直接回车了，等我反应过来Ctrl + C 的时候系统已经没了一半了…
所以我发现想要搞崩系统，这句话比rm -rf 还给力…
sudo apt-get remove
首先安装两个python第三方库的下载安装工具,好像是预装了easy_install
以下过程都是在终端中进行：
1.安装pip
sudo apt-get install python-pip1
2.安装easy-install
sudo apt-get install python-setuptools1
3.测试一下easy_install
有时候系统环境复杂了，安装的时候会安装到别的python版本上，这就麻烦了，所以还是谨慎一点测试一下，这里安装一个我之前在博客中提到的可以模拟浏览器的第三方python库测试一下。
sudo easy_install Mechanize1
4.测试安装是否成功
在终端输入python进入python shell
python1
进入python shell后import一下刚安装的mechanize
>>>import mechanize1
没有报错，就是安装成功了，如果说没有找到，那可能就是安装到别的python版本的路径了。
同时也测试一下PIL这个基础库
>>>import PIL1
没有报错的话，说明PIL已经被预装过了
5.安装numpy
接下来安装numpy
首先需要安装python-dev才可以编译之后的扩展库
sudo apt-get install python-dev1
之后就可以用easy-install 安装numpy了
sudo easy_install numpy1
这里有时候用easy-install 安装numpy下载的时候会卡住，那就只能用 apt-get 来安装了：
sudo apt-get install numpy1
不推荐这样安装的原因就是系统环境或者说python版本多了之后，直接apt-get安装numpy很有可能不知道装到哪个版本去了，然后就很麻烦了，我有好几次遇到这个问题,不知道是运气问题还是什么，所以风险还是很大的，所以还是尽量用easy-install来安装。
同样import numpy 进行测试
python>>>import numpy1234
没有报错的话就是成功了
下面的安装过程同理，我就从简写了，大家自己每步别忘了测试一下
6.安装scipy
sudo apt-get install python-scipy1
7.安装matplotlib
sudo apt-get install python-matplotlib1
8.安装dlib
我当时安装dlib的过程简直太艰辛，网上各种说不知道怎么配，配不好，我基本把stackoverflow上的方法试了个遍，才最终成功编译出来并且导入，不过听说更新之后有了,那真是极好的，我没有亲自配过也不能乱说，这里给大家分享我配置的过程吧：
1.首先必须安装libboost，不然是不能使用.so库的
sudo apt-get install libboost-python-dev cmake1
2.到Dlib的官网上下载dlib，会下载下来一个压缩包，里面有C++版的dlib库以及例子文档，Python dlib库的代码例子等等
我使用的版本是,大家也可以在我这里下载：
之后进入python_examples下使用bat文件进行编译，编译需要先安装libboost-python-dev和cmake
cd to 123
之后会得到一个，复制到dist-packages目录下即可使用
这里大家也可以直接用我编译好的.so库,但是也必须安装libboost才可以，不然python是不能调用so库的，下载地址：
将.so复制到dist-packages目录下
sudo cp /usr/local/lib/
最新的好像就没有这个bat文件了，取而代之的是一个setup文件，那么安装起来应该就没有这么麻烦了，大家可以去直接安装，也可以直接下载复制我的.so库，这两种方法应该都不麻烦～
有时候还会需要下面这两个库，建议大家一并安装一下
9.安装skimage
sudo apt-get install python-skimage1
10.安装imtools
sudo easy_install imtools1
Dlib face landmarks Demo
环境配置结束之后，我们首先看一下dlib提供的示例程序
1.人脸检测
源程序：
#!/usr/bin/python# The contents of this file are in the public domain. See This example program shows how to find frontal human faces in an image. In# particular, it shows how you can take a list of images from the command# line and display each on the screen with red boxes overlaid on each human# face.## The examples/faces folder contains some jpg images of people. You can run# this program on them and see the detections by executing the# following command:# ./ ../examples/faces/*.jpg## This face detector is made using the now classic Histogram of Oriented# Gradients (HOG) feature combined with a linear classifier, an image# pyramid, and sliding window detection scheme. This type of object detector# is fairly general and capable of detecting many types of semi-rigid objects# in addition to human faces. Therefore, if you are interested in making# your own object detectors then read the example# program. ### COMPILING THE DLIB PYTHON INTERFACE# Dlib comes with a compiled python interface for python on MS Windows. If# you are using another python version or operating system then you need to# compile the dlib python interface before you can use this file. To do this,# run . This should work on any operating# system so long as you have CMake and boost-python installed.# On Ubuntu, this can be done easily by running the command:# sudo apt-get install libboost-python-dev cmake## Also note that this example requires scikit-image which can be installed# via the command:# pip install -U scikit-image# Or downloaded from . import sysimport dlibfrom skimage import iodetector = ()win = ()print("a");for f in [1:]:print("a");print("Processing file: {}".format(f))img = (f)# The 1 in the second argument indicates that we should upsample the image# 1 time. This will make everything bigger and allow us to detect more# = detector(img, 1)print("Number of faces detected: {}".format(len(dets))) for i, d in enumerate(dets):print("Detection {}: Left: {} Top: {} Right: {} Bottom: {}".format(i, (), (), (), ()))()(img)(dets)()# Finally, if you really want to you can ask the detector to tell you the score# for each detection. The score is bigger for more confident detections.# Also, the idx tells you which of the face sub-detectors matched. This can be# used to broadly identify faces in different (len([1:]) > 0):img = ([1])dets, scores, idx = (img, 1) for i, d in enumerate(dets):print("Detection {}, score: {}, face_type:{}".format(d, scores[i], idx[i]))1234567891011128192021222324252627282930337383940414243444546474849505575859606162636465666768697077778798081
我把源代码精简了一下，加了一下注释：
# -*- coding: utf-8 -*-import sysimport dlibfrom skimage import io#使用dlib自带的frontal_face_detector作为我们的特征提取器detector = ()#使用dlib提供的图片窗口win = ()#[]是用来获取命令行参数的，[0]表示代码本身文件路径，所以参数从1开始向后依次获取图片路径for f in [1:]: #输出目前处理的图片地址print("Processing file: {}".format(f)) #使用skimage的io读取图片img = (f) #使用detector进行人脸检测 dets为返回的结果dets = detector(img, 1) #dets的元素个数即为脸的个数print("Number of faces detected: {}".format(len(dets))) #使用enumerate 函数遍历序列中的元素以及它们的下标#下标i即为人脸序号#left：人脸左边距离图片左边界的距离 ；right：人脸右边距离图片左边界的距离#top：人脸上边距离图片上边界的距离 ；bottom：人脸下边距离图片上边界的距离for i, d in enumerate(dets):print("dets{}".format(d))print("Detection {}: Left: {} Top: {} Right: {} Bottom: {}".format( i, (), (), (), ())) #也可以获取比较全面的信息，如获取人脸与detector的匹配程度dets, scores, idx = (img, 1)for i, d in enumerate(dets):print("Detection {}, dets{},score: {}, face_type:{}".format( i, d, scores[i], idx[i])) #绘制图片(dlib的ui库可以直接绘制dets)(img)(dets) #等待点击()123456789101112819202122232425262728293033738394041424344454647484950
分别测试了一个人脸的和多个人脸的，以下是运行结果：
运行的时候把图片文件路径加到后面就好了
python ./data/
一张脸的：
两张脸的：
这里可以看出侧脸与detector的匹配度要比正脸小的很多
2.人脸关键点提取
人脸检测我们使用了dlib自带的人脸检测器（detector），关键点提取需要一个特征提取器（predictor），为了构建特征提取器，预训练模型必不可少。
除了自行进行训练外，还可以使用官方提供的一个模型。该模型可从dlib sourceforge库下载：
也可以从我的连接下载：
这个库支持68个关键点的提取，一般来说也够用了，如果需要更多的特征点就要自己去训练了。
源程序：
#!/usr/bin/python# The contents of this file are in the public domain. See This example program shows how to find frontal human faces in an image and# estimate their pose. The pose takes the form of 68 landmarks. These are# points on the face such as the corners of the mouth, along the eyebrows, on# the eyes, and so forth.## This face detector is made using the classic Histogram of Oriented# Gradients (HOG) feature combined with a linear
是的，比如云脉人脸识别中的人脸检测技术就是采用三维定向，对人脸三维朝向，做精准到“度”的判断，以及对人脸特征点进行“像素级”定位，轻松判断眼睛开合状态，还可通过技术对现有人脸识别做技术上的补充和完善，进而达到识别的创新性和严谨性。
对于目标检测方向并不是特别熟悉，本文记录一下RCNN, fast-RCNN, faster-RCNN, mask-RCNN这4篇有关目标检测的论文笔记和学习心得。
R-CNN的意思就是Region based，主要思路就是根据一张图像，提取多个region，再将每个Region输入CNN来进行特征的提取。因此RCNN就可以分为 Region proposals , Feature extraction 两个主要部分，提取的特征就可以输入任意一个分类器来进行分类。 模型的流程图如下：
在训练的时候，首先使用的是已经训练好的CNN网络作为特征提取器，但是由于预训练是在分类数据集上，因此在应用到检测之前要做finetune。也就是说，为了将用ImageNet数据集训练的网络应用到新的任务（检测），新的数据集（region）上，作者将原来的CNN最后的1000类的fc层，更改为了 层， 代表待检测的物体的类别数。然后，对于所有的region，如果它和ground truth的重叠率大于，就认为是正类。 对于分类器的训练，作者发现选择多大的IoU来区分正类和负类非常关键。并且，对于每一类，都会训练一个分类器。
框的回归非常重要，在对每一个region proposal使用分类器进行打分评价之后，作者使用一个回归器来预测一个新的框作为结果。这个回归器使用的特征是从CNN中提取的特征。回归器的训练中，输入是 region proposal 的 和ground truth的 ，目标是学习一种变换，使得region proposal通过该变换能够接近ground truth。同时，希望这种变换拥有尺度不变性，也就是说尺度变化的话，变换不会改变。 如下图所示，每一个regressor会学习一组参数，特征输入是pool 5的特征输出，拟合的目标是 。
Fast-RCNN 主要解决的问题是在RCNN中对于每一个region proposal都进行特征提取，会产生非常多的冗余计算，因此可以先对一张图像进行特征提取，再根据region proposal在相应的特征上进行划分得到对应region的特征（映射关系）。 这样便可以实现共享计算提高速度，但是与SPPnets不同，SPPnets在一副图像得到对应的特征后，从这张图像的特征上proposal对应的部分，采用空间金字塔池化，如下图：
RoI pooling的方法很简单，类似于空间金字塔pooling，它将proposal部分对应卷积层输出的特征（称之为RoI，因为用于做pooling的特征是 region of interest，也就是我们感兴趣的区域）划分成 块，然后对每一块求最大值，最终得到了一个 的特征图。可以看出，它只是空间金字塔pooling的一部分。 但是SPP-nets的空间金字塔也是可以求导的，那么它到底不好在哪里呢？因为当每一个RoI都可能来源于不同的图像的时候（R-CNN和SPPnets的训练策略是从一个batch的不同图像中，分别挑选一个proposal region），SPPNets的训练非常地低效，这种低效来源于在SPPnets的训练中，每个RoI的感受野都非常地大，很可能对应了原图的整个图像，因此，得到的特征也几乎对应了整张图像，所以输入的图像也就很大。 为了提高效率，Fast-RCNN首先选取 个图像，再从每个图像上选择 个RoI，这样的效率就比从每个图像提取一个RoI提高了 倍。
为了将分类和框回归结合起来，作者采用了多任务的loss，来进行联合的训练。具体来说就是将分类的loss和框回归的loss结合起来。网络的设计上非常直接，就是将RoI得到的特征接几个FC层后，分别接不同的输出层。对应于分类部分，特征会接一个softmax输出，用于分类，对于框回归部分，会接一个输出4维特征的输出层，然后分别计算loss，用于反向传播。loss的公式如下：
回归的target可以参考前面的R-CNN部分。
notes
为什么比fast还fast呢？主要原因是在这篇论文中提出了一个新的层：RPN（region proposal networks）用于替代之前的selective search。这个层还可以在GPU上运算来提高速度。 RPN的目的：
为了能够进行region proposal，作者使用了一个小的网络，在基础的卷积层输出的特征上进行滑动，这个网络输入大小为 ，输入后会映射（用 的卷积）为一个固定长度的特征向量，然后接两个并联的fc层（用 的卷积层代替），这两个fc层，一个为box-regressoin，一个为box-classification。如下图：
在每一个滑动窗口（可以参考 ），为了考虑到尽可能多的框的情况，作者设计了anchors来作为region proposal。anchors就是对于每一个滑动窗口的中心位置，在该位置对应的原图位置的基础上，按照不同的尺度，长宽比例框出 个不同的区域。然后根据这些anchors对应的原始图像位置以及区域，和ground truth，就可以给每一个滑动窗口的每一个anchor进行标记，也就是赋予label，满足一定条件标记为正类（比如和ground truth重叠大于一个值），一定条件为负类。对于正类，就可以根据ground truth和该anchor对应的原图的区域之间的变换关系（参考前面的R-CNN的框回归），得到回归器中的目标，用于训练。也就是论文中的loss function部分：
自然地，也就要求RPN的两个并联的FC层一个输出2k个值用于表示这k个anchor对应的区域的正类，负类的概率，另一个输出4k个值，用于表示框回归的变换的预测值。
对于整个网络的训练，作者采用了一种叫做 4-step Alternating Training 的方法。具体可以参考论文。
与之前的检测任务稍有不同，mask r-cnn的任务是做instance segmentation。因此，它需要对每一个像素点进行分类。 与Faster R-CNN不同，Faster R-CNN对每一个候选框产生两个输出，一个是类别，一个是bounding box的offset。Mask R-CNN新增加了一个输出，作为物体的mask。这个mask类似于ps中的蒙版。
与Faster R-CNN类似的是，Mask R-CNN同样采用RPN来进行Region Proposal。但是在之后，对于每一个RoI，mask r-cnn还输出了一个二值化的mask。
不像类别，框回归，输出都可以是一个向量，mask必须保持一定的空间信息。因此，作者采用FCN来从每个RoI中预测一个 的mask。
由于属于像素级别的预测问题，就需要RoI能够在进行特征提取的时候保持住空间信息，至少在像素级别上能够对应起来。因此，传统的取最大值的方法就显得不合适。 RoI Pooling，经历了两个量化的过程： 第一个：从roi proposal到feature map的映射过程。 第二个：从feature map划分成7*7的bin，每个bin使用max pooling。
为此，作者使用了RoIAlign。如下图
为了避免上面提到的量化过程
可以参考
作者使用ResNet作为基础的特征提取的网络。 对于预测类别，回归框，mask的网络使用如下图结构：
整体看完这几篇大佬的论文，虽说没有弄清楚每一个实现细节，但是大体上了解了算法的思路。可以看出，出发点都源于深度神经网络在特征提取上的卓越能力，因此一众大神试图将这种能力应用在检测问题中。从R-CNN中简单地用于特征提取，到为了提高速度减少计算的Fast R-CNN，再到为了将region proposal集成进入整个模型中，并且利用GPU加速的RPN，也就是Faster R-CNN。再到为了应用于instance segmentation任务中，设计的RoIAlign和mask。包括bounding box regression，pooling层的设计，训练方法的选择，loss的设计等等细节，无一不体现了大师们的思考和创造力。 可能在我们这些“拿来”者的眼中，这些方法都显得“理所应当”和巧妙，好用，但是，它们背后隐藏的选择和这些选择的思考却更值得我们学习。 以及，对待每一个问题，如何设计出合理的解决方案，以及方案的效率，通用性，更是应该我们努力的方向。
目标检测（object detection）是计算机视觉中非常重要的一个领域。在卷积神经网络出现之前，都利用一些传统方法手动提取图像特征进行目标检测及定位，这些方法不仅耗时而且性能较低。而在卷积神经网络出现之后，目标检测领域发生了翻天覆地的变化。最著名的目标检测系统有RCNN系列、YOLO和SSD，本文将介绍RCNN系列的开篇作RCNN。 RCNN系列的技术演进过程可参见 基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNN 。 目标检测分为两步：第一步是对图像进行分类，即图像中的内容是什么；第二步则是对图像进行定位，找出图像中物体的具体位置。简单来说就是图像里面有什么，位置在哪。 然而，由于不同图片中物体出现的大小可能不同（多尺度），位置也可能不同，而且摆放角度，姿态等都可以不同，同时一张图片中还可以出现多个类别。这使得目标检测任务异常艰难。上面任务用专业的说法就是：图像识别+定位两个不同的分支分别完成不同的功能，分类和定位。回归（regression）分支与分类分支（classification）共享网络卷积部分的参数值。 还是刚才的分类识别+回归定位思路。只是现在我们提前先取好不同位置的框，然后将这个框输入到网络中而不是像思路一将原始图像直接输入到网络中。然后计算出这个框的得分，取得分最高的框。 如上，对于同一个图像中猫的识别定位。分别取了四个角四个框进行分类和回归。其得分分别为，因此右下角得分最高，选择右下角的黑框作为目标位置的预测（这里即完成了定位任务）。 这里还有一个问题——检测位置时的框要怎么取，取多大？在上面我们是在257x257的图像中取了221x221的4个角。以不同大小的窗口从左上角到右下角依次扫描的话，数据量会非常大。而且，如果考虑多尺度问题的话，还需要在将图像放缩到不同水平的大小来进行计算，这样又大大增加了计算量。如何取框这个问题可以说是目标检测的核心问题之一了，RCNN，fast RCNN以及faster RCNN对于这个问题的解决办法不断地进行优化，这个到了后面再讲。 总结一下思路： 对于一张图片，用各种大小的框将图片截取出来，输入到CNN，然后CNN会输出这个框的类别以及其位置得分。 对于检测框的选取，一般是采用某种方法先找出可能含有物体的框（也就是候选框，比如1000个候选框），这些框是可以互相重叠互相包含的，这样我们就可以避免暴力枚举所有框了。讲完了思路，我们下面具体仔细来看看RCNN系列的实现，本篇先介绍RCNN的方法。 R-CNN相比于之前的各种目标检测算法，不仅在准确率上有了很大的提升，在运行效率上同样提升很大。R-CNN的过程分为4个阶段： 在前面我们已经简单介绍了selective search方法，通过这个方法我们筛选出了2k左右的候选框。然而搜索出的矩形框大小是不同的。而在AlexNet中由于最后全连接层的存在，对于图像尺寸有固定的要求，因此在将候选框输入之前，作者对这些候选框的大小进行了统一处理——放缩到了统一大小。文章中作者使用的处理方法有两种： （1）各向异性缩放因为图片扭曲可能会对后续CNN模型训练产生影响，于是作者也测试了各向同性缩放的方法。有两种方法： 此外，作者对于bounding box还尝试了padding处理，上面的示意图中第1、3行就是结合了padding=0，第2、4行结果采用padding=16的结果。经过最后的试验，作者发现采用各向异性缩放、padding=16的精度最高。 卷积神经网络训练分为两步：（1）预训练；（2）fine-tune。 先在一个大的数据集上面训练模型（R-CNN中的卷机模型使用的是AlexNet），然后利用这个训练好的模型进行fine-tune（或称为迁移学习），即使用这个预训练好的模型参数初始化模型参数，然后在目标数据集上面进行训练。 此外，在训练时，作者还尝试采用不同层数的全连接层，发现一个全连接层比两个全连接层效果要好，这可能是因为使用两个全连接层后过拟合导致的。 另一个比较有意思的地方是：对于CNN模型，卷积层学到的特征其实就是基础的共享特征提取层，类似于传统的图像特征提取算法。而最后的全连接层学到的则是针对特定任务的特征。譬如对于人脸性别识别来说，一个CNN模型前面的卷积层所学习到的特征就类似于学习人脸共性特征，然后全连接层所学习的特征就是针对性别分类的特征了。 最后，利用训练好的模型对候选框提取特征。 关于正负样本的问题：由于选取的bounding box不可能与人工label的完全相同，因此在CNN训练阶段需要设置IOU阈值来为bounding box打标签。在文章中作者将阈值设置为，即如果候选框bounding box与人工label的区域重叠面积大于，则将其标注为物体类别（正样本），否则我们就把他当做背景类别（负样本）。 作者针对每一个类别都训练了一个二分类的SVM。这里定义正负样本的方法与上面卷积网络训练的定义方法又不相同。作者在文章中尝试了多种IoU阈值（）。最后通过训练发现，IoU阈值为的时候效果最好（选择为0精度下降了4个百分点，选择精度下降了5个百分点）。即当IoU小于的时候我们将其视为负样本，否则为正样本。 目标检测问题的衡量标准是重叠面积：许多看似准确的检测结果，往往因为候选框不够准确，重叠面积很小。故需要一个位置精修步骤。在实现边界回归的过程中发现了两个微妙的问题。第一是正则化是重要的：我们基于验证集，设置λ=1000。第二个问题是，选择使用哪些训练对(P,G)时必须小心。直观地说，如果P远离所有的检测框真值，那么将P转换为检测框真值G的任务就没有意义。使用像P这样的例子会导致一个无望的学习问题。因此，只有当提案P至少在一个检测框真值附近时，我们才执行学习任务。“附近”即，将P分配给具有最大IoU的检测框真值G（在重叠多于一个的情况下），并且仅当重叠大于阈值（基于验证集，我们使用的阈值为）。所有未分配的提案都被丢弃。我们为每个目标类别执行一次，以便学习一组特定于类别的检测框回归器。 在测试时，我们对每个提案进行评分，并预测其新的检测框一次。原则上，我们可以迭代这个过程（即重新评估新预测的检测框，然后从它预测一个新的检测框，等等）。但是，我们发现迭代不会改进结果。 使用selective search的方法在测试图片上提取2000个region propasals ，将每个region proposals归一化到227x227，然后再CNN中正向传播，将最后一层得到的特征提取出来。然后对于每一个类别，使用为这一类训练的SVM分类器对提取的特征向量进行打分，得到测试图片中对于所有region proposals的对于这一类的分数，再使用贪心的非极大值抑制（NMS）去除相交的多余的框。再对这些框进行canny边缘检测，就可以得到bounding-box(then B-BoxRegression)。 参考： Rich feature hierarchies for accurate object detection and semantic segmentation. RCNN-将CNN引入目标检测的开山之作-晓雷的文章 基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNN R-CNN 论文翻译
论文查重的官方言辞就是学术不端检测，也就是对那些学术不端行为的一种监督，就是规范学术上城市严谨的作风打压剽窃抄袭的不正之风，论文查重现在市场上面都是用知网查重检测系统来对论文进行检测，但是现在市面上还有很多检测系统，例如维普，万方，cncnki，相同点都是有独立的检测系统和数据库，不同的就是数据库的大小收录文章的多少，这个也是很大的差异。 我们都知道在我们撰写一篇论文的时候往往需要参考很多资料和文献最后归纳论述阐述清楚我们题出来的论题，所以不可避免的会使用到一些参考文献和资料，而论文查重可以帮助我们知晓自己论文中所引用论证的资料在整篇论文中所占的比例，规避各种引用不当造成论文相似度大的问题。而查重软件可以在大数据库的支撑下轻松把这些引用文献和各种不规范引用的文献指出来。温馨提示：学校的查重实际上是在论文的收尾阶段，也就是论文定稿之后，院校统一查重。如果之前没有事先进行论文查重，往往论文的重复率都会高过30%。
其原理如下：1、查重系统一般是通过检索关键词和关键语句来实现检索的。对比数据库为：中国学术期刊数据库、中国学位论文全文数据库、中国专利全文数据库、中国重要会议论文全文数据库、英文论文全文数据库、港澳台学术文献库、法律法规数据库、PaperRight云论文库等。2、论文提交检测后，系统会自动检测该论文的章节信息，如果有自动生成的目录信息，那么系统会将论文按章节分段检测，否则会自动分段检测。3、查重系统的灵敏度设置有一个阀值，该阀值为百分之五，一段落计，低于百分之五的抄袭或引用无法检测出来。知网毕业论文查重的原理：查重原理以知网作为依据，其它查重方式相差无几（论文中字体灰色部分不参与查重，重复处有红色标记）：关于目录：毕业论文上传后，系统会按照论文的目录合理划分章节信息，此时目录不参与查重，然后按章节信息检测各部分的复制比；如果没有目录信息，系统就会按照1万字左右进行检测，目录有可能也会被查重，如有重复会标红；查重阈值：知网对查重系统设置一灵敏度为5%，假如一个段落有1000个字，那么引用单篇文献50个字以内，是不会被检测出来的；标红的条件：满足上一条（超过5%比例），同时一个段落13个字相似或抄袭，会被标记为红色；参考文献：在论文查考文献格式正确的前提下，知网查重系统不对参考文献查重，否则会被用来查重；论文格式：知网查重系统可以识别PDF格式和WORD格式，由于pdf格式相比word的格式，多了一个文本转换，因此可能导致目录、参考文献的格式变成系统不识别的正确格式，从而使查重比例升高（特别注意英文部分格式会更高）；关于引用：引用尽量整段引用，否则知网查重系统不会知道你具体引用的那篇文献；
论文查重检测系统采用模糊算法，进行论文改重降重的时候尽量不要打乱论文的大纲结构，修改重复率高的部分即可。因为如果打乱了大纲结构，系统可能会识别成另一篇论文，标记颜色的位置就会出现差异。
一般查重系统设置灵敏度阀值为5%，高于该阀值就会检测为抄袭，所以借鉴文献时可以使用多篇文章，不要完全照搬一篇文章。
查重系统一般都有格式要求，所以需要整篇上传，否则就可能会影响到查重结果。
以句子为最小单位检测，依次到到段落和全篇，句子可以使用转换句式，词语可以使用替换近义词等方法降低重复率。
参考文献及附录部分一般不参与检测，系统会自动识别出来。有引用尽量引用整段话，并标记好引用符号，内容太短系统可能检测不出。
我们要如何去避免重复率过高呢？首先当然就是去了解论文查重系统本身的特征了，这样才能更好地帮我们规避高重复率带来的困难，更早更快地写出符合查重标准的文章。
包含论文正文、原创说明、摘要、图标及公式说明、参考文献、附录、实验研究成果，以及各种引用文献图片和表格。论文查重时，查重系统会先对其进行分层处理，之后按照连续出现13个字符类似就会判为重
1、论文检测包括哪些内容“检测内容”对于论文的检测，那是一定要做的，不过目前市面上有很多的论文检测系统都可以查重，可是对于学校来说，他们只认可权威的知网来查重。所以我们在进行论文修改时就要借助权威的第三方的论文查重工具来完成查重工作。这些工具的算法和知网差不多，会检测论文的目录，可以分章检测。接着就会检测到论文的摘要部分以及正文等内容。2、论文检测包括哪些内容“提前准备”面对论文的主题，大家不要急着下笔，而是在写之前要明确好自己的论点以及依据，设计好论文的结构。然后再根据自己的论文结构或者提纲去找到相应的资料，最后再开始落笔。否则，如果这个操作流程反了，先找资料再想论文的结构，那届时写出来的论文重复率一定非常高，很难降重。3、论文检测包括哪些内容“公式、图片不会检测”相信大家也清楚，在论文进行查重时，对于图片或者公式等内容是不检测的，一是论文查重系统主要针对的是论文的文字内容，二是对于图片或者公式，目前计算机无未能进行比对。而这个所谓的漏洞对于大家来说，可以充分利用。我们对于一些需要引用的文献，可以用表格或者图片的方式来处理，顺利通过检测。而对于查重工具的选择，一定要注意选择靠谱的工具，不要随意挑选那些免费的查重软件，以免因小失大，届时后悔也来不及了。
论文检测的话，自然是要检测论文的正文，所有的地方了，有一些地方对于论文检测的查重率要求还是比较高的，很多时候是不能超过30%的
毕业论文是对硕士和博士学生学术生涯的最后一次评估。毕业论文对每个学生都非常重要。为了顺利通过毕业论文审核，论文的检测和查重是必不可少的一部分。那么论文检测方法是什么？1.不同的论文检测网站使用不同的检测算法。一般来说，论文检测的基本算法是论文检测系统根据一定的算法识别和计算检测到的论文的重复率，并生成检测报告。2.以查重系统为例：检测论文实际上是一种根据语义模糊解析算法，然后进行近似比较的方法。检测论文并非简单地基于某一最小句子进行循环比对。如果你在查重报告的全文对比报告中发现重复来源与你写的论文句子不完全一致，这就是原因。此外，硕士论文的查重与本科毕业论文的检测方法也存在一定差异。硕士论文比较的数据库内容更完整，字数更多。同时，硕士论文的检测和检查使用的系统是专业的硕士论文检测系统。该检测系统拥有独家的学术论文联合比较库，包括以往毕业生的论文。4.不同的论文检测系统采用不同的检测方法，不同的数据库会使同一篇论文在不同的论文检测网站上的检测结果不同，这在使用查重系统时也需要注意。