邱彦林：涂图CTO，专注于图像技术，以及机器学习在图像处理中的实际应用。国内最早一批Flash开发人员，曾出版2本Flash中文技术书籍，擅长程序架构设计。

改变眼睛和脸型涉及到美丑的问题，如何让计算机懂得“审美”？

改变眼睛与脸型这类美颜，因为要涉及到人脸识别的问题，就像我刚才说的原理，非常复杂，对计算量的要求也非常大。

目前这类美颜一般都是基于机器学习的，参数在编写程序时已经确定好，并没有计算机“自己”调整的过程。所以，目前的美颜的“美”，都是我们人为的来控制。当然，这个人为也不是说程序员自己可以随便编，而是要与美工人员共同参与来完成的。

举例来说：在一些比较专业的图象处理论坛里面，有设计师会发一些经过处理的美女图片来。一般是发张原图，发张经过处理之后出来一个效果图，原图跟效果图之间有个差异，我们可以通过技术手段得到这个差异。然后把这个差异应用在我们做美肤里面去，这就是调整肤色的做法。

图片跟图片之间可以通过一些手法去模拟到这个效果，这中间的过程都是可以计算出来的。然后在滤镜、PS，或者是图象处理里的一项技术，去控制一张图片的颜色表现。通过把技术人员跟美工人员结合起来，技术只管技术，美工只管美工，这样就能够开发与设计结合起来，实现所谓的“美”。

所以你看很多平台算法都大同小异，但是为什么最终出来的美颜效果让人感觉还是有差异，其实就是说里面有很多细节在，需要花时间优化，特别是用户的需求是什么，怎样更漂亮。

未来深度学习的技术更为成熟时，电脑也许就可以凭借海量的数据来总结出美来，进而按这种总结出的“审美”来处理图像。但话说回来，“美”终究还是一种很主观的事，就像之前有人通过大量美女图片合成过各个国家标准的美女脸来，还是很多人觉得不好看，就是这个原因。

直播美颜目前面临最大的技术难题是?么？

暂时没有很大的技术难题，Android设备适配可以算一个。由于Android设备和系统类型较多，导致在Android平台上，直播美颜很难做到兼容所有设备。Android直播，从技术上分为硬编和软编两种方案。

硬编：即采用硬件加速，通过GPU进行视频编码。特性是省电、性能好，是目前最佳的方案。但无法支持个别机型。Android 4.3 以上的系统才支持这个方案。（这其实不是问题了，现在主流的设备都是Android 5.0以上）；另一方面，一些厂商在硬件层和软件层做适配时，缺乏相关支持。

软编：通过CPU进行视频编码，比较耗电、性能差，但能兼容绝大部分设备。主流的直播平台一般是根据进行来自动适配，保证最佳效果。

群友问答环节

美颜技术如何嵌入在硬件中，如美图手机和卡西欧自拍神器？

美图手机使用的是Android系统，在软件层面，和一般的应用开发应该是相似的：也就是开发一款拍照应用，通过调用系统API访问相机，采集到画面，然后通过美颜处理。

在Android平台一般使用OpenGL ES进行图像处理。在OpenGL ES中编写算法，实现效果，最后将处理的结果传输给CPU，然后生成最终的照片。

至于卡西欧自拍神器，据我所知这个应该使用的是厂商自己的系统。我分析整个运行流程和Android系统相似。它的效果比较好，除了算法之外，在硬件上应该也有自己独特的处理元件。

动态美颜怎么保证在时序下不同角度的同一人物的美颜效果相同？

这个没法保证。不过，不同角度、不同光照使得人物看起来本来就是不同的效果。

运动物体检测跟踪，然后把人脸部分单独提取出来做美化，这样做对于性能的要求是提高了还是会降低？

一般都没有把人脸单独提取出来做美化，美化是通过肤色检测来确定美颜范围的。运动物体检测跟踪，指的是人脸检测吗？如果是，对性能的要求肯定是提高了。如果要追踪的比较紧，需要每帧都做检测，性能要求肯定是非常高，以毫秒计。

双边滤波的多数实现似乎也无法达到实时性的需求，请问这里有什么trick吗？

主要是性能优化吧，比如一般图像卷积处理，是选周围8个点，可以减少为4个。OpenGL ES脚本按顺序执行，我们需要逐点处理，减少处理的点，这样速度会提上去。GPUImage开源库里有可参考的代码。

深度学习类算法应用于哪些方面呢？相比传统的基于特征的算法，性能差距至少是两个数量级吧？

深度学习采用的多层神经网络，运算量大，相比传统的机器学习算法，一般来说，差距至少是好几个数量级，这个和网络结构、层级等有直接关系。应用的范围很广，包括图像识别、语音识别、翻译、数据挖掘等。

在移动设备上，使用深度学习来实现一些图像识别的功能，这是时下的一个研究热点。前段时间Caffe的作者在手机上实现了实时处理视频添加类似Prisma的网络结构，使用的是经过优化的Caffe2版本。随着手机硬件越来越高，在上面跑多层神经网络逐渐成为可能，甚至是实时处理都已经不是问题。

iOS 9开始，苹果就提供了深度学习API，在iOS10，相关API得到更新。可以理解为，iPhone7以后，进行深度学习的开发，已经逐渐成熟了。