- 原文：《Breakthrough Mobile Imaging Experiences》，是高通于2015年1月发表的一份白皮书文档，作者Pat Lawlor，高通技术市场部主管。这篇文章中主要介绍了数字影像市场的市场变革，高通处理器的数字影像处理功能等内容。其中不乏商业宣传成份，但对于普通人和行业人员来说，可以通过其中的数据资料，理解手机摄影成为主流的趋势，以及简单了解数字影像的工作结构和原理。
1,提纲摘要
移动影像改变了人们记录和分享回忆的方式。如今智能手机已是我们长久的伙伴，而相机则以过去无法想像的方式成为我们提高生活品质和增进交流的关键。捕捉并传输每一个生活的瞬间映像已是如今各地人们的现代生活日常。从让他人一窥我们的生活，到生产工作中进行协助和解决问题，相机正以惊人的视觉表达力传达着许多无法靠言语的交流。
移动领域在推进相机技术发展上扮演了举足轻重的角色，并开拓了数字影像领域的可能性。但由于手机的物理尺寸限制，在移动设备提供数码单反相机级别的画质仍是巨大的挑战。不同于数码单反，将巨大的图像传感器和长又粗的镜头装在能放进口袋的智能手机上显然是不可行的。为了克服这一挑战，高级移动处理器已经推出了许多创新和改进处理以弥补智能手机所采用的小尺寸光学元件的传统缺点。
通过摄像头和多媒体的创新，高通技术公司[QTI]，正在成为重新定义移动设备视觉体验的领导者。QTI采用一种全面的系统设计，通过SoC[System on a Chip，片上系统]提供了一套卓越的终端摄像头解决方案，并保持了电池的长效续航和性能效率的最大化。
本文讨论了移动影像的发展趋势，并介绍了移动影像的突破性经验，具体而言，本文突出了以下几点：
1）移动影像的崛起
2）高通骁龙处理器是如何以智能手机的大小提供数码单反般的画质
3）高通骁龙处理器给移动影像体验带来了怎样的革新
4）QTI如何推动了相机系统的创新
2，移动影像的崛起
集成拍照功能的手机全球销量从2000年的仅100万台激增到2013年的14亿，而Strategy Analytics的分析报告预计2017年将达到18亿。现在智能手机不仅吞噬着相机行业的出货量，画质也逐渐媲美[甚至强于]传统的傻瓜相机。通过高通在2014年的一份调查显示，超过80%的智能手机用户对手机摄像头的便利性表示喜欢，几乎一半的人更愿意使用智能手机而非其它传统相机。这份调查也表明了手机摄像头是人们不再选择数码单反和卡片机的主要原因。得力于分辨率更高的图像感光器，更完善的图像处理和更快的响应速度(缩短了点击-捕捉和拍摄时间)，手机摄像头所能提供的画质越来越高。甚至能在困难的环境下提供高级别画质，像是高速运动摄影(如运动摄影)或是弱光环境下的拍摄。正因为这些品质的提升，手机摄像头已经蚕食了超过50%的数码单反相机的用户市场。现在，超过60%的智能手机用户在任何情况甚至是特殊场合下都会选择使用手机摄像头拍照。
摄像头已成为移动手机最常用的功能。在一份Strategy Analytics最近的调查中，98%的欧美受访者的手机上有摄像头，48%的美国受访者中每周至少使用一次摄像头功能。超过半数的受访人认为拍照画质是影响他们选择下一台智能手机的重要选项。
如今，移动设备拍摄的照片要远多于专用的数码相机。根据Tomi Ahonen年鉴的数据，只用手机摄像头拍照，没用过独立相机的人超过90%。在一份高通于2014年进行的调查中，约80%的傻瓜相机用户认为智能手机摄像头更方便、易用，易于共享。智能手机让日常消费者能及时拍摄，便于编辑，即刻分享，成为廉价的大众化摄影工具。根据Mary Meeker的数据，在2014年8月，每天有18亿张照片通过Flickr这个全球知名的在线照片共享服务供应商上传共享，其会员使用得最多的前三款相机都是智能手机。
消费者想要获得更好移动影像画质的欲望，和其它几个关键系统生态的驱动与技术的进步，预计将进一步加快移动影像和拍照手机的普及。
2.1，生态驱动
OEM厂商——差异化需求：为了利用大众对移动影像的需求，有创造力的OEM厂商正在研发具有卓越画质和高级功能的超薄智能手机。为了让自己销售的智能手机与众不同，三星最近已将相机和智能手机事业部门合并。刚刚并购了诺基亚设备和服务事业的微软设备部，正将先进独特的影像功能应用于Lumia商标的Windows Phone手机。HTC在One系列提供了一套被命名为ImageSense图像功能方案，其中包括被称为UltraPixel的大像素传感器。OPPO销售的N3则开创移动产业的多个先例，例如远程控制和带马达转动机构的1600万像素摄像头可在206°的范围自动转动跟踪拍摄对象。
应用程序和服务供应商——更高的收入：拍照手机也是服务供应商创造有吸引力的服务，并获得更高的收入的关键要素。例如亚马逊的Firephone上提供的Firefly功能，可让用户通过摄像头拍照识别产品信息，并能直接通过手机在亚马逊网站上下单订购。
操作系统供应商——更多的用户量：为了提升用户数量，系统供应商正增加摄像头的框架和应用接口，便于应用开发者和OEM设备厂商获得越来越先进的相机功能。
部件供应商——更高的品质：面对激烈的价格和质量竞争，图像传感器、镜头和模块的厂商也将创新作为它们的产品区分手段。
用户——分享欲：人们渴望捕捉、存储，并与亲人分享视觉记忆，尤其在这个社交媒体网络的新时代，进一步加快了移动影像的兴起，今天，超过60%的智能手机用户上传或分享他们的照片。
2.2，技术驱动
得益于诸多硬件[HW]和软件[SW]的发展与创新，智能手机在改善相机性能方面获得了巨大的进步。
更大的图像传感器：图像传感器包含了数百万个被称为光电二极管的感光点，用于记录透过镜头看到的信息。一个更大的传感器可从两方面获得比小传感器更多的信息：更大的像素点和/或更多的像素数，更大的传感器生成的图像可有更大的动态范围、更少的噪点、更好的细节、和更强的弱光画质。朝更高的像素数发展已是目前的主要趋势，尽管这并不一定是性能更好的证明。
在过去，智能手机的图像传感器尺寸只有1/3英寸甚至更小。2013年，诺基亚推出的Lumia 1020 Windows Phone手机采用了2/3英寸的传感器，拥有4倍感光面积。索尼Xperia-Z1的传感器为1/2.3英寸，和消费级卡片相机相同。诺基亚的6英寸手机Lumia 1520，集成了内置PureView技术的2/3英寸2000万像素传感器，也是目前集成大于标准尺寸图像传感器的最新机型。集成大尺寸感光器的这一趋势预计会在下一代机型中持续。[注：1520的感光器尺寸实际上是1/2.5英寸]
分辨率更高的摄像头：移动设备的相机技术已经显著改善，使分辨率得到了明显的提升。提升分辨率和帧率带来的压力仍会持续。今天，主流高端位移动设备的摄像头感光器已达到1600万至2100万像素。而且高分辨率的静止照片拍摄和视频录制已成为趋势。例如三星Galaxy S5、OPPO N3、摩托罗拉Droid Turbo、索尼移动Xperia Z3等许多高端机型可拍摄并录制4K视频。我们期待更多的4K设备在市场上涌现。
加大感光器尺寸的需求仍受限于手机的厚度，使得增加摄像头分辨率是以牺牲像素点尺寸作为代价的。转移至更小像素(未来将达到1.1微米或更小)导致通光量减少，带来更多噪点，更糟的色彩和动态范围的缩减。在相机模块设计和移动处理器的进步，有助于小像素带来的挑战。
更有力的移动处理器：今天的厂商要让智能手机能提供数码相机一样的画质、分辨率和帧数体验，并可将这一切集成在一个小圆块里。移动处理器需要更多的性能去处理从更小的感光器和镜头生成的光学成像。集成在现代移动处理器中的高通量图像信号处理器[ISP]有助于提供所需的高帧率和分辨率。通过ISP，以及CPU、GPU和DSP等其他处理引擎的运算性能，为先进的相机功能提供了助力，如高动态范围[HDR]、图像再对焦和照片编辑等功能。
图像防抖：现代智能手机可以通过数种图像稳定技术帮助用户拍摄更清晰的图像和更平滑的视频片段。光学图像稳定系统[OIS]通过移动感光器或镜头组件的方式工作以抵消相机抖动。诺基亚Lumia 920是首个支持OIS的手机，此后多款高端智能手机，如Galaxy S5[注：S5不支持光学防抖，S6才是]、LG G3和Google Nexus 5也支持OIS。电子图像稳定系统[EIS]和数字图像稳定系统[DIS]带来了修正视频抖动的技术。相机的运动通过陀螺仪直接测量[EIS]或是靠图像中的移动来预算[DIS]。视图帧随后被移动到比相机视野[FOV]更广的范围，移除已录制视频中的抖动。
多摄像头：现代智能手机可以拥有多个前置或后置摄像头。例如，使用多个后置摄像头或摄像头阵列可在同一时间拍摄多张使用不同设置的照片，并带来许多高级特性玩法，诸如快速对焦、类光学变焦能力、景深测量、弱光摄影等等。多个前置摄像头也可以带来新的用户体验，如通过手势识别等更自然的方式进行交互。
先进的计算摄影：除了ISP提供相机功能，计算摄影[Computational Photography]的图像处理技术，增强和扩展了数字摄影功能。可用于HDR、弱光拍摄、照片拼接等和其它诸多图像增强技术。计算机视觉[CV]让设备“看到”现实中的事物或与其“关联”的能力达到了一个新的台阶。CV能让设备扫描环境，并从捕捉的图像中提取有意义的信息——让人理解现实世界中身边的事物，并向用户传达相关联的信息。例如，一个增强现实[AR]应用可以在博物馆的一个恐龙展上，通过CV技术识别不同的物种并展示相关信息，甚至通过虚拟图像描绘一只生活在自然栖息地的特定恐龙。
3 在移动设备体积中提供单反级别的画质
众所周知数码单反相机可依靠自身的画质拍摄高分辨率照片，即使在弱光环境和高速运动物体也能应对。它们具有快速连续地处理多张照片的爆发能力。速度是照片拍摄和图像处理的关键，它能让用户捕捉到所有想要的镜头瞬间。捕捉光线并将其准确地转换为像素点就是数字摄影的本质。数码单反使用昂贵、巨大的图像传感器和光学玻璃组件以捕获尽可能多的光线。然而，受限于体积，严格的功耗和发热控制，移动手机的摄像头设计需另辟蹊径。巨大的图像传感器和长又粗的镜头装在追求时尚的当代智能手机上显然不可行。为了减轻移动平台感光器和光学组件的限制，骁龙SoC在设计中已集成了先进的影像处理功能，便于提供崭新的单一摄像头以及多摄像头的影像体验和令人惊叹的质量。
骁龙处理器在低功耗下带来了革命性的移动影像体验，提供先进的功能和数码单反般的画质，尤其是：
一个为非凡的画质和高吞吐量，高级特性设计的卓越图像处理器[ISP]；
利用异构计算的优势采用全面的方法设计的功率优化系统芯片[SoC]。
3.1 双高速ISP的灵活性和分载能力
骁龙处理器的设计让手机摄像头捕捉人所经历的所有色彩、结构和活力的时刻。提供了无与伦比的像素吞吐量，同时还保持着高品质。骁龙处理器的双ISP架构可支持双高品质摄像头。双ISP还利用计算摄影[CV]支持许多引人关注的特色功能，如即时自动对焦、散景[背景虚化]和双摄像头变焦等。
下文将主要介绍骁龙ISP无与伦比的处理速度和高超的成像质量。
无与伦比的速度：高通ISP的零快门延时能力[Zero Shutter Lag，ZSL]和双摄像头性能是QTI高通技术优势的集中体现。骁龙ISP的设计，甚至超越了高端数码单反和数码相机。骁龙810处理器为双ISP架构，每个ISP可运行最高600MHz主频。当双ISP处于串联模式下，可提供最高1.2G像素的吞吐量，结合ZSL以提供实时拍摄更清晰图像的能力。并通过骁龙的非核心区处理能力获得明显更高的分辨率。双ISP不仅能获得更高的分辨率和帧数，还能让双摄像头实现照片和视频实现画中画，和4k分辨率录像与截图的无缝结合。骁龙810有一个能证明其强大能力的例子，就是以同步的方式实现1600万像素急速连拍(1号ISP以30fps ZSL方式达到惊人的15fps连拍速度)和2号ISP进行4K视频录制。
卓越的画质：ISP通过高级图像处理模组提供了卓越的色彩和噪点处理。由于骁龙ISP的能力太广泛，在这里无法进行过于详细的描述，因此本文将重点介绍几个能提供卓越画质的功能模块。这些先进的功能将有助于搭载骁龙处理器的智能手机获得空前的认可。
3.1.1 杰出的噪点过滤能力
骁龙处理器可通过高级的前后处理降噪功能在弱光环境的拍照和视频模式下获得清晰、高品质和高分辨率的照片。它具有先进的拜耳降噪滤镜和硬件的小波滤噪，有助于在保持场景细节的前提下生成最干净的图像。
骁龙处理器还具备高级视频降噪能力，提供热噪、蚊式噪点、块状噪点的降噪功能，为骁龙驱动的手机带来出色的4K视频体验。
3.1.2 自适应局部色调映射[Local Tone Mapping,LTM]
LTM技术通过在单一图片上改变单影调方式让照片变得更美观。这能提高暗部的细节，使其变得更明显，改善了对比度和清晰度，获得更高的动态范围。LTM在拍照和视频录制下都可使用。
3.1.3 先进的镜头修正
由于智能手机的限制，紧凑小尺寸的摄像头光学模组有相当的挑战性。这会导致色差和景深内的像差的出现。骁龙800处理器提供了一个高级的修正模块通过四组全通道进行高粒度网格修正。每一个传感器通道都是实时可编程的。可基于不断变化的光线条件更新并进行动态的色彩修正。即使从生产线下来的手机使用了不同的摄像头，骁龙ISP也可以通过单机校正的方式保存不同的组件参数。
3.1.4 先进的3A技术
如下图所示，先进的自动对焦、自动曝光和自动白平衡是骁龙处理器提供卓越画质的关键。
为速度更快、拍照更清晰而改进的反差式对焦：及时拍摄清晰的瞬间对智能手机而言一直是个挑战。无论是单独的或是协同工作的加速对焦技术，都会是在反差式对焦成像是否清晰的支柱。骁龙处理器提供一个双核心和更大的内核，这将极大地提高反差对焦的性能。
内核1基于图像较大区域的指标，提供一个平滑和大致的驱动器运行方向测量。内核2基于细节进行度量，为达到峰值对焦的位置提供了很好的精度。两个核心协同工作，可提供快速精确的焦点搜索。而大内核可基于图像的特性进行更精确的计量。
自动曝光[AE]和自动白平衡[AWB]：AE和AWB是数码影像世界的两个最大难题。你的相机正在拍摄的场景，其光线的色彩和强度都是在不停变化的。AE和AWB的工作就是检测环境光的特性，调整相机系统，以保持准确的颜色和亮度。
高通以一个先进的统计引擎开始，为AE和AWB提供了灵活而强大的解决方案。这个引擎能检测色温和亮度范围，这些统计驱动着复杂的算法，有益于ISP通道和图像传感器保持合适的色彩特性。同时避免过饱和或是高光和低光的反差。对于OEM厂商寻求自己独特的AE和AWB设定，高通为骁龙处理器提供了一个灵活的API用于访问统计引擎和控制ISP。
3.1.5 14-bit的HDR图像ISP
高通以其优越的ISP技术，成为卓越画质和高分辨率摄影的领导者。在骁龙810处理器上，有一个14位的双ISP用于扩展高性能图像传感器的动态范围。自动曝光的算法确保合适的硬件设置使其能最大限度地利用14位ISP。
高色深能保持亮部和暗部的细节，提供杰出的HDR视频性能。这是专为提升动态范围和减少由于压缩导致的图像失真，让你的照片和视频拥有出色的HDR效果。
[未完待续]
手机小底的动态和反差表现或许不好看，但可以通过PS之流的软件进行数字上的影调和明暗调整变得更顺眼，这也是手机处理器内置ISP努力的方向。
nbx修改此贴于2015.11.05 01:31:25
然而完成这也就几年的时间.
话说回来,从08年的ip3g到15年的ip6s这7年,手机成像质量进步了多少?同样的08年佳能5d2到15年的5ds有进步了多少?
体积和功耗上的限制决定什么不如什么,只有在技术水平一致的情况下才是绝对正确的.当前的智能手机在所有设备中的地位决定了厂商研发优先级远高于单反.单反多年累积下来的技术,多数均已下放到手机上就是很好的证明.
当然短时间达到入门单反的水平的确不太可能.但放眼长期(5-10年)则不是没有可能.单反将越来越小众,而低端则被淘汰.
京公网安备 11011402011520号