聊聊摄像头的多帧合成应用
夏昆冈 于 2015.04.03 19:47:09 | 源自:www.soomal.com | 版权:原创 | 平均/总评分:08.08/630

手机摄像头的进步有目共睹,一体式的卡片机已经奄奄一息,这就是手机摄像头崛起的牺牲品。但要和单反、微单比,手机的画质还差很远,不过这种差距并不是完全不可缩小,捷径就是多帧合成技术。

手机摄像头的多帧合成已经具有很好的基础

如果你关心手机感光器的技术进步,会发现有个参数在成倍的飙升,那就是连拍帧率。至今为止,主流的感光器,包括索尼、三星、OmniVision的,大部分型号都能提供超过20FPS-30FPS的全像素连拍速度。而与此同时中高级微单、单反连拍速度也就10FPS左右,这意味着什么?这意味着手机感光器获取全像素采样的速度是单反、微单的2-3倍,更具有多帧应用的价值。在数据处理量方面,手机也不落下风,凭借强大的处理器性能以及灵活的软件系统,手机已经具备广泛深入的使用多帧合成技术的物质基础,差的只是观念。大部分手机厂商,将高速连拍仅仅用于参数上的炫耀,而没想过如何利用这个性能实现以小博大。

多帧应用的灵感源自索尼

若干年前,单反厂商还在炫耀 X FPS连拍技能时,这个时候多帧合成的概念还没有成熟,只有一些类似于“多重曝光”这样的多帧合成。直到索尼的单电体系出现了10FPS的连拍速度时,索尼搞出了一套基于多帧的合成技术,包括全景、多帧降噪、数字防抖等。多帧合成的技术背景是感光器性能的提升,灵感也是此时被点燃的,我们应该记住这个时刻以及拉开多帧时代序幕的索尼。

全景

  • 制造商=SONY;型号=SLT-A33;焦距=18毫米;日期=2011.06.03 12:00:14;光圈=F6.3;测光模式=模式;感光度=ISO100;曝光补偿=0.0EV;曝光时间=1/160秒;曝光程序=程序模式
  • 制造商=APPLE;型号=IPHONE 5S;镜头=iPhone 5s back camera 4.12mm f/2.2;焦距=4毫米;等效焦距=30毫米;光圈=F2.2;测光模式=模式;感光度=ISO32;白平衡=自动;曝光时间=1/1414秒;曝光程序=程序模式;场景类型=标准;日期=2013.11.17 16:07:46
  • 全景功能是普及率最高的一种多帧合成应用,几乎所有相机和手机都已将全景作为标配。其技术原理非常简单,就是扫射一圈后由程序自动拼接完成。在这个功能出现之前,大湿们都是靠人肉拼接完成的。虽然原理非常简单,但各家最终的效果却并不一样,合成速度也差别很大,这就是算法的差别。索尼自然是其中佼佼者,但更优秀者也出现了,它就是苹果。苹果iPhone的全景功能做到了简单快速画质高,凭借巨大的市场销量,让全景功能真正的深入民心,现在随便在一个风景区都能看到正在拍摄全景的游客。

    多帧降噪

  • 多帧降噪的原理也不复杂。成像的噪点其实是无序排列的,也就是说上一张这个位置的噪点可能是红噪点,而下一张同一个位置可能是绿噪点,这样就有了比较条件,可以比较容易的将噪点筛选出来,图示中的红绿点表示噪点,当然,这只是图示,不会有这么巨大夸张的噪点的,噪点重叠的区域,可以得到白点,白点则根据进一步法的算法进行猜色和插值处理,达到去除噪点的效果,这种方法对处理常见的红绿噪点很有效。

  • 制造商=SONY;型号=DSC-RX100;焦距=37毫米;等效焦距=100毫米;光圈=F9.0;测光模式=模式;感光度=ISO2500;白平衡=手动;对比度=标准;饱和度=标准;锐度=标准;曝光补偿=0.3EV;曝光时间=1/125秒;曝光程序=光圈优先;场景类型=标准;日期=2012.07.25 15:57:13
  • 这个技术也是索尼最先发展,并运用于索尼的各型相机当中,当功能开启时,会出现“越级”的表现。对于手机感光器,多帧降噪的意义就更为重要了,它提供了一次以小博大的机会,它能让小型感光器展现出更干净的画面。苹果从iPhone 5S起,加入了自动多帧降噪,而老iPhone没法加入,因为老感光器连拍速度不够。苹果的多帧降噪是自动启动的,用户无法控制,在其他手机当中,多帧应用往往被用于“手动夜景”“超级夜景”等单独的拍摄模式当中。

    多帧数字防抖

  • 多帧防抖是纯数字的防抖技术,它的基本原理是,单帧拆成多帧拍摄,然后对齐合成。从技术上讲,完全行得通,这个技术同样是索尼最先开发,但开花在苹果家。iPhone 5S其加入了“自动图像防抖动功能”,这个功能和索尼相机上的动作防抖是一样一样的,苹果聪明之处在于“自动”,不需要用户干预是否开启。到了iPhone 6 Plus,苹果将光学防抖和多帧素质防抖相结合,在手机上实现了成功率最高的防抖系统。我们曾有单独撰文,请点击阅读《iPhone 6 Plus 防抖和多帧成像机制研究 》[作者:夏昆冈 ] 。

    HDR

    制造商=XIAOMI;型号=4IM;焦距=4毫米;感光度=ISO100;曝光时间=1/1754秒;日期=2014.08.06 13:09:38
    制造商=LG;型号=LG-D858;焦距=4毫米;光圈=F2.4;测光模式=中央平均;感光度=ISO50;白平衡=自动;曝光补偿=0.0EV;曝光时间=1/595秒;日期=2014.09.15 15:21:26

    HDR是High-Dynamic Range 高动态范围的缩写,它用于模拟实现更高宽容度的拍摄效果。让高光不溢出,让暗部不死黑,画面呈现更加丰富的中间色。而它实现的方法非常简单,通过基于暗部测光、高光区测光以及正常测光的一组采样合成一张。HDR最初是发烧友人肉在处理,不过处理过程简单,算法也简单,于是成为了相机、尤其手机的标配功能。虽然原理和算法都很简单,但真正做好HDR的却寥寥无几,大部分HDR处理的照片都显得不自然。

    分辨率提升

    图片来自dpreview.com。原始地址 http://4.static.img-dpreview.com/reviews/olympus-om-d-e-m5-ii/images/High_Res_Anim_Sm.gif?v=3069

    利用多帧实现更高分辨率的拍摄,这种思路由来已久。OPPO Find7 有个5000万和2400万像素的模式,而实际上,Find7的摄像头支持最大分辨率只有1300万,高分辨率成像实际是依赖多帧合成的,合成方法类似于插值,效果不是很好。

    哈苏H5D-200c也有类似的分辨率提升技术,但它的原理有些不同,它是多帧拍摄,但每一帧拍摄都会位移感光器。最新的奥林巴斯EM-5 II也配备了相似技术,也是通过位移感光器来完成拍摄,但位移路径更为复杂。这种方式获得的采样,可以不用猜色不用插值,即便缩小到和原始图像一样的尺寸,它也是超采样的结果,因此画质获得了显著的提升,这种方式获得的画质可以媲美全幅相机。不过遗憾的是,这个拍摄过程耗时太长,只适合拍摄静物,因为EM-5 II的连拍速度只有10FPS,如果未来可以提升到30FPS甚至更高,这种分辨率提升技术就可以用于更多的场景了。

    后对焦技术

    前几年出现过一个光场相机,其概念就是先拍照后对焦,诺基亚在发布Lumia1520时发布了一款叫做“再对焦”的软件,也是先拍照后对焦的操作。基础原理很简单,就是沿着对焦行程,逐一记录各节点上的帧。原理非常简单,但实际体验一般,一个是记录的时间还不够快,第二个是手机摄像头焦点变化带来的景深变化也不明显。不过终究还是简单,不少手机厂商还是把它作为了标配功能,不管实用性如何,娱乐性也是不错的。

    电子光圈

    制造商=NUBIA;型号=NUBIA Z7 MINI;焦距=0毫米;光圈=F22.0;曝光时间=1815/100秒;镜头=手动
    制造商=NUBIA;型号=NUBIA Z7 MINI;焦距=0毫米;光圈=F16.0;曝光时间=6400/100秒;镜头=手动

    电子光圈是努比亚开发的一种多帧应用。电子光圈是以连续多帧不间断拍摄,然后对多帧进行合成处理,如果都是直接叠加,最终结果肯定是溢出,解决方案就是将各帧透明化后合成,以降低溢出的风险。这种思路可谓奇思妙想,电子光圈在实际使用中,确实可以用于模拟小光圈长曝的效果,例如拍摄毛玻璃的水面效果。但电子光圈并不是以减少通光量的方式来实现,它与传统光圈的原理有着本质的不同,电子光圈只是在模拟小光圈的成像效果而已,它也不会产生传统光圈收缩带来的景深变化。更详细的描述可以参见《聊聊电子光圈 》[作者:夏昆冈 ] 。

    多摄像头

    多摄像头技术也有不少厂商在尝试,像华为荣耀6Plus这种,两个完全一样的摄像头,就可以视为样本采集速度提升一倍,结合一些算法,可以为HDR、多帧降噪、数字防抖提供更快的采样速度和处理速度。虽然华为并没有真正做得很好,但长远来看,技术上可以保持乐观态度。

    多帧合成前景广阔

    本文列举的是一些常见和有特别想法的多帧合成技术,不代表多帧只有这些。多帧的范围非常广阔,它完全称得上是是一个全新的世界,而很多厂商对此茫然不知。多帧如何被应用,是用来吹牛秒杀单反还是用于实实在在的改善画质增加功能?在我们看来,多帧应用技术提供了以小博大的机会,得益于硬件的部分优势,手机上应用多帧合成已经比相机更方便快捷,相机厂商有技术缺想法,手机厂商有想法但技术储备还是不够。手机厂商如果希望自己的摄像头与众不同,靠等着索尼发新感光器也没前途的,你能拿到别人也能拿到,拿不走的是创意和算法。

    请评分
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    206.189.168.***
    206.189.168.***
    发表于2020.07.24 23:28:21
    124
    123.186.078.***
    123.186.078.***
    发表于2020.03.13 17:49:41
    123
    059.109.219.***
    059.109.219.***
    发表于2020.01.06 15:46:25
    122
    190.102.154.***
    190.102.154.***
    发表于2019.11.20 06:56:54
    121
    218.017.233.***
    218.017.233.***
    发表于2019.10.14 18:26:55
    120
    101.084.200.***
    101.084.200.***
    发表于2019.10.07 19:33:39
    119
    106.037.206.***
    106.037.206.***
    发表于2019.04.18 14:07:29
    118
    113.234.025.***
    113.234.025.***
    发表于2019.01.27 00:51:38
    117
    183.057.047.***
    183.057.047.***
    发表于2018.12.12 14:21:41
    116
    101.075.214.***
    101.075.214.***
    发表于2018.10.28 00:23:17
    115
    106.109.004.***
    106.109.004.***
    发表于2018.07.12 00:33:38
    114
    058.250.137.***
    058.250.137.***
    发表于2018.06.08 22:00:56
    113
    119.027.177.***
    119.027.177.***
    发表于2018.06.04 18:46:48
    112
    123.153.160.***
    123.153.160.***
    发表于2018.06.02 10:09:14
    111
    123.178.034.***
    123.178.034.***
    发表于2018.04.17 12:20:01
    110
    043.247.068.***
    043.247.068.***
    发表于2018.03.12 07:12:56
    109
    183.011.128.***
    183.011.128.***
    发表于2018.01.17 10:21:35
    108
    186.215.148.***
    186.215.148.***
    发表于2017.12.28 20:33:30
    107
    059.035.055.***
    059.035.055.***
    发表于2017.12.03 14:11:30
    106
    123.151.077.***
    123.151.077.***
    发表于2017.11.25 17:01:54
    105
    提示
    本贴不可匿名回复,回复等级为:1 ,您现在正处在潜水状态
    回复
    验证码
    1719 为防止广告机贴垃圾,不得已而为之
    表情
    正文