MIUI论坛 下载APP

精品资源组

头条号/一点资讯号:科技极客秀

Rank: 6Rank: 6

积分
12549
机型
未知设备
签到次数
138
MIUI版本
8.11.19
私信

点赞金米兔勋章MIUI 10专属勋章2018新年勋章2017圣诞节勋章全局搜索纪念勋章MIUI3亿用户纪念勋章感恩节勋章万圣节勋章米兔月饼勋章国庆勋章MIUI七夕鹊桥勋章MIUI七周年MIUI 9纪念勋章小米众筹2周年新版论坛APP小米7周年勋章UGC勋章“澎湃S1 ”芯片纪念勋章2017年小金鸡勋章APP 1000万小火箭勋章MIUI 300周MIUI 2000万1000万用户纪念勋章极客勋章关注微信关注腾讯微博关注新浪微博年度优秀

[其它] 【米柚科技说】MIX3超级夜拍背后多帧合成的应用

  [复制链接]
117117 1737 |
2018-10-28 15:17 | 来自PC
| |
|
跳转
本帖最后由 Mc..小磊 于 2018-10-30 09:52 编辑
手机摄像头的进步有目共睹,一体式的卡片机已经奄奄一息,这就是手机摄像头崛起的牺牲品。但要和单反、微单比,手机的画质还差很远,不过这种差距并不是完全不可缩小,捷径就是多帧合成技术。



83f6125dly1fwlu0nnrv3j22c03404qt.jpg

夜拍一直都是一件非常困难的事情,即使使用单反,不借助三脚架等工具,也很难拍出良好的效果,而这次的小米MIX 3的手持超级夜景必然是通过强大的算法实现的。此前相机一直都是小米的痛点,于是小米成立了独立相机部门,从小米Note3,到后来的小米MIX2S、小米8等手机,其拍照水平获得大幅提升。手持超级夜景是一种利用长曝光多帧合成的技术,点击拍摄按钮之后,手持手机几秒钟保持不动,即可拍摄出一张完美的夜间样张。

QQ浏览器截图20181028144336.png
QQ浏览器截图20181028144349.png

要想拍出这样的夜景,在算法上有两个重要的地方,一个是多帧合成,另一个则是防抖。多帧合成与HDR技术类似,即是连续拍摄的多张不同曝光参数的照片进行实时堆栈和HDR处理,使得亮部更亮,暗部细节分工,并且有效抑制噪点,而防抖则是去除掉抖动帧,避免拍糊,下面我们看一下多帧合成还有什么其他的应用。

a72d7b709d1abe78a2cefde972f02f3e.jpg

手机摄像头的多帧合成已经具有很好的基础

如果你关心手机感光器的技术进步,会发现有个参数在成倍的飙升,那就是连拍帧率。至今为止,主流的感光器,包括索尼、三星、OmniVision的,大部分型号都能提供超过20FPS-30FPS的全像素连拍速度。而与此同时中高级微单、单反连拍速度也就10FPS左右,这意味着什么?这意味着手机感光器获取全像素采样的速度是单反、微单的2-3倍,更具有多帧应用的价值。在数据处理量方面,手机也不落下风,凭借强大的处理器性能以及灵活的软件系统,手机已经具备广泛深入的使用多帧合成技术的物质基础,差的只是观念。大部分手机厂商,将高速连拍仅仅用于参数上的炫耀,而没想过如何利用这个性能实现以小博大。

00030689_01.jpg

多帧应用的灵感源自索尼

若干年前,单反厂商还在炫耀 X FPS连拍技能时,这个时候多帧合成的概念还没有成熟,只有一些类似于“多重曝光”这样的多帧合成。直到索尼的单电体系出现了10FPS的连拍速度时,索尼搞出了一套基于多帧的合成技术,包括全景、多帧降噪、数字防抖等。多帧合成的技术背景是感光器性能的提升,灵感也是此时被点燃的,我们应该记住这个时刻以及拉开多帧时代序幕的索尼。

00040567.jpg

应用1:全景

全景功能是普及率最高的一种多帧合成应用,几乎所有相机和手机都已将全景作为标配。其技术原理非常简单,就是扫射一圈后由程序自动拼接完成。在这个功能出现之前,大湿们都是靠人肉拼接完成的。虽然原理非常简单,但各家最终的效果却并不一样,合成速度也差别很大,这就是算法的差别。索尼自然是其中佼佼者,但国产手机厂商也不甘落后,现在随便在一个风景区都能看到正在拍摄全景的游客。

00047550_01副本.jpg

应用2:多帧降噪

多帧降噪的原理也不复杂。成像的噪点其实是无序排列的,也就是说上一张这个位置的噪点可能是红噪点,而下一张同一个位置可能是绿噪点,这样就有了比较条件,可以比较容易的将噪点筛选出来,图示中的红绿点表示噪点,当然,这只是图示,不会有这么巨大夸张的噪点的,噪点重叠的区域,可以得到白点,白点则根据进一步法的算法进行猜色和插值处理,达到去除噪点的效果,这种方法对处理常见的红绿噪点很有效。

00047546_01.jpg

应用3:多帧数字防抖

多帧防抖是纯数字的防抖技术,它的基本原理是,单帧拆成多帧拍摄,然后对齐合成。从技术上讲,完全行得通,这个技术同样是索尼最先开发,但开花在苹果家。iPhone 5S其加入了“自动图像防抖动功能”,这个功能和索尼相机上的动作防抖是一样一样的,苹果聪明之处在于“自动”,不需要用户干预是否开启。

00044754.jpg

应用4:HDR

HDR是High-Dynamic Range 高动态范围的缩写,它用于模拟实现更高宽容度的拍摄效果。让高光不溢出,让暗部不死黑,画面呈现更加丰富的中间色。而它实现的方法非常简单,通过基于暗部测光、高光区测光以及正常测光的一组采样合成一张。HDR最初是发烧友人肉在处理,不过处理过程简单,算法也简单,于是成为了相机、尤其手机的标配功能。虽然原理和算法都很简单,但真正做好HDR的却寥寥无几,大部分HDR处理的照片都显得不自然。

应用4:分辨率提升

利用多帧实现更高分辨率的拍摄,这种思路由来已久。早在OPPO Find7 有个5000万和2400万像素的模式,而实际上,Find7的摄像头支持最大分辨率只有1300万,高分辨率成像实际是依赖多帧合成的,合成方法类似于插值,效果不是很好。

哈苏H5D-200c也有类似的分辨率提升技术,但它的原理有些不同,它是多帧拍摄,但每一帧拍摄都会位移感光器。最新的奥林巴斯EM-5 II也配备了相似技术,也是通过位移感光器来完成拍摄,但位移路径更为复杂。这种方式获得的采样,可以不用猜色不用插值,即便缩小到和原始图像一样的尺寸,它也是超采样的结果,因此画质获得了显著的提升,这种方式获得的画质可以媲美全幅相机。不过遗憾的是,这个拍摄过程耗时太长,只适合拍摄静物,因为EM-5 II的连拍速度只有10FPS,如果未来可以提升到30FPS甚至更高,这种分辨率提升技术就可以用于更多的场景了。

00039091.jpg

应用5:后对焦技术

前几年出现过一个光场相机,其概念就是先拍照后对焦,诺基亚在发布Lumia1520时发布了一款叫做“再对焦”的软件,也是先拍照后对焦的操作。基础原理很简单,就是沿着对焦行程,逐一记录各节点上的帧。原理非常简单,但实际体验一般,一个是记录的时间还不够快,第二个是手机摄像头焦点变化带来的景深变化也不明显。不过终究还是简单,不少手机厂商还是把它作为了标配功能,不管实用性如何,娱乐性也是不错的。

00045824.jpg

应用6:电子光圈

电子光圈是努比亚开发的一种多帧应用。电子光圈是以连续多帧不间断拍摄,然后对多帧进行合成处理,如果都是直接叠加,最终结果肯定是溢出,解决方案就是将各帧透明化后合成,以降低溢出的风险。这种思路可谓奇思妙想,电子光圈在实际使用中,确实可以用于模拟小光圈长曝的效果,例如拍摄毛玻璃的水面效果。但电子光圈并不是以减少通光量的方式来实现,它与传统光圈的原理有着本质的不同,电子光圈只是在模拟小光圈的成像效果而已,它也不会产生传统光圈收缩带来的景深变化

多帧合成前景广阔
本文列举的是一些常见和有特别想法的多帧合成技术,不代表多帧只有这些。多帧的范围非常广阔,它完全称得上是是一个全新的世界,而很多厂商对此茫然不知。多帧如何被应用,是用来吹牛秒杀单反还是用于实实在在的改善画质增加功能?在我们看来,多帧应用技术提供了以小博大的机会,得益于硬件的部分优势,手机上应用多帧合成已经比相机更方便快捷,相机厂商有技术缺想法,手机厂商有想法但技术储备还是不够。手机厂商如果希望自己的摄像头与众不同,靠等着索尼发新感光器也没前途的,你能拿到别人也能拿到,拿不走的是创意和算法。

参考文献:



收藏3735 分享  

已有 6 人评分 经验 理由  

徐殿江 + 1 mix3确实不错没有网传的那么雷人,各方面处.
傅彥翔 + 1 MIUI 因你更精彩!
思如明月 + 3 MIUI 因你更精彩!
你考虑吗 + 2 MIUI 因你更精彩!
冷月飘风 + 5 精品文章^_^
Viola69 + 1 MIUI 因你更精彩!

经验 +13  查看全部评分

玩机大师

Rank: 4

积分
876
机型
未知设备
签到次数
28
MIUI版本
V9.6.2.0.NCJCNFD
私信
2018-10-29 10:19 | 来自小米手机5c
|
抢个沙发还得15个字符?(,,•﹏•,,)

玩机之皇

Rank: 6Rank: 6

积分
6247
机型
未知设备
签到次数
0
MIUI版本
V9.6.1.0.NAGCNFD
私信

点赞金米兔勋章MIUI 10专属勋章2018新年勋章2017圣诞节勋章MIUI3亿用户纪念勋章感恩节勋章万圣节勋章米兔月饼勋章国庆勋章MIUI七周年新版论坛APP

2018-10-29 10:20 | 来自小米8
|
果然是小米手机中最强的拍照手机

内测粉丝组

Rank: 6Rank: 6

积分
3136
机型
未知设备
签到次数
40
MIUI版本
8.10.18
私信

点赞金米兔勋章MIUI 10专属勋章

2018-10-29 10:24 | 来自小米8屏幕指纹版
|
学习了!小米加油!!!!

内测粉丝组

Rank: 6Rank: 6

积分
3877
机型
小米手机5
签到次数
215
MIUI版本
8.9.4
私信

MIUI 10专属勋章MIUI 9纪念勋章APP 1000万

2018-10-29 10:25 | 来自小米MIX 2S
|
mix2s报道

内测粉丝组

Rank: 6Rank: 6

积分
21449
机型
未知设备
签到次数
972
MIUI版本
8.9.20
私信

点赞金米兔勋章MIUI 10专属勋章2018新年勋章2017圣诞节勋章万圣节勋章米兔月饼勋章国庆勋章MIUI七周年MIUI 9纪念勋章

2018-10-29 10:26 | 来自小米手机6
|
我从来不相信老雷说的,还有你们所说的

玩机之皇

Rank: 6Rank: 6

积分
8079
机型
未知设备
签到次数
0
MIUI版本
V8.2.2.0.NAACNEB
私信

点赞金米兔勋章2018新年勋章MIUI3亿用户纪念勋章国庆勋章MIUI七周年MIUI 9纪念勋章“澎湃S1 ”芯片纪念勋章2017年小金鸡勋章圣诞节勋章

2018-10-29 10:26 | 来自小米手机5
|
路过看看,感谢分享!

玩机大师

Rank: 4

积分
1551
机型
未知设备
签到次数
22
MIUI版本
8.9.20
私信

MIUI 10专属勋章

2018-10-29 10:27 | 来自小米Note 3
|
洪崖洞!重庆崽儿集个合看看😂

玩机之王

Rank: 5Rank: 5

积分
3631
机型
未知设备
签到次数
71
MIUI版本
8.10.18
私信

MIUI 10专属勋章2018新年勋章MIUI七周年MIUI 9纪念勋章

2018-10-29 10:28 | 来自小米手机6
|
此前相机一直都是小米的痛点,于是小米成立了独立相机部门,从小米MIX3,到后来的小米MIX2S、小米8等手机,其拍照水平获得大幅提升。???????

玩机大师

Rank: 4

积分
832
机型
未知设备
签到次数
22
MIUI版本
8.11.1
私信

关注微信关注新浪微博

2018-10-29 10:28 | 来自小米Note 3
|
快速回复 返回顶部 返回列表