首页 >> 综合精选 >

什么是深度融合?深度融合有多好?

2022-01-01 09:24:36 来源: 用户: 

我们购买苹果产品后,可能并不都知道苹果产品中的一些功能是如何使用的。如果我们此时不知道如何使用这些功能,产品的价值就会大大降低,所以我们必须知道这些功能的使用。所以今天边肖将告诉你什么是深度融合,以及深度融合有多优秀。让我们知道什么是深度融合,深度融合有多好。iPhone11发布之初,搭载iOS13操作系统的iPhone11默认支持智能HDR和夜间模式。然而,在发布会上单独列出的DeepFusion相机功能直到iOS13.2beta1才开始。先来看看什么是DeepFusion相机模式,如何在iPhone上启用DeepFusion,DeepFusion有什么效果,对提升画质有多大帮助?

什么是深度融合相机模式,它是如何工作的?

我们来看看苹果技术部负责人在iPhone11发布会上是如何介绍DeepFusion拍摄模式工作原理的:

1.当您按下快门时,相机首先以较高的快门速度拍摄四张短时曝光照片(冻结像素以避免在后续使用中出现模糊图像)。然后用标准曝光时间拍四张照片。在按下快门的瞬间,系统也会拍摄长时间曝光的照片(获取更多暗部细节)。也就是说,要用DeepFusion模式完成一张照片,必须有9个具体的原始素材,如上图。

2.手机将正常曝光时长的四张照片与最后一张长曝光照片以某种方式结合,生成“复合长时间”素材。

3.现在,深度融合模式将选择一张细节最多的短曝光照片,并将其与上面合成的“合成长时间”照片合并。

4.开启A13仿生处理器机器学习,以像素级精度对照片进行分析合并。至于融合这两个图像的方式,手机首先会对图片元素生成一系列的权重评价,比如天空、墙壁、地板等纹理较少的材质,赋予较低的权重,而皮肤、衣服、面料则赋予较高的权重。高权重元素会从这个元素细节最丰富的短时间曝光照片中获取细节,从合成的长时间照片中获取色调、颜色和亮度,并与最高精度的高质量算法融合,而低权重元素面积估计会直接合并。

5.一秒钟后,系统会在所有操作完成后生成一张2400万像素的深度融合照片(2.6MBHEIC文件)。

可以看出,DeepFusion相机模式需要手机进行大量的计算,即使是A13仿生这样强大的处理器也需要1秒钟才能完成。

如果在DeepFusion模式下拍摄大量照片,最终结果不会立即直接出现在相册中,而是会先替换为预览图片,然后在DeepFusion的操作完成后,再替换为真实照片。这也说明了DeepFusion无法在连拍模式下工作,这也是为什么iOS13削弱了“连拍”模式在相机应用中的地位,只是为了避免与三种需要高计算量的相机模式产生冲突。

iPhone11中的哪个镜头支持深度融合拍摄模式?

对于同样使用A13仿生处理器的iPhone11、iPhone11Pro和ProMax,手机会根据不同的环境光自动选择合适的模式进行拍摄,但并非每个镜头都支持DeepFusion拍摄模式。

广角镜头(主镜头)-拍摄环境明亮时自动以智能HDR模式拍摄,环境光中低时自动以DeepFusion模式拍摄,环境较暗时以夜间模式拍摄。

望远镜-大部分时间使用深度融合模式拍摄,只有在被摄体非常明亮的情况下才使用智能HDR模式拍摄。

超广角镜头——大部分时间采用智能HDR模式拍摄,不支持DeepFusion和夜间拍摄模式。

从这个角度来看,想要体验到DeepFusion神奇的画质增强效果,首先要使用iOS13.2之后的固件版本,然后尽可能使用望远镜头进行拍摄。

如何开启深度融合相机模式,开启时会有提示吗?你怎么知道

道我是否启用了DeepFusion拍摄模式?


在iOS13里(至少是目前这一版本固件中),在相机App里只会对镜头启用“黑夜模式“于取景框左上方有明确的标识及功能开关,而DeepFusion模式则是由系统按环境光量自行判定开启(无法人工干预),也不会在系统画面中做出任何提示。苹果方面表示不希望用户为了获得“更为清晰的图像”而感到困惑,三种拍照模式都应交由手机AI自动判断并使用,拍照本身就已经代表着手机可以获得的最佳质量。


DeepFusion模式(工作原理必须有长曝光采样)在高环境光下会失真,在低环境光量下无法工作,所以苹果就用AI判断开启来取代用户手动开启防止可能造成拍摄失败的问题。这也是为什么苹果不在拍照App里提供手动DeepFusion模式开关的用意。所以哪怕DeepFusion模式的确能产生高质量的图像,但用户不要刻意去追求它。如果你一定要追求极致的手机成像,哪么控制你的拍摄主体在适当的光量下是唯一的方法,因为在高光和低光下DeepFusion的魔法就失灵了。


DeepFusion能用在拍视频上吗?


既然DeepFusion在合适的场景下能大幅提升拍照画质,哪它能用在视频拍摄上吗?答案是否定的。


正常的视频一般是30帧,就是一秒里需要拍摄30张照片,以现有A13运算性能处理一张DeepFusion照片最快也要一秒钟时间,所以在DeepFusion模式下是肯定不能拍视频的。


开启和关闭DeepFusion模式后画质到底有多大差别?


在把iPhone11ProMax更新到iOS13.2beta1后,只要环境光符合,手机默认开启DeepFusion模式拍照,现在让我们来看看开和没开DeepFusion模式照片画质到底有多大差别。





上图是同一部手机,拍摄同等位置照片放大来看(其实照片不放大的话,的确差别不明显,但一放大后就)。上图就是原图放大,没做任何锐化或对比度调整,这只要视力正常的人一看就能分辨出差别,一张图如果代表不了什么,请再看



用的广角镜头,原图裁切放大,请留意质感和细节,iPhone11ProMax开启和没开启DeepFusion后的效果差异简直就像是1200万像素的镜头对比500万像素镜头那么大(画质差别至少跨越了4代手机的水平)。



DeepFusion功能对手机拍照画质的提升太过巨大了,你目前使用的iPhone11拍照顶多就发挥出5成功力。与此同时,我们还应该注意到DeepFusion作为一种软件算法,并且叠加了人工智能的学习完善过程,相信在未来随着iOS固件的升级及手机自身学习的积累,这一拍照功能的成像效果仍将得到优化。

  免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!

 
分享:
最新文章