账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
深入体验「2D转3D」影像技术奥秘
 

【作者: 陳文昭】2010年08月10日 星期二

浏览人次:【19954】

由2009年3D电影阿凡达开始,到2010年以立体方式转播世界杯足球赛,全世界在短期间内带起了一阵3D热潮。相对于较为成熟的立体显示技术,现阶段的3D影像内容(content)的制作仍需依赖专业人员产生,进入门坎相对地较高。若想将3D影像技术融入一般人的生活当中,势必要让3D内容能轻易且快速的被制作。


2D转3D技术即为解决3D 内容来源之技术之一,由于目前民众日常生活的数字内容来源大都以2D影像为主,如数字相机或数字摄影机所拍摄的2D相片或视讯。若能让随处可得的数码相片及视讯轻易的在立体显示器上呈现出来,将使得3D立体相关产品快速进入每个家庭当中。


2D转3D技术主要利用了图像处理、图型识别、影像分类等影像相关技术,估测出拍摄场景的深度信息。用户仅需输入单张影像照片或是单一视讯影片即可自动产生立体影像信息,于立体显示器上呈现三维效果。


2D转3D技术简介

2D转3D技术流程如图一所示,依输出的不同可分成:


  • (1)2D photo to 3D技术


  • (2)2D video to 3D技术



此两类技术使用截然不同的算法来估测场景的深度信息,因为视讯数据较单张相片有对象移动(motion)的信息可参考利用。



《图一 2D photo to 3D conversion系统流程图》
《图一 2D photo to 3D conversion系统流程图》

目前国际上较常被使用的立体信息单元格式为2D+Depth(2D+D),由一张原始影像搭配一张相对应的深度图(depth map)所组成,而2D视讯的立体信息单元格式,则是每张影格(frame)皆有相对应的深度图。深度图通常为一灰阶值0~255的影像,图中的颜色愈亮(值愈大)代表该位置离拍摄者的距离愈近,反之则愈远,如图二所示。当有了深度信息之后,藉由「多视角影像合成」技术搭配不同的立体显示器的显示格式,产生不同视角的影像,此方法通常被称为Depth Image Based Rendering(DIBR)。最后所交插(interlace)出的影像,即可于显示器上产生三维效果。若显示器为戴眼镜式的立体显示器,仅需产生相对应的左右眼影像即可;若为裸眼的立体显示器,则需合成产生多张不同视角的影像,张数依裸眼立体显示器的视域数规格而定。


(a) (b)


《图二 (a)原始影像、(b)与原始影像相对应的深度图》
《图二 (a)原始影像、(b)与原始影像相对应的深度图》

以下就针对2D相片与2D视讯的深度估测技术进行讨论,其中除了分析目前国际上较常见的转换方法之外,亦将介绍工研院2D转3D相关技术的发展。


2D Photo to 3D转档技术

国际上目前在单张2D相片自动转换产生深度信息的技术,大部份所采取的方法仍以传统的图样识别技术为主。该方法透过训练(training)得到图样的分类器(classifier)以辨识图片中的不同的对象(如垂直面、地面),再给予不同的深度。目前利用此方法估测场景深度的研究团队,主要以CMU的Photo Pop-Up技术(图三)及Stanford大学的Make3D Project(图四)最为着名,此两学术单位皆提供网站让用户可自行上传照片进行转换。


由Stanford大学2008年所发表文献中的实验数据得知,Make3D于588张相片当中,有64.9%的相片能得到合理的深度估测结果,而Photo Pop-Up技术仅33.1%。目前这类技术的瓶颈在于无法找出适用于所有图样的分类器,导致整体的图样鉴别率下降。


《图三 CMU Photo Pop-Up技术,左图为原始影像,右图为转换后的3D效果》
《图三 CMU Photo Pop-Up技术,左图为原始影像,右图为转换后的3D效果》
《图四 Stanford大学Make3D技术。左图为原始影像,右图为估测的深度结果》
《图四 Stanford大学Make3D技术。左图为原始影像,右图为估测的深度结果》

此外,以2D转3D技术闻名的Dynamic Digital Depth(DDD)公司,针对2D转3D技术亦已发展了十多年的时间。目前已有市售的3D notebook搭载该公司的转换软件,韩国面板厂更与DDD合作开发转换芯片,将2D相片、视频转换为立体3D影像,且可以实时(real-time)的速度进行立体转换。


工研院电光所在近两年来亦发展由单张2D相片产生深度信息技术,主要的流程如图五所示。首先针对原始影像进行影像切割(segmentation),以得到大小不一的的区块。当影像依照颜色、材质等特性,划分为大小不一的区块时,就对每一区块进行深度线索(depth cue)的分析,所谓的深度线索包含如颜色、材质方向、聚焦程度等可经由分析影像而得到的深度信息。



《图五 工研院自行研发之2D photo to 3D技术流程图》
《图五 工研院自行研发之2D photo to 3D技术流程图》

然而仅使用单一种深度估测方式,并无法适用各种影像,如近拍影像的深度估测原则即不同予风景影像的估测原则。为了提高自动转换整体的正确率,工研院亦发展了自动场景侦测技术。针对不同的场景种类,给予不同的深度估测方式。利用图像处理技术,分析单张影像中多项影像内容信息,将影像分类为风景、特写两类,正确率可达 89.6%。此技术能有效提升最后深度估测的正确性。


为了评断工研院自行开发技术之竞争力,便以人因的方式进行实验,实验共进行60个人次,每位受测者于戴眼镜式立体显示器上进行评比。在显示器上同时秀出工研院与DDD之转换结果(随机数摆放),让受测者于其中选择较佳之影像。共有60张从网络下载的受测影像,其中共包含了风景、人物、近拍三类影像。实验结果显示,工研院的转换结果获得59%的支持度,由受测者认定具有较佳的立体感。以深度估测的结果来观察,DDD所估测的深度值是假设影像的中心为主体,因此亦假设影像中心最为凸出,在影像边缘处则易被当成背景,造成深度估测错误。


2D Video to 3D转档技术

相较于2D相片转3D技术,2D视讯转3D技术因具有对象移动信息可参考,故较具有理论基础,且发展较为成熟。依照相机与拍摄物体之间的运动关系可分成不同的转换技术,其难易度亦不同(如表一所示)。工研院所发展的技术则是在事先定义了七种不同的可能场景分布模式,再利用视讯内容的motion信息来决定场景分布方式,再依照计算出的场景分布模式,给予视讯不同的深度分布权重,以此得到较正确的深度估测结果。


相机与拍摄物间运动关系不同的转换技术

相机位置

拍摄物体位置

转换技术

技术难易度

非固定

固定

可利用structure from motion技术

固定

非固定

可利用motion vector信息进行估测

一般

非固定

非固定

需分析相机与拍摄物之间的相对运动关系

一般

固定

固定

如同2D Photo to 3D技术


结语

目前国际上有非常多种不同的2D转3D技术,在寻找技术的同时,必须先决定应用情境为如何,因为不同的应用情境所需的2D转3D技术将有极大的差异。需要考虑的要素包含:


  • (1) 输出的立体显示器种类:戴眼镜式的立体显示器仅需产生左右两眼的影像,其深度感受主要来自双眼视差(binocular parallax),而裸眼立体显示器则还有移动视差(motion parallax)可提供观看者深度的感受,因此在裸眼立体显示器上,较易观察到深度图估测错误部份的缺陷。


  • (2) 转换方式自动化程度:该应用情境是否容许部份人工的介入,或是仅能允许全自动的转换。


  • (3)运算平台:该应用情境的平台是在个人计算机,或是嵌入式系统,亦或是手机平台上。



以专业市场的3D数字广告为例,该应用讲求高质量的立体观赏效果,并于中大型尺吋立体显示器上呈现,有别于一般平面视觉感受,以吸引人潮驻足。然而以目前全世界的任何的全自动2D转3D技术皆无法完全胜任,故仍需要适当的人工介入进行深度图的后制。数字广告本身即较无实时转换的需求,且运算平台可以是在个人计算机上,故整体来说此应用反而较需要一套如Philips Blue-Box的半人工深度编修软件。


另一方面,若以消费型应用的立体数字相框为例,其讲求的是趣味性及新鲜感。用户可利用一般数字相机自行拍摄影像,并于PC或是立体数字相框上进行转档产生立体数字影像。或是可提供给网络服务厂商,利用网络服务器进行2D转3D的服务。用户只需透过手机传送影像,透过网络至云端中心进行转档,就能将立体影像传送至家里的立体数字相框当中。


在消费型市场中较不要求高精确度的深度转换,且主要应用于小尺吋的立体显示器,较不易看出转换的瑕疵。目前国际上较佳的全自动2D转3D技术,即能直接应用于此类市场当中,唯一需考虑的是技术运算复杂度,是否符合其应用平台运算能力的需求。


提供具有深度与立体感的影像/视讯本来就是最符合自然的视觉体验,同样若能从2D的影像轻易地获取其立体信息,势必可大幅降低立体影像的建置成本,从而使得3D影像信息的取得更加地便利性与普及性。虽有许多人不满意此类转换的假3D结果,但在如立体电影后制时发现拍摄的问题却又无法补拍时,2D转3D技术将会是立体电影导演的救星。因此如何好好利用此技术且应用在未来的虚实空间中,将有许多的想象空间。


---作者任职于工研院电光所---


相关文章
2013年眼镜式3D立体影像显示技术与市场发展趋势
朝向对人类与地球更友善的资讯社会迈进
新世代热门游戏的3个核心技术
3D游戏火热 裸眼技术的春天何时到来?
「2D转3D」力挽3D显示泡沫化
comments powered by Disqus
相关讨论
  相关新闻
» 林业保育署屏东辖区以太阳能建置打造绿能环境
» 台湾光电厂商联袂叁加美西光电展 展现光电等先进技术与服务
» 国研院启动「超精密加工联合实验室」 大昌华嘉支援学研界培育光学加工人才
» 应材与Google合作 推动下一代AR运算平台
» 渔电共生以养殖为本 绿能加值为主轴发展


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK83T87Z9MESTACUK7
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw