账号:
密码:
最新动态
产业快讯
CTIMES / 文章 /
MPEG-4视讯编码标准与晶片技术介绍
 

【作者: 徐宏昇】2003年03月05日 星期三

浏览人次:【7185】

标准与技术概述

MPEG-4视讯压缩技术,是由国际标准组织(ISO/IEC)底下的委员会MPEG(Moving Picture Experts Group)所制定的。该委员会成立于1988年,并制定过曾荣获艾美奖(Emmy Award)的MPEG-1及MPEG-2标准,成功应用于VCD、MP3、DVD、DTV及HDTV等相关产业,造就电脑与消费性多媒体产业近年来的快速发展。


ISO/IEC给MPEG-4的正式编号为14496,其中有关视讯编解码技术则分别规范在文件的第二部分(14496-2: Visual Part)及第十部分(14496-10: Advanced Video Coding)。 14496-2部分目前已完成第一版(Feb​​. 1999)与第二版(Jan. 2001),里面又细分了多种的Tools、Profiles及Levels来支援各式各样的多媒体应用,包括数位互动电视、行动视讯电话、多媒体储存、多媒体简讯、远距教学及远端监控等。而14496-10的部分目前已大致完成,2003年应有标准问世,DVD Forum正考虑纳入HD-DVD的标准。


MPEG-4除了承袭压缩率较旧有标准提高的特性外,所适用的位元率范围亦可从5 Kbps到2G bps,如(图一)所示,撷取早期标准ITU-T H.261 /263(低位元率编码)与ISO/IEC MPEG-1/2(高位元率编码)的优点;再加上支援物件型态编码(Object-based Coding)及合成影像(Synthetic Video)的压缩;适用于高阶互动功能与特殊视讯制作;容错性编码技术(error-resilient)及细微式可调适性编码技术(Fine Granularity Scalability;FGS),更可适用于频宽变化剧烈的网路现况,如(图二)所示。MPEG-4也因为所具有的优点,而被ISMA(Internet Streaming Media Alliance)、3GPP(3rd Generation Partnership Project)、M4IF(MPEG-4 Industry Forum)、WMF(Wireless Multimedia Forum), 以及可能包括DVD Forum的HD DVD等国际标准组织选为多媒体编码标准,配合日渐普及的宽频网际网路及通讯与储存多媒体的普及应用,以MPEG-4技术为中心的多媒体网路技术将会是明日之星。


《图一 MPEG 系列的功能比较〈数据源:EETIMES.com〉》
《图一 MPEG 系列的功能比较〈数据源:EETIMES.com〉》
《图二 MPEG -1, 2 and 4模块功能比较〈数据源:Streaming Media.com〉》
《图二 MPEG -1, 2 and 4模块功能比较〈数据源:Streaming Media.com〉》

实现MPEG-4编解码技术的方式不外乎软体(Software)、韧体(Firmware)与硬体(Hardware)三种。 Software的实现方式指的是用软体程式化(programming)的方式在一般用途(general purpose)的CPU(RISC为主)上,开发完成MPEG-4 Codec的功能,通常以PC、笔记型电脑(Laptop )或PDA等软体开发环境较成熟、硬体平台较完整的实现最为普遍,也有用于某种嵌入式系统(embedded system)或资讯家电设备(IA device)上做为附加价值(value-added)的开发。


Firmware的开发则是强调以DSP(Digital Signal Processor;数位讯号处理器)为工作核心,以DSP特有的乘加等运算指令集,撰写混合高低阶的程式语言,下载(download)到DSP平台来执行,此种解决方案兼具开发时程短、可程式化(programmable)容易与不错的运算速度(computation speed)等优点。


另一种最具成本效益(cost effective)的就非hardware解决方案莫属了,以专用电路(dedicated circuit)完成解压缩(video codec)常见的惯例(routine)工作,再利用预先设计的firmware 将所有dedicated circuits接合(glue)起来,形成完整的工作排程,如此一来,可将效能表现(performance)推到极致,将来若与SoC(System on Chip;系统单晶片)设计相结合,更可促进多媒体服务应用于通讯、光电与储存设备的大量普及。若另外从台湾产业面来看,发展hardware解决方案的MPEG-4 编解码技术,可垂直整合国内的半导体工业,包含IC设计、设计服务、晶圆代工、光罩、制造、封装、测试,若再搭配矽导国家型计画有关SoC的推动,将对于开发MPEG-4编解码IC的开发有很大的帮助。


技术发展性与应用范围

当初MPEG-4标准一开始制定时,是以低频宽为主要目标,所以在Simple Profile的short header情况下,可与H.263向前相容(Forward Compatible),同时也首次考虑物件型态编码,可搭配物件分割(Object Segmentation)技术,将各个物件分割后,依不同属性予以分组,再加以编码,以增加编码效率、节省频宽及增加视讯合成时的弹性、可编辑性与互动性。后来,为了与网际网路传输相结合,而发展出一系列的动态调整传输频宽与容错性编码技术,正式进入新一代Networked Multimedia时代。而且为了因应高压缩率与高画质的市场需求,正结合ISO与ITU两个国际组织,以ITU-T H.26L为基础,订定适用于储存装置的特高压缩标准,规划为ISO 14496 -10的标准,可望于2003年有第一版的标准问世。


《图三 MPEG -2、MPEG-4 ASP与MPEG-4 AVC的效能比较》
《图三 MPEG -2、MPEG-4 ASP与MPEG-4 AVC的效能比较》

MPEG-4标准一路走来,各种未来应用也一一浮现,综观MPEG-4技术的卓越性,颇有在多媒体通讯与储存方面的产品应用,准备一统江湖的味道,尤其是Video部分。其应用可以分为下面几大类:


  • (1)频宽对称式多媒体通讯,如视讯电话/会议,尤其结合3G Mobile Network的多媒体通讯,将是改变人类未来生活的应用。它使用了MPEG-4高压缩率、可变resolution、适应性位元率及容错性编码技术的特点,在3G这种error prone的environment上实现视讯通讯,达到人类渴望已久的视讯电话/会议,也为3G的operators寻求value added的services。


  • (2)用于辅助通讯的多媒体讯息传递,如多媒体讯息简讯(Multimedia Messaging Service;MMS) ,此种应用是从E-Mail及二代行动通讯的SMS(Short Messaging Service)演进而来,将会是第一个MPEG-4相关的大量且商业化的应用。


  • (3)频宽非对称式多媒体传输与娱乐,如:远端监控、远距教学或随选多媒体(Multimedia on Demand;MoD)。对日益普及的宽频网路,提供多元化的服务。除了应用细微式可调适性编码技术,以设计对付Internet变动频宽的环境,也利用物件型态编码及合成影像的压缩,将高阶互动功能与特殊效果加进此类服务中。


  • (4)使用于储存装置,如:数位相机/数位摄录影机或其他光碟储存设备的需求。此种应用会强调在有限记忆体下的高压缩率(high compression rate for less memory and storage),以及延长使用时间之下的低耗电量(low power consumption for extending usage time),当然低成本、小体积与容易整合(easy to integrate) 都是要考虑的问题,所以此类应用会以硬体、甚至SoC的型态出现。


  • 大众广播系统,如:透过现有广播网路或网际网路的数位电视,并可有互动功能,以达到真正的T-Commerce。此种方式的应用,最典型的产品就是我们常听到的MPEG-4 STB(Set-Top Box),利用MPEG-4的高压缩率,以求有限广播频道的再扩增,同时如第三项的应用一般,也利用物件型态编码及合成影像的压缩,将高阶互动功能与特殊效果加进此类服务中。而以IP(Internet Protocol)为主要执行平台的MPEG-4 system技术,更可以将所有目前的Internet Services与Broadcasting Services整合在一起。


  • 其他如互动游戏或电影制造工业等,都是MPEG-4 Target的应用。



《图四 MPEG -4的各种应用》
《图四 MPEG -4的各种应用》

国内、外技术发展现况及未来趋势

在全球MPEG-4相关计画发展方面,我们可举一些例子来说明,第一个是所谓跨国性,跨公司的e-Box计画,以美国Cable operator、Comcast为中心的MPEG-4 streaming计画,结合日本的Pioneer、Sharp,以及NS、Sigma Design(MPEG-4 decoder provider)、iVAST、Modern Video Film和台湾的CMC所合组的e-Box Corp.,强调于Cable plant的互动式(interactive )MPEG-4 based video streaming。再来就是iVAST打算porting iVAST Experience Player到 Philips新一代的 Multimedia Processor──Nexperia,其瞄准的产品为新一代数位STB与DVD player等。最后的例子就是大家耳熟能详NTT DoCoMo所推出,以Mobile Video Phone为主要应用的FOMA计画。


而欧美日韩对MPEG-4的应用与技术研发也有计画或合作案的进行。在韩国方面,三星电子决定与Serome Technology共同开发MPEG-4架构多媒体Contents播放解决方案。 MI于2002年初,率先完成MPEG4架构Web Camera的商品化,并已与日本及中国大陆业者签订供货契约。 Infiny Systems开发出MPEG4架构保全用DV​​R,将在近期量产 Symbion System开发出采用MPEG4技术的16Channel DVR,并开始着手量产。Ilryung Telesys目前与ETRI(韩国电子通信研究院)携手,开发整合MPEG4架构家庭保全设备的家庭闸道器(Home Gateway)。第3情报技术开发出MPEG4架构的多方视讯会议系统。 MPEG Solutions推出MPEG4架构PDA,积极抢攻市场。 MclickPlus、OnTimetek与三星电子等业者拥有视讯手机及相关MPEG4技术;netNtv、netCODEC、Serome Technology与MPEG Solutions等业者则开发出MPEG4架构网路广播解决方案等等。


日本在MPEG-4 硬体已发表相当的解决方案,Matsushita、Fujitsu、Hitachi 在ISSCC 2002发表MPEG4 Video ICs,Toshiba已经推出MPEG4解压缩晶片,NEC除了与美国公司PacketVideo行销MPEG4-related晶片,也提供FOMA计画所需的MPEG-4晶片,除此之外Panasonic、Sharp、JVC、Sony等日本公司也都有解决方案问世。


而欧美则有在hardware与software的解决方案,在software方面,Microsoft、PacketVideo、Solid Streaming、DiamondbackVision、UBVideo等业者,则已提供编解码软体。 Microsoft的Windows Media Technologies可提供MPE​​G-4相关的编解码以及串流,是以个人电脑搭配Windows OS为平台。 PacketVideo则获Intel投资,合作开发以StrongARM为基础的行动电话平台,Motorola、NEC、Mitsubishi、Sanyo、Casio等业者也采用PacketVideo软体,应用在各种行动装置上。USBVideo也是一家技术领先的公司,尤其在14496-10的AVC上,已经有解决方案的提供。


ASIC与SoC解决方案为MPEG-4未来趋势

MPEG-4 hardware解决方案可提供高画质的即时编码,将可大量应用于相关non-PC的IA(Information Appliance) 产品上,其主要应用可分为两种:低成本/频宽(Low cost /Bandwidth)的可携式/行动装置(portable/mobile devices) 及应用于娱乐的高效能表现产品,如下一代的STB(Set-Top Box)、高画质(High Definition)DVD player及streaming servers等。以目前及未来市场预测的需求面来看,Low cost/BW的方案因为规格变化大及上市时间(time to market)的设计考量,会先以DSP-based solution先出现于产品上,目前应用产品以DSC(Digital Still Camera)为主,其次为Mobi​​le Phone,PDA 等,但未来考虑市场竞争性与产品整合度、低耗电等因素,ASIC solution,甚至SoC,才会是市场主流,主要供应商包括TI、Toshiba、Panasonic、Zoran、Luxxon、UB Video等;而high performance的approach则在performance的要求下,以ASIC甚至SoC的型态出现,目前应用产品以STB提供VoD(Video on Demand)或PVR(Personal Video Recoder)的功能为主,下一代的HD DVD player亦是主要的应用。目前ASIC solution均只有解码功能较为成熟,主要的供应商以Sigma Design为代表,另外华人在San Jose所开设的Vweb也有不错的表现。


国内MPEG-4 hardware solution的发展现况目前在起步阶段,hardware design的solution部份只有台大系统晶片设计中心有设计,并发表CIC silicon proven过的可实现结果。以DSP为模组设计的有视达发,视达发为TriMedia DSP的应用。另外有一些厂商以Sigma Design的decoder chip晶片及其参考设计所完成的MPEG-4 Set-Top Box系统。国内大部分厂商都看好MPEG-4 Codec加入DSC的应用,以实现DVR的功能,以软体porting在原有的Processor或另挂的Co-processor上,或直接用硬体的方案。


就技术与市场需求来看,目前ISO与ITU-T正组成一个Team, JVT(Join Video Team) ,合力制定更先进的codec standard,AVC(Advanced Video Codec),将会是下一代的MPEG-4晶片主流。三星电子认为此国际标准,将有助于该公司在数位电视、DVD播放机、STB(视讯转换器)、数位摄录机与家庭网路等相关市场,取得数位技术主导权,并可望因此而获致庞大的权利金收入。


技术/产品之产业关联

以MPEG-4 chip相关的应用产品来讲,含盖了通讯、资讯、多媒体储存及光电等领域,其衍生产品就如前所述,有STB、DVD players、DSC、DVR等,将这些系统产品的功能模组做一个大致分类,可粗分为前端(Front end)与后端(Back end)部分。 Front end的部分包括通讯产品的Tuner(or line driver)、demodulator、network and security engine,多媒体储存产品的Servo controller、 security engine与资料存取装置,光电产品的Lens、CCD or CMOS sensor与DSP等部分。Back end的部分,通常以embedded CPU为核心,处理protocols、data forwarding及system control的功能,以MPEG chip(包括JPEG)为主的多媒体辅助硬体,用来处理大量的多媒体资料,以辅助CPU运算量的不足,另外,输出界面的处理,包括NTSC encoder、LCD controller、LAN interface、IEEE1394、USB、IDE controller to Hard driver等都视系统应用所需而考量。


以技术面来分析,多媒体应是由Video(Natural/Synthetic)、Audio/Voice、Graphic(2D、3D等)、Still Image、Text等所谓的medium所组成,所以技术的开发不应只针对某种medium来设计发展。基于研发能量与time to market的原因,可选择某种medium的研发为核心技术,其他medium技术的取得,可由委托与合作的方式来完成,再来整合成所定义的多媒体产品。譬如,我们在开发具备影音传输功能的IA产品时,Video部分通常以硬体module的型态出现,其原因如前所述,而音讯编解码的实现就包括S/W实现于IA processor上、利用另一颗辅助处理器(通常为DSP based的处理器较容易实现音讯编解码中各式各样的滤波器)或考虑用硬体实现等。从系统面的需求,来订定各项多媒体编解码技术与标准的采用,再加以整合设计。


国内外市场现况与潜力分析

在此我们先看看国内外MPEG-4供应商(vendors)的现况,及其所claim的应用范围,以Mobile Phone、DSC/DVC、PDA/MP3及Digital STB/DTV set为主要代表。在MPEG-4 hardware solution的应用方面,我们发现不仅国外vendors目前较聚焦于可携式装置(如Mobile phone与DSC/DVC)的应用,如(表一);国内厂商更是一致看好其中DSC的应用,以凌扬、旺宏、华晶及松瀚为代表;如(表二)另外,在表中没提到TI OMAP及Intel Xscale在手机的应用,TI OMAP将ARM core(Instruction set licensed from ARM)及自有DSP core整合在一起,提供手机制造商一个CPR(Cost Performance Ratio)不错的solution,将可视为目前MPEG-4应用在portable devices的一个适用平台。


《表一 国外MPEG-4 Chip相关厂商》
《表一 国外MPEG-4 Chip相关厂商》

《表二 国内MPEG-4相关厂商》
《表二 国内MPEG-4相关厂商》

未来MPEG-4晶片的市场将取决于相关应用的何时兴起,若以In-Stat/MDR 2002年的资料显示,MPEG-4晶片的市场会在2004年有起飞的现象;如(图五)。个人预测,此时主要的应用产品,还是以DSC与3G手机为主的可携式装置,其功能为低resolution与低frame rate的非双向、非即时通讯为主。


《图五 MPEG Video Chip Shipments and Revenue Forecast》
《图五 MPEG Video Chip Shipments and Revenue Forecast》

再来我们以MPEG-4主要应用的发展预测,来辅助说明MPEG-4 solution的未来性。首先,若以streaming video功能面的消费性电子产品来预测MPEG-4产品的走向,我们发现以digital TV set与digital STB这两种代表性产品来看,若以Gartner Dataquest 2002年的资料显示、其应用亦会在2004年有起飞的现象;如(图六)。随着目前以PC为 based的media streaming已慢慢导入市场,未来以IA平台替代PC此方面的功能,更是straightforward的。但此类应用产品的技术与使用环境关系到各种网路的配合与控管,所以市场的大量接受应会较晚。


《图六 具Video Streaming 功能的MPEG-4 消费性电子产品预测》
《图六 具Video Streaming 功能的MPEG-4 消费性电子产品预测》

另外根据Screen Digest最新研究报告,线上数位内容通路市场发展逐渐成熟,而主要数位内容业者营收也将逐步上扬,预估至2005年西方主要市场多平台之网站内容市场营收可达到29亿美元,其中西欧市场为5.41亿欧元。在各种数位内容方面,至2005年包括电影、广播、动画以及简易游戏内容等市场销售金额可达2.98亿美元,而欧洲部份占7,600万欧元;multi-player线上游戏市场销售值可达9.21亿美元,欧洲部分为1.63亿欧元;短片内容预计为1.89亿美元,欧洲占3,900万欧元;feature影片占8.82亿美元,欧洲占2.07亿欧元;fuzzy media为5.86亿美元,欧洲占5,700万欧元。


在网路内容下载工具方面,Screen Digest也预估MPEG-4规格将成会消费者最普遍采用之格式,同时也会带动消费者使用streaming video。而在内容传递网路市场方面,中短期来看Akamai Technologies、Digital Island、Speed​​era以及RealNetworks仍然会是领导厂商。


技术竞争分析

技术的开发终究要面对市场接受与否的考验,目前市面上已有多种MPEG-4 codec发表,各有各的特色与强点,如何订定产品的差异化,是建立产品竞争力的第一步。由于目前市场对于MPEG-4 codec此种视讯编解码器的需求,还不是很强烈,仅止于市场探索与教育大众的阶段。但未来产品的成功,则必须有以下几点:


  • (1)效能卓越:如高resolution(CIF、VGA、甚至于HDTV),高frame rate(30 fps at least)。


  • (2)网路因素的考量:codec可支援rate control、error resilience、error concealment、scalability等特性。


  • (3)Application dependent的特殊考量:省电、小体积、易于设定、cost down等。


  • (4)设计架构的可扩充性:MPEG-4的profiles众多,如何快速简单更改设计或制程,即可增加profile或新功能。


  • (5)其他多媒体的整合设计:如Still image、Audio/Speech、Text、Graphic、Data等。


  • (6)周边元件的整合:LAN interface、RS232、Host interface(AMBA)、USB、A/D、D/A等。


  • (7)配合系统:


  • * board level reference design:以所设计元件为中心所设计的硬体系统,可以有 Debug、Testing与Demo的多重功用。


  • * Software:从最底层的Driver(MPEG-4 codec与其他元件),系统的 RTOS,到上层应用的执行软体,都必需具备与完整。


  • * 开发环境:提供一个良好的系统开发环境,可大幅缩短产品开发时间,并提升效能与稳定度。


  • (8)SoC化:结合以上两点的开发经验与技术,设计系统整合的晶片,以降低成本,并增加系统的稳定度。



国内投资优势

在国家政策面,以矽导、电信及数位学习等国家型计画的推动下,可引进更多的研究资源;在产业面,以结合国内晶圆代工、封装测试、IC设计相关(IC design、Design service、Design tools等)、系统软硬体厂商所构成的上、中、下游供应链,是我们的利基与优势;在学术与研究面,国内有很多教授多年来一直专注于多媒体方面与IC设计的研究,所培养出的学生亦是此方面人才的来源,而全球的华人学者与研究人员在此领域的成果,也一直引领风骚。若能结合这些资源,则一定能创造出台湾第一的产业聚落。兹将详细分析叙述如下:


  • (1)以国家政策为依规,凝聚产、官、学、研的资源,互相分工,资源共享,是目前国内渐渐形成的发展环境,也是一大优势。


  • (2)国内在宽频网路相关的产业中,不管是用户端或局端设备,一向只注重接取设备或网路之系统与相关零组件的研发与生产。多媒体产业的发展其实是和宽频接取设备或网路相辅相成的,由目前台湾各宽频ISP业者不约而同推出网路多媒体服务,及行动通讯业者积极计划推出MMS(Multimedia Message Service)服务,以增加operator的revenue,可见一斑。而台湾目前的多媒体系统与软体技术都有一定的成绩,唯独关键性硬体零组件方面的技术非常缺乏,我们应加强此类技术的研发。


  • (3)搭配在多媒体通讯(STB)与储存(extended-DVD)的产品,可构成产业完整的supply chain,并cost down,如MediaTek与Ali除了在DVD Servo占有绝大市场外,最近更不约而同推出Servo+MPEG-2 decoder的整合chip,未来MPEG-4若被next generation的STB或DVD Forum的蓝光雷射HD DVD player选为标准,则对产业的impact更大。产业的轮替是大势所趋,随时掌握下一波的市场技术,及早投入研发能量,才能适时的 time to market。


  • (4)MPEG-4 chip的市场需求点,应该会在2003~2004年之间,现在投入开发正是时候。先以portable devices的应用为目标,强调产品的整合度、可靠度、省电性及变化性,第二步可配合STB与DVD需求的兴起,以MPEG-4 ASP profile,甚至AVC(14496-10 ),为规格,开发更大resolution、更高压缩率及更好品质的Codec。


  • (作者为工研院电通所周缆与视讯技术部经理)


相关文章
出囗管制风险下的石墨替代技术新视野
用Arduino 打造机器人:循迹、弹钢琴、下棋都行!
树莓派推出AI摄影机、新款显示器
智慧充电桩百花齐放
充电站布局多元商业模式
comments powered by Disqus
相关讨论
  相关新闻
» Nordic上市nRF Cloud设备管理服务 大幅扩展其云端服务
» 是德、新思和Ansys共同开发支援台积电N6RF+制程节点射频设计迁移流程
» 美光32Gb伺服器DRAM通过验证并出货 满足生成式AI应用要求
» Cadence结合生成式AI技术 开创多物理场模拟应用新时代
» AMD公布2024年第一季财报 成长动能来自AI加速器出货增长


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK85E6XDZQCSTACUKM
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw