嵌入式多媒体监测节点的网络适应性设计.pdf

收藏

编号:20181111054749377242    类型:共享资源    大小:237.18KB    格式:PDF    上传时间:2019-02-16
  
3
金币
关 键 词:
嵌入式 适应性 节点设计 多媒体 嵌入式多媒体监测节点的网络适应性设计 网络的多媒体监测
资源描述:
第33卷 VoL33 第2l期 No.2J 计算机工程 Computer Engineering 2007年11月 November 2∞7 嵌入式多媒体监测节点的网络适应性设计 李钰古.秦飞,赵保军 (北京理工大学电子工程系,北京101)081) 摘蔓:基于网络的多媒体监测系统具有对现场信息的实时采集编码的能力,因而应用极其广泛。但是在具有网络传输特性的嵌入式平台 上实现多媒体信息编码能力具有较太的实现难度,成为该类系统实现的难点之一。凌空提出一种解决方案,着眼于实时性、可测量性以及 低功耗性进行了嵌入式节点的优化设计以满足系统需求。该优祀设计方案在实际实验中取得了良好的效果,对其他类似系统亦具有重要的 参考意义。 关健胃:多媒体;DSP;网络;MPEG;MP3编码;嵌入式系统 Multimedia Monitor System over Network: Design of Embedded Coding Node LI Yu-han,QIN Fei,ZHAO Bao.jun (Departmem ofElectronkEngineering.BeringInstituteofTechnology,Beijin91000811 [Abstract]Themultimediamonitor systemover networkforits capture and encoding abilityfor real-timeinformation has good application But theimplementation ofthe real—timemultimedia encoding systemis hardto realize.Anetwork aware solutionisproposed The approachhas earned a good performance in the experiment.and has the reference mean to the similar systems站well. [Key words]multimedia;DSP;network;MPEG;MP3 audio encode;embedded system 1概述 通信阿络、传感器和信号处理技术的进展使得一些新型 的科技产品的实现成为可能。基于网络传输的嵌入式系统具 有对多媒体信息的实时编码的能力,而且体积小、价格便宜、 具有嘲络接入功能,可以广泛应用于现场监控、远程会议、 宾馆音乐系统等领域。 MPEG(moving picture coding experts group,括动图像专 家组)于1992年制定了MPEG一1音频压缩标准。其中层Ⅲ即 人们所熟悉的MP3。最复杂但是音质最好,典型比特率为 64Kb/s,其压缩比可以达到tO:1~1 2:1…。 然而,由于MP3算法是一个非对称系统,编码的复杂程 度要比解码的复杂程度高5~】0倍。其复杂的原因主要是编 码过程中为了模拟人耳的听党系统而建立了一个动态的心理 声学模型,计算子带的掩蔽门限以爰信掩比SMR,据此来决 定丢弃的数据。另外,编码中的MDCT、FFT等变换也给实 时压缩带来了困难。 ‘ MP3编码的这两个特点大大地限制了籍其移植到DSP 上的进度和精度,以至于MP3算法问世10年后,才出现比 较完善的基于DSP的MP3编码器成品。例如德国的 Fraunhofer IlS公司,在TMS320系列上成功移植了MPEGI 编码。国内也有不少高校、研究院以及公司致力于开发MPEG 系列的移植。 在嵌入式的多媒体监测嘲络领域,国外近年来也进行了 相关的研究,如wayne wolf和他的学生设计了一套以标准Pc 为处理底板的,拥有两个摄像头进行数据采集的视频监测网 络口】。澳大利亚的Michael Bramberger等则没计实现了一套 嵌入式使用DSP构成节点的视频监测网络”1。 本文提出一种解决方案,通过各个嵌入式节点现场采集 音视频等多媒体信息,并进行编码压缩后通过网络相互连接, 将监测数据信息发送到中心主控节点上。系统节点在设计时, 着眼干实时性、可测量性以及低功耗设计。介绍r该多媒体 监测网络的架构没计,重点论述了网络环境下嵌入式节点 MP3编码实现,网络传输的软、硬件设计。该系统在视频采 集的基础之上增加了音频数据的采集与编码功能,完善了多 媒体监测网络的功能。 2 系统描述 多媒体监测网络没计架构如图1所示。 圈1多攥俸监蔫舟络勇}童田 作者筒升:李钰禽(1982--1,女,硕士研究生,主研方向:多媒体信 号处理,嵌入式系统;秦飞,硕士研究生;赵保军,博士生导师 牧稿日期:2006—11-10 E-mall:qinfei@xbow.com c11 万方数据 组成该多媒体监测网络的各个嵌入式节点分成多种类型 的节点。包括用于音频数据采集的节点,专门进行视频数据 的采集.以爰同时进行音视频多媒体数据的采集。各个嵌入 式采集营点的数据透过In把rn咀辟络转发至中央处理节点进 行教据融合、控制及显示的工作。如smart camerasl31的概念, 在中央处理节点将各个分布式节点采集到的数据重新恢复。 并进行数据融合后,可以得到对监测现场的多维、立体的监 测信息。笔者的网络中通过添加音频数据,更加完善了这一 融合后所能取得的信息量。为了验证笔者设计的多媒体监测 网络的可行性,设许并实现了一套原型机,同时具有音频与 视频的采集模块。该原型节点为纯嵌入式的结构,前端通过 麦克风和摄像头采集数据,通过AD采集,送入DSP进行实 时编码工作后,然后通过网络控制器发送至网络。由中心处 理节点(加载了相关处理程序的标准PC机)通过网络接收后 解码并进行后续数据工作,再通过人机接口显示给操作用户。 在试验中该原型机取得了良好的试验结果。相关的试验 数据与性能指标被采集后,用来在后期工作中通过OPNET 两络仿真工具对该多媒体监测阿络的性能进行仿真试验。 3嵌入式编碍节点的硬俘设计 T1公司生产田TMS320C671 18”1属于32bits浮点数字信 号处理器。具有较大的动态范围和较高的精度,工作频率为 100MHz~150MHz,处理能力达到900MFLOPS,被广j芝应 甩于多媒体信号处理中。本文即使用此芯片作为系统的主控 芯片实现数据的采集、编码以及控制网络芯片进行网络传箱, 嵌入式编码节点硬件设计如图2所示。 广一一一一一一。1 1一一一一一一一一一一一一一1 J 产————工二二二二E二=;———一—、丫—————]————_丌——下i——————,黧i测网 I℃oNTR 01i8嚼:…一一一一 I t(^x8#7q6LI疆‘l l 攘捌信号 :10_一豳翻! o f《h ;一一 ;礓墨压五匿口●鼻剖)≤圃i 教字信号 l I I、、y I———’ 1. 通过将高质量的音频模拟信号输入A,D转换器得到数字 信号,然后由DSP完成编码,视颇信号则通过视频处理芯片 SA7111进行处理后,由CPLD控制将处理后数据直接送至 SDRAM暂存。此后将码流送至以太网控制器将数据打包发 送至以太网,由中央处理节点(加载了相关接收、控制、解码、 显示等程序的PC机)负责接收。 视频信号主要由SA7111专用ASIC芯片进行处理,且相 关业界对视频的研究论述较多,本文主要针对适用于嵌入式 鼹络环境下的音频信号编码工作给予讨论,并给出了如何对 MP3编码过程进行网络环境下的适应性改动的一种有效解决 方案。 . 为了达到良好效果,本系统选择了T1公司生产的 TM$320C6711。CPLD控制AD73311的RESET和sE管脚。 本系统将麦克风传进的模拟信号转化成16bits的48kHz的数 字信号,通过MCBSP0(多通道缓冲串口)以EDMA的方式传 送刭DSP。 AX88796是Aslx公司推出的NE2000兼容快速以太网控 制器。其内部集成有10/100 MB/s自适应的物理层收发器和 8K×16位的SRAM,支持8位和16位多种CPU总线类型。 4 MP3绾码的网络适应性设计 由于笔者设计的系统通过网络传递采集并处理过的多媒 体监测数据,因此在嵌入式处理平台的算法设计时必须要考 虑算法的网络适应性。在这里提出了一种有效的MP3音频编 码算法的优化改进方法,该方法对其他类似的系统设计同样 具有参考意义。 由于MP3编码算法运算量巨大,因此通过对心理声学模 型、量化编码进行简化,对MDCT进行算法改进来满足该算 法对嵌入式平台和网络环境的适应性改进。 MP3编码算法是综台层n和ASPEC(audio spectral perceptual entropy encoding)提出的混台编码01。一方面,利 用心理声学摸望计算出掩蔽闻值,丢弃大量被掩蔽的信号, 此部分为有损压缩;男一方面,层m还附加了哈夫曼编码, 这部分的无损压缩又可以节约20%左右的码率。 MPEGI声音压缩算法部分的原理基奉相同。3层均采用 了滤渡器担和心理声学模型,其编解码原理框图如图3所示。 对应于MP3,其编码的具体过程如图4所示。 编码嚣 解码器 圈3 MPEGI靖解码原理程田 圈4 MP3囊爵原理圈 编码算法每一次处理1 152个采样点。在时频映射中, MP3应用混合滤波器将信号由时域变换到频域。混台滤波器 包括一个32子带滤波器组和MDCT变换。子带滤波器属于 子带压缩技术,其基本思想是将信号分解到32个非均匀的子 频带内。它首先将32十采样值放入一个长度为512的FIFO 中缓存;然后对该缓存加窗,每8十值累加,转换成64十中 间值;最后通过下式得到32个采样值。 耻∑63“。(堕尘譬坚址;o’1,….31 万方数据 寻找快速算法的关键在于最后一步。令 M。;。0sf!兰』阜坐坞,。:¨.…,63 可以发现.数组有如下的对称性: 。 M16+。=M16‘.H=0,1,…。16 M‘B+.=-M4I一#,n=01,…,15 合并系数相等或者相反的项,得到。 xI-乱cos(坚笔迹¨-0'”..,31 其中。 , f^6, n=0 J。={‘6+。+^6一。 n=1,…,16 【‘¨。一J B0-n n=17.“.3l 直接计算原式需要64×32次乘法和63x32次加法.采 用快速算法需要16X16×2+16×2次乘法和 15×16×2+16×2+31+15次乘法,运算量是原来的1/4,而 且数据表格所占的存储空间也减少为原来的1/8左右删。 MDCT属于变换压缩技术,与子带压缩技术一样都是基 于人对声音信号的感知模型(心理声学模型),通过对信号频 谱的分析来决定子带样值或频域样值的量化阶数,因此又可 称为感知子带变换编码。 需要调用MDCT的次数为:18×32(长窗)或者12× 6×3(短窗)。在没有优化的情况下,处理一帧数据调用64次 ruder()函数,共需要指令周期数为10 090 797。将 winNorm[36l,winShort[12】、winStan[36】,winStop[36】、 cos—l[19l[36]、cos s[61[12]数组计算出来存表,发现可以大大 减少指令数,降低到517 318。 将N=36时的MDCT用Lee提出的快速DCT算法”卅1 来代替,可进一步降低指令周期数到204 726。图5显示了 第1帧数据MDCT优化前后的对比。 要s 000 000 蓦6衄。000 霉4㈣000 原MDCT 计算列表L∞快速算法 田5 MDCT优化对比 MP3中的心理声学模型采用了两种EFT:一种是1 024 点长FFT,重叠长度为576点;另一种是256点短FFT,重 叠长度为]92点。一次长FFT伴随有3谈短FFT。其结果用 来计算信掩比(signal to mask ration),然后通过查表来舍弃无 祛被感知的信号。 MPEG Layerlll音频标准中提供的心理声学模型2的频谱 分析使用的是1 024点FFT和3个顺序进行的256点FFT。 每处理一帧,心理声学模型将调用fit0函数8次。将变换中 w—real[896]、w—imag[896]、swap一11513]、swap_s[513]计算出 来存成列表可大大减少指_令周期数。图6是优化前后的对比。 MDCT输出的信号经过失真控制循环和非均匀量化率控 制循环,结台心理声学模型输出的信掩比、附加信息编码和 外部控制,对信号量化。量化后采取哈夫曼编码,然后添加 位流同步信息,CRC校验,生成MP3码流。 将压缩后的码流通过局域网发送出去需要在DSP里编写 TCPflP协斑。考虑到DSP芯片的运算速度、内存等硬件结构 的原因,嵌入式系统里的TCP/IP协议族在保证系统正常工作 性能的基础上须进行必要的精简来减少其代码和处理周期的 占用量。因此,经过分析和多次试验,最后选取了链路层的 ARP协议、网络层的ICMP和IP协议、传输层的UDP协议 来组成该嵌入式系统的TCP/IP协议族“】。基本连接过程如下: (1)中央处理节点发送广播ARP数据包到嵌入式板卡, 此时扳卡获得中央处理节点(Pc机)MAC地址。若连接失败, 显示“错误”并发送一个ICMP数据包。 (2)嵌入式板卡回应,若收到ARP数据包则调用ARP函 数,返回中央处理节点(PC机)的MAC地址;若收到ICMP 数据包则显示“错误”,继续等待连接。 (3)连接成功后,中央处理节点发送一个UDP数据包。 (4)嵌入式板卡回应一个带有特殊字符的UDP数据包。 (5)中央处理节点(PC机)回应“OF,等待嵌入式板卡发 送数据。 (6)嵌入式板卡开始发送多媒体数据码流。 024点FFr 256点F叮 圈6 FFT优化对比 在调试AX88796以太网控制器的时候,需注意首先读取 其中断状态寄存器的第7位是否为1以判断其是否正常启动, 确认后,对其内部寄存器进行有效设置。然后再开始网络连 接。另外,网络数据流量依时而定,必须确定数据接收的状 态,最基本的就是确定接收数据区是否为空,是否已满,通 过以下判断得到: data_L=(unsigned char)(‘(int‘)ETHNT-BNRY); data—H=(unsigned char)(’(int 4)ETHNT_CPR0)一l: ifldata_L一(data_H+1))//数据区已满 overmnO; else if(data L『-data_H)//数据区有数据,未蔫 其中,overrun()函数按照AX88796芯片手册“…上提示的 编写即可。网络没计示意图见圈7。 5结柬语 迸八的幢 圈7一络设许示童蟹 嵌入式采集平台的程序由标准C语言编写,由CCS2.0 编译器编译。中央处理节点的程序由c++编写,由Visual c++编译器编译并运行。用CCS中的profiler观察,随机抽 取一帧进行指夸周期分析如图8所示。 该帧所需总指夸周期数为140 875 986,其中消耗指令周 期数最多的模块分别为:心理声学模型(53 992 377)、迭代循 咖㈣㈣删咖删咖咖啪。篙裟l§麟一 蒜日奇砰 万方数据 环(34 950“7)1 MDCT{33 798 138)。其所占用的比率分别为 38%,25%和24%。每一帧所需要的加话和乘法孜敦见围9。 田8指}■捆丹析 陶9加羞和鼙硅孜t 综合使用上一节所述优化设计方法后.经过测试,处理 一帧需舜140 875 986干指令周期的数据,在优化后需要 19 337 183个周期.整体性能提高7倍以Eo使用存十优化 方法面降低的周期数对比如图10所示。 阻10健亿者挂对|匕 图1I通过对比甩两种方式粟集记录时同一展音频数据 来证明了本文系统的有艘性。其上为计算机通过声卡直接采 集记录下的WAV洼形文件,其下则是通过笔者设计的嵌入 式平台采集到的音频数据,编码后遥过网络传递到中兜处 理昔点,在中央处理节点还原得到波形文件。通过分析显示 二者的相似性在99%l}【上,完全在入耳可以接受的范围。 瑶11秉集键形对比 基于网络传输的多媒体啦测系统具有对多媒体信息实时 编码的能力,而且体积小,价格便宜、具有网络接入功能, 可以广_j芝应用于多种应用领域。本文提出针对此需求的一种 解决方案,并在在实验中取得了屋好的效果。 今后的1=作中,将存网络节点设计完成的基础上,通过 该试验采靠到的性能信息,针对数据融合、网络QoS等方面 进行全网性能仿真,并开始进行实际的多媒体监测阿络的 , 部署。 参考文献 1 polfimann K G数字音频原理与应甩叫1北京:电子工业出嘘社。 2002. 2 Wolf w'Ozer B Lv t Smart Cameras魅Embedded systm+tJ'j Computer,2幔B 3stg) 3 Biam M.D0b丸M帕A,d a1.Distributed Erabed&d$maa CamerasforSurveillaaceApplicationlJ]Computer,2006,39(2) 4TMS320C6711Da乜曲eeI旺l 0002㈣08)ti… 5 ISO/IEC ISlll7罅1992 Coding of Moving Piettff@S and ^s“自ⅫAadbforDigaal StorageMediamUpmAbotltl.5Mbiffs ——P缸3AudiolSl 199己 6亭力利基于定点DsP的MP3问颏编码算砝研究投实现¨电子 技,Silt用,2005,31H). 7赵知劲.一种计算MDCT的快追芹社叫现代雷选1997,1吼5) s窦罐蓓,刘菩珩壬建昕.基于DSP的IMI)C'r快速算浩叽清华 大擘学报.2000,40{3) 。 9斯纳德高级TCPflP编程[MI+北京:中国电力出版社,2001 lOA×s8795L 3-in.1 Local Bus Fas【】hIl盯『ldc锄trollerDa诅Sh即t[z1f--'4)02-08).删ix枷tw. 《上按第221页 衰4相两早均采样t下帕各十看量避行琏重比茬fs) 0us 123/ 24D, ,q76I 勘t”“ 1 36/ 279 6 4(325 3 C椰tⅡ‘t 12,9 241 4 。 3 99,0 4 表4列举了由4种不同的方法渲染出的平均采样量舟别 为88.134.499时帕3十场精的图像前运行速度的比较。飙表 中町以看出,本文方皓的运行进度与两个经典舶方法的相当, 但是比基于信息熵”}的方_i击要快很多。综上,本文方{击不仅 速度快,而且生成的图像昀嫂果也远远好于其他方祛。 5结束语 本文提出了一种新的基于信息嫡的自适应抽样方往。实 验结果表明,隋本文方j去生成的幽像在RMS的减小上有报 大的提高,生成舳图像的效果好于香农信息熵的和其他一些 经典方珐的效果。本文方珐实现筒单,对复杂场景的适晤性 同样裉强。下一步将进一步帮f究更加高敖的自适应抽样方持a 参考文簟 L M1tehell D P G部era乜砷Ail|tialiased Images at Law Sam叫ng Densities[J]ComputerGraphics 1987 2l(4)=55-72 2 Pargathofer W.A Statistical Method for Ada96vc Stochastic Sampling[I]1987,11(2J t57—162— 3 Rigau J,Feixas M Sben M Entropy-bageci Adaptive SmtpliagtC] //Pmccodingsof0I,03 2003.06 糕《蠼锵娶斑乓 万方数据
展开阅读全文
  皮皮文库所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

关于本文
本文标题:嵌入式多媒体监测节点的网络适应性设计.pdf
链接地址:http://www.ppdoc.com/p-10930830.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2008-2018 皮皮文库网站版权所有
经营许可证编号:京ICP备12026657号-3 

收起
展开