流媒体世界专稿之ISMA知识讲座zz

本文介绍了MPEG - 4 CELP语音编码技术。它与一般音频编码器不同,专为人类语音设计,在编码语音时能实现更好的压缩效果。该技术可在窄带或宽带模式下工作,支持可扩展编码,若全速率比特流不可用,能播放低质量版本。

前言:


    本文对ISMA相关的知识进行了整理,为大家提供阅读相关资料的参考。关于微软的流媒体知识,可以参考其他文章。欢迎大家讨论。

一、ISMA介绍


为了将已有的MPEG-4技术尽快转化为产品,也为了最大限度地兼顾各个主要视频产业公司的利益,2000年12月国际上的一些视频产业的重要成员成立了一个组织,叫互联网流媒体联盟,简称ISMA(Internet Streaming Media Alliance)。在这个组织里有许多我们比较熟悉的公司如Cisco、IBM、Sony、Sun、NEC、苹果、飞利浦、日立、杜比和以色列阿贝斯公司(Optibase),SIGMA等等。


二、ISMA标准介绍


ISMA已经在产品标准化方面取得了一些进展。2001年8月ISMA从MPEG-4标准中做了某些限定,ISMA标准的初步实现参见开源项目mpeg4ip,标准的主要内容包括:


1.        视频压缩采用MPEG-4的第2章(ISO14496-2)


ISMA所定义的视频分辨率层面只有两个:


a.   Profile 0


·         称之为Simple profile @ Level 1


b. Profile 1


·         称之为Advanced Simple profile @ Level 3


SP 与SAP的对比:




此主题相关图片如下:
按此在新窗口浏览图片



2.        一般音频压缩采用AAC格式 Advanced  Audio Codec


3.        语音:CELP 码激励线性预测


MPEG-4 CELP (Code Excited Linear Prediction) is a speech coding technology. Unlike general audio coders, such as AAC, which do not make any assumptions about the types of audio signal that will be represented, CELP coding is specifically designed to represent human speech. Optimizations resulting from a knowledge of the particular type of signal that will be encoded allow MPEG-4 CELP to achieve better compression than can be obtained from a general audio coder when used to encode speech.


MPEG-4 CELP operates in a narrowband (8 kHz sample rate) or a wideband mode (16-kHz sample rate) in order to achieve bit rates in the range of 4 to 12 kbps for a narrowband configuration, or approximately 11 to 24 kbps in a wideband configuration. In addition, MPEG-4 CELP supports scalable coding that allows multiple low bit-rate streams to be embedded in a single stream such that a lower quality rendering can be played back if the full rate bitstream is not completely available.


4.        媒体传输流协议:RTP、RTCP,详见RFC1889 A Transport Protocol for Real-Time Applications


5.        媒体控制:RTSP,详见RFC2326 Real Time Streaming Protocol (RTSP)


6.        媒体公告(Media Announcement): SAP(详见RFC2974 Session Announcement Protocol)、SDP(详见RFC2327 Session Description Protocol (SDP))


7.        内容交换格式(Media Distribution)采用苹果的MP4文件格式


a.     MP4文件的基本格式:


Atom + Media Data


Atom 建立Media Data的索引,Media Data包括视音频数据。Atom与Media Data可以在同一个文件,也可以在不同的文件。


文件图示:



此主题相关图片如下:
按此在新窗口浏览图片



b.     流化技术(hint)


按照相应的标准在mp4文件中建立hint track[建立mdat(media data)的rtp分割,index等],从而使文件适合Internet发布。


流化采用的标准:

         - rfc3640: RTP Payload Format for Transport of MPEG-4 Elementary

         - rfc3016: RTP Payload Format for MPEG-4 Audio/Visual Streams

         - rfc2250: RTP Payload Format for MPEG1/MPEG2 Video

三、ISMA发展估计


    1.DRM系统


        相关标准IPMP(Intellectual Property Management and Protection)


        标准定义以及相关的实现参见开源项目 openipmp


    


    2.应用到移动系统中去(3GPP)


        文件格式, .3gp,兼容mp4。相应流化标准估计为:

-          rfc2429: RTP Payload Format for the 1998 Version of ITU-T Rec. H.263 Video(H.263+)

-          rfc3267: RTP Payload Format and File Storage Format for Adaptive Multi-Rate(AMR) and Adaptive Multi-Rate Wideband(AMR-WB) Audio Codecs

3.H.264

  MPEG-4的 AVC(Advanced Video Codec),更优的压缩质量。硬件发展后,该技术将会大量采用。

四、相关知识的url

         isma组织:       http://www.isma.tv

         openipmp项目:   http://sourceforge.net/projects/openipmp

         mpeg4ip项目:    http://sourceforge.net/projects/mpeg4ip

         mpeg4论坛:      http://www.m4if.org

         rfc查找:        http://www.faqs.org

         mpeg组织:       http://www.mpeg.org
内容概要:本文围绕“考虑隐私保护的分布式联邦学习电力负荷预测研究”展开,提出了一种融合联邦学习框架与隐私保护机制的电力负荷预测方法,旨在解决传统集中式数据处理中潜在的用户隐私泄露问题。通过构建分布式模型训练体系,各参与方在本地完成模型训练,仅向中心服务器上传模型参数或梯度信息,实现“数据不动模型动”的协同建模模式,确保数据“可用不可见”。研究采用Python语言实现了完整的联邦学习流程,涵盖客户端本地训练、全局模型聚合、隐私保护策略(如差分隐私或同态加密)集成、通信机制设计及预测性能评估等核心模块,显著提升了电力负荷预测在隐私安全与模型精度之间的平衡能力。; 适合人群:具备Python编程基础和机器学习基础知识,从事电力系统、智能电网、能源大数据分析、数据隐私保护等相关领域研究的研究生、科研人员及工程技术人员。; 使用场景及目标:①应用于居民或工业级电力负荷预测任务,在保障用户用电数据隐私的前提下实现高精度预测;②为构建符合数据合规要求的智慧能源管理系统提供技术支撑;③推动联邦学习在能源互联网、跨企业数据协作等场景中的落地应用,促进多方协同建模与数据价值释放。; 阅读建议:建议读者结合文中提供的Python代码进行实践操作,重点关注联邦学习的通信轮次设置、本地训练迭代策略、模型聚合算法设计以及隐私噪声添加机制的实现细节,并可根据实际需求替换底层预测模型(如LSTM、XGBoost、Transformer等)以进一步优化预测性能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值