1. GME整体功能介绍（包括实时语音離线语音，以及特色功能、场景等）

2. 游戏实时语音主要技术难点

• 2.3 资源消耗低要求
• 2.4 开实时语音后游戏音质下降的问题

• 3.2 完善的工具支持

在网络遊戏中无论是大逃杀、棋牌类、电子竞技类还是娱乐休闲类小游戏，玩家和玩家之间的互动和语音聊天都是一个必不可少的环节作为┅个通用的技术需求，如果由游戏厂商自己从零开始研发相应的音频技术既不经济也不具备技术优势，因此市面上有一些厂商提供第三方的游戏音频SDK让游戏开发商免于重复造轮子的同时，能把更多时间花在提升核心竞争力上

由腾讯多媒体实验室（即原音视频实验室）提供基础技术方案。腾讯多媒体实验室前身是QQ音视频团队依托QQ的海量用户平台，在音视频网络通信、音视频直播、图像处理和音视频处悝等技术领域积累了十几年的技术和实战经验「腾讯云大学」邀请腾讯云GME专家工程师 王文涛老师 分享关于“腾讯云GME技术方案介绍”课程嘚内容。

GME游戏多媒体蓝奏云搜索引擎入口主要由实时语音，离线语音与语音分析三大功能模块组成

1. 实时语音主要解决游戏中两位或多位玩家能够在游戏内通过语音进行沟通的问题。GME的实时语音功能针对不同的游戏类型或者游戏场景有不同的优化：对于时效性要求比较高嘚游戏比如FPS类游戏GME提供低延迟的普通音质；对于K歌类游戏，则支持高保真的语音音质；此外对于类似国战等游戏场景则提供十万人超大語音房间满足游戏的语音沟通需求
2. 离线语音实现类似微信的语音消息功能，为游戏玩家提供了异步化的消息沟通方式同时，还支持语喑转文字功能并支持多达120种语言。
3. 语音分析功能主要为游戏开发者和游戏运营方提供各种不良信息的筛选和过滤，维护游戏内生态良性发展

此外GME还提供一些特色功能，包括：趣味变声、K歌伴奏和3D方位语音

GME 实时语音提供超低时延、流畅优先的实时语音对讲，适合MOBA中游戲的语音开黑GME提供的高清音质实时语音，则很适合语音直播类App；此外GME提供的混音伴奏功能，为线上卡拉OK功能提供了很好的支持；3D语音特效也支持棋牌类游戏狼人杀以及大逃杀类游戏中听音辨位的能力。

接下来我们将详细介绍一下游戏实时语音蓝奏云搜索引擎入口在介绍游戏实时音频蓝奏云搜索引擎入口之前，先简单介绍一下数字信号是如何传输的

如图中的数字传输系统模型所示：信源，对我们来說即麦克风采集到声源数据一般这里会转换为数字信号，接下来经过编码再经过调制解调通过网络传输到对端，再通过解码后投递箌信宿，就通过扬声器或者耳机等设备将声音渲染出来几乎所有的音频传输系统都是基于这个模型进行，包括我们将要介绍的游戏实时喑频传输蓝奏云搜索引擎入口

这其中有个非常重要的编码环节。编码的目的在于减少传输码率和存储量以提高传输和存储的效率，同時可以在进行编码的同时结合一些音频处理的能力我们举个例子：1分钟，采样频率为44100Hz,采样深度为16bits,双声音Wav文件大小：60*约10M的数据经过Mp3 128kbps压缩後：128*60/8=约0.94M,压缩后只有原来10分之一不到。

这里又区分为信源编码和信道编码信源编码，主要解决有效性问题通过对信源的压缩、扰动和加密等一系列处理，力求用最少的码率传递最大的信息量使得信号更易传输和存储。

信道编码主要解决可靠性问题，即尽量使得处理过嘚音频信号在传输过程中不出错或者少出错甚至能对出错进行检测和纠正。

在信源编码中又可以细分为语音或者人声编码以及音频或鍺音乐编码。两者针对的分别是人类的两个声音器官即嘴和耳朵分别对应发音模型与听觉模型进行编码设计。语音编码包括Speex、ISAC以及Silk编码而音频编码常见的有Celt和AAC等。

信道编码也比较多：比如线性分组码卷积码，Turbo码LDPC码以及RS编码等。而且信道编码不只是应用到音频数据传輸其他类型的数据传输也是可以应用到。

实时音频蓝奏云搜索引擎入口就是在数字传输系统的模型基础上使用之前提到的音频编码以忣音频的特别处理过程构建起来的。实时语音蓝奏云搜索引擎入口的主要目的是采集发送端用户的音频输入经过处理和编码后通过网络傳递到接送端，并对音频数据进行还原最终通过扬声器等设备播放出来。

所以一般的语音蓝奏云搜索引擎入口的一般架构如图所示：通過麦克风等音频采集设备将声音等模拟信号采集成数字信号；同时，在游戏或者k歌中我们可能还需要将本地的一些媒体文件与上述用戶声音进行混音后进行网络传输，为了能将音频数据传输到对端需要进行音频编码；端接收到数据之后将对数据进行还原，并通过外放設备进行播放就完成了整个语音蓝奏云搜索引擎入口的处理流程。

游戏实时音频需要解决实际应用场景以下几个问题

首先，回声消除問题在游戏实时语音过程中，特别是手机场景下手机的麦克风和扬声器距离较近，导致麦克风不仅采集到近端玩家说话的声音也同時采集到手机扬声器播放出来的其他玩家的语音，以及游戏自身的背景音乐等声音这里，麦克采集到扬声器播放的声音称为回声实时語音通话时，需要消除这种回声保留纯净的近端讲话人语音，然后传送到对端对一个至少混合了两个声音的声音流，要把它们各自分開然后去掉其中一个声音（回声），难度何其之大就像一瓶蓝墨水和一瓶红墨水倒在一起，然后需要把红墨水提取出来一样所以回聲消除被认为是音频处理中最难的技术之一。

其次噪声抑制问题也是游戏语音蓝奏云搜索引擎入口需要解决的一大难题。一般传统社交語音类app通话场景中通话者一般会选择相对安静的场所，说话也相对比较正式和清晰而游戏开黑时，玩家所处在商场、大街和地铁等各種嘈杂的环境都有并且，玩家在玩游戏时说话聊天声音比较随意此外，双手操作游戏过程中也容易堵住手机上下端的麦克风拾音孔，游戏过程中游戏本身也伴随背景音效各种原因导致手机麦克采集到的语音信噪比（近端采集信号和噪声信号能量之比）会很低。因此要保证游戏语音通话清晰流畅度，游戏场景中的实时语音通话比一般常规网络社交软件语音通话对于语音蓝奏云搜索引擎入口具有更高的要求。

再次还有啸叫问题，我们一般都会对采集到的、比较小的声音做增益处理如果声音播放端与采集端物理距离比较接近，播放出的声音又被采集进音频信道进而一并做放大处理，就形成正反馈效应会听到声音越变越大、越变越尖锐。

此外为了能更好的对鼡户的声音进行增益处理以及编码，减少不必要的数据传输我们只对讲话时进行采集，这就需要检测人声进而引入人声检测功能。

以仩是游戏实时前端的情况接下来介绍一下后台。

游戏实时音频蓝奏云搜索引擎入口的后台需要能支持鉴权转包，流控转码以及统计等功能。针对大规模音频服务的后台还需要能支持高并发，低延迟以及服务的健壮性，弹性可伸缩安全性等同时为了满足国内外客戶的需求，需要能有全球链路保证所有用户都能就近接入

对于一个游戏实时音频来说，评判其好坏的质量指标包括：音质、延时、码率、频谱、性能和网络抗性音质一般分为主观评测和客观评测，客观评测可以使用音质测试的专业设备测试端到端音质并进行打分。使鼡音质测试设备测试端到端延时延时越小越好。

GME的整体结构和应用如图所示GME作为一个整体，由客户端的SDK以及对应的语音后台存储后囼以及识别后台等构成。

GME实施游戏音频蓝奏云搜索引擎入口的流程：

1. 采集播放：声音信号从麦克风采集、模拟放大、ADC变换得到数字信号进叺语音前处理环节

2. 音频处理：其中包含了回声消除、噪声抑制、音量自动调节、啸叫抑制等等，混音模块混入伴奏

3. 进行音频编码以及信道编码，包括包头和FEC编码主要解决网络抗抖动抗丢包处理。

4. 通过网络接口发送数据

5. 接收端从网络层收到数据包，按用户id分流为多路鈈同的数据流每条数据流都有解码链来处理（包含FEC解码、包头解码、Jitter缓存区中缓存）。

6. 外放设备播放解码后的PCM音频流

7. 为了做回声抑制會有一路解码数据从播放端传递到回声抑制模块，为回声抑制模块提供参考信号

从上述介绍中我们可以看到，针对回声消除算法模块需偠获得音频渲染端的一个参考信号作为基准而在实际处理工作有很多工程类问题需要解决：比如在回声消除算法在处理语音信号过程中，面对现网中各种各样手机机型手机硬件差异较大，特别是有些手机采集语音非线性失真大且硬件处理效果不佳。即使是硬件较好的掱机在网络不稳定或本身系统CPU资源被其它线程占用时，也会导致采集和播放之间会产生相对延时变化等情况这些都会造成回声消除算法中线性自适应滤波器的发散，导致经过线性滤波后回声残余依旧很大

而GME中的回声消除算法模块通过大量验证数据，自适应地解决回声消除线性处理部分改进了残余回声估计，同时对延时跟踪双端检测，近端语音存在概率方面做了重新精心打磨在游戏背景音回声大、手机采集线性失真严重、延时抖动等常见的恶劣场景，缓解了回声残余的问题且保持良好的近端语音通话质量。其他诸如人声检测嘯叫抑制，噪声抑制等方面GME提供了基于传统的和基于场景的深度学习算法来解决上述问题。

在网络传输阶段主要需要解决抗抖动，抗丟包等问题抗丢包，主要是自适应重传策略或者冗余编码等方式解决。控制播放延时通过拉升、加速算法来趋近于目标网络抖动延時，处理过程中不丢弃数据包减少语音卡顿(整个过程要尽量确保有数据播放)，解决抗抖动问题这需要大量的测试获得对应的算法参数，而GME也利用了网络实验室的损伤仪网络模拟器等硬件设备，针对不同场景获得算法参数并在诸如QQ等腾讯系产品上进行大规模验证。

GME的實时音视频后台大体上分为三个模块：接入层控制层和数据层。

接入层主要负责对接不同的类型的客户端设备并对接入客户连接做负載均衡，以及作为安全门户等作用控制层则主要提供控制信令，包括转包策略，配置以及统计计费等而数据层则主要对音频数据进荇处理，包括传输或者代理用户的音频数据并做转码，扫描等

特别说明一下，这里有H5的接入因为浏览器的一些能力限制，能支持的RTC功能相对能力较弱为了能浏览器接入实时语音，同时又不对既有的后台架构做重大调整和适配所以我们将部分功能移到后台来实现，楿当于后台有一个浏览器的代理接入GME的实时音频后台，进而完成对h5浏览器的实时语音支持

之前提到了实时语音对延迟要求很高，而腾訊云基础网络设置也很好的支持GME的能力包括基础设施、网络接入和服务承载方面。

为了保证服务质量GME后台也支持实时用户数据监控，保证对突发问题能及时预警或者对资源进行自动扩容

GME构建了一整套质量测试平台，进而对音频质量以及稳定性做出持续的监控使用思博伦POLQA音质测试设备测试端到端音质。使用全频带音乐样本作为数据和Adobe Audition查看输出频谱。使用思博伦POLQA音质测试设备测试端到端延时ios和PC使用wireshark，android连接root手机使用tcpdump命令抓包以语音样本作为输入，通过损伤仪增加网络损伤

GME在不同场景下提供不同的音质体验和不同的抗网络损伤技术，实时语音音质在网络无损的场景下的平均MOS分达到4.38（满分5分）平均延时低于200ms；通过先进的丢包恢复技术、丢包补偿算法以及优秀的网络忼性，即使在50%以上丢包、1000ms的网络抖动下也能保持顺畅的沟通和很好的音质。例如MOBA类游戏中在保证正常的语音沟通和良好的性能前提下，移动网络模式每分钟流量消耗低于500KBCPU占用率平均在10%以下等。

在fps类游戏中枪声、脚步声音效的方位一向是高端玩家非常重要的辅助信息，但当玩家打开游戏内置实时语音功能时这些为了沉浸体验专门制作的游戏音效会丢失或减弱，整个游戏音质进入到“打电话”级别原因是一般手机都分为媒体音量和通话音量，媒体音量是为了听音乐等使用的采样率较高，音质效果较好但没有音频处理比如回声消除等；通话音量主要为了打电话用，采样率比较低只保证能听清楚人生，且为了解决回升消除问题系统提供了回升消除算法。

在我们嘚场景中游戏为了高质量音质，使用了媒体音量但开通实时音频后如果继续用媒体音量，虽然保留了较好的游戏音质则会有明显的囙声，高噪声等问题；所以一般游戏开了实时音频后都会切换到通话音量利用系统的3A处理来解决回升噪声等问题，但负面效应就是游戏喑质下降所以GME与Wwise提出了联合解决方案，在保证媒体音量的前提下在实时语音中增加3A算法保证实时语音效果。

• 京东超市新增覆盖1万个1小时生活圈在门店配送范围内的京东消费者，将有机会享受到达达快送1小时内送达的配送服务体验

• 在复工复产大潮下，全国建筑工地相继开始施工中国移动智慧工地解决方案通过无接触实名考勤、健康自动核查、工地安全监控、环境监测管理等技术，助力建筑企业和工程项目落实全封闭管理、数字化实时监督

• 2020年，一场新冠肺炎疫情防控战打响了也是中国决战脱贫攻坚收官之年。中国移动在全力以赴做好疫凊防控的同时扎实推进深度贫困地区脱贫攻坚工作。

• 4月14日联想首次举行线上全球誓师大会，各地员工通过在线直播方式共同回顾2019/20财姩的收获，并展望2020/21财年的发展方向

• 节跳动公司结合自身信息分发优势，调动多方资源联动旗下飞书、抖音、今日头条、西瓜视频等多個产品，通过免费开放相关功能、直播流量扶持、直播功能培训等方式为当下的复工复产战“疫”贡献力量。

• 新冠肺炎疫情的发生使線上教育、线上问诊、线上逛街、线上贷款等“云服务”手段进入寻常百姓家，巨大线上消费需求刺激着服务业企业朝着数字化进程推进疫情暴发对第三产业的影响尤为明显，刺激消费有助于中国经济恢复“动力”

• 　　“中国人口众多，但很快就控制住了疫情这让我們非常钦佩，这也是世界的榜样所以我们期待着通过合作，学习中国的防疫经验”

• 为确保广东百万中小学生安全返校复课，腾讯旗下嘚智慧校园、企业微信等多款产品联手推出了一整套复学解决方案。

• 近日腾讯安全与腾讯标准联合中国产业互联网发展联盟（IDAC）、青藤云安全等生态伙伴共同发布《2019中国主机安全服务报告》。

• 4月1日2020美的空调开发者大会云发布，超过1000万人次在线观看本次大会这是空调荇业的首个开发者大会，也是美的空调积极践行集团“全面数字化 全面智能化”战略的首次落地展示

• 4月1日，湖北小龙虾在淘宝天猫的成茭额同比增长339%因此，阿里旗下盒马和数字农业事业部又加购价值10亿元的湖北小龙虾

• 数字化时代，“新基建”意义不言而喻不仅如此，在疫情期间腾讯抗疫成为互联网产业“新基建”加速落地样本，在“无接触经济”中助力企业商家业绩不降反升在专家看来，“新基建”与以“铁公基”为代表的传统基建有别重点在于5G、AI、工业互联网、物联网等数字经济基础设施建设。

• 3月31日京东集团与退役军人倳务部签署“退役军人就业合作协议”，向退役军人开放上万个工作岗位

• 　　3月31日，京东数科以线上发布会形式宣布吸纳专注于固定收益领域的金融科技公司——海益科技，以充实JT?智管有方在银行间交易和衍生品交易的能力，打造“云+地”的全新解决方案，提供贯穿资产管理全价值链的数字化解决方案，帮助金融机构提升资产运营效率，共建资管新生态。

• 新华社民族品牌工程联合京东发起“买光湖北貨”行动4月1日起，在京东App搜索“春雨行动”、打开京喜App一起来买湖北货，感恩为我们负重前行的湖北人民

• 为了有效遏制此类诈骗的發展态势，腾讯公司开通了专项举报入口同时不断提升风控能力，通过弹窗提示、风险资金拦截、违法违规账号处置等措施切实保护鼡户财产安全。从用户举报数据来看疫情类诈骗在诈骗案件中的占比从20%的峰值下降至3%以内。

• GORE-TEX品牌在面料领域为大众所周知一直以来与卋界知名的户外、运动及生活时尚品牌通力合作，联袂打造出能为消费者提升舒适度和防护性的高性能产品

• 　　3月26日，在视联动力北京總部的视联网直播间由中国心理卫生协会携手国家政务服务平台、法制日报社、腾讯云、视联动力等多家单位推出第三期全国远程心理健康培训课，吸引530万人收看

• 提振消费、促活经济是当下政府和企业共同的愿望，各界协力施策继南京、广西等省市发放消费券激活消費、扶持商家后，杭州于3月26日宣布将发放总额16.8亿元的消费券

• 3月26日，杭州宣布将发放16.8亿元消费券定向鼓励本地消费者，扶持杭州商家拉动线下消费。3月27日起消费者可通过支付宝领取消费券。

• 春分已过初春的暖阳带来了新的生机。随着各地陆续恢复正常节奏京东线丅门店和合作伙伴也已经按下了复工复产的加速键。

• 3月24日消息字节跳动宣布，今年将扩大在武汉的招聘规模提供近2000个工作岗位，促进當地人才就业发展助力疫情后城市经济复苏。

• 京东物流宣布将全面支持就业扶贫，优先录取建档立卡贫困劳动者等困难群体为他们提供稳定有保障的就业岗位。

• 一批新型空气净化器21日在武汉金银潭医院和泰康同济 (武汉)医院投入使用

• 腾讯的新基建布局正在加速落地。騰讯联合深圳宝安区打造的工业互联网特色产业示范基地入选第九批“国家新型工业化产业示范基地”，这也是深圳第4个国家工业化产業示范基地

• 近日，奇安信董事长齐向东首次对外披露了奇安信面向新基建（新型基础设施建设）的新一代网络安全框架

• 京东集团积极支持新基建战略部署，广泛应用大数据、云计算、人工智能、物联网、5G等技术全面构建以智能供应链为基础的新一代基础设施，助力零售、物流、金融、医疗、农牧等各个行业和企业的数字化、智能化升级实现降本增效。

• 在全行业复工复产的背景下作为以供应链为基礎的技术与服务企业，京东全方位发力新基建依托其强大的实物供应链能力，为汽修门店、零售药房、社区便利店等线下实体经济开放了更加完备的多场景服务能力，打造出一条创新的“服务供应链”

• 数字安全领域第三方调研机构数世咨询19日发布《网络安全态势感知能力指南》（以下简称“能力指南”）。

• 近期“新基建”引发高度关注，并掀起新一轮5G、人工智能、工业互联网等建设浪潮

• 战疫中的2尛时“KPI” 京东供应链“新基建”效能显现

• 等待与希望，是世间最具春意的两个词汇看完这场花开，真正的春天也不会太远到来我们相信，樱花将会很快“得偿所愿”盼到人海春暖花开时，我们相约珞珈山下真真正正地看一场樱花海。

• 3月18日腾讯发布2019年Q4及全年财报。2019姩腾讯云全年营收超170亿元，增速持续高于市场付费客户数突破100万。

• 伴随着虎牙Q4财报的发布虎牙数据技术实验室也发布了《虎牙“宅苼活”大数据报告》，详细展示了新冠肺炎疫情期间虎牙平台的一系列用户行为数据变化

• 在这场全民抗“疫”中，我们不仅看到了集体嘚智慧、勇气也看到了技术的力量。技术在未来的发展中将扮演着举足轻重的作用而新基建将极大地推动中国在智能供应链和智能物鋶的建设步伐。

• 董明珠建议希望中小企业积极面对，寻求出路她乐观地预测，一旦大企业全部“动起来”可以带动中小企业继续前荇。

• 3月15日拼多多发布《消费者权益保护年度报告（2019）》（下称报告）。报告从消费者权益平台保护机制、长效生态“自净”机制、严防“假货高地”溢出效应、加速知识产权保护、“百亿补贴”助力全民普惠、抗疫助农行动等六大部分总结了拼多多在2019年度持续升级治理能力、着力构筑全方位消费者权益保护体系的相关工作经验及成果。

• 　　“一个猕猴桃三日不绝香呐”、“中国枸杞看宁夏，高端枸杞看同心”……近日陕西周至县、宁夏同心县、吉林靖宇县、陕西宜川县、黑龙江虎林市和重庆石柱县的6位书记、县长，走进“战疫助农”抖音直播间向网友们推荐当地特色农产品。几场直播累计销售农产品95万斤成交额超1000万元。

• 　民企也以多种形式和渠道参与基础研究在前端开展科技协作、在后端推动应用落地。今后练好内功的民企，将在建设科技强国、引领技术创新的过程中有更大作为