真·实时!打破技术瓶颈,即构首创在线KTV实时合唱方案
发布日期:2021-06-29 03:52:13 浏览次数:2 分类:技术文章

本文共 1778 字,大约阅读时间需要 5 分钟。

想K歌,上云端!疫情常态化推动了线上娱乐的蓬勃发展,线下KTV长时间的“闭麦”让线上云K歌更加火热。

从本地录唱到多人KTV,再到实时合唱,线上KTV的实时性与互动性越来越强。线上K歌娱乐不断迭代升级,背后折射的是用户“以歌会友”的需求,对真实的、实时的“陪伴感”的追求。

即构ZEGO 全网首创在线KTV实时合唱方案,打破行业技术限制,把线下KTV场景更完整的“复制”到线上,让实时陪伴的感知最大化。

 

 

『真实时』,即构创新“实时合唱”解决方案

目前行业内普遍采用的合唱方案为“串行合唱”。在“串行合唱”方案中,合唱各方串行加入,伴奏由主唱端混入。从本质上来说,这是一种“伪实时合唱”——

·主唱体验缺失:副唱、听众合唱同步效果良好,但主唱无法实时听到副唱的歌声

·合唱人数有限制:三人或以上的合唱实现复杂,延迟高,难以真正落地

图片

▲串行合唱方案(点击查看大图)

 

为了突破这两个限制,同时不影响副唱和听众端的体验,即构对方案架构进行了重构,克服了多个技术挑战,实现了合唱者之间的实时互动,也满足了三人及以上的合唱需求。

图片

▲即构实时合唱方案(点击查看大图)

 

 

『超硬核』,即构实时合唱克服技术挑战

 

即构凭借在音视频领域多年的技术积累,克服了多个挑战,完成了实时合唱方案的落地。

 

端到端的感官延迟低至70ms

本质上,实时合唱效果可以通过极低延迟的RTC技术实现,我们需要将一端的歌声用最小的耗时传送到对端。

图片

我们将整个过程进行拆解,针对每个环节做以降低延迟为首要目标的优化,包括采集渲染延迟优化、音频前后处理算法优化、应用超低延迟编码方案、调整流控策略等。

通过对每个环节的“压榨”,即构在保障的合唱体验效果的前提下,将端到端的感官延迟降低至70ms。

 

多端精准同步播放伴奏

为了实现线下KTV歌房的合唱效果,让伴奏音乐在各自端播放,各方演唱者由伴奏音乐驱动演唱,不必等待对方。这里引入另一个挑战:如何让各方同步播放伴奏音乐?

图片

为此,我们做了各端精准的时钟对齐,让各端在同一时刻启动伴奏播放。同时,结合播放器资源预加载,实现各端伴奏同时播放特性。

 

服务端多演唱流同步混流

在满足演唱各方实时合唱的同时,我们还需要考虑观众端的体验。即构采用了服务端精准混流的方案,各方演唱者的声音和伴奏混音成一路流,混音的同时通过NTP时间精准对齐各方演唱进度。

听众端只需拉一路流就能听到良好的合唱效果,且这一方案对听众的网络要求很低。

 

3人以上合唱拓展

基于以上即构“实时合唱”方案的架构,每一端的合唱的加入是独立的,不相互依赖,合唱人数的拓展变得十分简单,对合唱的人数没有限制。同时,观众通过混流收听不会受到多方合唱的影响。

 

 

『更适配』,基于场景需求选择合唱方案

 

基于不同K歌业务的场景需求,选择更适配的合唱方案,才能为用户带来最佳的体验。

 

付费点歌合唱

专业主播在直播间开播,观众通过付费等方式获得与主播连麦合唱的机会。

图片

核心需求:优先保障付费连麦用户(即副唱)的体验,其次保障直播间中观众的体验。

方案适配:串行合唱方案

在此方案下副唱的拉流中主唱歌声与伴奏同步,副唱合唱后发起混流,观众端听到主副唱歌声与伴奏同步,副唱和观众的体验得到较好的保障。

 

在线KTV实时合唱

多个用户在“歌房”中连麦互动,体验虚拟KTV的乐趣,社交属性更强。

图片

 

核心需求:实现连麦几方多人实时合唱。

方案适配:实时合唱方案

即构超低感官延迟连麦技术,保障了合唱者之间无障碍实时互动;接入成本低,扩展容易,支持3人及以上的合唱,复刻更贴近线下KTV的互动体验。

 

OMO歌房连麦

线下传统KTV歌房与mini-KTV欢唱室打通,线上线下融合(Online Merge Offline),实现线下不同场景连麦合唱。

图片

 

核心需求:连麦双方实时互动合唱。

方案适配:实时合唱方案

即构超低感官延迟连麦技术,打破空间壁垒,让陪伴和互动更加真实。


“即构最愿意做的事就是对变化迅速反应对新场景主动开拓不断创新解决方案驱动核心技术落地,适应各类场景需要,真正让音视频技术深入各行各业,融于无形。”即构科技CEO林友尧表示。

基于对在线K歌的发展趋势和用户需求的洞察,即构发挥核心的音视频技术能力,创新场景解决方案,进一步打破空间壁垒,把线下的欢乐无缝的、完整的复制到线上,给用户带来更实时的陪伴和互动体验。

 

转载地址:https://blog.csdn.net/zego_0616/article/details/115707722 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:看见·先行者 | 织音App率先接入即构在线KTV实时合唱解决方案
下一篇:十问十答|3分钟全面了解低代码产品RoomKit

发表评论

最新留言

能坚持,总会有不一样的收获!
[***.219.124.196]2024年04月07日 13时34分54秒