App怎么知道你会不会唱歌?

5311 字丨阅读本文需 13 分钟

2004年9月30日,哈佛大学桑德斯剧院里,第14届搞笑诺贝尔奖欢乐开场。这一年的和平奖颁给了日本人井上大佑,以表彰他“发明卡拉OK,向人们提供了能互相宽容谅解的新工具”。(For inventing karaoke, thereby providing an entirely new way for people to learn to tolerate each other.)[1]

2004年井上大佑在搞笑诺贝尔和平奖颁奖典礼上丨Improbable Research@YouTube

因为卡拉OK,井上大佑获得的荣誉可不止于此——1999年,在人类即将跨入新千年之际,《时代周刊》将井上大佑列入“20世纪最有影响力的亚洲人”,认为政治伟人们改变了亚洲的白天,而井上的卡拉OK则改变了夜晚[2]。井上发明的卡拉OK唱机Juke 8诞生于1971年,首批只有11台[3],一开始卡拉OK机用的是8音轨盒带机和盒式磁带,后来历经CD、VCD、DVD等形态,随着技术进步,它转为数码流媒体和移动化形态。K歌改变的,也不止是夜生活。

一萌丨作者

放大灯团队丨策划

1988年1月,中国大陆第一家卡拉OK在中国广州的东方宾馆开门迎客[4]。此后,新生代年轻人用了一个更简洁的词:KTV,来替代“卡拉OK”。K歌也从此成为几代人重要的闲暇娱乐项目。

中国互联网的快速发展,将KTV这种娱乐方式也带到了线上。“K歌”这种休闲娱乐方式以更低成本、更高密度的形态进入生活。2020年《中国在线K歌社交娱乐行业发展洞察白皮书》显示,在线K歌行业在短短数年间迅速积累起庞大的用户流量规模,网民渗透率已超50%。其中全民K歌月活跃设备数占在线K歌行业总数量的77.7%,日活跃设备数占比达81.5%,目前已成为在线K歌行业增长的头部App。[5]

在刚过去的一个月,放大灯团队应腾讯音乐娱乐集团音乐技术交流活动主办方邀请,参加了“TME科技乐享季”,并与全民K歌技术团队聊了聊,听他们讲如何制造出一款万千用户“自由歌唱”的产品。

智能修音:就像P图,既要好听,又要自然

早期的线上K歌App并不能修音。全民K歌技术副总裁傅鸿城回忆道:“你唱得好就是唱得好,跑调是没办法纠正的。”随着智能修音功能上线,线上K歌与线下KTV逐渐拉开距离。

所谓“智能修音”,即对用户唱歌的声音音准和节奏做自动化编辑、调整,使用户的歌声变得更准确、悦耳。修音就像P图,既要好听,满足基本的“遮丑”需求,使修音效果更接近原唱;又要自然,满足不断变迁的大众审美。

“表面上看是单一的修音功能,背后涉及多项复杂技术。”全民K歌基础架构中心高级总监胡鹏告诉放大灯团队,上线至今修音功能已经实现了三代进化。现有版本的修音功能,至少包含“录音—歌声基频提取—歌声语音识别—模板比较—节奏对齐—歌声变调变速—最终合成”等步骤。

一个简单的修音过程丨放大灯制图

当前智能修音功能优先覆盖大部分热门曲目,胡鹏解释说,这是由用户的聚集度和受众面决定的。

全民K歌的用户日常倾向于唱流行歌、老歌、红歌等大众歌曲。对于传统戏曲、Rap等小众音乐,曲风区别较大,流派繁多,内容生产量少,较为细分,修音技术也会面临更多的挑战。

智能修音的本质是对用户歌声的评估和处理,这只靠后期处理就行吗?其实不是。

就整个录唱体验来说,前期音频采集、混音和合成发布都会影响最终修音作品的效果,“平台能做的就是用更普适的指标,做到让大家普遍觉得不错。想要更好的效果,是下一阶段努力的方向,好的作品需要全链路合作。”其中用户端的音频采集是最不可控的因素。

例如一部分用户使用蓝牙耳机伴唱,这会给修音带来一些困扰。

一方面,蓝牙延迟会影响到唱歌的用户对节拍的感知。通过蓝牙听到伴奏,到用户唱歌,再到硬件采集,会让延迟较为明显。由于K歌需要较为严格的时间对齐,这种歌声与伴奏的延迟会明显影响用户的体验。“少则几十毫秒,多则上百毫秒。”另一方面,最初蓝牙耳机的录音功能主要是为了通话场景设计,因此有些使用蓝牙麦克风的场景中,其音频采样率、码率和位深等指标对于唱歌场景并不友好。

针对蓝牙造成的延迟,全民K歌设计了智能调节功能,能保证句子级别的对齐。“随着新一代蓝牙协议的升级,相信问题在未来会得到缓解。”胡鹏说,接下来全民K歌会和硬件厂商保持联动,让蓝牙收音效果更好。当前的K歌的一个小技巧就是“提醒用户使用手机麦克风收音,效果更佳”。

智能修音技术已不甘于做“修修补补”的工作,而希望用户在较少甚至不参与的情况下,能生成真人唱歌的效果,这样“修”的结果会更加容易控制。

全民K歌团队已经实现学习特定人员的声音音色,通过智能方式合成,模仿其本人歌声。傅鸿城是全民K歌团队的“麦霸”,因此技术团队以他的音色与唱腔为原型,模仿合成他唱歌的效果。胡鹏非常自信地表示,修音3.0技术合成傅鸿城的声音,“很多人听不出来是合成作品,真就像他本人唱歌一样”。

对全民K歌的技术团队来说,歌声合成技术的未来绝不止于此。“未来不仅是翻唱,还有可能是智能作曲。”胡鹏告诉放大灯团队,国内外很多高校和音乐科技团队已经在着手研究,一些研究机构已经可以做到自动生成旋律,但悦耳度和自然度依然不够,还需要人工参与。真正要做到在商业市场上取得成功,预计还需要较长时间打磨,“颠覆性的创造需要更长时间,但一些重复性的、风格类似的歌曲,实现速度会相对较快。”

推荐算法:你和谁唱了同一首歌?

算法几乎是内容平台的标配技术。

放大灯团队曾在《一发入魂的音乐,如何来到你的耳边》中解析了网络音乐播放器的算法,K歌App也有自己的算法。“全民K歌的所有功能有推荐相关的应用。”全民K歌数据和算法中心总监黄昕告诉放大灯团队,首页有关注、推荐、附近,点歌台有“猜你喜欢”……

不过,虽然同为推荐算法,音乐播放器和K歌平台的算法差异却不小。

两者内容池有根本性差别。播放器的资源是专业生产内容(PGC),经过了唱片公司、版权公司的筛选,质量较好,水平较稳定;K歌平台资源绝大多数由用户上传(UGC),唱功、风格不同,内容质量参差不齐。内容源决定了K歌算法难度更大。

基于内容池的差异,相应的筛选机制也会不同。全民K歌每天发布的新歌有数百万首,通过系统评分(先验分),将内容池筛选到100万,放入流量池体系进行推送,反馈越好的作品,会进入级别更高的“流量池”,从而获得更高播放量。

要解决这个难题,重在精确算出内容—用户之间的关联度。

内容关联度。最基本的做法,是找出内容库中的音乐共性:系统通过判断音乐风格、标签是否一致,是否有相似歌手的作品,对歌曲进行归类。

内容—用户关联度。相对复杂,需要系统、内容和用户的互动获得:①根据用户听歌偏好、唱歌能力与偏好等信息,系统会做出综合推荐——通常会推荐热门内容,如果用户没有喜欢的,就换一批。通过反馈,适时调整推荐结果;②如果是冷启动用户,系统会通过让用户选择感兴趣的音乐人,做进一步发散,筛选并推荐内容;③如果许多用户都唱了某几首歌,那么系统将判断这几首歌之间的关联度,唱的人越多,关联性越强。

推荐算法准确度如何?平台自己需要一杆秤。黄昕以全民K歌“猜你喜欢”模块的推荐算法为例,介绍了判断算法精准度的关键指标:

CTR(用户点击率):系统推荐列表,用户点击情况如何;

点唱率:看用户点开推荐列表后的动作,是唱某一首歌,还是什么也不做,直接退出;

发布率:当用户点开列表且唱了歌,是否发布到平台。

平台还会综合总点唱量和发布量等规模性指标作出调整,每一个指标的变化,都会影响用户下一次点开的推荐结果。

如今,K歌平台系统已经足够聪明,它甚至可以通过用户的行为,判断人们唱一首歌曲的难易度:如果很多用户可以拿到较高的评分,那么系统将判定这首歌难度较低;系统甚至可以通过判定一首歌的Key值,来确定其难度。黄昕举例说,邓紫棋的歌曲CTR比较高,但演唱难度很大,用户即便唱了也不一定发布。

“这是一个权衡的过程,既要推用户可能点的歌,也要推他可能会发布的歌,但其实用户既会点唱又会发布的歌可能会很少很少。”黄昕说,“所以就要综合几个预估的分数,给出一个综合排序。”

从更高维度来看,算法更考验一个技术团队的综合能力与中台处理能力。傅鸿城回忆道,在TME正式成立之初,刚加入的酷狗音乐、酷我音乐与QQ音乐、全民K歌的标准不同,“听多久算完整播放”的标准都还没来得及统一。而现在,中台将集团数据统一治理,接入TME统一的SDK,对数据口径进行规整,可以做统一学习和处理。

中台最直接的作用是实现“降本增效”,如果一个人已经是QQ音乐或酷我音乐的用户,那么全民K歌做增长投放时就不必到其它平台推广,增长成本将大幅降低。傅鸿城认为,未来可开发的功能可能是“提升体验”:“在获得用户隐私同意后,酷狗、QQ音乐等播放器听过的歌,可以很方便地在全民K歌上点唱。”

不过,大数据和推荐算法也有其边界,更是这两年技术监管的焦点。今年8月底,国家网信办起草的《互联网信息服务算法推荐管理规定(征求意见稿)》,对用户隐私和算法作出了详尽规定[6]。傅鸿城表示,全民K歌已成立数据安全合规专项团队,保证数据存储和分发合规。

全民K歌技术团队也对算法表现得相当克制。黄昕表示,任意一个推荐系统,都是越做越倾向于将流量分给效率最高的作品。但他的技术团队更希望有一个普适的推荐系统,保证长尾作品能获得一定曝光量,并从社交角度推荐一些作品,避免马太效应。“我们并不只是一个消费内容的平台,更多的还是用户唱歌的平台。所以我们做大消费流的同时,也要激发我们创作者的热情。”

智能评分:你唱得好不好,App知道

你“会不会”唱歌,唱得好不好,K歌App全知道。

智能评分可能是最吸引K歌用户的核心功能。智能评分需要乐谱,乐谱以MIDI形式表示。早期,MIDI由人工制成,较为费时,后来则利用人工智能批量转译,并进一步生成打分模板。

全民K歌的打分原理是:平台使用深度学习技术,提取歌曲主旋律中每个音符的音高和起止点,将歌曲主旋律转为音符序列,从而得到初步的MIDI文件;再将全民K歌优质用户清唱数据与主旋律的初步MIDI文件融合,修正音符序列中的多音、少音和八度错误,从而得到更加准确的MIDI文件,作为模板评价用户演唱一首歌的得分。

一个简单的智能评分流程示意图丨放大灯团队制图

早期,全民K歌1.0版打分功能只有一个维度:音准;结果也较简单,最高级为SSS,随后依次为SS、S、A、B、C,即SABC评分法。

单一维度很难全面体现用户歌唱的特质。“以音准评价为主的评分体系比较单薄,难以全面客观展现用户唱歌的个性化差异。”全民K歌业务研发中心高级总监黄斯亮表示,2.0版在音准的基础上,增加了节奏、情感、气息、技巧,称“多维打分法”。随着K歌的不断迭代,人工智能不仅可以利用多维打分模型,给用户唱歌打分,也可用来判断一首歌曲的难易度。

至此,智能打分已不再是简单的工具,更增加了社交和趣味性,机器打分激起了不少用户拿高分的欲望。

以往很多用户在大量摸索后,发现了在全民K歌拿高分的一些小窍门,并自发在社交平台建议想拿高分的歌友们“声音不要太小,尾音要长,节奏把控要好”。“这一定是深度用户,体验非常细致到位。”黄斯亮表示,逐句打分,最后加总,确实是1.0版本的打分模式,但在新的版本系统中,声音大小,尾音长短,在打分系统中的比重很低,刻意关注这些技巧并不一定能获得高分,新版本引入了全局性的歌唱评价标准。

高分直接意味着更多流量资源,与用户受推荐程度和社交密切相关。唱功评分超过80分,就有机会进入精选池,而精选池则有机会进入全民K歌的广域推荐池。即便评分没那么高,也可以进入用户自己的私域推荐体系,仅与用户有社交关系的人可见。

智能评分功能的审美真的在线吗?

实际上,全民K歌技术团队曾在线下做过实验:在全民K歌校园星歌声全国总决赛、全民K歌年度盛典等音乐赛事活动上,全民K歌尝试使用智能评分系统,与专家评委的打分比较,令傅鸿城欣慰的是,机器打分的结果,总体与评委非常接近,“这也验证了我们整个技术在AI唱功评价方面的实力。”

K歌改变了什么?

最初,卡拉OK只是解压工具。20世纪70年代,日本经济不景气,井上大佑回忆说:“随着卡拉 OK 机在神户、大阪、东京乃至整个日本流行起来,人们似乎开始更加享受生活,并且能够忘记一些压力。”[3]

如今,KTV兼具了更多技术和社会意义。

前瞻研究院的数据显示,受疫情等多方面因素影响,到2020年,中国线下KTV业态场所总数为4.7万家,市场规模为807亿元,业态营收596.9亿元,同比下降53.3%。[7]

至于目前萎缩的线下KTV行业,傅鸿城认为只是暂时现象,未来还会复苏,他们也能为这些线下店提供技术帮助:“我们可以为线下KTV提供技术介入,内容开放生态会提供更多伴奏,帮这些实体行业持续发展下去。“ 目前,智能评分、算法推送和修音等新技术已不限于线上,与线下K歌形成1+1>2的合作效果。全民K歌组建了硬件开放平台,开放API和SDK,与麦克风等KTV设备硬件公司合作,接入搜索、歌词、伴奏和智能打分等功能,

不论场所和形式如何起伏变迁,人始终有“歌唱”的需求。

正如同诞生之初的卡拉OK为彼时的人们带来释放与快乐,如今,线上K歌伴随着技术的进步,在新的环境下发挥了更强大的社会作用。

在疫情影响下,在线K歌也有了特殊的意义。2020年湖北疫情期间,湖北广电总局找到全民K歌团队,希望后者开发一款适合电视机顶盒的K歌应用。傅鸿城回忆道,隔离在家的全民K歌10人技术团队花了近两周时间,开发了一款改进版本上线。成功实现手机与电视大屏互动,手机即可作为麦克风使用,让湖北群众在家里也能尽情欢唱,从精神层面填补了娱乐空缺。

诚如傅鸿城所说,有歌声的地方就有全民K歌。

关于“TME科技乐享季”:

腾讯音乐娱乐集团(TME)特别开设“TME科技乐享季”公开音乐技术交流系列直播活动,旨在分享音乐的核心算法能力的建设经验,了解技术背后的黑科技,力求为技术从业者、技术爱好者和音乐爱好者创造交流学习的最佳空间。同时,也为搭建开放的音乐技术从业者交流环境与招聘通道,助推音乐行业效率持续提升与数字化加速发展。目前活动已举办四期,涵盖推荐算法、音视频技术、搜索架构与NLP技术等前沿音乐科技与热门话题。

关于腾讯音乐娱乐集团(TME)的技术故事:

TME始终将科技作为重心,持续强化在定向分发、场景推荐、智能交互、定制服务等方面的技术努力,以此连接用户、音乐人、合作伙伴等各产业环节,在持续为行业输送优质内容和用户服务。

References:

[1] Marc Abrahams:A favorite Ig Nobel moment: The prize for inventing karaoke,Improbable Research 官网,2014.8.5
https://www.improbable.com/2014/08/05/a-favorite-ig-nobel-moment-the-prize-for-inventing-karaoke/

[2] Pico Iyer:Daisuke Inoue,TIME杂志,1999.8.23
http://content.time.com/time/world/article/0,8599,2054546,00.html

[3] Daisuke Inoue,Robert Scott:Voice Hero: The Inventor of Karaoke Speaks,The Appendix,2013.12.3(Topic Magzine,2005)
http://theappendix.net/issues/2013/10/voice-hero-the-inventor-of-karaoke-speaks

[4]《四十年四十个第一》 20181214 第一家卡拉OK厅,CCTV节目官网,2018.12.14
https://tv.cctv.com/2018/12/14/VIDE89PON2PzvyvvBY2nw8OP181214.shtml

[5] 艾瑞咨询:中国在线K歌社交娱乐行业发展洞察白皮书(2020年)
http://report.iresearch.cn/report_pdf.aspx?id=3556

[6] 国家网信办:关于《互联网信息服务算法推荐管理规定(征求意见稿)》公开征求意见的通知,2021.8.27
http://www.cac.gov.cn/2021-08/27/c_1631652502874117.htm

[7] 前瞻行业研究院:2021年KTV行业发展蓝皮书,2021.9.29
https://mp.weixin.qq.com/s/OobtjORvvmWj5G3RrPZXPg

免责声明:凡注明来源本网的所有作品,均为本网合法拥有版权或有权使用的作品,欢迎转载,注明出处本网。非本网作品均来自其他媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如您发现有任何侵权内容,请依照下方联系方式进行沟通,我们将第一时间进行处理。

0赞 好资讯,需要你的鼓励
来自:放大灯
0

参与评论

登录后参与讨论 0/1000

为你推荐

没有更多了