近日，網易云音樂2篇論文《TG-Critic: A Timbre-Guided Model for Reference-Independent Singing Evaluation》《TrOMR:Transformer-based Polyphonic Optical Music Recognition》入選ICASSP2023，論文提出的兩種算法模型均優于現有最先進模型。

一種是歌唱評價算法模型TG-Critic，利用它可以僅依靠一段演唱音頻判斷歌手演唱水平，實驗結果表明，算法模型評估的歌曲與人工專家評價“演唱水平好”的歌曲，相似度達91%；另一種是識別圖像樂譜的算法模型，通過模型識別圖片中的五線譜，實驗結果在復音樂譜上的錯誤率最高也僅為2.1%。

據了解，ICASSP（International Conference on Acoustics, Speech and Signal Processing）即國際聲學、語音與信號處理會議，是IEEE主辦的全世界最大的，也是最全面的信號處理及其應用方面的頂級會議，在國際上享有盛譽并具有廣泛的學術影響力。此次入選，代表了網易云音樂在國際舞臺上，展示出了在音樂音頻領域的技術實力。

而且憑借在音樂技術領域的積累創新，網易云音樂也不斷將前沿領域研究成果應用于實踐。依靠目前準確率最高的歌曲質量評價算法，歌唱評價將不再依賴人力手工準備模板物料，歌手也不再需要模仿模板以獲取高分，更鼓勵歌手的個性化演繹。而且相比卡拉ok中的傳統歌唱評價，該模型未來將用于更加豐富的使用場景，如歌曲分發、優質歌手挖掘、聲音社交等等領域。而利用識別圖像樂譜的算法模型，可以將模糊的圖片樂譜準確識別，方便轉換為利用率更高的格式，服務于音樂人、用戶在欣賞、教育、創作等場景的需要。

三大技術創新拆解“開口跪”，將全球最優算法準確率至少提升4%

當歌唱老師和專家聽到一首歌，就能迅速可以判斷出歌手的演唱水平，而普通人則會用“開口跪”表達夸贊。當人們評價歌聲質量時，人聲的音色是影響判斷的重要因素。受其啟發，網易云音樂首創提出了一個音色為指導的歌唱評價模型：TG-Critic，將全球最優算法準確率提升4%以上。

據介紹，網易云音樂音頻實驗室在歌唱評價模型的設計過程中引入了三個主要創新點：

1.首次在模型中顯式引入音色信息輔助歌聲評價：研究表明，歌手的”音色”是影響人們對于歌聲感受的重要因素。但不同于音準、節奏等較為簡單的屬性，音色是一系列復雜而抽象的感受的集合，因此其提取過程更為復雜，更難被模型直接捕捉到。至今為止的歌聲自動評價系統中，還沒有研究聚焦音色特征對于模型預測的影響。 為了填補這一空缺，團隊創新性地使用原本為“歌手識別”任務設計的預訓練模型，提取與音色相關的高級特征，并將其用作歌聲評價模型的輸入。盡管這些特征原本并非為歌聲質量設計，但是來自質量標簽為“好”和“差”的樣本的特征，在高維空間中分別呈現出較明顯的聚集現象，證明了其與歌聲質量的相關性。

2.遷移高分辨率網絡結構處理聲譜特征：除了音色特征輸入，團隊從音頻樣本中提取CQT聲譜特征作為模型的主要輸入。為了解決卷積網絡局部性帶來的問題，團隊將圖像分割領域較為常用的“高分辨率網絡”遷移到歌聲評價任務中，分別通過高、中、低三個不同的分辨率分支分別處理特征。通過高分辨率特征捕捉局部信息（如演唱技巧、小瑕疵等）、低分辨率特征捕捉長距離信息（氣息穩定性、音準等），從而實現保持高效性的同時，提升模型提取有用信息的能力。

3.提出循環自動數據標注降低人工成本： 對于一個模型的訓練，可靠的標注數據尤為重要。團隊收集了3萬余條歌聲數據樣本，以及其對應的機器打分（針對音準、節奏等）、紅心數、評論數等可以一定程度反映歌聲質量的元數據。通過一個循環迭代過程，只需要人工標注其中小部分樣本，便能獲得足夠可靠的自動數據標簽，大大降低了標注所需的人工成本。

實驗結果表明，在各類公開數據集上，網易云音樂提出的TG-Critic均達到國際最先進水平，相比已有算法，準確率提升至少4%，部分數據集提升10%以上。而且應用于網易云音樂業務測聽的結果顯示：在音樂人業務：運營評估歌曲推薦值≥3共159首歌曲中，算法評價為“演唱水平好”共144首，準確率達90.5%；在直播業務：運營提供100首算法判定“演唱水平好”歌曲的人工驗證，準確率91%；在500+全演唱水平分類實驗中，準確率81.2%。

據了解，TG-Critic歌曲質量評價模型將進一步減少人力依賴并擴大應用場景在直播、音樂人等內容分發場景，可協助人工挑選優質內容，可服務于作品審核、分發或推薦，優質歌手挖掘在社交、游戲等C端場景，可提供“開口跪挑戰”等運營玩法。

懂AI又懂樂理，看圖識譜技術上的又一次突破

隨著深度學習方法的應用，OCR（圖像文字識別 ）近年得到了長足的進步，而OMR（圖像樂譜識別）卻始終處于研究應用的初級階段。由于這個方向屬于交叉學科，既要懂視覺算法又要懂樂理。目前市面上的商業或開源軟件都不具備可用的準確率。

因此，網易云音樂音視頻實驗室采用基于端到端的算法識別路線，優化識別流程：1）拿到一個樂譜圖片，檢測圖片中的曲譜位置坐標；2）提取曲譜區域，進行曲譜識別，識別出樂譜中的內容信息，如下圖：

針對該樂譜識別模型，網易云音樂音頻實驗室也做了多方面的創新，大大提高了準確性。例如，將Transformer引入到樂譜識別任務中，通過該結構可以實現更大的感受野，有利于對長序列進行預測，提升識別準確率；同時，將樂譜的信息維度將樂譜符號分為：樂譜符號全局表征+樂譜符號局部表征+音符音高。這樣的拆分方式更利于機器理解和學習。

值得注意的是，團隊還精心設計了一套樂譜圖片拍攝的方案。為了收集大量真實的數據，使用手機作為拍照工具，模仿最真實的拍照場景，對明、暗光場景的紙質樂譜進行拍照，以及對顯示在顯示屏上的樂譜進行拍照。

實驗結果表示，網易云音樂的樂譜識別算法的準確性已經超過目前最好的端到端音樂譜識別方法，大幅降低錯誤率。下圖中第一行為正確的樂譜識別結果，第二行為目前最好的復音樂譜識別方法的識別結果，第三行為本技術提出方案的識別結果，紅框標記的為錯誤區域。

據介紹，該方法可以準確地將圖片樂譜轉換為midi、musicxml等格式，未來可用于音樂輔助教育、聽歌搜譜等場景中，致力于在音樂欣賞、教育、創作等場景上，為音樂人、用戶提供更好的服務。