財(cái)聯(lián)社8月3日訊(編輯 牛占林)美東時(shí)間周三,Meta發(fā)布了一款開源人工智能(AI)工具AudioCraft(直譯為音頻技藝),該工具可以幫助用戶根據(jù)文本提示創(chuàng)作音樂和音頻。
(相關(guān)資料圖)
Meta表示,這款人工智能工具將AudioGen、EnCodec和MusicGen三種模型或技術(shù)融為一爐,可用文本內(nèi)容生成高質(zhì)量、逼真的音頻和音樂。
Meta在官網(wǎng)介紹稱,MusicGen接受過Meta擁有的和特別授權(quán)的音樂訓(xùn)練,可以從文本提示生成音樂,而AudioGen接受過公共音效訓(xùn)練,可從文本提示生成音頻,比如模擬狗叫或腳步聲;再加上EnCodec編解碼器的改進(jìn)版本,用戶可以更高效率地生成更高質(zhì)量的音樂。
在6月初,Meta推出了名為MusicGen的開源人工智能模型,這是一種深度學(xué)習(xí)語言模型,可以根據(jù)文本提示生成音樂。
Meta的EnCodec是一個(gè)基于深度學(xué)習(xí)的音頻編解碼器,由人工智能驅(qū)動(dòng),可以在音頻質(zhì)量沒有損失的前提下,將音頻壓縮到比MP3格式還要小10倍的程度。
AudioGen則是一個(gè)來自Meta和耶路撒冷希伯來大學(xué)的研究團(tuán)隊(duì)的人工智能模型,可以通過輸入文本來生成音頻,亦可以擴(kuò)展現(xiàn)有音頻。AudioGen可以區(qū)分不同的聲音對(duì)象,并在聲學(xué)上將它們分開。
Meta還演示了MusicGen和AudioGen工作的流程圖,并表示將讓這些模型開源,讓研究人員和從業(yè)人員可以用自己的數(shù)據(jù)集訓(xùn)練適合自己的模型,并幫助推進(jìn)人工智能生成音頻和音樂領(lǐng)域的發(fā)展。
與其他音樂模型相比,AudioCraft系列模型能夠生成長期一致的高質(zhì)量音樂和音頻,還簡(jiǎn)化了音頻生成模型的整體設(shè)計(jì),使得該工具簡(jiǎn)單易用。
Meta相信它的模型可以引領(lǐng)新一波歌曲潮流,就像合成器改變音樂一樣。“我們認(rèn)為MusicGen可以變成一種新型的樂器,就像最初出現(xiàn)的合成器一樣。”
當(dāng)然,Meta也承認(rèn)創(chuàng)作復(fù)雜而又優(yōu)秀的音樂還是比較困難的,因此它選擇將AudioCraft開源,以使用于訓(xùn)練它的數(shù)據(jù)多樣化。
今年早些時(shí)候,谷歌也發(fā)布了名為MusicLM的音樂生成模型,并于5月向上月向所有用戶開放。除此之外,目前較為常見的音樂模型還有Riffusion、Mousai和Noise2Music等。
關(guān)鍵詞: