AI 技術進步,像是 OpenAI 的 Sora、中國字節跳動的 Dreamina AI 等等的圖片生成、影片生成和音樂生成類工具越來越多,各家科技公司也都在陸續推出自家的生成工具。最近 NVIDIA 公布將推出自家的音樂生成模型「Fugatto」,NVIDIA 將 Fugatto 比喻成聲音的瑞士軍刀,稱 Fugatto 會比目前市面現有的音樂生成工具還靈活。NVIDIA 更表示 Fugatto 能夠按照用戶的需求生成出任何的聲音。
NVIDIA 即將推出自家的音樂生成模型 Fugatto:號稱能用 AI 創造前所未有的聲音
NVIDIA 的音樂生成模型 Fugatto(全名 Foundational Generative Audio Transformer Opus 1)可以透過文字和音檔的任意組合來生成或轉換音樂、聲音和語音。簡單來說就是 Fugatto 能根據文字提示創建音樂片段、移除和新增現有歌曲中的樂器、改變聲音的口音和情感,甚至還能生成出人類從沒聽過的聲音。
Fugatto 可以移除或新增歌曲中的樂器,因此能夠幫助音樂製作人快速設計或編輯歌曲,嘗試不同風格、聲音和樂器。也能為已經存在的曲目添加效果和提升整體的音訊品質。
Fugatto 可以改變聲音的口音和情感,可以配合廣告商快速調整宣傳活動,通過改變廣告配音的口音和情感來適應各個地區和不同情境。
Fugatto 可以幫助遊戲開發者根據玩家遊戲過程中的變化來修改本來預先錄製好的音檔資源。遊戲開發者也可以根據文字指令和音檔來即時創建新的音訊資源,玩家在遊玩時能夠擁有更高的靈活度。
前面有提到 NVIDIA 表示 Fugatto 能夠生成出人類從沒聽過的聲音,像是小號發出狗叫聲、薩克斯風發出貓叫聲。NVIDIA 稱無論用戶如何描述,Fugatto 都能創造出來。只有你想不到,沒有 Fugatto 生成不出來的聲音。
根據 NVIDIA 透露 Fugatto 正式推出的完整版本使用 2.5 億參數並在配備 32 個 NVIDIA H100 Tensor Core GPU 的 NVIDIA DGX 系統上進行訓練。且 Fugatto 由來自印度、巴西、中國、約旦和南韓等世界各地的多元化團隊打造,能夠讓 Fugatto 的多口音和多語言能力更加強大。這麼看來,Fugatto 推出後應該會成為市面上最高規格的音樂生成工具。
關於大家關心的 AI 是否會對音樂行業造成打擊的問題,美國音樂製作人兼詞曲創作者表示「音樂史也是科技史」,電吉他為世界帶來搖滾樂,取樣器的誕生孕育了嘻哈音樂。而 AI 將會是音樂的下一個篇章,AI 將成為一種新樂器、一種製作音樂的新工具。
不知道大家期不期待 NVIDIA 的音樂生成模型 Fugatto 的問世,希望到時候 NVIDIA 會開放大家免費使用 Fugatto,讓大家體驗一下 NVIDIA 號稱音樂界的瑞士軍刀到底有多好用。
完整示範影片: