現在越來越多文字生成影片的工具，不過這些工具都不會生成音樂，大家生成出影片之後還需要自己想辦法為影片配音，不然影片會顯得單調無趣。今天來介紹一款使用 AI 自動生成與影片同步的高品質音效的框架 FoleyCrafter，只需要放入影片 FoleyCrafter 就會幫你自動選擇適合影片的音效並幫你放入影片，呈現出來的效果不會延遲也不會奇怪。
FoleyCrafter：自動幫影片配音的 AI 工具，讓你輕鬆創作專業級影片
中國上海人工智慧實驗室研發出一款自動幫影片配音的框架 FoleyCrafter，你只要上傳影片並輸入描述影片中聲音的咒語（咒語可輸可不輸） FoleyCrafter 就可以自動幫你生成出與影片相關且時間同步的音效。大家可以先看看上海人工智慧實驗室提供的影片：
FoleyCrafter 建立在預訓練的文本到語音（T2A）的生成器上，來確保影片跟音效能夠完美結合。FoleyCrafter 主要包含語義適配器（S.A.）和時間控制器（temporal controller），裡面又包含了時間戳檢測器 (T.D.) 和時間適配器 (T.A.)。這些都可以幫助 FoleyCrafter 保持高品質的音效合成能力。
這邊放上幾個網友利用 FoleyCrafter 製作的實際案例，測試不使用咒語和使用咒語所製作出的影片音效效果：
動画に合った音声を生成してくれる
AIツール『FoleyCrafter』試した結果✨①怪獣:プロンプト無し️⭕️
②川:プロンプト無し️⭕️
③ジェットコースター:プロンプト無し️⭕️
④少女:プロンプト可愛い少女の笑い声❌どれも冒頭にノイズが入るand人物は苦手か？④だけ意図せずホラー化🫣#AI… pic.twitter.com/hRl7sW22mq
— minmin みんみん (@minmin_4410) July 8, 2024
或者使用 FoleyCrafter 為自己喜歡的動漫重新配音的案例：
use #foleycrafter to add sound effects for my lovely zenitsu 😍 pic.twitter.com/j1I3ybgCZX
— Yanhong Zeng (@zengyh1900) July 4, 2024
另外還有開發者自己使用 FoleyCrafter 為影片增加音效的範例：
🤩Video to audio generation with FoleyCrafter#FoleyCrafter #RunwayGen3 #gen3alpha #gen3withsound https://t.co/Xiqv28L9sp pic.twitter.com/wRyBv0xk0A
— Yiming Zhang (@ymzhang319) July 3, 2024
中國上海人工智慧實驗室將 FoleyCrafter 開源，模型跟代碼在 Github 上就可以拿到，有興趣的朋友們也可以前往 FoleyCrafter 生成加音效的影片或者前往觀看更多使用 FoleyCrafter 製作的範例影片。
前往 FoleyCrafter 讓 AI 幫你的影片自動生成音效
