有時候圖片中的文字想要遮蓋或換掉,基本上都要動用到編修軟體或是乾脆直接用筆刷塗抹掉,Facebook 近日發表了一款全新的 AI 研究專案「TextStyleBrush」,這款 AI 算是目前首款可以識別圖片中文字字體和手寫字體的系統,而且還能讓你以同樣的風格進行編輯與修改。
Facebook 新的 AI 專案「TextStyleBrush」,可識別照片文字風格並自由編輯替換
AI 生成影像一直在以驚人的速度發展,並且有非常顯著的業務應用,例如透過 AR 來生成直觀的翻譯,但是要構建一個高靈活度足以理解字體與手寫之間細微差別卻是難度不低的挑戰,這不僅表示 AI 必須能夠讀懂風格、排版與自體之外,還要能夠完全符合場景樣式,像是彎曲、變形、背景和噪點等,任務之複雜可想而知。
根據 Facebook 的說法,TextStyleBrush 的工作原理很像文字處理器中的樣式筆刷工具,但在影像中更符合文字的款式,與過去定義字體貨目標樣式套用特定參數的方式不同,它採用更全面的訓練方式,將文字影像的內容從各方面拆解分析。為了直接以真實世界的影像進行訓練,Facebook 用了不同的方式,在風格與細節進行學習,此外,Facebook 並不限制原始圖像與加入的內容必須長度相同,也就是說假設文字框中共有 6 個字,但你不需要輸入同樣 6 個字的單詞。
TextStyleBrush 證明了 AI 在文字上面可以比過去更加靈活、準確地識別,目前 Facebook 還在克服一些遇到的障礙,像是金屬材質或不同顏色書寫的文字等, Facebook 希望這項研究能繼續擴展,突破翻譯、自主表達和 deepfake 研究之間的障礙等。
【查看更詳細的研究內容,點這裡】