視訊錄影去背其實並不是什麼新鮮功能了,不過 Google 透過機器學習將更精準且幾乎不受器材限制(蘋果的 Clips 去背應用還需要用到 iPhone X 的 TrueDepth 深度相機)的影片 即時去背 功能,透過分割人物與背景的方式來帶給更多的手機用戶使用,並且已經在 iOS 與 Android 版的 YouTube Stories 啟動限量測試。
▲圖片來源:Google
YouTube Stories 推「 即時去背 」功能,不用 iPhone X 就能辦到!
先前,如果要用手機或電腦達到人像與背景分離的去背特效,可能需要相對單純的背景(俗稱綠背景)或者是類似 iPhone X 上那個 TrueDepth 景深鏡頭的特殊硬體才可達成。不過 Google 再次應用了機器學習的優勢,並且在自家招牌影音平台新推的 YouTube Stories 開始逐步測試。
Google 選擇像自家 Pixel 2 那樣,解釋自己是如何運用各式技術在 YouTube Stories 推出,這個可以即時運算分割人物與背景的去背功能。開發團隊透過機器學習分析了成千上萬筆前後景的範例,藉此以畫素點為單位分辨出確切的髮絲、頸部、皮膚、嘴唇等人臉構造,使其與背景能夠有所分別(分割)。
為了要能在影片裡應用,則是至少要滿足 30fps 的運算程度才可應用,在 Google 自己的測試中,iPhone 7 可以達成 100+ fps,至於自家的 Pixel 2 則是僅有 40+ fps,這算是有點意外的結果(畢竟手機新舊就有一定差距了…),不過都能達到要求的基本運算效能,達成相當不錯的套用成果。不僅可以在動態錄影時,即時改變背景亦能對前景做出遮蔽特效,相當有意思,感覺更能吸引使用者去試試他們的 YouTube Stories 進行創作。
引用來源:Google Blog