AI 發展最前線! 2020「科技大擂台 與 AI 對話 」決賽結果公布

到了 2020 年,AI 人工智慧其實早已深入你我身旁 — 無論是以智慧喇叭的形式,或是在手機內的語音助理。有意思的是就目前的使用體驗,原本理應要被人工智慧服務的服服貼貼的人類,卻時常變成得要適應 AI,改變自己的講法等。而這樣的「不自然」體驗,其實才是 AI 科技目前仍面臨的開發挑戰。如何與 AI 正常對話,也就是現階段十分值得努力突破之處。

科技部與國家實驗研究院科技政策研究與資訊中心,希望透過 2020「科技大擂台 與 AI 對話 」競賽的豐厚獎金,懸賞吸引高手挑戰帶來更進步的 AI 技術的成果。我們電腦王阿達團隊有榮幸參加這場競賽的頒獎典禮,在冠軍隊伍出爐的緊張氣氛之餘,更深入了解了台灣在 AI 技術發展的強大表現。
2020「科技大擂台 與 AI 對話 」

AI 終極競技場2020「科技大擂台 與 AI 對話 」決賽結果公布

「與智慧音箱溝通卻常變成它聽不懂我,而必須要遷就它的說法,這樣的話人類豐富且優美的語言就不見了。年輕人變成在學習設備的語言。」科技部陳良基部長在今天的訪談中提到這個,AI 與人類對話現階段面臨的問題點 –「這個困難點應該要被解決,而不是人去遷就它。」也因此,政府必須要推動鼓勵創新者更深度挖掘 AI 的潛力,透過技術與創意來解決這項挑戰。所以才有這個已經舉辦第二屆的「與 AI 對話」競賽的持續推進。

活動的開始,陳良基部長先是恭喜從 400 人共 99 組團隊之中脫穎而出的初賽前 10 名隊伍,有機會晉級決賽挑戰最高新台幣 2,000 萬的首獎獎項 — 沒錯,是單一獎項,不是總金額(看到這是不是覺得應該要鎖定「科技大擂台」大賽的最新動向準備一展身手!)。部長觀察到這次參賽的隊伍有將近 1/3 是來自產業界,代表這項競賽真的有吸引到高手加入。

台灣可以掌握 AI「話語權」

「三年前當我在推 AI 的時候,我一直強調它對各行各業的重要性… 現在沒有 AI 將來可能都活不下去了。」部長指出,要推動 AI 與人類協作的關鍵點是「AI 也必須聽得懂我們講話才行。」畢竟中文對於 AI 開發來講是相當困難的語系,但也因為如此,多元語言系統的型態反而會是台灣的優勢之所在,更有機會主導這方面的發展。部長認為如果沒有抓緊機會、掌握話語權的話,就可能變成反而得以不太習慣的方式來與 AI 對話,更可能因此導致這些語言被 AI 所淘汰而消失。

「如何盡快教 AI 我們台灣優良的語言體系,我覺得是非常重要的。」然而真的要著手發展卻比想像中要困難 — 重點是不僅要聽得懂,也要能從各種環境中分辨出人的聲音。部長提到「早晚 AI 一定可以聽得懂人類的直接對話,這技術如果不存在我們就來挑戰它!」所以就定出了這個科技大擂台的挑戰。目標不僅是分出高下,更希望可以藉此訓練 AI 達到與人類直接對話的目標。

▲圖:公布最終結果之前,打入決賽的 10 支團隊也獲得頒發競賽證書。

難度升級,參賽者依然繳出漂亮成績!


▲圖:讓人對 AI 提問的多輪對話挑戰,因為混合了許多問題與條件所以其實非常困難。

部長透露首屆科技大擂台是拿華語文競賽的基本門檻 72%,只要達到這個境界就算是達到階段目標。但去年卻還是差了那麼臨門的一腳,所以特別期待今年十個隊伍是否有機會跨過門檻或是將技術更往前進逼。這次的比賽主要注重的是語意與對話的推演,相較上屆以選擇題為主、簡答題為輔,這屆參考了「華語文能力測驗」流利精通難度,進一步讓參賽者挑戰閱讀與申論題,以及多輪對話的考驗。

▲圖:這次活動主辦單位也讓現場觀眾體驗了 AI 遇到的「難題」。

這次的考題是希望更深化讓 AI 可以先「理解」語意,再進一步「思考」以完整的字句對話。有意思的是,我們電腦王阿達團隊曾經介紹過的「雅婷逐字稿」,也因為主辦單位有與台灣人工智慧實驗室(Taiwan AI Labs)合作,被做為產生題目的語言辨識系統。評審委員會則是由中央研究院資訊科學研究所特聘研究員許聞廉擔任主席,還邀請了中央大學資工系蔡宗翰教授、輔仁大學中文系劉雅芬教授、暨南大學中文系主任曾守仁教授與淡江大學中文系林偉淑教授共同籌組。

▲圖:模擬 AI 對答競賽的互動相當熱烈。

在現場體驗 9 題考驗的活動之後,最終也正式公佈了 2020「科技大擂台 與 AI 對話 」競賽的決賽結果。雖然很可惜的這次沒有團隊超過人類測試的標準。但其實透過兩屆的競賽,也逐步地朝著 AI 能夠模擬人類思考完成與人流暢對話的目標邁進。

▲圖:評審主席許聞廉研究員。

評審主席許聞廉研究員認為今年的參賽成績其實已經相當不錯,指出因為目前 AI Model 的推定能力還不是很好,所以很多隊在競賽中都卯足了勁加了不同的 Model 進來,最終結果也還不錯。許聞廉老師也提到這次的比賽是比較偏向考驗 AI 針對自然語言的推理能力,期待有團隊可以創造出新的模式把推理以及 AI 本來就很擅長的統計能力兼顧,未來 AI 將可更接近人類一步。

科技大擂台三強揭曉


雖說很可惜沒有團隊能超越人類答題的門檻水平,而不能看到 2,000 萬獎金發出。不過其實前三名團隊的獎項還是非常的豐厚。這次的前三名團隊分別可獲得 200 萬元、50 萬元與 30 萬元的獎金。團隊成績排名如上,第一名是由「Taipei 101」奪下;「大叔與 AI 對話」則是第二;「A Team」團隊得到第三。

獲得第三名介紹自己團隊成員是來自四面八方效法天龍特攻隊的「A Team」表示,能突破重圍獲獎真的感到蠻訝異的,主要是因為團隊成員基本上只有週末才會聚在一起四個小時左右準備這個比賽。被問到對於哪些題目感到苦手,他們則是認為閱讀理解的部分應該是最困難的類型。

成員只有一位的「大叔與 AI 對話」的得獎感言,是認為自己雖不是這方面的專家,本身專長是偏影像辨識技術,但其實也是與 AI 有關。第一屆就有參加的他,認為科技部辦的比賽很有意義,可以鼓勵年輕人有個目標可以大家一起努力。

本次的冠軍「Taipei 101」很感謝科技部與中研院創造了這樣的機會,讓他們可以與各界好手聚在一起參加 2020「科技大擂台 與 AI 對話 」的比賽。回答主持人認為的「最大收穫是什麼?」則是很直白的說到「當然就是有兩百萬啦!」

會後「Taipei 101」也在我們電腦王阿達的訪談中透露,在此領域已經耕耘數年的他們,雖說他們原本就有一些相關作品,但因應這次的比賽其實是特別開發了新的聊天機器人,結合自己的 Training Data 參賽才可以對應不同的情境。他們提到,這個系統其實有點像是 One for all 的感覺,讓所有情境都可以透過系統很快對應,未來也可以應用在企業做為快速驗證市場機制的方式,證明這樣的規劃是可以實際應用在生活之中。

▲圖:這次的競賽中「中研問答」團隊在多輪對話項目中超越多數隊伍的 4~8 分,取得了 14 分的優良成績(人類測試可取得 18 分),優異表現也獲得了評審委員會一致推薦獲頒 10 萬元鼓勵獎金。

結論

雖然今年沒有達到跨越華語文能力測驗精通級的難度,不過舉辦 2020「科技大擂台 與 AI 對話」競賽的目的之一,是透過逐步建立語音標注資料集,用越來越多的資料給 AI 進行深度學習,讓 AI 越來越強,經過每次的比賽則使 AI 更為提升精進。現階段科技部已經提供 1,000 小時的國語語音資料庫,可以協助業界發展 AI 相關技術,今年更可再增加 2,600 小時國語語音資料及 100 小時的台語語料(加入台語是因為在台灣,很多人也是會國台語混合使用)。

雖說目前科技部已預告今年 5 月將會釋出約 2,600 小時的國語語料,以及 100 小時的台灣閩南語羅馬字拼音標註的台語語料。陳良基部長搜集專家意見,則是認為未來語料庫目標要可以盡快達到 3,000 ~ 5,000 小時左右,並且涵蓋包括中文、台語甚至是客家語與新住民語系,期望可以將這個成果分享給台灣的各行各業使用。也邀請企業、學研機構齊力投入推動台灣 AI 技術,打造在地化的 AI 語音對話應用。

2020「科技大擂台 與 AI 對話 」頒獎典禮直播影片