對 ChatGPT 狂潮的回應 Google Bard AI 推出後。即便初期看起來還是讓人感到有點跌跌撞撞。但怎麼也沒想到,他們居然可以這麼快速的推出繁體中文的支援 – 這必須要給一個很大的鼓勵!而這也讓人好奇,到底是什麼原因讓 Google 在生成式 AI 的高度競爭中,突然又有了一種後發先至的氣勢。趁著今天官方在台灣總部舉辦的 Decode Google Bard 解密媒體活動,我們也深入與官方對談了解更多對此的相關資訊。繼續閱讀 Google Bard 官方大解密:生成式 AI 是如何後發先至報導內文。
Google Bard 官方大解密:生成式 AI 是如何後發先至
回顧生成式 AI 在 2022 年底至今急速崛起的過程,真的讓人驚覺,現代科技發展突破的速度曲線已經來到難以想像的超高速度。也讓其他相對來講具備有一定包袱的科技大廠如 Google,在反應速度方面顯得好像有些吃力 – 即便,其實這類技術他們基本早有涉獵,卻依然難逃這樣的印象。
然而在後續對 ChatGPT 狂潮的回應 Google Bard AI 推出後。即便初期看起來還是讓人感到有點跌跌撞撞。但怎麼也沒想到,他們居然可以這麼快速的推出繁體中文的支援。也讓人好奇,到底是什麼原因讓 Google 在生成式 AI 的高度競爭中,突然又有了一種後發先至的氣勢。趁著今天官方在台灣總部舉辦的 Decode Google Bard 解密媒體活動,我們也深入與官方對談了解更多對此的相關資訊。
Google 為此特別請來了來自台灣、於總部 Google DeepMind 團隊帶領大型語言模型研究與 Bard 開發的 Google 傑出科學家紀懷新(Ed H. Chi)博士。趁著他這次回國進行學術交流以及與台灣員工交流的機會,也百忙抽空與媒體「解碼」一下 Google Bard 的發展歷程。
Google Bard AI 慢了嗎?
首先,針對為什麼普遍會有 Google 對於眾所期待已久的生成式 AI 好像發展慢半拍的感覺。對此紀懷新博士表示,秉持「以 AI 為優先」的 Google,其實針對 AI 從 2011 年就已經進行了很多的研究。
單就紀懷新博士自己的經歷,則是從帕羅奧多研究中心(Palo Alto Research Center)增強社群認知小組的區域經理及首席科學家資歷之後,於 2013 年加入現在的公司後就已經為 Google 機器學習等各方面帶來了 720 項相關的改進。
後續 Google 則是還挺身而出制定了發展 AI 應用的指引,包括:對社會有益、避免製造或加強不公平的偏見、建立並測試安全性、對人們負責、納入隱私設計原則、堅持科學上卓越的最高標準,以及「依以下原則作為應用基準:主要目的與用途、通用和獨特適用性、規模、Google 在其中參與的角色」。
他提到 Google 早已將 AI 技術融入產品中,包括 Google Lens 智慧鏡頭、地圖乃至於 Pixel 手機的各種獨享功能,10 年來已經有許多應用的範例。此外針對研究方面包括 Sequence to Sequence Learning with Neural Networks,以及成為 LaMDA 基礎的 A Neural Conversational Model,還有為目前 AI 革命所掀起的序幕的 Attention is All You Need 等研究。都證明了 Google 對於生成式 AI 等相關的發展,其實早已是奠定此產業根基般的重要存在。
除了技術方面的演進與基礎。針對硬體的部分,由於先前針對深度學習已經對於許多數理的算法有所著墨。Google Bard 則是也沿用了這方面的基礎,基本上是幾乎所有的運算都是透過 Google 自己的 TPU 晶片在進行。
打好了這麼多的基礎,回顧 25 年以來的策略,Google 主要是以搜尋引擎來廣泛實現「彙整全球資訊,供大眾使用,使人人受惠」的使命。走到透過大型語言模型來彙整各種模型所能的生成式 AI 世代,他們目前的方針則是希望能透過大型語言模型來彙整這樣的強大搜尋引擎,並以自然對話的方式繼續實踐這樣的願景。
而他們的切入點,則是希望解決現階段 AI 互動不連貫且不廣泛的狀況,針對交換式(Transaction)及互動式(Interaction)並存的方式打造 Google 的生成式 AI 體驗。認為 LLM 不僅擁有可以處理問題還能產生出新的事實是其特色。甚至還提到,假能訓練 AI 的可以透過寫程式以及推理等方式證明自己具備有不只能依賴邏輯與常理來解決問題,應該就很有希望進一步解決目前 AI 發展十分令人頭痛的幻覺問題。
在 2023 年 2 月做為 Google AI 新旅程的 Bard,現已在紀懷新博士等 Google 團隊的合作下以這樣的發展方向及基礎急速發展。不僅很快的就推出了大眾在這一年來已經很熟悉的聊天機器人,更快速的推出圖片輸入與輸出的能耐,發展出會推送三種「草稿」的多樣回答介面,還能支援位置資訊。
有意思的是,針對很多人不解為什麼 Google 翻譯會連 Bard 都輸的狀況。他也剛好在說明 Google Bard 能力的講解中,提到相對於 Google 翻譯服務,Bard 不僅可以對使用者解釋為什麼會這樣翻譯,還能理解多國語言的諺語的意思。
Google 透過 Bard AI 學到了什麼?
即便把 Bard AI 定位為「不完整的產品」,感覺「它」似乎還不是 Google 對於這方面發展的最終極解答 – 就,他們有提到 Bard AI 是偏向於實驗性產品(其實介面也一直這樣提到)。希望藉由 Bard 來了解市場對於翻譯、摘要或是幫助小學生學習數學等各方面的重要性權重有多高。開發團隊認為要找到「什麼是最重要的」是在大型語言模型中最大的難題,而這就是 Google Bard 會被推出的最主要原因。
透過不到一歲,卻有著 Google 深厚 AI 機器學習相關技術基礎,某種程度也可以說是一種帶有許多前世超能力「轉生」而來概念的 Bard AI。紀懷新博士透露了許多 Google 進入 Bard 世代所觀察學習到的重點。
他形容現階段大型語言發展包括最花錢與資源的「預訓練(Pre-Training)」,後續的「微調(Fine-Tuning)」以及用小樣本就能提升正確的能力「提示/提問(Prompting)」三部分。其實前兩個部分就有點像是小學與中學階段的差別 – 在先讓 AI 具有基本的學理語言能力,再來則是更深入的初中階段。至於目前很多人都很專精的「Prompt」的部分,他則是表示這部分就有點像是到了考試才在臨時抱佛腳的概念(笑)。
需注意的是,這裡所指的學習程度其實算是謙虛的講法。畢竟要問 Bard 超高程度的艱澀問題甚至是寫程式技術等,它應該都是遠超過於初中水準。不過由於 Google 還是很難保證 Bard 不會犯下很基礎的錯誤的問題。所以紀懷新博士才會認為 Google「還」不能說 Bard 是個學業等級已經非常厲害的 AI。
紀懷新博士認為發展生成式 AI 最困難的方向有五個重點,包括:
· 準確性(Accuracy):大型語言模型的回應可能未必準確,尤其當詢問複雜或講求事實的主題時。
· 偏差性(Bias):大型語言模型的回應可能反映偏見或呈現訓練資料中的特定觀點。
· 人格化(Persona):大型語言模型的回應可能會讓人以為它有個人意見或感受。
· 偽陽性 / 偽陰性(False positives / negatives):大型語言模型可能對某些適合的提示不予回應,並提供不適合的回應。
· 惡意提示的刻意攻擊(Vulnerability to adversarial prompting)使用者將持續尋找對大型語言模型進行壓力測試的方法。
他提到 Bard AI 能藉由 Google 搜尋引擎並透過開發團隊教導如何正確使用搜尋,進而抑制幻覺發生的問題 – 功能方面也透過引用資料的方式,提供使用者更有依據的來源。此外團隊也會持續研究該怎麼抽取學習資料中偏向個人人格化的回答;偽陽性/偽陰性的問題則是會需要拿捏限制方面的處理;惡意提示刻意攻擊的部分,其實就 Google 搜尋引擎的各種服務,其實都已經很有經驗。但關於壓力測試的方法也是他們持續在觀察測試的重點。
甚至後續在媒體提問中,Google 也表示非常樂於接受學界學者能在驗證 AI 能耐的相關研究與認證機制領導項目。提到就這種非常早期的發展項目來說,驗證方面的團隊反而是他們的眼與耳,是最能了解技術的極限所在的存在。針對要如何讓 Bard 能提升到更高階的能耐。他們的技術人員甚至也有在想,LLM 是不是有可能可以「當/假裝」自己是科學家來幫忙延續研究,甚至能參與 Bard 自己的 AI 研發(編按:到這程度的話,就是可以真的自行成長了吧…)。
紀懷新博士在這次分享會總結,認為目前 LLM 大型語言模型真的仍處於非常早期階段。Google 對此則是對於向大眾持續分享研究的進度感到非常興奮。但單就現階段的發展,就能看到大幅改變與 AI 互動方式的倪端。
他也認為台灣硬體晶片人才的基礎相當深厚,且都與 AI 與 ML 等發展息息相關,所以覺得台灣在這方面有很大的發展潛能。某種程度上,在台灣如果能切入這個新的局面的話,現在會是個很好的時機。
他表示,若是回想起 10 年前用 Android 手機語音體驗,那時的辨識率就真的很低。而來到現在,就算是在吵雜環境現在這些技術也都還能十分快速的理解講話的內容。紀懷新博士認為 LLM 也將會帶來類似的變革,進而對人們的生活帶來顯著的改變。
也希望藉由更多的分享讓大家都能關注這樣的東西並且參與其中。認為在語音對話的後續應用中,應該可以在英文學習方面對台灣起到相當不錯的應用發展。
最後,針對媒體提問方面。紀懷新博士針對有人好奇 Google Bard 是否也能像 Meta 相關技術那樣,直接透過語音來進行台語客家語這類以口語表達為主語言的學習。對此他則是表示,Google 自己較難進行這方面的資源搜集,可能得要花時間交涉合作交流才能拿到功能所需的數據,不排除與學術等相關單位進行合作的方向。認為透過這樣的途徑,也可以獲得更高品質的學習資料。
針對 Google Bard 會提示說用者將會透過人工審查員檢視對話是何用意。對此紀懷新博士則是表示,這樣的機制主要是用在驗證目前模型的能耐大約到哪,還會針對人類的回應評級過濾給 Bard 進行學習。關於隱私方面的擔憂部分,他則是表示 Google Bard 都不會有個人的特徵被留下,僅被用於實驗性數據之用。