還記得 ChatGPT 推出 GPT-4 模型時,那時回覆的內容真的讓人驚艷,比 GPT-3.5 好太多,不過不知道是不是 iOS 行動版推出之後,GPT-4 讓 ChatGPT Plus 用戶無限使用關係,國外越來越多人反應最近狀況不是很好,不僅出現很多錯誤,其回覆品質有時候甚至還比 GPT-3.5 還差,有人也有這種感覺嗎?
ChatGPT 的 GPT-4 變笨了?越來越多網友反應回答品質下降,產生很多錯誤代碼
最近在國外 Reddit、Twitter 和 Hacker News 等網站上,陸續有用戶討論 GPT-4 品質下降的情形,像是 Hacker New 這篇有人詢問「是只有我?還是說 GPT-4 品質最近明顯降低了?」
他提到,現在 GPT-4 回應的速度比以前快很多,但其品質就像是 GPT-3.5++,因為它產生很多錯誤代碼,也缺乏深度和分析,整體感覺跟以前比差很多。有一段時間他測試 phind.com 的 GPT-4 給出結果,甚至比 ChatGPT 的 GPT-4 還要好,而且可以明顯感受到兩這速度差異,前者較慢但更精準:
後續也很多人回覆表示也有一樣感受,一位 bbotond 提到,在更新前 Logo 是黑色時,它可以很輕鬆解決複雜的程式碼問題,並且對非程式碼問題給出細膩且很高的答案。但現在它連更改一個 10 行的 CSS 都會出現缺失。他覺得現在 GPT-4 變得很笨。
而且不只一位說 GPT-4 的程式碼能力變糟,超多人都這麼認為。
Nabeel S. Qureshi 在 Twitter 分享這篇文章,問有沒有人也碰到,結果也不例外,同樣有很多 Twitter 用戶反應:
https://twitter.com/nabeelqu/status/1663915378265800705
這位用戶某天切換到 GPT-3.5 模型後,反而更容易解決他的程式碼問題:
Mickey McAllister 猜測 OpenAI 削減了 GPT-4 的處理能力,或是故意讓它變得不那麼聰明。他覺得兩個月前 GPT4 是世界上最偉大的寫作助手,但幾週前它變得非常平庸。
Maxim Fedotov 也在一兩週前就注意到了,GPT-4 變糟糕多,有時候 3.5 甚至感覺更好。雖然它的確變快很多,但我不再有那種「天阿,這回應也太棒」的感受:
Reddit 這篇才剛發表沒多久,這位 OxydBCN 一樣覺得 GPT-4 的程式碼能力變很糟糕,當它貼上有問題的程式碼區塊時,GPT-4 不再處理問題,而是解釋這段是幹嘛用的,隨後提出問題,它給人有種好像忘記我們正在討論什麼:
為此目前還沒有看到 OpenAI 有任何回應,雖然大多數都是覺得 GPT-4 程式碼能力變糟,但也是有一些人覺得寫作、回答內容品質不再像以前那麼好。
如果你也有這種感受,那就代表你不孤單,很可能真的是 GPT-4 變笨了。
為此在 Humanloop 的報導中有提到,OpenAI 承認現在 ChatGPT 的效能不如以往,因為 GPU 短缺的緣故,有可能是這原因導致 GPT-4 的品質下降:
https://twitter.com/humanloop/status/1664014031924109313