ChatGPT在生成回复方面的準确度有多高？

ChatGPT是由OpenAI开发的AI聊天机器人，在各个领域因其准确性和性能而广受关注。但需要注意的是，它的知识仅限于截至2021年可用的数据。宾夕法尼亚大学的Christian Terwiesch教授进行了一项测试，让ChatGPT参加MBA考试来检验其准确性。

考試由七個問題組成，涵蓋了各種商業概念，例如流程分析、庫存週轉率和排隊分析。這是為了模擬真實的人類環境，問題是以完全相同的方式提問給人類學生的。讓特維什教授感到驚訝的是，ChatGPT在流程分析瓶頸概念的第一個問題中回答得非常出色，並獲得了A+的高分。

雖然聊天機器人反應較複雜問題稍有困難，但教授仍對其整體表現印象深刻。在 ChatGPT 上進行 MBA 考試後，Terwiesch 教授認為這款 AI 聊天機器人的成績會在 B 到 B- 之間。

ChatGPT 準確度說明

ChatGPT 的準確性再次證明在醫學領域中，chatbot 能夠通過美國醫學授權考試（USMLE）。根據研究，ChatGPT 在所有考試中都能夠實現超過50％的準確度，甚至為其答案提供了洞察和解釋。

在一項由醫療初創公司 Ansible Health 醫生帶領的研究中，ChatGPT 在通過美國醫生執照所需的所有三個考試的及格門檻上表現接近或達到。儘管 ChatGPT 的準確性非常卓越，但重要的是要記住，其表現可能因上下文和提示而異。

訓練模型所使用的訓練資料包含其所使用的文本來源的偏見與限制，因此使用模型時要非常謹慎。

此觀點得到了OpenAI的CEO的 echo，他在一則推文中表示: “ChatGPT 的能力非常有限，現在依賴它做任何重要的事情都是一個錯誤”。

00:48

01:12

如上截圖所示，與ChatGPT進行的一次測試對話顯示，這款AI聊天機器人的表現不總是一致的。

當被問及阿根廷贏得多少次FIFA世界盃時，ChatGPT最初回答道：“阿根廷曾在1986年贏得FIFA世界盃。” 但是，當被問及：“1978年誰贏得了FIFA世界盃？”ChatGPT回答：“阿根廷贏得了1978年的FIFA世界盃。”

這導致了結論：阿根廷贏得了兩次世界杯冠軍。然而，當同樣的問題再次被問到時，“現在我再問你阿根廷贏得了多少次世界杯冠軍？” ChatGPT 給出了同樣的答案，“阿根廷在1986年贏得了一次 FIFA 世界杯冠軍”，儘管上一次對話。

這突顯了聊天 GPT 的準確性及其持續改進和精鍊的必要性。

ChatGPT 的答案可能會略有不同，不過如果使用者問相同的問題，我們通常會給出非常相似的答案。

ChatGPT 有其限制，這意味著它有時可能會給出不準確或錯誤的結果，因此要小心。