房間有多少隻豬？考起 ChatGPT 及 GPT-4

近期大家都在討論 ChatGPT 及其他的大型語言模型。今天我們就以一道簡單的數學題目，來測試一下 ChatGPT 以及 GPT-4 在邏輯推理能力上的表現。

這道題目如下:

假設一個房間裡原本有 100 隻豬。現在你自己也是一隻豬，並且進入了這個房間。你進入房間後，將其中一隻豬帶走。請問現在房間裡還剩下多少隻豬?

理論上正確答案應該是 100 隻。因為原先房間有 100 隻豬，你自己也是一隻豬進入了房間，所以豬的總數變成 101 隻。之後你把 1 隻豬帶走，所以最終房間裡剩下的豬數應該是 100 隻。

Prompt: You are pig. There are 100 pig in the room, if you go into the room and get rid of one pig from the room. How many pig left in this room

那麼 ChatGPT 和 GPT-4 對此題的表現如何呢? 我分別在 ChatGPT 和 GPT-4 上輸入了完全一樣的題目，得到的回答卻不一樣:

ChatGPT 答:

原本房間裡有100隻豬。然後你進入房間，將1隻豬帶走。所以現在房間裡剩下99隻豬。

GPT-4 答:

原本房間有100隻豬。你進入房間後，將1隻豬帶走。所以房間現在剩下99隻豬。

可以看到，ChatGPT 和 GPT-4 的表現非常接近，都忽略了「你自己也是一隻豬」這個條件，直接將問題簡化為「100隻減1隻等於99隻」這樣的數學計算。它們都沒有考慮到你自己原本也屬於房間裡的豬隻總數，所以漏掉了這個細節。

這說明目前 ChatGPT 和 GPT-4 在進行邏輯推理時，如果題目的條件稍微複雜一點，它們就會出現遺漏的情況。單純地文本理解和數學計算還不錯，但涉及多層次思維連接時，這兩個模型的表現就會有欠缺。

相較之下，人類解讀此題就會注意到「你自己也是一隻豬」這個條件關係，從而推導出正確的 100 隻豬的答案。這點凸顯出目前語言模型在複雜推理上的不足，未來仍有很大的改進空間。

而要提升語言模型的邏輯思維能力，增加模型參數量可能不是唯一的辦法。還需要在訓練資料的選擇、訓練方法的設計等方面下功夫，例如加入更多類似複雜邏輯題的資料訓練，才能真正強化模型的整體邏輯思維水平。

無論如何，ChatGPT 和 GPT-4 的確為語言模型的發展寫下了新的一頁。雖然目前不夠智能，但未來必將朝著越來越像人類的方向邁進。讓我們拭目以待吧!