比較 ChatGPT、text-davinci-003 及 Openai API 的內容質素

做一個實驗比較三樣東西,比較 GPT 和比較 OpenAI 的 Text DaVinci 003,Text DaVinci 003 是 Instruct 的 GTP 裡的一個新模式
即是準繩一點,也可以用 API 第 3 個是正常的(第 2 和第3 一樣),第 3 是直接用 OpenAI 的 API;但是用一個 interface 在那裡去生成字,但都是用 Text DaVinci 003 這個模式,理應 2 和 3 一樣……
哪一個生成出來的字比較好
第一個用 ChatGPT
或者應該講比較合理心意(有時候未必一定是好一點,是看你合不合用),我們這次用一個簡單的字,純粹是“九龍”這個詞
由它開始,畫面現在所見就是 Chat GPT 開始在那裡勾出字
第二個就是用 OpenAI 的 Playground
在右邊你會看到是用 Text DaVinci 003,而那個的 temperature 就是 0.7,我又用“九龍”這個字去生成
第三個就是直接用工具
駁一個 interface 去 OpenAI 裡面,都是用 Text DaVinci 003 所以理應出來的字是接近
影片解説
整理各個工具的生成
剛才我做過一次,跟這次也有些少不同…… 出來的字,為了方便去看的時候,我會把它們全部複製在同一個Work Document 裡面
而這個 DaVinci 003,你見到是完成了(不過斷開了)
第 3 個就是我用一個 API 形式出來
如果純粹以速度去看:chatGPT反而速度是慢一點;第 2 個 DaVinci 就快一點(不過就段落斷絕);而第 3 個就是用 API 反而是出得最快
我先把 API 那個抄下來,應該這個字數也是最多的,然後第 2 個就是用 OpenAI Login 在裡面的那個Playground 裡面的功能,第 1 個就是先是 Chat GPT
生成的字數比較
我們先看一下,我看看可不可以在這裡數到數字(如果數不到,我就純粹用 eyeball checking 這樣看),好了,看一下那個 Work count 這裡有 260 幾個字
如果用 chat GPT Gen 出來,完整的(完整的意思我沒有仔細看,不過有個句號在尾)
第 2 個就 118 字少一點,還沒完而且斷了
第 3 個就是那個工具,就是砌一個 interface,然後去自己搞,這樣就是 290 幾字,反而最多字是自己砌那個
生成的内容比較
Chat GPT
說的都是說九龍是什麼、多大、有什麼名勝、有什麼地標;不過呢,它寫著著名的景點是有海洋公園的在九龍那裡(這個就怪怪的)
好了,接著再看這些看起來好像都正常的,但是它又說有大佛,不過我不知道那個大佛是說是不是大嶼山那個,還是有其他大佛在九龍我不知道(不過海洋公園肯定不對)
接著還有其他的 building 這樣(正正常常)除了那個錯了之外
OpenAI playground
接著這個就是用它那個 login 進去 OpenAI,用它的 playground 模式,它會說到九龍在香港的哪裡、有商業的行政之類、有些什麼的站(內容就好像正常的)
除了繁體字母、有簡體字
還有句話還沒完,斷了
API Interface
它都是用 Davinci 003,它就說有什麼文化歷史那些都是這樣,說到它清朝的、接著有字秒(都正常的),接著面積大小、海灣、島嶼
反而如果就這樣看,似乎第三個用 API 的準繩度反而高一點、就是字數最多,而且它不會將海洋公園放在九龍
也不會好像那個 API 不用 API,就是 login 進去用 playground 玩的時候斷開
小結
這個實驗就純粹很粗略,我剛剛馬上丟了關鍵字進去試,可能要再試多很多次才知道
不過純粹這樣看,雖然同一個模式但是出來的內容其實都可以很不同,究竟用哪一套,怎麼用呢?,到時你就可以慢慢去選擇了