GPT-4 128k Token不夠用，可以壓縮內容再分析
今天想談談我一直在做AI + SEO工具的時候遇到的問題，尤其是當Token不夠多的時候，如何可以分析到很多很多的內容。 我發現了一個人說了一些方法，可能未必是你最終想用的方法，但方向其實應該都很值得參考。
首先說一點點，當我去Google搜尋一些東西的時候，我想去做SEO的時候，當然你會看看你去找的關鍵字會出現很多不同的結果。
在出現了很多不同的結果之後，我們做SEO的可能會看看前面的網站是哪些網站來的，他寫的東西寫得怎樣，有很多頁的內容，總共可能頭一頁有十個內容。
用AI的好處是可以將每個內容都下載下來，然後再去分析。 但由於加起來的內容數目太多，所以很大機會你用AI我們叫Token的數目是不足夠去做分析。
就算你的Token是足夠去分析，這個叫Greg的人都做了一些叫做Pressure Test，去測試一下就算有這麼大的Token的Window，有128K即是12萬8，即中文字大概6萬4 ，很多時候頭十個結果加起來的字都未必會有6萬多字這麼多，Depends on關鍵字的內容是否競爭性這麼高。
但如果是一些很高的時候，可能6萬4除以10，即是一篇6千字聽起來很多，但是有些內容有時候會引用很多東西是有機會會多過的。
就算我當你夠用了，一頁是6萬多字，這位Greg他做了一些測試，他發現了一些很特別的東西。 另外Envobic也有新出了一個叫Claude 2.1，他說支援到20萬K的Token，即是大概10萬個中文。 但是這個改進並沒有完全解決問題。
因此，我思考瞭如何解決這個問題，最後我找到一些有趣的方法，特別是一位叫Dave的專家提出了一個叫做SPR的概念。
一個叫SPR的Writer去將內容做壓縮，然後再將壓縮後的內容解壓，這樣才能大幅減少Token的使用數量。 雖然在壓縮過程中可能會有一些重要的細節被遺漏，但比起Token不夠的情況應該是更好的解決方案。
當然，這還需要更多的實驗和研究來驗證，但是我認為這是一個有效的方向。
