安裝離線版 AI chatbot (大型語言模型 LLM) 於電腦使用
在市場上可以找到很多不同的大型語言模型，例如ChatGPT等。有些模型是開源的，可以安裝到你的電腦上使用。其中一個平台叫做huggingface，它收錄了很多不同的數據集和模型，你可以在這裡看到各種不同的大型語言模型，像是Intel和Microsoft都推出了自家的模型。另外，還有一些Mistra和Meta的Lama等模型也可以在huggingface上找到。
然而，安裝和使用這些大型語言模型可能會相對較複雜。在本文中，我將介紹兩個工具，並分享我發現其中一個工具更快的經驗。我使用的是LM Studio工具，它可以安裝到Mac或Windows電腦上。安裝完成後，你將看到一個界面，你可以在這裡選擇不同的模型，並評估它們的評分。評分通常反映了模型的性能、穩定性和版本等資訊。當你下載完模型後，你可以像使用PoE或GPT那樣選擇你想使用的語言模型，並開始提問。
然而，我發現在使用LM Studio下載或下載大型模型時，它會耗用我的電腦的RAM和CPU資源，即使我使用Apple M2這樣相對快速的電腦。因為我沒有GPU的設備，所以這對我來說是個問題。
另一個可以考慮的選擇是Gan.ai的網站，據說是由台灣人開發的。它也可以讓你在Windows和Mac電腦上安裝大型語言模型。它的好處是較輕量化，我也試著使用過。
在Gan.ai的界面上，你可以探索不同的模型，也可以進行搜索。它還會推薦一些模型給你，並告訴你這些模型的大小和質量。根據Gan.ai的建議，我嘗試了其中一個叫作Llama 7B的模型，它的大小較小，約為4GB。
根據Gan.ai的描述，它的質量是可接受的，因此建議我使用這個模型。我下載了整個模型，大約需要4GB的空間，然後像平常查詢GPT一樣，我可以直接在下載好的環境中提問，而不需要連接網際網路。
使用這些工具下載並使用大型語言模型的好處之一是，你不需要擔心數據隱私問題，因為一旦下載完成，你可以在本地環境中直接提問，而不需要與網絡連接。然而，請注意，這些工具需要一定的計算資源才能順利運行，如果你的電腦配置較低，可能會遇到運行困難。在選擇合適的大型語言模型和工具時，建議根據個人需求和電腦性能做適當的評估。
