安裝離線版 AI chatbot (大型語言模型 LLM) 於電腦使用

安裝離線版 AI chatbot (大型語言模型 LLM) 於電腦使用

在市場上可以找到很多不同的大型語言模型,例如ChatGPT等。有些模型是開源的,可以安裝到你的電腦上使用。其中一個平台叫做huggingface,它收錄了很多不同的數據集和模型,你可以在這裡看到各種不同的大型語言模型,像是Intel和Microsoft都推出了自家的模型。另外,還有一些Mistra和Meta的Lama等模型也可以在huggingface上找到。

安裝離線版 AI chatbot (大型語言模型 LLM) 於電腦使用

然而,安裝和使用這些大型語言模型可能會相對較複雜。在本文中,我將介紹兩個工具,並分享我發現其中一個工具更快的經驗。我使用的是LM Studio工具,它可以安裝到Mac或Windows電腦上。安裝完成後,你將看到一個界面,你可以在這裡選擇不同的模型,並評估它們的評分。評分通常反映了模型的性能、穩定性和版本等資訊。當你下載完模型後,你可以像使用PoE或GPT那樣選擇你想使用的語言模型,並開始提問。

安裝離線版 AI chatbot (大型語言模型 LLM) 於電腦使用

https://lmstudio.ai/

然而,我發現在使用LM Studio下載或下載大型模型時,它會耗用我的電腦的RAM和CPU資源,即使我使用Apple M2這樣相對快速的電腦。因為我沒有GPU的設備,所以這對我來說是個問題。

另一個可以考慮的選擇是Gan.ai的網站,據說是由台灣人開發的。它也可以讓你在Windows和Mac電腦上安裝大型語言模型。它的好處是較輕量化,我也試著使用過。

安裝離線版 AI chatbot (大型語言模型 LLM) 於電腦使用

https://jan.ai/

在Gan.ai的界面上,你可以探索不同的模型,也可以進行搜索。它還會推薦一些模型給你,並告訴你這些模型的大小和質量。根據Gan.ai的建議,我嘗試了其中一個叫作Llama 7B的模型,它的大小較小,約為4GB。

安裝離線版 AI chatbot (大型語言模型 LLM) 於電腦使用

根據Gan.ai的描述,它的質量是可接受的,因此建議我使用這個模型。我下載了整個模型,大約需要4GB的空間,然後像平常查詢GPT一樣,我可以直接在下載好的環境中提問,而不需要連接網際網路。

使用這些工具下載並使用大型語言模型的好處之一是,你不需要擔心數據隱私問題,因為一旦下載完成,你可以在本地環境中直接提問,而不需要與網絡連接。然而,請注意,這些工具需要一定的計算資源才能順利運行,如果你的電腦配置較低,可能會遇到運行困難。在選擇合適的大型語言模型和工具時,建議根據個人需求和電腦性能做適當的評估。

Similar Posts

Leave a Reply