2024年4月1日 星期一

3種小白老師可一鍵架設本地GPT的方式

目前3種小白老師可一鍵架設本地GPT的方式

本地GPT不需登入沒有帳號問題沒網路也能用，可以解決電腦教室國小帳號與法規年齡問題

三種本地一鍵安裝自建GPT，裡面下載好模型就能用

  1. GPT4ALL(Win ok，網上直接下載模型，有提供mac、Linux安裝尚有問題)
  2. LM STUDIO(Win ok，網上直接下載模型，有提供mac、Linux，安裝完啟動無反應)
  3. Jan(Win、Ubuntu ok，可以網上直接下載模型，有網頁server、Linux可安裝可使用沒問題但模型選項較少)
  4. AnythingLLM，不但可使用大模型，行能放各種文本

※ Ollama (可以用ubuntu)因為使用文字介面所以我另外放 https://dshps.blogspot.com/2024/04/ollama.html

說明

  1. 三種都有暈倒、蘋果、烏奔圖版本，大部分電腦筆電都可用。
  2. lm-studio 和 jan 可直接搜尋大模型直接下載，但由於加密下載簽證問題，會被卡巴斯基防火牆阻擋，請先關閉防火牆。
  3. GPT3.5~4模型無法下載但可以串API-KEY
  4. 模型可以互通，別處下載好的模型也可以在lm-studio/jan/gpt4all匯入
  5. 較大的模型需要顯卡和大的VRAM，模型需求大於設備時不會被裝載。
  6. 小的模型不用VRAM或是跑得較慢而已，看來以後大家的電腦筆電都會買比較高級的。
  7. Ubuntu目前Ollama和Jan可以順利安裝使用，另兩個安裝有些問題要再研究
  8. 直接買蘋果+大記憶體最便宜(VRAM直通調用共享)
  9. PC的話
    • 1. NVIDIA RTX40系記憶體越大越好，若是用計算卡因為無顯示設定上比較麻煩，非N卡，如 Intel Arc 或AMD RX目前僅有GPT4ALL 支援
    • 2. AMD 8000 / INTEL ULTRA 以上帶NPU新處理器、以及多核心最好
    • 3. RAM 越大越好，尤其是共享內顯時，不過要看主機板可分享VRAM 設定，網上說是一半，目前沒有驗證，但是mac是幾乎可以全部調用的

LM安裝使用三步驟



JAN安裝使用三步驟


GPT4ALL0 裝使用都一樣就不做了

  • gpt4all會自動分配GPU/CPU的載入分工不用自行調配比較簡單
  • 以13-gpt4-2.0-GGUF 來說在我的電腦8700+1060/6G，載入VRAM 會失敗自動使用CPU工作，每秒3字左右，記憶體會使用到15.2G，CPU會到100%。
  • 模型可以互通，別處下載好的模型也可以在lm-studio/jan/gpt4all匯入？

AnythingLLM，不但可使用大模型，行能放各種文本

PDF、CSV、TXT 檔、音訊檔、電子表格和各種檔案格式。
  1. 官網：https://useanything.com/download
  2. 教學：https://beebom.com/anythingllm-how-chat-with-documents-locally/#:~:text=AnythingLLM%20is%20a%20program%20that%20lets%20you%20chat,files%2C%20spreadsheets%2C%20and%20a%20variety%20of%20file%20formats.
  3. 推薦：https://blog.darkthread.net/blog/anything-llm/
  4. 影片：https://www.youtube.com/watch?v=dsCYB1z64uo

常見的大模型


  • 7B Q5的claude很調皮，可以完全載入1060/6G，速度可以達到13tok/s

  • WuDao 2.0: 由中國北京人工智能研究院 (BAAI) 開發，擁有 1.75 萬億個參數，是世界上最大的中文語言模型。
  • Bloom: 由 Hugging Face 和 BigScience 合作開發，擁有 1760 億個參數，可以生成多種語言的文字、翻譯語言、編寫不同類型的創意內容並以信息豐富的方式回答您的問題。
  • LaMDA: 由 Google AI 開發，擁有 1370 億個參數，可以進行開放式對話並生成不同創意文本格式的文本內容。
  • Megatron-Turing NLG: 由 Google AI 和 NVIDIA 合作開發，擁有 5300 億個參數，可以生成多種語言的文字、翻譯語言、編寫不同類型的創意內容並以信息豐富的方式回答您的問題。
  • Gopher: 由 DeepMind 開發，擁有 2800 億個參數，可以生成多種語言的文字、翻譯語言、編寫不同類型的創意內容並以信息豐富的方式回答您的問題。
  • Hugging Face Transformers: 這是最流行的 LLM 存儲庫之一，其中包含各種模型，例如 BERT、GPT-2、RoBERTa 和 DistilBERT。
  • Google AI Language Model Zoo: 這是 Google AI 開發的 LLM 存儲庫，其中包含各種模型，例如 LaMDA、Megatron-Turing NLG 和 BERT。
  • DeepMind Language Models: 這是 DeepMind 開發的 LLM 存儲庫，其中包含各種模型，例如 Gopher 和 AlphaGo Zero。
  • OpenAI GPT: 這是 OpenAI 開發的 LLM 存儲庫，其中包含 GPT-3 和 GPT-4 模型。


以下常見的開放大模型

分類

程式學習

  • deepseek-coder（英文）
  • qwen（中文）
  • stablelm-zephyr（中文）


語言文本生成翻譯寫作等

  • mistral（英文）
  • openhermes （中文）
  • phi（英文）

綜合

  • OpenAI GPT-3.5 Turbo(線上)
  • OpenAI GPT-4(線上)
  • OpenAI GPT-4 with Vision(線上)
  • WizardCoder-Python（英文）
  • zephyr（中文）


以下是每個模型介紹

OpenAI GPT-3.5 Turbo 

是由 OpenAI 開發的一種大型語言模型 (LLM)，擅長處理文本生成、翻譯和編寫不同種類的創意內容。以下是一些關於 GPT-3.5 Turbo 的功能和特點：

文本生成: GPT-3.5 Turbo 可以根據您的指示生成不同形式的文本內容，例如詩歌、程式碼、劇本、電子郵件、信件等等。只要您提供清晰的指示，它就能創作出符合您需求的文本。

翻譯語言: GPT-3.5 Turbo 可以翻譯多种语言，例如英文、中文、法文、德文、西班牙文、日文、韓文等等。它可以帮助您打破語言障碍，理解和交流外文資訊。

回答問題: GPT-3.5 Turbo 可以回答您的各种問題，例如提供信息、总结事实、解釋概念等。您可以向它詢問開放式、有挑戰性或奇怪的問題，它都會盡力為您提供信息和答案。

写作助手: GPT-3.5 Turbo 可以作為您的写作助手，帮助您构思内容、潤色文稿、檢查语法错误等。它可以節省您写作的時間，提高写作質量。

代码生成: GPT-3.5 Turbo 可以根据您的描述生成代码片段。例如，您可以告诉它「实现一个计算两个数字平方和的函数」，它就能生成相应的程式碼。 (此功能相较於 DeepCoder 可能沒那麼強大)

GPT-3.5 Turbo 的一些優勢:

性能强大: 137B 的参数量讓 GPT-3.5 Turbo 能夠处理复杂的文本任务，生成高质量的內容。

遵循指示: GPT-3.5 Turbo 經過強化學習，擅长理解并遵循您的指示完成任务。

多功能: GPT-3.5 Turbo 可以执行多种与文本相关的任务，适用范围广。

需要注意的一些事项：

GPT-3.5 Turbo 生成的内容有时可能包含事实错误或偏差。使用时需要进行核实。

GPT-3.5 Turbo 是一个付费模型，使用次数會累積計費。

OpenAI GPT-3.5 Turbo 16k 0613 

是指代 OpenAI GPT-3.5 Turbo 大型语言模型特定版本的方式。让我们分解一下这个名称的含义：

OpenAI GPT-3.5 Turbo: 这部分和您之前了解的一样，代表由 OpenAI 开发的强大语言模型，擅长文本生成、翻译和创作内容。

16k: 这部分指的是该版本模型的上下文窗口大小 (context window size)。上下文窗口是指模型在生成文本时所考虑的前文长度。16k 表示该模型在处理信息时会参考之前 16,000 个单词 (token) 的内容，有助于模型更好地理解上下文并生成更加连贯的文本。

0613: 这部分可能代表该特定模型版本的发布日期，即 2023 年 6 月 13 日。需要注意的是，OpenAI 会定期更新他们的模型，因此 0613 版本的 GPT-3.5 Turbo 可能已经过时或停止使用。

重点需要注意的是：

已过时: 自 2023 年 11 月 6 日起，OpenAI 已经将 gpt-3.5-turbo-16k-0613 版本标记为停用 (deprecated)。 这意味着该版本不再接受新的使用请求，并且可能会在未来某个时间点停止服务。

推荐替代版本: OpenAI 目前推荐使用 gpt-3.5-turbo-instruct 版本，该版本具有改进的指令遵循能力 (instruction following) 以及其他增强功能。

如果您之前使用的是 gpt-3.5-turbo-16k-0613 版本，则需要迁移到 gpt-3.5-turbo-instruct 版本才能继续使用 OpenAI 的服务。

以下是一些关于 OpenAI GPT-3.5 Turbo 的一般信息，仍然适用于较新版本：

性能强大：GPT-3.5 Turbo 系列拥有庞大的参数量，使其能够处理复杂的文本任务并生成高质量的内容。

遵循指示：经过强化学习，该模型擅长理解并遵循您的指示完成任务。

多功能：GPT-3.5 Turbo 可以执行多种与文本相关的任务，例如文本生成、翻译、写作辅助等等。

OpenAI GPT-4  

是 OpenAI 於 2023 年 3 月 14 日发布的最新大型语言模型 (LLM)，相比于前辈 GPT-3.5 系列，GPT-4 在各个方面都有了显著的提升。下面为你总结一下 GPT-4 的功能和特性：

更强大更可靠:

参数规模：GPT-4 拥有比 GPT-3.5 更庞大的参数量，使其能够处理更加复杂的信息并生成质量更高的内容。

可靠性：OpenAI 在开发 GPT-4 时更加注重其可靠性，旨在减少生成内容中的事实错误或偏差。

指令理解：GPT-4 经过强化学习，能更好地理解并遵循您的指示完成任务。

更具创造力和协作性:

文本创作：GPT-4 可以根据您的要求生成不同形式的文本内容，例如诗歌、代码、剧本等等，并且加入了更多的创造性元素。

协同创作：GPT-4 能与用户进行互动式的写作，可以根据您的修改意见不断迭代创作内容，提高内容质量。

理解图像：GPT-4 不仅擅长处理文本，还可以理解和分析图像内容。例如，它可以根据图片描述其幽默之处，或总结屏幕截图上的文字。

其他功能:

超长文本处理：GPT-4 可以处理比 GPT-3.5 更长的文本输入，适用于长篇内容创作、复杂对话和文档分析等场景。

多语言支持：GPT-4 仍然支持多种语言的翻译和理解。

需要注意的是

GPT-4 目前仍处于开发阶段，可能尚未对外开放使用，或是仅限部分用户使用。

作为新模型，GPT-4 的使用成本可能也会高于 GPT-3.5 系列。

OpenAI GPT-4 with Vision (Preview), 

也被称为 GPT-4V 或 gpt-4-vision-preview  是 OpenAI 最新推出的  GPT-4 系列衍生模型，特别之处在于它结合了强大的语言处理能力和视觉理解能力。以下是你需要注意的重点：

功能和特性:

理解并响应视觉信息: GPT-4 with Vision 能处理图像信息，并结合文本内容理解用户需求。例如，您可以给它一张图片并询问相关问题，它可以分析图片并用文字回答您的问题。

文本生成结合视觉信息: 在生成文本内容时，GPT-4 with Vision 可以参考相关的视觉信息，使其更加贴合图像内容。例如，您提供一张风景图片并要求描述，生成的文本可能会提到图片中的山川河流等元素。

其他 GPT-4 功能: 它仍然具备一般 GPT-4 的强大文本处理能力，例如文本创作、多语言支持等等。

openhermes-2.5-mistral-7b.Q4_K_S （中文）

  1. 回答与编程和编码相关的问题
  2. 为学习新编程概念提供资源和指导
  3. 翻译英语成其他语言，包括但不限于中文
  4. 辅助与语言相关的任务如校对和翻译
  5. 根据提示或模板生成文本
  6. 辅助与行政任务如安排预约和发送邮件
  7. 提供广泛知识和信息，包括但不限于编程和编码
  8. 辅助与创造性任务如写作和生成想法
  9. 提供有关自动化和组织的辅助
  10. 辅助与语言相关任务如语言学习和翻译记忆

qwen1_5-7b-chat-q5_k_m （中文）

  1. 解決編程問題：我可以解答你在Python、Java、JavaScript等語言上遇到的疑惑，提供代码实例和解决方案。
  2. 輔助學習：對於新技術或概念，我可以引導你，從基礎到進階，幫助你理解和掌握。
  3. 翻譯程式碼：如果你的源代碼是英文，我可以幫忙轉換成中文，反之亦然。
  4. 程式設計指導：根據你的需求，可以提供實戰項目範例或程式設計策略。
  5. 測試和調優：我能幫你找到可能的錯誤，並指導如何修改以提升程序效率。
  6. 版本控制與Git操作：教會你如何使用Git進行項目管理和提交代码。
  7. 雲端和數據庫相關知識：對於AWS、Google Cloud等雲平台，以及MySQL、MongoDB等數據庫，我都有一定的理解。
  8. DevOps和自動化工具：幫助你理解和使用Docker、Kubernetes等技術。

stablelm-zephyr-3b.Q4_K_S （中文）

  1. 回答编程問題：我能幫您解答Python、Java、JavaScript等語言上的編程問題。提供代碼示例和解決方案。
  2. 學習指導：對於新技術或概念，我可以引導您從基礎到進階，幫助你理解和掌握。
  3. 翻譯程式碼：若您的源代碼是英文，我可以幫忙轉換成中文。反之亦然。
  4. 程式設計指導：根據您的需求，可以提供實戰項目範例或程式設計策略。
  5. 測試和調優：我能幫助您找到可能的錯誤，並指導如何修改以提升程序效率。
  6. 版本控制與Git操作：教會您如何使用Git進行項目管理和提交代碼。
  7. 雲端和數據庫相關知識：對於AWS、Google Cloud等雲平台，以及MySQL、MongoDB等數據庫，我都有一定的理解。
  8. DevOps和自動化工具：幫助您理解和使用Docker、Kubernetes等技術。

zephyr-7b-beta.Q4_K_S (中文）

  1. 回答编程問題：我能幫您解答Python、Java、JavaScript等語言上的編程問題。提供代碼示例和解決方案。
  2. 學習指導：對於新技術或概念，我可以引導您從基礎到進階，幫助你理解和掌握。
  3. 翻譯程式碼：若您的源代碼是英文，我可以幫忙轉換成中文。反之亦然。
  4. 程式設計指導：根據您的需求，可以提供實戰項目範例或程式設計策略。
  5. 測試和調優：我能幫助您找到可能的錯誤，並指導如何修改以提升程序效率。
  6. 版本控制與Git操作：教會您如何使用Git進行項目管理和提交代碼。
  7. 雲端和數據庫相關知識：對於AWS、Google Cloud等雲平台，以及MySQL、MongoDB等數據庫，我都有一定的理解。
  8. DevOps和自動化工具：幫助您理解和使用Docker、Kubernetes等技術。


其他更多模型介紹及Ollama使用請參考


模型可以互通，別處下載好的模型也可以在lm-studio/jan/gpt4all匯入

PS

沒有顯卡的陽春電腦


不宜使用這兩個容器玩大模型，因為他們偵測不到你的顯卡就不能用

lm-studio/gpt4all


請改用這幾個，可使用CPU(比較慢,選用2B/3B小模型)

或是改用API串接方式(速度很好，大模型品質高＝少量分期付款)

ollama+chatbox

chatbox

jan

anythingLLM

沒有留言:

張貼留言

訂閱： 張貼留言 (Atom)