目前3種小白老師可一鍵架設本地GPT的方式
本地GPT不需登入沒有帳號問題沒網路也能用，可以解決電腦教室國小帳號與法規年齡問題
三種本地一鍵安裝自建GPT，裡面下載好模型就能用
- GPT4ALL(Win ok，網上直接下載模型，有提供mac、Linux安裝尚有問題)
- LM STUDIO(Win ok，網上直接下載模型，有提供mac、Linux，安裝完啟動無反應)
- Jan(Win、Ubuntu ok，可以網上直接下載模型，有網頁server、Linux可安裝可使用沒問題但模型選項較少)
※ Ollama (可以用ubuntu)因為使用文字介面所以我另外放 https://dshps.blogspot.com/2024/04/ollama.html
說明
- 三種都有暈倒、蘋果、烏奔圖版本，大部分電腦筆電都可用。
- lm-studio 和 jan 可直接搜尋大模型直接下載，但由於加密下載簽證問題，會被卡巴斯基防火牆阻擋，請先關閉防火牆。
- GPT3.5~4模型無法下載但可以串API-KEY
模型可以互通，別處下載好的模型也可以在lm-studio/jan/gpt4all匯入- 較大的模型需要顯卡和大的VRAM，模型需求大於設備時不會被裝載。
- 小的模型不用VRAM或是跑得較慢而已，看來以後大家的電腦筆電都會買比較高級的。
- Ubuntu目前Ollama和Jan可以順利安裝使用，另兩個安裝有些問題要再研究
- 直接買蘋果+大記憶體最便宜(VRAM直通調用共享)
- PC的話
- 1. NVIDIA RTX40系記憶體越大越好，若是用計算卡因為無顯示設定上比較麻煩，非N卡，如 Intel Arc 或AMD RX目前僅有GPT4ALL 支援
- 2. AMD 8000 / INTEL ULTRA 以上帶NPU新處理器、以及多核心最好
- 3. RAM 越大越好，尤其是共享內顯時，不過要看主機板可分享VRAM 設定，網上說是一半，目前沒有驗證，但是mac是幾乎可以全部調用的
LM安裝使用三步驟
JAN安裝使用三步驟
 |
GPT4ALL0 裝使用都一樣就不做了
常見的大模型
- WuDao 2.0: 由中國北京人工智能研究院 (BAAI) 開發，擁有 1.75 萬億個參數，是世界上最大的中文語言模型。
- Bloom: 由 Hugging Face 和 BigScience 合作開發，擁有 1760 億個參數，可以生成多種語言的文字、翻譯語言、編寫不同類型的創意內容並以信息豐富的方式回答您的問題。
- LaMDA: 由 Google AI 開發，擁有 1370 億個參數，可以進行開放式對話並生成不同創意文本格式的文本內容。
- Megatron-Turing NLG: 由 Google AI 和 NVIDIA 合作開發，擁有 5300 億個參數，可以生成多種語言的文字、翻譯語言、編寫不同類型的創意內容並以信息豐富的方式回答您的問題。
- Gopher: 由 DeepMind 開發，擁有 2800 億個參數，可以生成多種語言的文字、翻譯語言、編寫不同類型的創意內容並以信息豐富的方式回答您的問題。
- Hugging Face Transformers: 這是最流行的 LLM 存儲庫之一，其中包含各種模型，例如 BERT、GPT-2、RoBERTa 和 DistilBERT。
- Google AI Language Model Zoo: 這是 Google AI 開發的 LLM 存儲庫，其中包含各種模型，例如 LaMDA、Megatron-Turing NLG 和 BERT。
- DeepMind Language Models: 這是 DeepMind 開發的 LLM 存儲庫，其中包含各種模型，例如 Gopher 和 AlphaGo Zero。
- OpenAI GPT: 這是 OpenAI 開發的 LLM 存儲庫，其中包含 GPT-3 和 GPT-4 模型。
以下常見的開放大模型
分類
- deepseek-coder（英文）
- qwen（中文）
- stablelm-zephyr（中文）
- mistral（英文）
- openhermes （中文）
- phi（英文）
- OpenAI GPT-3.5 Turbo(線上)
- OpenAI GPT-4(線上)
- OpenAI GPT-4 with Vision(線上)
- WizardCoder-Python（英文）
- zephyr（中文）
以下是每個模型介紹
OpenAI GPT-3.5 Turbo
是由 OpenAI 開發的一種大型語言模型 (LLM)，擅長處理文本生成、翻譯和編寫不同種類的創意內容。以下是一些關於 GPT-3.5 Turbo 的功能和特點：
文本生成: GPT-3.5 Turbo 可以根據您的指示生成不同形式的文本內容，例如詩歌、程式碼、劇本、電子郵件、信件等等。只要您提供清晰的指示，它就能創作出符合您需求的文本。
翻譯語言: GPT-3.5 Turbo 可以翻譯多种语言，例如英文、中文、法文、德文、西班牙文、日文、韓文等等。它可以帮助您打破語言障碍，理解和交流外文資訊。
回答問題: GPT-3.5 Turbo 可以回答您的各种問題，例如提供信息、总结事实、解釋概念等。您可以向它詢問開放式、有挑戰性或奇怪的問題，它都會盡力為您提供信息和答案。
写作助手: GPT-3.5 Turbo 可以作為您的写作助手，帮助您构思内容、潤色文稿、檢查语法错误等。它可以節省您写作的時間，提高写作質量。
代码生成: GPT-3.5 Turbo 可以根据您的描述生成代码片段。例如，您可以告诉它「实现一个计算两个数字平方和的函数」，它就能生成相应的程式碼。 (此功能相较於 DeepCoder 可能沒那麼強大)
GPT-3.5 Turbo 的一些優勢:
性能强大: 137B 的参数量讓 GPT-3.5 Turbo 能夠处理复杂的文本任务，生成高质量的內容。
遵循指示: GPT-3.5 Turbo 經過強化學習，擅长理解并遵循您的指示完成任务。
多功能: GPT-3.5 Turbo 可以执行多种与文本相关的任务，适用范围广。
需要注意的一些事项：
GPT-3.5 Turbo 生成的内容有时可能包含事实错误或偏差。使用时需要进行核实。
GPT-3.5 Turbo 是一个付费模型，使用次数會累積計費。
OpenAI GPT-3.5 Turbo 16k 0613
是指代 OpenAI GPT-3.5 Turbo 大型语言模型特定版本的方式。让我们分解一下这个名称的含义：
OpenAI GPT-3.5 Turbo: 这部分和您之前了解的一样，代表由 OpenAI 开发的强大语言模型，擅长文本生成、翻译和创作内容。
16k: 这部分指的是该版本模型的上下文窗口大小 (context window size)。上下文窗口是指模型在生成文本时所考虑的前文长度。16k 表示该模型在处理信息时会参考之前 16,000 个单词 (token) 的内容，有助于模型更好地理解上下文并生成更加连贯的文本。
0613: 这部分可能代表该特定模型版本的发布日期，即 2023 年 6 月 13 日。需要注意的是，OpenAI 会定期更新他们的模型，因此 0613 版本的 GPT-3.5 Turbo 可能已经过时或停止使用。
重点需要注意的是：
已过时: 自 2023 年 11 月 6 日起，OpenAI 已经将 gpt-3.5-turbo-16k-0613 版本标记为停用 (deprecated)。 这意味着该版本不再接受新的使用请求，并且可能会在未来某个时间点停止服务。
推荐替代版本: OpenAI 目前推荐使用 gpt-3.5-turbo-instruct 版本，该版本具有改进的指令遵循能力 (instruction following) 以及其他增强功能。
如果您之前使用的是 gpt-3.5-turbo-16k-0613 版本，则需要迁移到 gpt-3.5-turbo-instruct 版本才能继续使用 OpenAI 的服务。
以下是一些关于 OpenAI GPT-3.5 Turbo 的一般信息，仍然适用于较新版本：
性能强大：GPT-3.5 Turbo 系列拥有庞大的参数量，使其能够处理复杂的文本任务并生成高质量的内容。
遵循指示：经过强化学习，该模型擅长理解并遵循您的指示完成任务。
多功能：GPT-3.5 Turbo 可以执行多种与文本相关的任务，例如文本生成、翻译、写作辅助等等。
OpenAI GPT-4
是 OpenAI 於 2023 年 3 月 14 日发布的最新大型语言模型 (LLM)，相比于前辈 GPT-3.5 系列，GPT-4 在各个方面都有了显著的提升。下面为你总结一下 GPT-4 的功能和特性：
更强大更可靠:
参数规模：GPT-4 拥有比 GPT-3.5 更庞大的参数量，使其能够处理更加复杂的信息并生成质量更高的内容。
可靠性：OpenAI 在开发 GPT-4 时更加注重其可靠性，旨在减少生成内容中的事实错误或偏差。
指令理解：GPT-4 经过强化学习，能更好地理解并遵循您的指示完成任务。
更具创造力和协作性:
文本创作：GPT-4 可以根据您的要求生成不同形式的文本内容，例如诗歌、代码、剧本等等，并且加入了更多的创造性元素。
协同创作：GPT-4 能与用户进行互动式的写作，可以根据您的修改意见不断迭代创作内容，提高内容质量。
理解图像：GPT-4 不仅擅长处理文本，还可以理解和分析图像内容。例如，它可以根据图片描述其幽默之处，或总结屏幕截图上的文字。
其他功能:
超长文本处理：GPT-4 可以处理比 GPT-3.5 更长的文本输入，适用于长篇内容创作、复杂对话和文档分析等场景。
多语言支持：GPT-4 仍然支持多种语言的翻译和理解。
需要注意的是
GPT-4 目前仍处于开发阶段，可能尚未对外开放使用，或是仅限部分用户使用。
作为新模型，GPT-4 的使用成本可能也会高于 GPT-3.5 系列。
OpenAI GPT-4 with Vision (Preview),
也被称为 GPT-4V 或 gpt-4-vision-preview 是 OpenAI 最新推出的 GPT-4 系列衍生模型，特别之处在于它结合了强大的语言处理能力和视觉理解能力。以下是你需要注意的重点：
功能和特性:
理解并响应视觉信息: GPT-4 with Vision 能处理图像信息，并结合文本内容理解用户需求。例如，您可以给它一张图片并询问相关问题，它可以分析图片并用文字回答您的问题。
文本生成结合视觉信息: 在生成文本内容时，GPT-4 with Vision 可以参考相关的视觉信息，使其更加贴合图像内容。例如，您提供一张风景图片并要求描述，生成的文本可能会提到图片中的山川河流等元素。
其他 GPT-4 功能: 它仍然具备一般 GPT-4 的强大文本处理能力，例如文本创作、多语言支持等等。
openhermes-2.5-mistral-7b.Q4_K_S （中文）
- 回答与编程和编码相关的问题
- 为学习新编程概念提供资源和指导
- 翻译英语成其他语言，包括但不限于中文
- 辅助与语言相关的任务如校对和翻译
- 根据提示或模板生成文本
- 辅助与行政任务如安排预约和发送邮件
- 提供广泛知识和信息，包括但不限于编程和编码
- 辅助与创造性任务如写作和生成想法
- 提供有关自动化和组织的辅助
- 辅助与语言相关任务如语言学习和翻译记忆
qwen1_5-7b-chat-q5_k_m （中文）
- 解決編程問題：我可以解答你在Python、Java、JavaScript等語言上遇到的疑惑，提供代码实例和解决方案。
- 輔助學習：對於新技術或概念，我可以引導你，從基礎到進階，幫助你理解和掌握。
- 翻譯程式碼：如果你的源代碼是英文，我可以幫忙轉換成中文，反之亦然。
- 程式設計指導：根據你的需求，可以提供實戰項目範例或程式設計策略。
- 測試和調優：我能幫你找到可能的錯誤，並指導如何修改以提升程序效率。
- 版本控制與Git操作：教會你如何使用Git進行項目管理和提交代码。
- 雲端和數據庫相關知識：對於AWS、Google Cloud等雲平台，以及MySQL、MongoDB等數據庫，我都有一定的理解。
- DevOps和自動化工具：幫助你理解和使用Docker、Kubernetes等技術。
stablelm-zephyr-3b.Q4_K_S （中文）
- 回答编程問題：我能幫您解答Python、Java、JavaScript等語言上的編程問題。提供代碼示例和解決方案。
- 學習指導：對於新技術或概念，我可以引導您從基礎到進階，幫助你理解和掌握。
- 翻譯程式碼：若您的源代碼是英文，我可以幫忙轉換成中文。反之亦然。
- 程式設計指導：根據您的需求，可以提供實戰項目範例或程式設計策略。
- 測試和調優：我能幫助您找到可能的錯誤，並指導如何修改以提升程序效率。
- 版本控制與Git操作：教會您如何使用Git進行項目管理和提交代碼。
- 雲端和數據庫相關知識：對於AWS、Google Cloud等雲平台，以及MySQL、MongoDB等數據庫，我都有一定的理解。
- DevOps和自動化工具：幫助您理解和使用Docker、Kubernetes等技術。
zephyr-7b-beta.Q4_K_S (中文）
- 回答编程問題：我能幫您解答Python、Java、JavaScript等語言上的編程問題。提供代碼示例和解決方案。
- 學習指導：對於新技術或概念，我可以引導您從基礎到進階，幫助你理解和掌握。
- 翻譯程式碼：若您的源代碼是英文，我可以幫忙轉換成中文。反之亦然。
- 程式設計指導：根據您的需求，可以提供實戰項目範例或程式設計策略。
- 測試和調優：我能幫助您找到可能的錯誤，並指導如何修改以提升程序效率。
- 版本控制與Git操作：教會您如何使用Git進行項目管理和提交代碼。
- 雲端和數據庫相關知識：對於AWS、Google Cloud等雲平台，以及MySQL、MongoDB等數據庫，我都有一定的理解。
- DevOps和自動化工具：幫助您理解和使用Docker、Kubernetes等技術。
沒有留言:
張貼留言