2024年5月27日 星期一

2024 Canva Create 的重點是 Work Redesigned 的個人思考

 今年 Canva Create 的重點是 Work Redesigned


1. 讓凡人都能利用設計思考、用圖像做好你的設計，甚至重新定義你的教學，補足我這個理工男人生唯一的短板，人腦解讀圖像容易且速度是文字數字的N倍，這是最底層的生理機制，SOIL心法與認知心理學都有提到，這是Canva用在教育上的核心，理解概念後轉用圖像思考、簡化大腦負擔，讓智慧的傳達更有效果，簡單的說就是協助你簡單的行銷、說服與洗腦，這是我的C類課程其中一堂。

2. AI的加入讓我們重新定義我們的工作，不管是內容、流程、效率、或是對於工作本身的思考與內涵，工作從來沒有像今天在AI 導入後變得這樣簡單而已效率，剩下的時間就是想像如何讓它更好，或是可以早點下班換到真正的人生。

3. 發表會以情境模擬方式進行，正符合我們使用工具的狀況，工具是依附在我們的需求而存在，因此各領域需要的工具的內容或用法都不同，所以我們必須真正了解自己的需求，了解各種工具的能力，才能找到最適合自己的工具或用法，這跟我在強調的完全一模一樣，所以知道層次才有機會長進，剛開始先練工具熟悉工具(但無需沉迷或執著)，再來發展進入領域應用，最後融會貫通融合創新，這是層次提升的必經之路，今年我開的ABC三類型研習都有包含這三個層次。

(知)看見趨勢→(思)提前佈局→(行)行動實踐，一直以來是我的長處
ZOOM IN / ZOOM OUT，看見時間軸、發現層次，見樹又見林，是成長的方式，也是我C 類課程的目標，因為知道自己在哪裡，才能知道怎麼往上爬。

叮嚀：
1. 工具會因為時代與科技發展疊代→不要沉迷工具，但只要掌握工具關鍵即可，發展跨工具通用素養才是上策。
2. 依情境需求自由組合變化運用→這才是現實世界的需求，要有一顆謙虛的心來包容與多元學習，亦不要被工具或領域限制。
3. 最後，看見未來、注重核心才能境界提升，萬事融合進入最高境界，產生自己的心法貫通古今，才有機會萬佛朝宗點石成兵。
4. 作為領導人或承辦人，推動事情要有道法術器勢全盤思考，身為人也要有知思行的成長思維，學習後設，看見自己、看見未來、看見層次才可立於不敗之地。

沒有留言:

2024年5月19日 星期日

可攜帶式的protable LLM

llamafile 免安裝直接執行LLM

 

原文參考：https://today.line.me/tw/v2/article/Vx7pB6g

至GitHub 專案網址：https://github.com/Mozilla-Ocho/llamafile?tab=readme-ov-file

選擇下方想要使用的模型檔案直接下載

將副檔名改成.exe 即可直接啟動

模型會視你的設備狀況，設備不足以啟動會告失敗


手機版可安裝此APP 測試

https://play.google.com/store/apps/details?id=com.DGDev91.LLMPortable&hl=en_IE


沒有留言:

最簡單的自架 AI 生圖 Stability Matrix (包含 Stable Diffusion)

前言

摸索了一陣子 自己架設AI生圖無限使用的方法

發現目前最好用簡便的是這個 Stability Matrix 


?為何要自己架設呢，不是有一堆網站很便利嗎？

點數有限、限制很多啊，例如圖的尺寸、內容等，不同的需求還要用不同的網站平台，如果每個都去付費，不常用也不划算。

(分期付款解決方案)


要玩自己架站生圖有幾個條件：

VRAM容量大的顯卡+高速的網路+大容量SSD

因為大模型真的都很大，更大或批次的圖需要更大的VRAM

同樣的需求還能順便玩LLM大模型把GPT架在家

(一次付清解決方案)


Stability Matrix  是目前我測過最簡單的解決方案了

各種UI介面套件可適用各廠牌不同顯卡

讓生圖不再是只有N卡的天下(雖然我還沒測過，可以本文後方的說明)

投資一下自己練練功，買個顯卡一起來玩GAI/AIGC吧

最近也在研究自架LLM，GPTs也會是AI 時代的顯學

(下午要來裝網路了，真開心！)


不過這些內容不適合心智未成熟的小孩

大家要注意...尤其是要用在教學上的還是用網站平台比較好

18以下還是要透明跟監管比較確實一點


但這兩樣的確可以顛覆很多產業！！！

練好功當顧問也不錯，各種行業都用得上

正文

Stability Matrix 是一個多平台的套件管理器，專為 Stable Diffusion 設計。它提供了一個一鍵安裝和更新 Stable Diffusion Web UI 套件的解決方案。這個工具支援多種 Stable Diffusion 的 Web UI 版本，包括 Automatic 1111, SD Web UI-UX, 和 SD.Next 等。

Stability Matrix 的特點包括：

  • 一鍵安裝：簡化了 Stable Diffusion 的部署過程，用戶只需執行 StabilityMatrix.exe 即可自動下載所需的檔案和模型。
  • 多達 7 個 Web UI 控制：提供圖形介面，方便用戶控制不同的 Web UI 版本。
  • 可攜模式：允許用戶在不同的設備間移動 Stability Matrix 的數據目錄，增加了靈活性。
  • 推斷界面：內置於 Stability Matrix 中，提供強大的自動完成和語法高亮功能。

這個工具大幅降低了使用 Stable Diffusion 的門檻，使得用戶能夠更容易地享受到 AI 圖像生成的樂趣。

好心提醒：沒有RTX獨顯6G/8G以上，且本機記憶體低於16G者，儘量不要輕易嘗試自架本機生圖，以免吐血

個人感覺：這應該是最簡單的 Stable Diffusion 安裝方式，這是一個整合的下載程式，內含SD的界面和模型庫的管理，還有各種進階的使用方式，下載安裝即可，還可以選用攜帶型方式安裝在資料夾內，之後可以帶著走，如果安裝中途卡住或失敗可以使用 power shell ：pip cache purge 清理一下再重裝一次。所以可以去網路好的地方下載，裝在外接SSD攜帶使用。

事先準備：

  • VRAM6G 以上的顯卡最好是老黃的NVIDIA
  • 高速網路或光纖
  • 排除未成年的小朋友(安裝階段不用啦！)

安裝方式：



  • 點選在右方的 Releases 版本後，找到需要的 windows 版安裝檔下載，存放在一個乾淨的目錄中，路徑及資料夾名稱中不要有特殊符號或是中文字



  • 解壓縮後直接點選安裝，安裝時請你先選一個Packages，你可以先選Stable Diffusion WebUI 來安裝，其餘可先略過。
  • 安裝時可選擇攜帶式安裝，他會將所有檔案安裝在同一資料夾中，方便你日後攜帶移動。
  • 安裝過程要一些時間，檔案都很大，下載需要時間，WebUI 第一次啟動也是要等，中途不要打斷。
  • 在Package 中下方可以新增其他不同介面和用法的 Package。
  • 在model 可以搜尋新的模型(稱為checkpoint)下載，不同模型可以生成不同風格圖案。
  •  之後可以安裝模型或其他外掛套件使用，安裝模型時有些會要求要設定登入Civitai 網站才可下載，這類模型會出現安裝錯誤，只要登入網站產生金鑰重新鏈結即可(免費)。
  • 如果確認安裝中途卡住或失敗可以在資料夾中按Shift+滑鼠右鍵，啟動power shell，在視窗內下指令清除Cache，指令如下 ：pip cache purge 清理一下再重裝即可。
各類模型類型和選項：
  • 基底模型（Base Model）：由StableAI公司開源的Stable Diffusion基礎模型，如SD 1.5、SD2.0、SDXL 1.0等。
  • Checkpoint：基於基底模型微調的模型，用於生成高品質圖像，形成圖像的基本風格，如真實風格或卡通風格。
  • 選項模型：附加在Checkpoint上的微調模型，增強或改變圖像風格。
  • 文本反轉（Textual Inversion）、低秩調整（LoRA）、值自動編碼器（VAE）等用於產生特定特徵或調整圖像參數。

各種Package：

  • Stable Diffusion WebUI Forge：是一個建立在 Stable Diffusion WebUI 之上的平台，旨在使開發更容易、優化資源管理並加速推理過程。這個項目的名稱 “Forge” 源自於 “Minecraft Forge”，目標是成為 SD WebUI 的 Forge 版本。與原始的 SD WebUI 相比，它提供了以下幾個顯著的優勢：
    • 更快的生成速度：Forge 通過簡化代碼邏輯和優化資源配置來加快推理速度，尤其對於显存较小的用户，性能提升更为明显。例如，使用 8GB 显存的 GPU 可以期待推理速度提升約 30~45%，GPU 内存峰值降低約 700MB 到 1.3GB，最大扩散分辨率提升約 2x 到 3x，最大批处理大小提升約 4x 到 6x1。
    • 更优质的插件生态环境：Forge 对资源管理方面的程序进行了优化，因此各类功能插件的适配范围大大提升，减少了不同扩展插件相互干扰的风险，提高了插件的兼容性和稳定性2。
    • 支持更多的采样器：Forge 在原版基础上添加了更多的采样器，包括 DDPM、DDPM Karras、DPM++2M Turbo、DPM++2M SDE Turbo、LCM Karras、Euler a Turbo 等，用户可以根据需要选择合适的采样算法2。
    • 此外，Forge 項目還預安裝了 ControlNet、FreeU、SVD 视频生成、Z123 图生 3D 对象等功能拓展，原版 SD WebUI 没有的 Ip-adapter 蒙版、controlnet 蒙版、photomaker 等功能在 Forge 中都得到了原生支持。這些特點使得 Stable Diffusion WebUI Forge 成為一個性能強大且易於使用的工具，適合各種用戶，包括那些显存较低的用户
  • Automatic 1111：是一個流行的 Stable Diffusion Web UI，它提供了一個直觀且功能豐富的界面，讓用戶能夠輕鬆地使用 Stable Diffusion 模型來生成圖像。以下是 Automatic 1111 的一些主要特色：
    • 用戶友好的界面：Automatic 1111 設計了一個清晰且易於導航的界面，使得用戶即使是初次接觸也能快速上手1。
    • 豐富的功能：除了基本的文本到圖像（txt2img）和圖像到圖像（img2img）模式，Automatic 1111 還提供了許多進階功能，如外繪（Outpainting）、內繪（Inpainting）、顏色素描、提示矩陣（Prompt Matrix）、穩定擴大（Stable Diffusion Upscale）等1。
    • 強大的擴展性：Automatic 1111 支援多種擴展和插件，包括 GFPGAN、CodeFormer、RealESRGAN、ESRGAN、SwinIR 和 Swin2SR 等，這些工具可以用於修復臉部、圖像放大和其他圖像處理任務1。
    • 此外，Automatic 1111 還提供了一鍵安裝和運行腳本，支援在 Windows、Mac 和 Google Colab 上運行，並且有一個活躍的社區，不斷地為其帶來新功能和改進。這使得 Automatic 1111 成為許多進階用戶首選的 Stable Diffusion GUI2。這些特色使得 Automatic 1111 不僅適合創意藝術家和設計師，也適合教育工作者和學生，作為探索 AI 和圖像生成的工具
  • Automatic 1111 DirectML ：是 Automatic 1111 Stable Diffusion Web UI 的一個擴展，它使用 Microsoft DirectML 來在 Windows 平台上優化基礎 Stable Diffusion 模型的執行。這個擴展的主要特色包括：
    • 跨硬件的性能提升：由於 DirectML 能夠在各種 Windows GPU 上運行，因此用戶可以期待在廣泛的加速硬件上獲得性能提速1。
    • 優化的模型執行：這個擴展允許對基礎模型進行優化，以便更有效地利用 DirectML 的能力。這包括轉換模型到 ONNX 格式，並通過 Microsoft 的 Olive 工具進行進一步的優化1。
    • 支持多版本的 Stable Diffusion：目前，這個擴展支持 Stable Diffusion 的 1.5、2.0 和 2.1 版本，使得用戶可以在不同版本之間進行選擇和切換1。
    • 這個擴展特別適合那些在非 CUDA 兼容 GPU 上運行 Automatic 1111 Web UI 的用戶，因為它可以在這些設備上提供更好的性能。此外，這個擴展還提供了一個簡化的安裝和設置過程，使得用戶可以更輕鬆地開始使用 Stable Diffusion2。這些特點使得 Automatic 1111 DirectML 成為一個強大的工具，特別是對於那些希望在 Windows 系統上充分利用 AI 圖像生成能力的用戶。
  • SD Web UI-UX：是一個為 Stable Diffusion 模型設計的高度定制化的網頁界面，它利用強大的 Gradio 函式庫來提供無與倫比的自定義和優化選項。以下是 SD Web UI-UX 的一些主要特色：
    • 優化的 Gradio 樣式：SD Web UI-UX 替換了所有默認的 Gradio 樣式表，以促進組件間更好的視覺一致性。它還消除了 DOM 中的內聯樣式和 Svelte 類，以減少混亂並提高效率1。
    • 微模板引擎：它包含一個多功能的微模板引擎，可以被其他擴展利用。這增加了界面的靈活性，允許用戶根據自己的需求進行更細致的調整1。
    • 用戶友好的配置界面：SD Web UI-UX 提供了一個易於使用的配置界面，用戶可以通過它來自定義主題樣式。此外，它還支持輸入範圍滑塊上的刻度標記，以提高可用性1。
    • 這些特色使得 SD Web UI-UX 成為一個非常適合需要高度定制化界面的用戶的選擇。無論是專業的圖像創作者還是對 AI 圖像生成感興趣的學生和教育工作者，SD Web UI-UX 都能提供一個強大且直觀的工作環境。1
  • SD.Next：是 Stable Diffusion 的一個進階實現版本，它提供了多種後端支援、模型支援和平台支援，以及一系列的優化功能。以下是 SD.Next 的一些主要特色：
    • 多後端支援：SD.Next 支援多種後端，包括 Diffusers 和原始的 Stable Diffusion 實現，允許用戶根據自己的需求選擇合適的後端1。
    • 多模型支援：除了支援原始的 Stable Diffusion 模型，SD.Next 還支援多種其他的擴展模型，如 SD-XL、LCM、Segmind、Kandinsky、Pixart-α、Pixart-Σ、Stable Cascade、Würstchen、aMUSEd、DeepFloyd IF、UniDiffusion、SD-Distilled、BLiP Diffusion、KOALA、SDXS、Hyper-SD 等1。
    • 平台支援：SD.Next 是多平台兼容的，支援 Windows、Linux 和 MacOS，並且可以在 CPU、nVidia、AMD、IntelArc/IPEX、DirectML、OpenVINO、ONNX+Olive 等不同的硬件上運行1。
    • 此外，SD.Next 還提供了優化的處理流程、增強的提示解析器、內置的隊列管理、企業級日誌記錄和 API、自動更新和依賴管理的安裝程序，以及現代化的用戶界面和主題支援。這些特色使得 SD.Next 成為一個功能強大且易於使用的工具，適合需要在不同平台和硬件上運行 Stable Diffusion 的用戶。1
  • Fooocus 系列（包括 Fooocus MRE 和 Fooocus ControlNet）：Fooocus ControlNet 是一個基於 Fooocus、ControlNet、SDXL 和 IP-Adapter 等的免費圖像生成軟件。它在原始 Fooocus 軟件的基礎上增加了更多控制。Fooocus ControlNet 的特色包括：
    • 簡單的用戶界面：Fooocus ControlNet 保持了 Fooocus 的用戶界面，只在輸入圖像/圖像提示/進階中添加了更多選項2。
    • 方便二次開發：Fooocus ControlNet 通過簡單地定義預處理和添加配置文件，簡化了 Fooocus 與 ControlNet 的整合方式2。
    • 即開即用的軟件體驗：Fooocus ControlNet 致力於解決免費軟件在安裝和使用過程中遇到的問題，所有依賴都內建於軟件中2。
    • 這些工具提供了強大的圖像生成和控制能力，適合需要精細控制生成過程的用戶。無論是專業的圖像創作者還是對 AI 圖像生成感興趣的學生和教育工作者，Fooocus 系列都能提供一個強大且直觀的工作環境。3
  • SDXL：是 Stable Diffusion 的一個擴展版本，專為生成高解析度的圖像而設計。以下是 SDXL 的一些主要特色：
    • 高解析度圖像生成：SDXL 能夠輕鬆生成原生解析度達到 1024 x 1024 的圖像，這比原始 Stable Diffusion 模型的 512 x 512 解析度有顯著提升1。
    • 圖像質量優化：SDXL 模型配合細化器對圖像進行最佳化處理，從而提升人物五官、光影等細節的表現，使圖像品質進一步提升1。
    • 安裝與使用簡便：SDXL 的安裝過程簡化，用戶可以通過少數幾步驟完成安裝，並快速開始圖像生成的工作1。
    • SDXL 的這些特點使其成為那些尋求更高圖像質量和解析度的用戶的理想選擇。無論是專業的圖像創作者還是對 AI 圖像生成感興趣的學生和教育工作者，SDXL 都能提供一個強大且直觀的工作環境。1
  • Ruined Fooocus：是一個結合了 Stable Diffusion 和 Midjourney 的特點，旨在為用戶提供一個全新的 AI 藝術創作體驗的圖像生成工具。以下是 Ruined Fooocus 的一些主要特色：
    • 簡化的安裝過程：Ruined Fooocus 通過減少所需的點擊次數來簡化從下載到生成第一張圖像的過程1。
    • 專注於提示和生成：用戶可以專注於提示和圖像，而不需要擔心技術參數，享受人機交互的樂趣1。
    • 獨特的功能：Ruined Fooocus 為進階用戶開發了許多獨特的功能，以獲得完美的結果1。
    • Ruined Fooocus 的這些特點使其成為那些尋求創新和直觀 AI 藝術創作工具的用戶的理想選擇。無論是專業的藝術家還是對 AI 圖像生成感興趣的學生和教育工作者，Ruined Fooocus 都能提供一個強大且直觀的工作環境。1
  • ComfyUI：是一個為 Stable Diffusion 模型設計的強大且模塊化的圖形用戶界面(GUI)和後端系統。它提供了一個基於圖形/節點的界面，讓用戶可以設計和執行複雜的 Stable Diffusion 工作流程，而無需編寫任何代碼。以下是 ComfyUI 的一些主要特色：
    • 節點/圖形/流程圖界面：這個界面允許用戶實驗和創建複雜的 Stable Diffusion 工作流程，提供了豐富的自定義選項1。
    • 支持多種模型：ComfyUI 完全支持 SD1.x、SD2.x、SDXL、Stable Video Diffusion 和 Stable Cascade 等多種模型，增加了使用的靈活性2。
    • 異步隊列系統：它具有一個異步隊列系統，可以只重新執行工作流程中變化的部分，從而提高效率2。
    • 此外，ComfyUI 還提供了許多優化功能，例如低顯存模式、CPU 模式、支持從生成的 PNG 文件中加載完整工作流程，以及保存/加載工作流程為 Json 文件的能力。它還支持區域合成內繪製、ControlNet 和 T2I-Adapter 放大模型、unCLIP 模型等。ComfyUI 的設計旨在提供快速啟動和完全離線工作的能力，不會下載任何內容，確保了使用的安全性和便捷性2。
    • 這些特色使得 ComfyUI 成為一個非常適合需要高度定制化和複雜工作流程的用戶的選擇。無論是專業的圖像創作者還是對 AI 圖像生成感興趣的學生和教育工作者，ComfyUI 都能提供一個強大且直觀的工作環境。1
  • StableSwarmUI：是一個模塊化的 Stable Diffusion Web 用戶界面，它強調易於訪問的強大工具、高性能和可擴展性。以下是 StableSwarmUI 的一些主要特色：
    • 模塊化和可定制：StableSwarmUI 提供了一個模塊化的界面，用戶可以根據自己的需求進行定制和擴展1。
    • 高性能：它利用了強大且可擴展的 ComfyUI 後端，提供了一個完整的基於文本的界面，超越了視覺 UI，並支持多 GPU 和分布式生成功能2。
    • 易於使用：StableSwarmUI 的安裝過程幾乎完全自動化，不需要 Python 知識或文件調試，使得初學者和非技術用戶也能快速啟動他們的創意工具2。
    • 此外，StableSwarmUI 支援新的模型，如 SD3 和 Stable Cascade，並且隨著它走向完全發布，開發者路線圖包括更多的直觀移動格式、動態標籤自定義以及潛在的 LLM 輔助提示集成。作為一個開源項目，StableSwarmUI 不斷從其專職開發者那裡獲得更新，並通過 GitHub 上的透明開發過程尋求反饋和貢獻1。這些特色使得 StableSwarmUI 成為一個非常適合需要高度定制化和複雜工作流程的用戶的選擇。無論是專業的圖像創作者還是對 AI 圖像生成感興趣的學生和教育工作者，StableSwarmUI 都能提供一個強大且直觀的工作環境。1
  • VoltaML：是一個輕量級的開源庫，專門用於將機器學習和深度學習模型轉換並在高性能推理運行時環境中運行，如 TensorRT、TorchScript、ONNX 和 TVM。以下是 VoltaML 的一些主要特色：
    • 高性能推理：VoltaML 可以將模型優化、編譯並部署到目標 CPU 和 GPU 設備上，僅需一行代碼即可完成1。
    • 支持多種量化：VoltaML 支持 FP16 量化和 Int8 量化，以及針對特定硬件的編譯，這有助於提升模型的運行效率和速度1。
    • 易於使用：VoltaML 提供了簡單的安裝過程，並且支持 Docker 容器，使得用戶可以快速開始使用1。
    • 此外，VoltaML 還提供了一系列的示例筆記本，包括對 ResNet-50、DeeplabV3_MobileNet_v3_Large、YOLOv5 和 YOLOv6 等模型的圖像分類、分割和物體檢測的應用。這些特色使得 VoltaML 成為一個非常適合需要在不同硬件上進行高性能推理的用戶的選擇。無論是專業的數據科學家還是對機器學習和深度學習感興趣的學生和教育工作者，VoltaML 都能提供一個強大且直觀的工作環境。1
  • InvokeAI：是一個專為 Stable Diffusion 模型設計的創意引擎，它賦予專業人士、藝術家和愛好者使用最新的 AI 驅動技術來生成和創建視覺媒體的能力。以下是 InvokeAI 的一些主要特色：
    • 領先的 WebUI：InvokeAI 提供了一個業界領先的基於網頁的用戶界面，使得用戶可以通過瀏覽器輕鬆地進行圖像生成和管理1。
    • 支持終端使用：除了 WebUI，InvokeAI 還支持通過命令行界面(CLI)進行操作，為那些偏好或需要腳本化工作流程的用戶提供了便利1。
    • 商業產品基礎：InvokeAI 也是多個商業產品的基礎，這些產品利用 InvokeAI 的技術來提供更專業的服務和解決方案1。
    • 此外，InvokeAI 是一個開源項目，由一個對技術和創意充滿熱情的團隊開發，他們致力於為創意人員和企業構建開源軟件，以利用最新的 AI 視覺媒體創作技術。InvokeAI 的開發受到社區支持和反饋的直接影響，並且鼓勵開發者和創意人員參與到生態系統的建設中來1。這些特色使得 InvokeAI 成為一個非常適合需要在不同平台上進行高性能創意工作的用戶的選擇。無論是專業的數據科學家還是對機器學習和深度學習感興趣的學生和教育工作者，InvokeAI 都能提供一個強大且直觀的工作環境。1
  • Kohya’s GUI：是一個專為 Stable Diffusion 模型設計的圖形用戶界面(GUI)，它提供了一個直觀且功能豐富的界面，讓用戶能夠輕鬆地使用 Stable Diffusion 模型來生成圖像。以下是 Kohya’s GUI 的一些主要特色：
    • 易於安裝和使用：Kohya’s GUI 提供了一個簡化的安裝流程，使得用戶可以快速開始使用 Stable Diffusion 來訓練和生成圖像1。
    • 豐富的功能選項：它包括多種優化器選擇，以及對學習率和其他訓練參數的細致控制，讓用戶可以根據自己的需求進行調整2。
    • 支援多種模型和訓練方式：Kohya’s GUI 支援多種 Stable Diffusion 模型，包括 LoRA 模型，並提供了多種訓練方式，如 LyCORIS Preset，以適應不同的訓練需求1。
    • 此外，Kohya’s GUI 還提供了一個強大的提示詞建檔工具，幫助用戶更有效地創建和管理他們的提示詞。這些特色使得 Kohya’s GUI 成為一個非常適合需要高度定制化和複雜工作流程的用戶的選擇。無論是專業的圖像創作者還是對 AI 圖像生成感興趣的學生和教育工作者，Kohya’s GUI 都能提供一個強大且直觀的工作環境。1
  • OneTrainer：是一個為 Stable Diffusion 模型訓練需求而設計的全面解決方案。它提供了一系列功能，以支援用戶在各種模型上進行訓練和微調。以下是 OneTrainer 的一些主要特色：
    • 支援多種模型：OneTrainer 支援 Stable Diffusion 1.5、2.0、2.1、SDXL、Würstchen-v2、Stable Cascade、PixArt-Alpha 以及修補模型等多種模型格式，包括 diffusers 和 ckpt1。
    • 多樣的訓練方法：提供全面微調、LoRA、嵌入等多種訓練方法，讓用戶可以根據自己的需求選擇合適的訓練方式1。
    • 蒙版訓練：允許訓練專注於樣本的特定部分，並支援圖像增強，如旋轉、亮度、對比度或飽和度的隨機變換，以快速創建更多樣化的數據集1。
    • 此外，OneTrainer 還集成了 Tensorboard 來追踪訓練進度，支援每個圖像樣本的多重提示訓練，並提供自動備份、模型工具和數據集工具，以及在訓練期間不切換應用程序即可對模型進行取樣的取樣 UI。OneTrainer 的設計旨在為用戶提供一個簡單、高效且功能豐富的訓練環境1。這些特色使得 OneTrainer 成為一個非常適合需要在不同模型上進行高性能訓練的用戶的選擇。無論是專業的數據科學家還是對機器學習和深度學習感興趣的學生和教育工作者，OneTrainer 都能提供一個強大且直觀的工作環境。1

各種Package的適用顯卡

  • cpu：可以在只有 CPU 的系統上運行，不需要 GPU 加速。
  • nvidia：支援並優化 NVIDIA 的 GPU，通常會使用 CUDA 進行加速。
  • directML：支援 intel ARC 系列的顯卡，使用 Microsoft 的 DirectML技術，這是一種在 Windows 平台上使用 DirectX 12 進行機器學習推理的 API。
  • AMD(Linux)：指的是套件支援 AMD 的顯卡，或是 Linux 系統下的 AMD 驅動。
  • macos：表示套件可以在 macOS 操作系統上安裝和運行。

使用介面說明

  • 可挑選任一Package 啟動來繪製圖片

  • Package 啟動的上方有三個選項
    • 當更新變成一朵雲，表示有更新可下載
    • 設定齒輪，設定使用CPU/GPU/VRAM大小等選項，有時候無法啟動要確認一下裡面的選項
    • 拼圖外掛，可預先安裝外掛，例如 中文功能表zh-tw、或是 all-in-one 的 Prompt WebUI 介面
  • Interface 是內建的生圖的介面，使用前必須下載至少一個Chechpoint (模型) 並裝好 ComfyUI 介面才能順利使用
  • Checkpoint 會顯示已安裝的繪圖模型
  • Model Browser 會顯示線上所有有的繪圖模型，並提供下載按鍵，有些模型下載需要提供網站的金鑰，請直接在模型網站上登入後，在帳號下方即可找到金鑰產生處，產生金鑰無需繳費，將金鑰貼入設定中的網站連接處即可繼續下載模型。
  • Output Browser 產生的圖片會放置於此處。
  • workflows 以工作流方式處理圖片，可創建設置自己處理圖片的方式。
  • 下載 可看見下載的進度並控制暫停或繼續
  • setting 環境相關設定


安裝錯誤或不可預期問題發生時 

先清除所有下載，開啟power shell 使用  pip cache purge 清除後重新再安裝

沒有留言:

2024年5月16日 星期四

研習上課時快速學習的秘訣

 我個人在學習時跨速提升的筆記法


記下流程和核心及難懂關鍵字
把時間留下來聽懂最重要
回去才整理關鍵字心智圖並弄懂所有上課未懂得部分
(體驗與理解容易內化變長期記憶變經驗>>>知識的記憶要靠背誦)

最後整理好心智圖
不時拿出來用一下修一下瀏覽一下
以提供搜尋回溯的再回想來固化神經連結加深記憶
(SOIL搜尋與回溯使短期記憶變長期記憶+少量多餐的艾森豪斯遺忘曲線應用)

最後然後直接轉化修正成如果我要教學的內容
轉化過程中即是極為有效內化的學習還能融合自身經驗昇華變化
(費曼-知思行學習法)

我是不做五顏六色筆記的實用實戰派
其實那些世俗所謂的筆記
是用來安慰老師那顆不安的心
還有拿來上網賣錢的被動收入

沒有留言:

2024年5月6日 星期一

在 windows 安裝 stable disfussion 來生圖

 在 windows 安裝 stable disfussion 來生圖

  • 安裝顯示卡驅動程式：
    • 確保您的電腦已經安裝最新版的顯示卡驅動程式。Nvidia顯示卡建議使用Geforce Experience安裝最新驅動，這會順便安裝CUDA？我試過幾台電腦不行。應該是要另外下載安裝NVIDIA CUDA。安裝時如果出現問題可能要檢查下列內容：
      • GPU和所選CUDA版本不兼容：請先確認您的GPU是否支持CUDA，然後查看您的顯卡適配的CUDA版本1。
      • 沒有安裝Visual Studio：如果您的電腦沒有安裝Visual Studio，請在安裝CUDA時不要勾選相應的組件（Visual Studio Integration）2。
      • 安裝時CUDA驅動小於當前已經安裝的驅動：在這種情況下，不要選擇安裝驅動程序（勿勾選driver）1。
      • CUDA安裝後找不到安裝文件目錄：這可能是因為將臨時解壓目錄和安裝目錄設置成一樣的了，導致安裝結束後，臨時解壓目錄被刪除，從而安裝目錄也被刪除了。解決方法是將臨時解壓目錄和安裝目錄設置成不一樣的，建議安裝時選擇默認即可。
      • 最簡單的就是用選項安裝，留下CUDA，其他不要裝，避免缺件或是版本衝突，記得重新安裝前先刪除舊安裝的CUDA TOOL KIT，並且指定不同資料夾位置安裝。
    • AMD顯示卡請使用驅動程式自動偵測工具安裝顯示卡驅動。
    • Intel Arc顯示卡請安裝WHQL驅動。
    • 如果你的電腦沒有獨立顯卡還是可以使用請參考老阿貝的影片並下載他做好的批次檔laoabe.zip，於安裝Git和Python之後執行即可。

  • 安裝Git和Python：
    • 下載Git版本管理工具。至Git for Windows (Git for Windows) 下載安裝檔，一直下一步即可。
    • 安裝Python。Stable Diffusion WebUI建議Python版本為3.10.6。請至Python官網 (Python Release Python 3.10.6 | Python.org) 下載Python 3.10.6的64位元安裝檔。安裝前務必勾選Add Python 3.10 to PATH，將Python加到環境變數。
  • 複製Stable Diffusion WebUI儲存庫（可使用老阿貝的laoabe取代流程）：
    • 開啟檔案總管，開好你想安裝的資料夾，路徑不要中文或太長，在資料夾裡面空白處按右鍵＋Shift，點選在這裡開啟Powershell或終端機視窗。
    • 確認一下Python 是否安裝：python --version
    • 確認一下CUDA 是否安裝：nvcc --version
    • 複製Stable Diffusion WebUI的儲存庫(NVIDIA)，這裡不能用資料直接複製的，指令如下：git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
    • AMD顯卡用戶請用這個DirectML的分支：git clone https://github.com/lshqqytiger/stable-diffusion-webui-directml.git
    • Intel Arc顯卡用戶請用這個DirectML的分支：git clone https://github.com/Aloereed/stable-diffusion-webui-arc-directml.git
    • 做完這步驟會多一個 stable-diffusion-webui 資料夾，如果你有在上述網站下載模型檔，將剛剛下載的存檔點模型直接複製放到models\Stable-diffusion資料夾即可使用，所以你可以在網路好的地方去下載想要的模型。
  • 設定啟動命令列引數(獨立顯卡VRAM在6-8G 不用修正設定﹑可使用老阿貝的laoabe取代流程）：
    • VRAM太大或太小的要修正設定檔，對stable-diffusion-webui 資料夾裡面的webui-user.bat按右鍵，以記事本開啟，編輯set COMMANDLINE_ARGS=這一行啟動引數。根據您的顯示卡VRAM大小和電腦RAM大小，選擇合適的啟動引數(6G/8G不用設定)。
      • 基本設定：如果您的顯示卡VRAM在8GB以上，可以使用以下引數來啟用不安全的擴展訪問：set COMMANDLINE_ARGS=--enable-insecure-extension-access
      • 性能優化：如果您的系統內存較小，可以添加--xformers引數來優化內存使用：set COMMANDLINE_ARGS=--xformers
      • 如果您想限制VRAM的使用，可以使用--medvram或--lowvram引數：set COMMANDLINE_ARGS=--medvram 或者 set COMMANDLINE_ARGS=--lowvram
      • 進階設定：如果您需要指定模型的存檔點或配置文件的路徑，可以使用--ckpt和--config引數：set COMMANDLINE_ARGS=--ckpt [模型存檔點路徑] --config [配置文件路徑]
  • 啟動Stable Diffusion WebUI （可使用老阿貝的laoabe取代流程）：
    • 回到終端機，輸入以下指令啟動SD WebUI，先進入安裝目錄：cd stable-diffusion-webui，再執行 ./webui-user.bat。
    • 初次啟動會下載依賴套件，可能需要等待一段時間，要看你的網路速度。
  • 使用WebUI：
    • 啟動完成後會顯示一組網址(http://127.0.0.1:7860/)。用瀏覽器開啟該網址就可進入圖形界面了。
    • 看到以下畫面就恭喜囉

  • 介面中文化：
    • 擴充功能→可用頁籤→本地化勾選拿掉→載入至按鈕→Ctrl+Fn搜尋zh→找到zh-tw的選項按下安裝→至設定頁籤案刷新重新載入UI→左邊找到使用者介面User Interface→上方找到本地化重新整理後選zh_tw→再重新載入UI一次就搞定。
    • 請參考 https://www.youtube.com/watch?v=U6oZFYvP4SM
  • 模組化的提詞外掛：
    • 擴充功能→可用頁籤→載入至按鈕→Ctrl+Fn搜尋關鍵字例如prompt→找到你要的外掛選項按下安裝→至設定頁籤案刷新重新載入UI就搞定。
    • 至於擴充怎麼用法，可以從已安裝之外掛選項中，進入作者下載頁面去看原文說明即可。

使用 stable dusfussion 

  • 教學請參考 https://stable-diffusion-art.com/prompt-guide/

下載模型，關乎繪圖的風格

  • 模型推薦與下載說明：
    • 請參考 https://ivonblog.com/posts/stable-diffusion-webui-download-models/
  • 模型下載：
    • HuggingFace：這是一個類似於GitHub的平台，專門用於AI模型和工具。您可以在這裡找到各種Stable Diffusion模型，並下載.ckpt或.safetensors格式的模型文件。
    • Civitai：(這裡有許多兒童不宜的)這是一個專門分享Stable Diffusion相關資源的網站，提供了許多模型的示範縮圖和用戶分享的提示詞。
  • 模型種類：可參考上述網站比較全面
    • 寫實風模型：例如Chilloutmix、Deliberate和Realistic Vision v6.0，適合生成寫實風格的人物、動物和自然風景1。
    • 動漫風模型：例如Anything萬象熔爐v5、DreamShaper和Waifu Diffusion v1.4，適合創作動漫風格的圖像1。
  • 安裝教學：
    • 下載上述模型文件將它們放置在WebUI儲存庫的/models/Stable-diffusion資料夾中。
    • 運行webui-user.bat文件以啟動WebUI，這個power shell畫面不能關閉。
    • 在瀏覽器中打開本地URL（通常是http://127.0.0.1:7860）以訪問Stable Diffusion的圖形界面2。
  • 使用介面教學：參考這裡
    • txt2img：文生圖
    • img2img：圖生圖
    • 附加功能：依需求優化單一或批次影像
    • 圖片資訊：圖片分析
    • 模型權重存檔點合併
    • 訓練：訓練客製化模型
    • 設定：系統相關設定
    • 擴充：安裝外掛插件，例如介面中文化等
  • 使用教學：參考這裡
    • 在Web 介面中，左上方 Stable Diffusion checkpoint 即可選擇模型使用
    • 格式：
      • 權重控制：建議使用“關鍵字：1.2”取代()[]{}
      • coffee cake 會被理解為咖啡和蛋糕，coffee_cake則是咖啡蛋糕
      • 後段才開始生成採樣 [flower:0.7](或雙冒號)先生成整個畫面後端才生出花可以控制花朵出現的比例
      • [石頭：花朵：0.7]石頭為主佔0.7花朵點綴佔0.3
      • 女孩頭髮[紅色|藍色]，紅藍色交替採樣
    • prompt與推薦格式：直接形容圖片、上網抄題示詞、安裝提示詞模組...皆可
      • 提升畫質：
        • 傑作[masterpiece:1.2]、最佳品質best quality、高分辨率highres、極俱細節extremely detailed CG、完美光影perfect lighting、8K wallpaper，
        • 人物真實系：photograph，photorealistic，
        • 插畫類：illustration，painting，paintbrush，
        • 二次元漫畫：anime，comic，game CG，
        • 3D場景：3D、C4D render，unreal engine，octane render
      • 畫風：cyberpunk,8bit/16bit pixel,studio ghibli(宮崎駿),pixel style,chinese ink style
      • 畫面主體：描述人物、年齡、髮型、頭髮顏色、情緒表情、衣服裝束、正在做甚麼
      • 環境場景燈光構圖：如下雨天的咖啡廳、正面視覺、人物特寫
      • Lora：對加載外掛需要觸發的關鍵字
      • 負面提詞：
        • 通用的負面提詞即可
        • NSFW公共場合不適合的圖片
      • 可以儲存關鍵詞下次直接調用再修改

必裝外掛

  • One Button Prompt 懶人包，安裝後下方指令碼選向下直接調用，依序選擇即可，載入位置 https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui-extensions/master/index.json
  • prompt-all-in-one，在提示詞區域下方直接出現提示詞標籤，可以直接輸入中文的形容，然後按翻譯即可產生對應提示詞，或是在右方欄位直接輸入中文形容也行，載入位置https://github.com/Physton/sd-webui-prompt-all-in-one.git
  • Subject Types設定繪畫項目：在Subject Types 可以選擇humanoid(人物)、animal動物、landscape景觀、concept概念
  • 調整啟用外掛後要重新啟動介面才會生效
  • 不要用的外掛在stable-diffusion-webui\extensions資料夾中直接刪除即可
  • NVIDIA RTX 系列顯卡可安裝 TensorRT 加速
  • 參考Stable Diffusion提示词全攻略，必备提示词插件，关键词字符解析，写Prompt神器 (youtube.com)

其他參考

沒有留言:

2024年5月2日 星期四

Ubuntu24.04安裝與大模型測試

24.04聽說核心大改還支援10年

  1. 一樣先做Ventoy萬用USB開機碟
  2. 下載Ubuntu24.04的影像ISO檔存在Ventoy 開機USB裡
  3. 電腦重新開機並選擇由USB磁碟開機
  4. 進入Ventoy系統選Ubuntu24.04進入使用或安裝Ubuntu選項
  5. 進入Ubuntu桌面依指示安裝即可


相關問題：

如果你的電腦只出現桌面其餘甚麼都沒有，那應該是預設了雙螢幕，你的螢幕出現第二螢幕，所以在空白處按右鍵選視窗內容設定改回鏡像設置即可，這問題會發生在N5095這種特殊的小主機，內建液晶螢幕排線接口被設為預設的關係

中文處理

原則上23.04/23.10裝好就會有不用處理，但是24.04必須安裝酷音輸入法sudo apt-get install fcitx fcitx-chewing，並到設定的地區語言中安裝選用繁體中文套件與fcix輸入法，每次設定都要重開機或登出登入，之後就會出現在右上角，可用shift+space切換

大模型

  • ollama 可在軟體庫直接安裝。
  • jan要至官網下載deb,安裝.deb套件,sudo dpkg -i XXXX.deb,如果出現依賴性錯誤，使用以下命令解決 sudo apt install -f。
  • gpt4all要至官網下載.run安裝檔,首先您需要給.run文件賦予可執行權限。打開終端，並使用以下命令chmod +x XXXX.run，然後在文件所在的目錄下執行該文件 ./XXXX.run。(目前失敗)
  • lm-studio官網下載.appleimage，並安裝Appleimage launcher，使用sudo dpkg -i appimageXXXX.deb，之後就可以載XXX.appleimage上直接點選安裝。(目前可以安裝但點選啟動後無反應)


沒有留言:

2024年5月1日 星期三

我的設備可以跑甚麼大模型測試

Lenovo小新 AMD 5500U6核12序 16GRAM 內顯 強制VRAM2G系統RAM剩13.8G  使用lm-studio作為大模型容器測試

7B4.92G dolphin-2.9-llama3-8b-q4_K_M.gguf  GPU加速全開，記憶體用盡16G，GPU80%，CPU75%，可用但速度緩慢

7B8.54G Llama3-8B-Chinese-Chat-q8-v2.gguf   GPU加速全開無法載入，開16，記憶體用盡16G，RAM13.8G VRAM近日2G，GPU90%，CPU80%，可用但速度極為緩慢，GPU加速若是開至24，載入就會非常的久，問答時CPU記憶體全爆，等很久不見答案，風扇狂轉極度LAG然後幾分鐘後當機；GPU加速設為0，CPU90%GPU70%，RAM全滿 VRAM1G2G左右跳動，但是反而反應會比上面好很多，所以若是VRAM不足時，反而全部Off-Load稍微順暢

7B8.54G  Llama3-TAIDE-LX-8B-Chat-Alpha1-Q8_0.gguf 跟上面幾乎是一樣，不過感覺比較稍稍順暢些

7B6.6G  Llama3-TAIDE-LX-8B-Chat-Alpha1-Q6_K.gguf   GPU加速設0，RAM占滿，VRAM用一點點，使用時僅CPU90%運作GPU似乎沒在運作，但速度可以接受，GPU加速設16，RAM到12G，VRAM全滿，CPU60%GPU90%運作，速度稍慢

13B5.66G   Taiwan-LLaMa-13b-1.0.Q3_K_S.gguf  GPU加速16，RAM占12G，VRAM全滿，使用時僅CPU80%運作GPU70%運作，但速度極為緩慢，GPU加速設16，RAM到12G，VRAM全滿，CPU60%GPU90%運作，速度稍慢，GPU加速off-load0，情況類似但回答雞同鴨講

7B4.69G  Llama3-TAIDE-LX-8B-Chat-Alpha1-Q4_K_S.gguf   GPU加速0，跑起來順暢，加速16反而變慢

從以上測試看起來，這台電腦的效能大約僅能夠跑得動7B資料量Q6版本模型已是極限，VRAM若是不足，則要調降GPU加速的比率，讓CPU和GPU兩邊使用率差不多的話，可以達到較好的效能。用Q4版本免GPU加速則是順暢許多。

但是如果用內顯，會因為內顯很弱拖慢整體效能，或是VRAM 很低的低階顯卡，還不如全部 off load 直接用CPU 和記憶體來跑還比較快。

使用Jan容器測試

llama3 8BQ4 版本或是Qwn 7BQ4，加速器有選項可選應該是有可能支援各獨顯，但這台內顯所以選項不給選，全使用CPU跑，過程尚堪順暢可用

使用GPT4ALL容器測試

8B4.3G llama 3 TAIDE Q4版本，可以選支援的獨顯或GPU選項有可能支援各獨顯，CPU還能選使用多少執行序，過程順暢可用，每秒約5字

========================================================================================

桌機 i7-8700K(6核12序)/GTX-1060/6G  16GRAM 

使用lm-studio作為大模型容器測試

7B8.54G llama3 TAIDE 7BQ8 版本，GPU Off-load0，完全使用CPU運作，RAM吃滿15.2G，GPU沒動作VRAM沒加載，反應速度尚稱順暢可執行，看來若無獨顯只要CPU多核速度快也是多少可以玩大模型；GPU調加速到20，RAM吃滿15.6G，VRAM用滿5.8G，CPU60%GPU25%，速度比剛剛稍微快些調到204就會顯示超過VRAM。

13B5.66G taiwan LLM Q3_ks 版本， GPU Off-load0，完全使用CPU運作，RAM吃滿14.7G，GPU動一下就沒再動過VRAM沒加載，反應速度慢約每秒2-3字；GPU調加速到20，RAM吃滿13.2G，VRAM用滿5.6G，CPU60%GPU98%，速度比剛剛稍微快些，Q5 GPU off-load15 VRAM5.7G RAM15.4G CPU70% GPU80% 約每秒1字，極限大約是這樣，電腦數度Lag，還是在Q3就好

========================================================================================

桌機 E5-2680(14核28序)/RTX-3070Ti/8G /32GRAM 

使用lm-studio作為大模型容器測試

8B5.73G的Q5版本 Meta-Llama-3-8B-Instruct-Q5_K_M.gguf

  • GPU Off-load0，完全使用CPU運作，RAM13G，反應速度還行，目測約每秒7字；
  • GPU全數加入加速，，RAM吃12.7G，VRAM用7.5G，CPU12%GPU90%，速度極快，大約每秒40中文字左右，比我去APPLE商店試用的Mac Studio M2 64G還要快

8B8.54G的Q8版本 Meta-Llama-3-8B-Instruct-Q8_0.gguf

  • GPU Off-load0，完全使用CPU運作，RAM15G，CPU60%，他想了一下大約半分鐘才回答，反應速度還行，目測約每秒7字；
  • GPU load 24/32 加入加速(全部加入爆顯存)，RAM吃15.7G，VRAM用7.5G，CPU42%GPU30%，速度極快，大約每秒15中文字左右。

13B8.97G的Q5版本 Taiwan-LLM-13B-v2.0-chat-Q5_0.gguf

  • GPU load 30/40 加入加速(全部加入爆顯存)，RAM吃21.4G，VRAM用7.7G，CPU35%GPU26%，速度可以大約每秒4中文字左右。

13B13.83G的Q8版本 Taiwan-LLM-13B-v2.0-chat-Q8_0.gguf

  • GPU Off-load 10，VRAM6.8，RAM25G，GPU30%、CPU50，目測約每秒3字；

70B15.4G的IQ1版本 Meta-Llama-3-70B-Instruct.IQ1_S.gguf

  • GPU Off-load0，完全使用CPU運作，RAM21.2G，CPU68%，他想了大約8分鐘都沒回答我我就放棄了
  • GPU load 40/80 加入加速(全部加入爆顯存)，RAM吃23G，VRAM用7.7G，CPU10%GPU99%，我等1分鐘後才回答，目測每秒不到2字
  • GPU load 30/80 加入加速(全部加入爆顯存)，RAM吃21.3G，VRAM用7.5G，CPU57%GPU15%，每秒目測3字

結論

  1. 沒有獨顯或是獨顯很低階也可以玩大模型(7BQ4就好)，記憶體要大速度要快越好，核心當然越多越好，全部off load只用CPU也許比較快。
  2. 有獨顯的明顯比較快(7BQ8或13BQ3就好)，超過VRAM大小的大模型，使用GPU Off-load儘量調到VRAM占用最大以儘可能的加速。
  3. 模型世代越新越聰明，例如LLM3>LLM2，模型資料量大越聰明，例如13B>7B，版本越高越聰明，例如Q8>Q4，但聰明和設備需求成正比。
  4. 所以有獨顯的話VRAM越大越好，RAM儘量加到滿，再來考慮要甚麼等級。
  5. VRAM<8G玩玩8B的llm3 Q8即可，不要碰70B的。
  6. 能夠全部load進入VRAM加入GPU加速的話，效率會是最好的，部分分到RAM中調用的就會效率低落很明顯。
  7. 基本上llama3 taide已經是可以接受的聰明程度，而一般的輕筆電5500U/16G 已經勉強可執行Q8。
  8. 因此，想很順體驗的話最便宜的選項應該會是
    • 現有設備免花錢玩小模型(完全不想問，超笨)。
    • 對岸撿垃圾，E5 26XX+X99的伺服器主板，記憶體儘量加到32G以上(不快但可玩小模型8BQ8能玩僅是速度稍慢)。
    • 其次是一般PC+RAM+大VRAM的獨顯(例如：N卡最沒問題4060Ti16G、也可以考慮對岸退下來的特斯拉M40/24G便宜大容量(設定比較麻煩)、或是 Intel ARC A770/16G(怕軟體有的限制N卡沒法加速))。
    • 最後是電競筆電記憶體加滿(可惜VRAM被限制住可玩性不如PC)
  1. 再來是想玩較大模型的高階用戶，或是架站分享專業用途的
    • Mac studio 或 Mac PRO/Ultra，記憶體加滿的性價比高，省電高效。
    • 最厲害的還是高階伺服器PC+多張特斯拉顯卡並行，費電超高效，$要超級多。






沒有留言:
訂閱： 文章 (Atom)