研習上課時快速學習的秘訣

 我個人在學習時跨速提升的筆記法

記下流程和核心及難懂關鍵字
把時間留下來聽懂最重要
回去才整理關鍵字心智圖並弄懂所有上課未懂得部分
(體驗與理解容易內化變長期記憶變經驗>>>知識的記憶要靠背誦)

最後整理好心智圖
不時拿出來用一下修一下瀏覽一下
以提供搜尋回溯的再回想來固化神經連結加深記憶
(SOIL搜尋與回溯使短期記憶變長期記憶+少量多餐的艾森豪斯遺忘曲線應用)

最後然後直接轉化修正成如果我要教學的內容
轉化過程中即是極為有效內化的學習還能融合自身經驗昇華變化
(費曼-知思行學習法)

我是不做五顏六色筆記的實用實戰派
其實那些世俗所謂的筆記
是用來安慰老師那顆不安的心
還有拿來上網賣錢的被動收入

在 windows 安裝 stable disfussion 來生圖

 在 windows 安裝 stable disfussion 來生圖

• 安裝顯示卡驅動程式：
• 確保您的電腦已經安裝最新版的顯示卡驅動程式。Nvidia顯示卡建議使用Geforce Experience安裝最新驅動，這會順便安裝CUDA？我試過幾台電腦不行。應該是要另外下載安裝NVIDIA CUDA。安裝時如果出現問題可能要檢查下列內容：
• GPU和所選CUDA版本不兼容：請先確認您的GPU是否支持CUDA，然後查看您的顯卡適配的CUDA版本1。
• 沒有安裝Visual Studio：如果您的電腦沒有安裝Visual Studio，請在安裝CUDA時不要勾選相應的組件（Visual Studio Integration）2。
• 安裝時CUDA驅動小於當前已經安裝的驅動：在這種情況下，不要選擇安裝驅動程序（勿勾選driver）1。
• CUDA安裝後找不到安裝文件目錄：這可能是因為將臨時解壓目錄和安裝目錄設置成一樣的了，導致安裝結束後，臨時解壓目錄被刪除，從而安裝目錄也被刪除了。解決方法是將臨時解壓目錄和安裝目錄設置成不一樣的，建議安裝時選擇默認即可。
• 最簡單的就是用選項安裝，留下CUDA，其他不要裝，避免缺件或是版本衝突，記得重新安裝前先刪除舊安裝的CUDA TOOL KIT，並且指定不同資料夾位置安裝。
• AMD顯示卡請使用驅動程式自動偵測工具安裝顯示卡驅動。
• Intel Arc顯示卡請安裝WHQL驅動。
• 如果你的電腦沒有獨立顯卡還是可以使用請參考老阿貝的影片並下載他做好的批次檔laoabe.zip，於安裝Git和Python之後執行即可。

• 安裝Git和Python：
• 下載Git版本管理工具。至Git for Windows (Git for Windows) 下載安裝檔，一直下一步即可。
• 安裝Python。Stable Diffusion WebUI建議Python版本為3.10.6。請至Python官網 (Python Release Python 3.10.6 | Python.org) 下載Python 3.10.6的64位元安裝檔。安裝前務必勾選Add Python 3.10 to PATH，將Python加到環境變數。
• 複製Stable Diffusion WebUI儲存庫（可使用老阿貝的laoabe取代流程）：
• 開啟檔案總管，開好你想安裝的資料夾，路徑不要中文或太長，在資料夾裡面空白處按右鍵＋Shift，點選在這裡開啟Powershell或終端機視窗。
• 確認一下Python 是否安裝：python --version
• 確認一下CUDA 是否安裝：nvcc --version
• 複製Stable Diffusion WebUI的儲存庫(NVIDIA)，這裡不能用資料直接複製的，指令如下：git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
• AMD顯卡用戶請用這個DirectML的分支：git clone https://github.com/lshqqytiger/stable-diffusion-webui-directml.git
• Intel Arc顯卡用戶請用這個DirectML的分支：git clone https://github.com/Aloereed/stable-diffusion-webui-arc-directml.git
• 做完這步驟會多一個 stable-diffusion-webui 資料夾，如果你有在上述網站下載模型檔，將剛剛下載的存檔點模型直接複製放到models\Stable-diffusion資料夾即可使用，所以你可以在網路好的地方去下載想要的模型。
• 設定啟動命令列引數(獨立顯卡VRAM在6-8G 不用修正設定﹑可使用老阿貝的laoabe取代流程）：
• VRAM太大或太小的要修正設定檔，對stable-diffusion-webui 資料夾裡面的webui-user.bat按右鍵，以記事本開啟，編輯set COMMANDLINE_ARGS=這一行啟動引數。根據您的顯示卡VRAM大小和電腦RAM大小，選擇合適的啟動引數(6G/8G不用設定)。
• 基本設定：如果您的顯示卡VRAM在8GB以上，可以使用以下引數來啟用不安全的擴展訪問：set COMMANDLINE_ARGS=--enable-insecure-extension-access
• 性能優化：如果您的系統內存較小，可以添加--xformers引數來優化內存使用：set COMMANDLINE_ARGS=--xformers
• 如果您想限制VRAM的使用，可以使用--medvram或--lowvram引數：set COMMANDLINE_ARGS=--medvram 或者 set COMMANDLINE_ARGS=--lowvram
• 進階設定：如果您需要指定模型的存檔點或配置文件的路徑，可以使用--ckpt和--config引數：set COMMANDLINE_ARGS=--ckpt [模型存檔點路徑] --config [配置文件路徑]
• 啟動Stable Diffusion WebUI （可使用老阿貝的laoabe取代流程）：
• 回到終端機，輸入以下指令啟動SD WebUI，先進入安裝目錄：cd stable-diffusion-webui，再執行 ./webui-user.bat。
• 初次啟動會下載依賴套件，可能需要等待一段時間，要看你的網路速度。
• 使用WebUI：
• 啟動完成後會顯示一組網址(http://127.0.0.1:7860/)。用瀏覽器開啟該網址就可進入圖形界面了。
• 看到以下畫面就恭喜囉

• 介面中文化：
• 擴充功能→可用頁籤→本地化勾選拿掉→載入至按鈕→Ctrl+Fn搜尋zh→找到zh-tw的選項按下安裝→至設定頁籤案刷新重新載入UI→左邊找到使用者介面User Interface→上方找到本地化重新整理後選zh_tw→再重新載入UI一次就搞定。
• 請參考 https://www.youtube.com/watch?v=U6oZFYvP4SM
• 模組化的提詞外掛：
• 擴充功能→可用頁籤→載入至按鈕→Ctrl+Fn搜尋關鍵字例如prompt→找到你要的外掛選項按下安裝→至設定頁籤案刷新重新載入UI就搞定。
• 至於擴充怎麼用法，可以從已安裝之外掛選項中，進入作者下載頁面去看原文說明即可。

使用 stable dusfussion 

• 教學請參考 https://stable-diffusion-art.com/prompt-guide/

下載模型，關乎繪圖的風格

• 模型推薦與下載說明：
• 請參考 https://ivonblog.com/posts/stable-diffusion-webui-download-models/
• 模型下載：
• HuggingFace：這是一個類似於GitHub的平台，專門用於AI模型和工具。您可以在這裡找到各種Stable Diffusion模型，並下載.ckpt或.safetensors格式的模型文件。
• Civitai：(這裡有許多兒童不宜的)這是一個專門分享Stable Diffusion相關資源的網站，提供了許多模型的示範縮圖和用戶分享的提示詞。

• 模型種類：可參考上述網站比較全面
• 寫實風模型：例如Chilloutmix、Deliberate和Realistic Vision v6.0，適合生成寫實風格的人物、動物和自然風景1。
• 動漫風模型：例如Anything萬象熔爐v5、DreamShaper和Waifu Diffusion v1.4，適合創作動漫風格的圖像1。

• 安裝教學：
• 下載上述模型文件將它們放置在WebUI儲存庫的/models/Stable-diffusion資料夾中。
• 運行webui-user.bat文件以啟動WebUI，這個power shell畫面不能關閉。
• 在瀏覽器中打開本地URL（通常是http://127.0.0.1:7860）以訪問Stable Diffusion的圖形界面2。
• 使用介面教學：參考這裡
• txt2img：文生圖
• img2img：圖生圖
• 附加功能：依需求優化單一或批次影像
• 圖片資訊：圖片分析
• 模型權重存檔點合併
• 訓練：訓練客製化模型
• 設定：系統相關設定
• 擴充：安裝外掛插件，例如介面中文化等
• 使用教學：參考這裡
• 在Web 介面中，左上方 Stable Diffusion checkpoint 即可選擇模型使用
• 格式：
• 權重控制：建議使用“關鍵字：1.2”取代()[]{}
• coffee cake 會被理解為咖啡和蛋糕，coffee_cake則是咖啡蛋糕
• 後段才開始生成採樣 [flower:0.7](或雙冒號)先生成整個畫面後端才生出花可以控制花朵出現的比例
• [石頭：花朵：0.7]石頭為主佔0.7花朵點綴佔0.3
• 女孩頭髮[紅色|藍色]，紅藍色交替採樣
• prompt與推薦格式：直接形容圖片、上網抄題示詞、安裝提示詞模組...皆可
• 提升畫質：
• 傑作[masterpiece:1.2]、最佳品質best quality、高分辨率highres、極俱細節extremely detailed CG、完美光影perfect lighting、8K wallpaper，
• 人物真實系：photograph，photorealistic，
• 插畫類：illustration，painting，paintbrush，
• 二次元漫畫：anime，comic，game CG，
• 3D場景：3D、C4D render，unreal engine，octane render
• 畫風：cyberpunk,8bit/16bit pixel,studio ghibli(宮崎駿),pixel style,chinese ink style
• 畫面主體：描述人物、年齡、髮型、頭髮顏色、情緒表情、衣服裝束、正在做甚麼
• 環境場景燈光構圖：如下雨天的咖啡廳、正面視覺、人物特寫
• Lora：對加載外掛需要觸發的關鍵字
• 負面提詞：
• 通用的負面提詞即可
• NSFW公共場合不適合的圖片
• 可以儲存關鍵詞下次直接調用再修改

必裝外掛

• One Button Prompt 懶人包，安裝後下方指令碼選向下直接調用，依序選擇即可，載入位置 https://raw.githubusercontent.com/AUTOMATIC1111/stable-diffusion-webui-extensions/master/index.json
• prompt-all-in-one，在提示詞區域下方直接出現提示詞標籤，可以直接輸入中文的形容，然後按翻譯即可產生對應提示詞，或是在右方欄位直接輸入中文形容也行，載入位置https://github.com/Physton/sd-webui-prompt-all-in-one.git
• Subject Types設定繪畫項目：在Subject Types 可以選擇humanoid(人物)、animal動物、landscape景觀、concept概念
• 調整啟用外掛後要重新啟動介面才會生效
• 不要用的外掛在stable-diffusion-webui\extensions資料夾中直接刪除即可
• NVIDIA RTX 系列顯卡可安裝 TensorRT 加速
• 參考Stable Diffusion提示词全攻略，必备提示词插件，关键词字符解析，写Prompt神器 (youtube.com)

其他參考

• 提示詞攻略
• 老阿貝的安裝方式比較簡單，而且沒有獨顯也可用：
• 參考影片：https://www.youtube.com/watch?v=rSVdLfwtYbU
• 一樣先安裝Git和Python3.10.6。
• 下載老阿貝寫好的批次檔，下載位置：https://drive.google.com/file/d/1qG9ROQg1C87bKpJJ73-PQ-DEWjabt7G_/view。
• 解壓縮，安裝 lab_star_install 即可，第一次會比較久，沒有顯卡的請用webui-noNV設定後再來啟動。
• 安裝好的資料夾會在桌面上，可直接將外掛和模型複製進去。
• 網路上還有其他一鍵配置或懶人包的方式也可以參考。
• NMKD diffusion 安裝：
• 比較簡易的安裝方式，也有提供內顯記憶體設定方式
• 參考網址：https://unikoshardware.com/2023/02/nmkd-stable-diffusion-gui-v1-9-1.html
• 安裝後如果毀損無法啟動可以試試：
• pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 --no-cache-dir
• python -m pip install --upgrade pip
• EASY Diffusion
• https://www.youtube.com/watch?v=iKD5QfP2-rI
  
• StabilityMatrix
• https://github.com/LykosAI/StabilityMatrix
• https://github.com/EmpireMediaScience/A1111-Web-UI-Installer

Ubuntu24.04安裝與大模型測試

24.04聽說核心大改還支援10年

1. 一樣先做Ventoy萬用USB開機碟
2. 下載Ubuntu24.04的影像ISO檔存在Ventoy 開機USB裡
3. 電腦重新開機並選擇由USB磁碟開機
4. 進入Ventoy系統選Ubuntu24.04進入使用或安裝Ubuntu選項
5. 進入Ubuntu桌面依指示安裝即可

相關問題：

如果你的電腦只出現桌面其餘甚麼都沒有，那應該是預設了雙螢幕，你的螢幕出現第二螢幕，所以在空白處按右鍵選視窗內容設定改回鏡像設置即可，這問題會發生在N5095這種特殊的小主機，內建液晶螢幕排線接口被設為預設的關係

中文處理

原則上23.04/23.10裝好就會有不用處理，但是24.04必須安裝酷音輸入法sudo apt-get install fcitx fcitx-chewing，並到設定的地區語言中安裝選用繁體中文套件與fcix輸入法，每次設定都要重開機或登出登入，之後就會出現在右上角，可用shift+space切換

大模型

• ollama 可在軟體庫直接安裝。
• jan要至官網下載deb,安裝.deb套件,sudo dpkg -i XXXX.deb,如果出現依賴性錯誤，使用以下命令解決 sudo apt install -f。
• gpt4all要至官網下載.run安裝檔,首先您需要給.run文件賦予可執行權限。打開終端，並使用以下命令chmod +x XXXX.run，然後在文件所在的目錄下執行該文件 ./XXXX.run。(目前失敗)
• lm-studio官網下載.appleimage，並安裝Appleimage launcher，使用sudo dpkg -i appimageXXXX.deb，之後就可以載XXX.appleimage上直接點選安裝。(目前可以安裝但點選啟動後無反應)

我的設備可以跑甚麼大模型測試

Lenovo小新 AMD 5500U6核12序 16GRAM 內顯 強制VRAM2G系統RAM剩13.8G  使用lm-studio作為大模型容器測試

7B4.92G dolphin-2.9-llama3-8b-q4_K_M.gguf  GPU加速全開，記憶體用盡16G，GPU80%，CPU75%，可用但速度緩慢

7B8.54G Llama3-8B-Chinese-Chat-q8-v2.gguf   GPU加速全開無法載入，開16，記憶體用盡16G，RAM13.8G VRAM近日2G，GPU90%，CPU80%，可用但速度極為緩慢，GPU加速若是開至24，載入就會非常的久，問答時CPU記憶體全爆，等很久不見答案，風扇狂轉極度LAG然後幾分鐘後當機；GPU加速設為0，CPU90%GPU70%，RAM全滿 VRAM1G2G左右跳動，但是反而反應會比上面好很多，所以若是VRAM不足時，反而全部Off-Load稍微順暢

7B8.54G  Llama3-TAIDE-LX-8B-Chat-Alpha1-Q8_0.gguf 跟上面幾乎是一樣，不過感覺比較稍稍順暢些

7B6.6G  Llama3-TAIDE-LX-8B-Chat-Alpha1-Q6_K.gguf   GPU加速設0，RAM占滿，VRAM用一點點，使用時僅CPU90%運作GPU似乎沒在運作，但速度可以接受，GPU加速設16，RAM到12G，VRAM全滿，CPU60%GPU90%運作，速度稍慢

13B5.66G   Taiwan-LLaMa-13b-1.0.Q3_K_S.gguf  GPU加速16，RAM占12G，VRAM全滿，使用時僅CPU80%運作GPU70%運作，但速度極為緩慢，GPU加速設16，RAM到12G，VRAM全滿，CPU60%GPU90%運作，速度稍慢，GPU加速off-load0，情況類似但回答雞同鴨講

7B4.69G  Llama3-TAIDE-LX-8B-Chat-Alpha1-Q4_K_S.gguf   GPU加速0，跑起來順暢，加速16反而變慢

從以上測試看起來，這台電腦的效能大約僅能夠跑得動7B資料量Q6版本模型已是極限，VRAM若是不足，則要調降GPU加速的比率，讓CPU和GPU兩邊使用率差不多的話，可以達到較好的效能。用Q4版本免GPU加速則是順暢許多。

但是如果用內顯，會因為內顯很弱拖慢整體效能，或是VRAM 很低的低階顯卡，還不如全部 off load 直接用CPU 和記憶體來跑還比較快。

使用Jan容器測試

llama3 8BQ4 版本或是Qwn 7BQ4，加速器有選項可選應該是有可能支援各獨顯，但這台內顯所以選項不給選，全使用CPU跑，過程尚堪順暢可用

使用GPT4ALL容器測試

8B4.3G llama 3 TAIDE Q4版本，可以選支援的獨顯或GPU選項有可能支援各獨顯，CPU還能選使用多少執行序，過程順暢可用，每秒約5字

========================================================================================

桌機 i7-8700K(6核12序)/GTX-1060/6G  16GRAM 

使用lm-studio作為大模型容器測試

7B8.54G llama3 TAIDE 7BQ8 版本，GPU Off-load0，完全使用CPU運作，RAM吃滿15.2G，GPU沒動作VRAM沒加載，反應速度尚稱順暢可執行，看來若無獨顯只要CPU多核速度快也是多少可以玩大模型；GPU調加速到20，RAM吃滿15.6G，VRAM用滿5.8G，CPU60%GPU25%，速度比剛剛稍微快些調到204就會顯示超過VRAM。

13B5.66G taiwan LLM Q3_ks 版本， GPU Off-load0，完全使用CPU運作，RAM吃滿14.7G，GPU動一下就沒再動過VRAM沒加載，反應速度慢約每秒2-3字；GPU調加速到20，RAM吃滿13.2G，VRAM用滿5.6G，CPU60%GPU98%，速度比剛剛稍微快些，Q5 GPU off-load15 VRAM5.7G RAM15.4G CPU70% GPU80% 約每秒1字，極限大約是這樣，電腦數度Lag，還是在Q3就好

========================================================================================

桌機 E5-2680(14核28序)/RTX-3070Ti/8G /32GRAM 

使用lm-studio作為大模型容器測試

8B5.73G的Q5版本 Meta-Llama-3-8B-Instruct-Q5_K_M.gguf

• GPU Off-load0，完全使用CPU運作，RAM13G，反應速度還行，目測約每秒7字；
• GPU全數加入加速，，RAM吃12.7G，VRAM用7.5G，CPU12%GPU90%，速度極快，大約每秒40中文字左右，比我去APPLE商店試用的Mac Studio M2 64G還要快

8B8.54G的Q8版本 Meta-Llama-3-8B-Instruct-Q8_0.gguf

• GPU Off-load0，完全使用CPU運作，RAM15G，CPU60%，他想了一下大約半分鐘才回答，反應速度還行，目測約每秒7字；
• GPU load 24/32 加入加速(全部加入爆顯存)，RAM吃15.7G，VRAM用7.5G，CPU42%GPU30%，速度極快，大約每秒15中文字左右。

13B8.97G的Q5版本 Taiwan-LLM-13B-v2.0-chat-Q5_0.gguf

• GPU load 30/40 加入加速(全部加入爆顯存)，RAM吃21.4G，VRAM用7.7G，CPU35%GPU26%，速度可以大約每秒4中文字左右。

13B13.83G的Q8版本 Taiwan-LLM-13B-v2.0-chat-Q8_0.gguf

• GPU Off-load 10，VRAM6.8，RAM25G，GPU30%、CPU50，目測約每秒3字；

70B15.4G的IQ1版本 Meta-Llama-3-70B-Instruct.IQ1_S.gguf

• GPU Off-load0，完全使用CPU運作，RAM21.2G，CPU68%，他想了大約8分鐘都沒回答我我就放棄了
• GPU load 40/80 加入加速(全部加入爆顯存)，RAM吃23G，VRAM用7.7G，CPU10%GPU99%，我等1分鐘後才回答，目測每秒不到2字
• GPU load 30/80 加入加速(全部加入爆顯存)，RAM吃21.3G，VRAM用7.5G，CPU57%GPU15%，每秒目測3字

結論

1. 沒有獨顯或是獨顯很低階也可以玩大模型(7BQ4就好)，記憶體要大速度要快越好，核心當然越多越好，全部off load只用CPU也許比較快。
2. 有獨顯的明顯比較快(7BQ8或13BQ3就好)，超過VRAM大小的大模型，使用GPU Off-load儘量調到VRAM占用最大以儘可能的加速。
3. 模型世代越新越聰明，例如LLM3>LLM2，模型資料量大越聰明，例如13B>7B，版本越高越聰明，例如Q8>Q4，但聰明和設備需求成正比。
4. 所以有獨顯的話VRAM越大越好，RAM儘量加到滿，再來考慮要甚麼等級。
5. VRAM<8G玩玩8B的llm3 Q8即可，不要碰70B的。
6. 能夠全部load進入VRAM加入GPU加速的話，效率會是最好的，部分分到RAM中調用的就會效率低落很明顯。
7. 基本上llama3 taide已經是可以接受的聰明程度，而一般的輕筆電5500U/16G 已經勉強可執行Q8。
8. 因此，想很順體驗的話最便宜的選項應該會是

• 現有設備免花錢玩小模型(完全不想問，超笨)。
• 對岸撿垃圾，E5 26XX+X99的伺服器主板，記憶體儘量加到32G以上(不快但可玩小模型8BQ8能玩僅是速度稍慢)。
• 其次是一般PC+RAM+大VRAM的獨顯(例如：N卡最沒問題4060Ti16G、也可以考慮對岸退下來的特斯拉M40/24G便宜大容量(設定比較麻煩)、或是 Intel ARC A770/16G(怕軟體有的限制N卡沒法加速))。
• 最後是電競筆電記憶體加滿(可惜VRAM被限制住可玩性不如PC)

1. 再來是想玩較大模型的高階用戶，或是架站分享專業用途的

• Mac studio 或 Mac PRO/Ultra，記憶體加滿的性價比高，省電高效。
• 最厲害的還是高階伺服器PC+多張特斯拉顯卡並行，費電超高效，$要超級多。