https://felo.ai/slides/dDiUBE9YACcXnioeGbSnja?modelType=PRO&invite=2mvaZRPEeDMXg
https://felo.ai/page/preview/knkioo9k3BQBCyJgWXhDCF?business_type=AGENT_THREAD&invite=2mvaZRPEeDMXg
https://felo.ai/slides/dDiUBE9YACcXnioeGbSnja?modelType=PRO&invite=2mvaZRPEeDMXg
https://felo.ai/page/preview/knkioo9k3BQBCyJgWXhDCF?business_type=AGENT_THREAD&invite=2mvaZRPEeDMXg
學習本地LLM最佳CP值顯卡採購指南
https://felo.ai/zh-Hant/slides/huvzUwrGMFUABTDzzbzfDK?modelType=PRO&invite=2mvaZRPEeDMXg
https://felo.ai/page/preview/fj9zse6Ez7UUp3dc6yscBW?business_type=AGENT_THREAD&invite=2mvaZRPEeDMXg
評測項目 | 說明 |
---|---|
ArenaHard | 綜合性難題問答評測,用來衡量模型在高難度任務下的推理能力。 |
AIME’24 / AIME’25 | 模擬數學競賽題目(AIME,American Invitational Mathematics Examination),用以測試模型之數學解題能力(AIME'25 更難)。 |
LiveCodeBench | 實際編碼能力評估,評測模型生成程式碼後能否成功執行並通過測資。 |
CodeForces (Elo Rating) | 模型在 Codeforces 類競程題目中的 Elo 等級分,數值愈高表示編程實力愈強。 |
GPQA | Graduate-level Physics QA,測試物理知識與推理能力。 |
LiveBench | 廣泛自然語言任務之基準測試集,涵蓋多種場景。 |
BFCL (v3) | 場景推理能力(類似常識推理)測試。 |
MultiIF (8 Languages) | 多語言邏輯推理能力(8種語言),測試跨語言的一致推理表現。 |
模型名稱 | 架構特性 | 模型大小 | 效能分析 |
---|---|---|---|
Qwen3-30B-A3B (MoE) | 混合專家架構(Mixture of Experts)僅激活部分參與計算的子模型,效率高 | 30B參數 | 各項目表現均優異,尤其在 ArenaHard、AIME、LiveCodeBench、BFCL 領先群雄 |
Qwen3-4B (Dense) | 緻密模型(Dense Model)全參數參與推理,推理速度穩定 | 4B參數(小模型) | 在相同參數規模中表現良好,但遠遜於 Qwen3-30B-A3B |
Gemma3-27B-IT | Google 出品,強調**指令微調(Instruct-tuned)**能力 | 27B參數 | 對話能力佳,但數學、編碼與推理(如 AIME、LiveCode)明顯不及 Qwen3-30B |
評測項目 | Qwen3-30B-A3B | Gemma3-27B-IT | 優勢模型 |
---|---|---|---|
AIME’24 | 80.4 | 32.6 | Qwen3(數學壓倒性勝出) |
LiveCodeBench | 62.6 | 26.9 | Qwen3 |
CodeForces | 1974 | 1063 | Qwen3 |
GPQA(物理) | 65.8 | 42.4 | Qwen3 |
LiveBench | 74.3 | 49.2 | Qwen3 |
從上述可知,Qwen3 系列在推理、數學、編程、物理等硬核任務表現出色,尤其是 **MoE 架構(Qwen3-30B-A3B)**具有高效率與高精度之雙重優勢。
AIME'24 / '25 的數據係取樣 64 次平均值,題目包含 30 題,顯示模型穩定性。
表中 Qwen3 模型未啟用 "think mode",若啟用可能更強。
BFCL 評測中,Qwen3 採 FC 格式作答,其他模型則取最大得分模式。
以下為來自阿里巴巴官方 Blog「Qwen3: Think Deeper, Act Faster」的精要摘要:
完整開源模型系統
Qwen3 系列模型皆於 2025 年 4 月發布,包含多款 Dense(緻密)與 MoE(Mixture‑of‑Experts,混合專家) 結構模型,從 0.6B 至 235B 規模皆可取得,全部採用 Apache 2.0 授權 (Qwen)。
智慧雙模式推理機制
模型支援「思考模式」(for complex reasoning)與「非思考模式」(for fast chat),可依任務難度動態切換;並提供「思考預算」設定,以在效能與速度間取得最佳平衡 (arXiv)。
卓越推理與多語能力
在數學、程式碼生成、常識推理等硬實力上,超越前代 Qwen2.5 與 QwQ 模型,在與 DeepSeek‑R1、Gemini‑2.5‑Pro 等競爭者的比拚中表現極佳 (Qwen)。
大規模與小型 MoE 模型
多語言與全球覆蓋
預訓練包含 36 兆 token,涵蓋 119 種語言與方言,支援跨語言理解與生成,提升全球應用性 (維基百科)。
可微調、代理與嵌入擴展
最近推出基於 Qwen3 的 Qwen3‑Coder(專精於 agentic coding 與高 context 長度支援)、Qwen3‑Embedding/Reranker(用於文本表徵與搜尋排序)等系列,均延續核心模型優勢 (Qwen)。
✅ 完整開源,Apache 2.0 授權,促進研究與社群應用。
✅ 混合推理架構:具思考與非思考模式、自主思考預算調控。
✅ 效能領先:在程式、數學、推理任務上表現超群。
✅ MoE 結構雙雄:235B 與 30B 模型兼顧性能與成本效益。
✅ 語言支援全面:訓練涵蓋超過 100 種語言 / 方言。
✅ 生態延伸豐富:Coder、Embedding 系列提升實作與工具整合能力。
開源輕量模型,適用單卡運行
Gemma 3 系列由 DeepMind 推出,為輕量開源模型,可於單張 GPU/TPU 上執行,適用筆電、桌機甚至手機(blog.google)。
多種模型規模
提供 1B、4B、12B、27B 四種參數規模,皆有預訓練(pre‑trained)與指令微調(instruct‑tuned,簡稱 IT)版本(Hugging Face)。
支援多語與長文理解能力
除 1B 外,其餘模型支持 140+ 種語言 的多語處理,且擁有 128K tokens 超長上下文視窗(1B 版為 32K)(Hugging Face)。
具備多模態理解能力
除 1B 外皆可處理 圖像與文本輸入,整合定制的 SigLIP 視覺編碼器,將影像壓縮為固定 256 向量編碼,並採用 Pan & Scan 技術處理不同解析度與比例(Google 開發者部落格)。
記憶體優化與混合注意力架構
採用 local/global attention 混合架構,具備每 5 層 local attention(跨度 1024 tokens)緊接一層 global attention,以避免 KV-cache 隨長上下文劇增(Google Cloud Storage)。
卓越性能表現
在 LMArena Chatbot Arena Elo 評分中,Gemma 3‑27B‑IT 表現與 Gemini‑1.5‑Pro 相當,並優於 DeepSeek‑V3、Llama3‑405B 等同類型模型(blog.google)。
透過知識蒸餾與指令微調流程,如 RLHF、RLMF、RLEF 等提升數學、推理、程式與聊天能力(Google 開發者部落格)。
完善開發者生態支援
模型與文檔整合 Hugging Face、Ollama、Gemma.cpp、JAX、PyTorch 等平台,可透過 Google GenAI API、Vertex AI、Cloud Run、本地部署等方式使用;提供 ShieldGemma 2(4B)圖像安全分類模型作為配套模型(blog.google)。
✅ 常見參數尺寸:1B / 4B / 12B / 27B
✅ 超長上下文能力:最高至 128K tokens
✅ 多模態支援:除了 1B,均支援圖文輸入
✅ 多語能力強大:涵蓋 140+ 語言
✅ 混合注意力架構:local/global 混合設計
✅ 指令微調模型(IT)具備高性能,部分版本性能堪比 Gemini 系列
✅ 廣泛工具與平台整合,包括安全模型 ShieldGemma 2
要想得到你想要的的東西,最可靠的辦法是讓你自己配得上它。
一個由來自不同學科的最重要思維模型構成的網絡,幫助我們從多個維度理解世界本質。
「反過來想,永遠反過來想」。在追求成功前,先思考如何避免失敗,這能幫我們避開致命陷阱。
投資:與其問「如何才能賺大錢?」,不如先問「如何才能虧大錢?」(答案:借錢投機、追漲殺跌等),然後避開這些行為。
人生:與其問「如何獲得幸福?」,不如先問「如何才能讓生活一團糟?」(答案:染上毒癮、眾叛親離等),然後避開這些選擇。
避免愚蠢比追求卓越更重要。
聰明人也無法豁免根深蒂固的心理傾向。芒格總結了25個導致誤判的標準原因。
應用:建立檢查清單,在重大決策前逐一反思,避免落入心理陷阱。
你不再是一個被動的資訊接收者,你成了一個主動的模式識別者,一個擁有全套工具的總工程師。
生圖速度稍微慢,但繪圖非常地精美細節豐富,4步以上即可生精美圖形20步以上更精美,可以生英文字,看不懂中文的指令
是對岸的模型,可以理解中文的prompt,而且可以畫出英文字,畫圖的精細程度取決於你的指令下的好不好,指令下得好繪圖的品質就不錯
以下是 Stability Matrix 中可安裝與管理 (“Packages”) 的所有套件,以及它們的主要功能與特色:
資料來源:套件列表摘自官方 README (GitHub)
套件名稱 | 簡介與特色 |
---|---|
Stable Diffusion WebUI reForge | 一款基於 AUTOMATIC1111 的強化分支,加入了多項性能優化和插件支援。Stability Matrix 可一鍵安裝/更新,並自動處理相依套件與版本管理。(GitHub) |
Stable Diffusion WebUI Forge | AUTOMATIC1111 的另一分支,專注於 GPU 加速與自訂化介面。透過 Stability Matrix 可快速切換 Forge 與原版 WebUI,並保持多個環境並存。(GitHub) |
Stable Diffusion WebUI AMDGPU Forge | 為 AMD GPU 使用者打造的專用分支,集成了 ROCm 支援。透過自動偵測環境,Stability Matrix 能自動安裝必要驅動與相依。(GitHub) |
Automatic1111 | 最受歡迎的 Web UI,具備廣泛的插件生態與自動標註、批次生圖功能。透過 Stability Matrix,可無痛安裝、更新所有衍生插件,並管理 Python 相依套件。(GitHub) |
Automatic1111 DirectML | 基於 DirectML(Windows 上的跨 GPU API)構建的 Automatic1111 版本,適用於沒有 CUDA 的設備。Stability Matrix 自動下載並配置 DirectML backend。(GitHub) |
SD Web UI‑UX | 強調使用者體驗與介面美化的 Web UI,整合了預覽窗格、即時參數調整面板等功能。Stability Matrix 可管理其前端資源與 CSS 模組。(GitHub) |
SD.Next | 在 SD Web UI‑UX 基礎上加入更多進階功能(如多任務排程、進度儀表板)。Stability Matrix 允許你在多個 SD.Next 專案間快速切換。(GitHub) |
Fooocus | 由社群開發的輕量級推理介面,專注於低資源消耗與簡易擴充。Stability Matrix 支援多種 Fooocus 分支:– Fooocus MRE– Fooocus ControlNet SDXL– Ruined Fooocus– Fooocus – mashb1t’s 1‑Up Edition可一鍵新增插件與模型路徑。(GitHub) |
SimpleSDXL | 精簡版 SDXL Web UI,專為大模型設計的前端。同樣可透過 Stability Matrix 自動管理大型檢查點(checkpoint)與相依。(GitHub) |
ComfyUI | 節點式流程編輯介面,適合構建複雜管線(pipeline)。Stability Matrix 可以同步佈署 ComfyUI 節點庫、節點模板與版本控制。(GitHub) |
StableSwarmUI | 分散式推理管理介面,支援多節點協同運算。Stability Matrix 會配置佈署參數並統一管理多台機器的連線資訊。(GitHub) |
VoltaML | 集成 VoltaML 推理框架的 UI,強化推理效能。透過 Stability Matrix,使用者可輕鬆安裝 VoltaML runtime 并管理版本。(GitHub) |
InvokeAI | 另一款廣受好評的 CLI/GUI 混合介面,適合喜歡指令行操作的使用者。Stability Matrix 可將其二進位檔與相依封裝起來,並支援多版本並存。(GitHub) |
SDFX | 集成多款後處理濾鏡與批量特效處理的 UI。透過 Stability Matrix,你能夠一鍵為每個專案套用 SDFX 插件,並維持各插件的設定一致性。(GitHub) |
Kohya’s GUI | 專為訓練與微調(fine-tuning)設計的 UI,整合了 Kohya_ss 相關訓練函式庫。Stability Matrix 可自動管理 GPU 設定及相依環境。(GitHub) |
OneTrainer | 面向大規模模型訓練的統一介面,支援分布式訓練。Stability Matrix 支援群集佈署與資源監控插件。(GitHub) |
FluxGym | 與 FluxML 生態整合的深度學習 UI,特化於 Flux 框架。Stability Matrix 可同時管理 PyTorch/Flux 等多種後端。(GitHub) |
CogVideo via CogStudio | 以 CogVideo 為核心的多媒體生成 UI,適合影片推理。Stability Matrix 會自動佈署 CogStudio 並配置 GPU 資源分配。(GitHub) |
此外,Stability Matrix 本身也提供了多項跨套件共用功能:
嵌入式 Git 與 Python 相依管理,無需全域安裝就能一鍵同步更新版本與套件。
可攜式資料目錄,可將 .smdata
目錄移至任意磁碟或電腦,並無痛繼續使用。
內建 Inference UI:語法高亮、命令列與拖放式畫廊,所有套件共用同一介面。
檢查點(Checkpoint)與模型瀏覽器:支援 CivitAI、HuggingFace 自動匯入並顯示預覽縮圖,可暫停/續傳。
透過 Stability Matrix,使用者只需一次設定,即可管理上述各類 Stable Diffusion 與相關訓練、推理工具,並享有版本控制、依賴處理與便捷 UI 的完整體驗。