全網最詳細評測：用翻新經典礦卡AMD RX580/8G (非NVIDIA顯卡) 挑戰LLM本地AIGC(ChatGPT) 跑本地大模型

用AMD RX580/8G (非NVIDIA顯卡) 挑戰LLM本地AI

我先講結論：

“大家都知道，玩LLM最好買老黃N卡”

作為CP值教主，測試完之後我的建議是：

• 如果你不是很舊的電腦，建議不要買RX580，(但RX6600 XT以上待測)：

最便宜礦卡大約台幣$1200，這片是全新貼片的約台幣$1800，本來期待他的16G 版本，但這篇測完後發現好險沒買。

因為很顯然，雖然是AMD經典礦卡，但他不支援ROCm技術(可以安裝但不支援，官網還是比較準)，因此大部分的GPT(Jan、lm-studio、Ollama+Chatbox、Ollama) 沒辦法用GPU跑，不管是否有抓到顯卡，調動Vulkan技術(有load進VRAM，但GPU 沒有跑起來，這跟老黃的NVIDIA沒有安裝CUDA是一樣的狀況，唯一例外是GPT4ALL可以調動顯卡的GPU跑起來，但速度也只有 11 token/s，這比純用CPU跑(3-7 token/s)並沒有高多少，甚至比新型的帶NPU 或是多核CPU 還要低。

況且，以StabilityMatrix裡面的各種Stable Diffusion 生圖套件的支援度，大部分都不行，應該是AMD僅支援linux來玩SD，Windows 下我裝了幾種都不能跑，甚至不能啟動，才明白他的支援列表 “AMD(Linux)” 是這個意思，顯然從支援列表上Intel arc應該更有機會，但AMD RX6600 XT以上支援ROCm部分待測，我就不敢斷定。

所以，如果你的電腦比 intel i5 八代以上還新，建議放棄這張卡，雖然他是8G VRAM 最便宜的顯卡。

• 但如電腦很舊不想花大錢，不考慮可能買到短命卡，蠻建議這張礦卡。

低價就是王道，至少他使用GPT4ALL還能玩得動7B~9B 的大模型，可以跑到 11 token/s，如果是我，我應該會設定成班級教室的學習角落，做一個專業的教練，讓學生訓練專門的能力，或課輔的幫手。

再者，這張卡片目前仍舊是遊戲領域1080P的低價CP值之王 ，在furmark的測試下，每秒還能到 42 FPS，一般的遊戲是沒有問題的，就是剪輯部分因為編碼缺乏intel優勢比較弱。

而且，他還能讓舊電腦效能稍微加強，還能當我維修用的亮機卡，還有Linux的支援向來是AMD的天下，因此也是舊電腦翻身變成高效Ubuntu系統的助力選手。

•  大家都知道，玩大模型最好買老黃N卡，這句是對的。

以下是測試的歷程 

緣由：

為尋找可以玩LLM的最低配置方案，經過一陣子的知識巡禮後，我買了這張RX580/8G顯卡，這是挖礦時代的卡片，不過這張卡除了核心晶片應該是礦卡搬過來的以外，其餘所有的零件包含電路板都是全新的，售價含運及關稅大約是台幣$1860，比真正礦卡貴了約800但是比較不會踩雷，但其實我更想買的是他們魔改的一張RX580/16G(但售價是雙倍)。

我知道玩AI需要老黃的NVIDIA，因為Cuda的支援比較豐富，而AMD則需要支援ROCm比較沒問題，但支援ROCm的都是RX6600XT以上的顯卡，那就失去我尋求最低配置方案的意義，而老黃的顯卡即使是二手的也是偏貴，更何況是8G以上的中階顯卡；而我也是要順便測試一下，即使未能支援Cuda/ROCm的顯卡，能比純CPU跑LLM快多少，來判斷是否值得。

我其實也考慮過M40，但那功率實在太高，而且支援Cuda的結果我也知道，網路上也有人測過跑中等模型的速度，跑起來跟用CPU跑差不多(5-7 token/s)，因此多測無異。

我買的是稍貴的 新貼片生產的RX580/8G/雙風扇/3接口(DVI/HDMI/PD)版本，剛好有一台舊主機無顯卡，因此就算不玩LLM，至少還能給這台主機用或是做亮機卡，或是留著日後測試Oculink外接顯卡。

我其實比較想買16G 魔改那片，但沒買過不確定能用就不想花太多錢(還好後來沒買)

盒子包裝得很好，泡綿也很厚

 

卡況確定是全新貼片生產的 所有零件都是新的，除了主晶片

 

有 DVI/HDMI/DP 三個不同的 PORT

規格大約是 150~185W / 2048 Cuda流處理器 / 約等同 GTX-1060 / RX-5500XT 的水準

驅動程式也是使用AMD官網的驅動程式，所以驅動程式更新也不會有問題

從維基百科看來 RX580 是有支援 ROCm 的

但是根據官方網站的說法，是RX6600以上才支援，這裡明顯有矛盾

參考：原則上玩AI大模型 顯卡支援性與環境需求

特性	CUDA	ROCm	oneAPI
主要開發商	NVIDIA	AMD	多家廠商共同開發 (包含 Intel, AMD, Google 等)
支援硬體	NVIDIA GPU	AMD GPU	多種加速器 (包含 GPU, CPU, FPGA)
程式語言	C/C++, Fortran	C/C++, Fortran	C/C++, Fortran, Python 等多種語言
開發工具	CUDA Toolkit	HIP (Heterogeneous-core Interface for Portability)	DPC++ (Data Parallel C++)
生態系	最為成熟，擁有龐大的開發者社群和豐富的第三方函式庫	生態系正在快速發展，但相較於 CUDA 較小	正在積極發展中，目標是建立一個統一的異質運算開發平台
跨平台性	主要針對 NVIDIA 平台，但部分功能可跨平台	主要針對 AMD 平台，但部分功能可跨平台	強調跨平台性，可針對不同硬體進行編譯和優化
優勢	生態系成熟、性能優異	針對 AMD GPU 優化良好、開放原始碼	跨平台性強、未來發展潛力大
劣勢	跨平台性較弱、生態系相對封閉	生態系較小、開發工具相對不成熟	生態系仍在發展中、工具鏈可能不完善

測試設備：

CPU i5-8400 6核心

記憶體 16G 雙通道

系統碟 512 SSD

顯卡 RX 580顯卡 安裝原廠AMD驅動

Power 550W 

Ubuntu開機超順暢

Windows安裝及驅動安裝完全沒問題，就是更新等了很久

確定是 RX580 8G

lm-studio 使用 Qwen2.5 7B 模型，可以完全載入VRAM，但是GPU看似並無運作，速度6.3 token/s

Furmark測試5分鐘最多跑到72度/42FPS，溫度控制很可以，風扇也很安靜

lm-studio 使用 llama3.2 3B 模型，可以完全載入VRAM，但是GPU看似為微幅運作，大部分運作的還是CPU，速度來到11.8 token/s，第二次測是 7.08 token/s，第三次是10.38 token/s

Jan ai 抓不到顯卡 用CPU運作

Jan ai 開啟 Experimenttal Mode 後 就能開啟 Vulkan 支援，這時可以看到顯卡可支援

Jan ai 模型可以載入VRAM ，但GPU毫不配合運作，都只有CPU上工，速度6-7token/s

GPT4ALL 可以抓到支援Vulkan 的RX580

GPT4ALL 測 llama 3B小模型，可以載入RAM，GPU跑起來了，CPU也配合運作，速度達到最快時13 token/s，看來GPT4ALL 可以讓CPU/GPU高度協同

補安裝AMD ROCm支援

GPT4ALL 使用llama3 8B中模型，在安裝了AMD ROCm支援後，GPU終於跑滿檔，令人興奮，速度11 token/s

Jan 回頭測試，GPU仍然不動如山

換成ollama+chatbox，GPU仍然不動如山

結論：

1. RX580果然不支援ROCm，但GPT4ALL是例外。
2. 使用GPT4ALL時GPU 可全速運作，速度11 token/s，比新的CPU稍好而已。
3. 除非是電腦很舊，只想花最少的錢讓她勉強玩一下LLM才值得。
4. 特殊單一用途，例如設定來當學習角，中型模型用起來還是很棒。
5. 很新的電腦，用CPU都會跑得比他快。
6. SD生圖在windows底下RX580大多不支援。
7. RX6600XT以上支援ROCm，要測試過才知道AMD全系列顯卡在LLM上的支援度。
8. 不看LLM的話，RX580仍是亮機測試卡、爛老電腦遊戲提高效能最便宜高CP選擇。
9. 我猜intel arc(比較新) 支援度可能更好，老黃的卡實在太貴了。
10. AMD老顯卡推薦用GPT4ALL 來玩LLM。

本次測試，花掉我的薪水$1860元