用AMD RX580/8G (非NVIDIA顯卡) 挑戰LLM本地AI
我先講結論：
“大家都知道，玩LLM最好買老黃N卡”
作為CP值教主，測試完之後我的建議是：
- 如果你不是很舊的電腦，建議不要買RX580，(但RX6600 XT以上待測)：
最便宜礦卡大約台幣$1200，這片是全新貼片的約台幣$1800，本來期待他的16G 版本，但這篇測完後發現好險沒買。
因為很顯然，雖然是AMD經典礦卡，但他不支援ROCm技術(可以安裝但不支援，官網還是比較準)，因此大部分的GPT(Jan、lm-studio、Ollama+Chatbox、Ollama) 沒辦法用GPU跑，不管是否有抓到顯卡，調動Vulkan技術(有load進VRAM，但GPU 沒有跑起來，這跟老黃的NVIDIA沒有安裝CUDA是一樣的狀況，唯一例外是GPT4ALL可以調動顯卡的GPU跑起來，但速度也只有 11 token/s，這比純用CPU跑(3-7 token/s)並沒有高多少，甚至比新型的帶NPU 或是多核CPU 還要低。
況且，以StabilityMatrix裡面的各種Stable Diffusion 生圖套件的支援度，大部分都不行，應該是AMD僅支援linux來玩SD，Windows 下我裝了幾種都不能跑，甚至不能啟動，才明白他的支援列表 “AMD(Linux)” 是這個意思，顯然從支援列表上Intel arc應該更有機會，但AMD RX6600 XT以上支援ROCm部分待測，我就不敢斷定。
所以，如果你的電腦比 intel i5 八代以上還新，建議放棄這張卡，雖然他是8G VRAM 最便宜的顯卡。
- 但如電腦很舊不想花大錢，不考慮可能買到短命卡，蠻建議這張礦卡。
低價就是王道，至少他使用GPT4ALL還能玩得動7B~9B 的大模型，可以跑到 11 token/s，如果是我，我應該會設定成班級教室的學習角落，做一個專業的教練，讓學生訓練專門的能力，或課輔的幫手。
再者，這張卡片目前仍舊是遊戲領域1080P的低價CP值之王 ，在furmark的測試下，每秒還能到 42 FPS，一般的遊戲是沒有問題的，就是剪輯部分因為編碼缺乏intel優勢比較弱。
而且，他還能讓舊電腦效能稍微加強，還能當我維修用的亮機卡，還有Linux的支援向來是AMD的天下，因此也是舊電腦翻身變成高效Ubuntu系統的助力選手。
- 大家都知道，玩大模型最好買老黃N卡，這句是對的。
以下是測試的歷程
緣由：
我知道玩AI需要老黃的NVIDIA，因為Cuda的支援比較豐富，而AMD則需要支援ROCm比較沒問題，但支援ROCm的都是RX6600XT以上的顯卡，那就失去我尋求最低配置方案的意義，而老黃的顯卡即使是二手的也是偏貴，更何況是8G以上的中階顯卡；而我也是要順便測試一下，即使未能支援Cuda/ROCm的顯卡，能比純CPU跑LLM快多少，來判斷是否值得。
我其實也考慮過M40，但那功率實在太高，而且支援Cuda的結果我也知道，網路上也有人測過跑中等模型的速度，跑起來跟用CPU跑差不多(5-7 token/s)，因此多測無異。
我買的是稍貴的 新貼片生產的RX580/8G/雙風扇/3接口(DVI/HDMI/PD)版本，剛好有一台舊主機無顯卡，因此就算不玩LLM，至少還能給這台主機用或是做亮機卡，或是留著日後測試Oculink外接顯卡。
我其實比較想買16G 魔改那片，但沒買過不確定能用就不想花太多錢(還好後來沒買)
盒子包裝得很好，泡綿也很厚
卡況確定是全新貼片生產的 所有零件都是新的，除了主晶片
有 DVI/HDMI/DP 三個不同的 PORT
規格大約是 150~185W / 2048 Cuda流處理器 / 約等同 GTX-1060 / RX-5500XT 的水準
驅動程式也是使用AMD官網的驅動程式，所以驅動程式更新也不會有問題
從維基百科看來 RX580 是有支援 ROCm 的
但是根據官方網站的說法，是RX6600以上才支援，這裡明顯有矛盾
測試設備：
CPU i5-8400 6核心
記憶體 16G 雙通道
系統碟 512 SSD
顯卡 RX 580顯卡 安裝原廠AMD驅動
Power 550W
確定是 RX580 8G
結論：
- RX580果然不支援ROCm，但GPT4ALL是例外。
- 使用GPT4ALL時GPU 可全速運作，速度11 token/s，比新的CPU稍好而已。
- 除非是電腦很舊，只想花最少的錢讓她勉強玩一下LLM才值得。
- 特殊單一用途，例如設定來當學習角，中型模型用起來還是很棒。
- 很新的電腦，用CPU都會跑得比他快。
- SD生圖在windows底下RX580大多不支援。
- RX6600XT以上支援ROCm，要測試過才知道AMD全系列顯卡在LLM上的支援度。
- 不看LLM的話，RX580仍是亮機測試卡、爛老電腦遊戲提高效能最便宜高CP選擇。
- 我猜intel arc(比較新) 支援度可能更好，老黃的卡實在太貴了。
- AMD老顯卡推薦用GPT4ALL 來玩LLM。
