是你控制了GAI？還是GAI控制了你？
AIGC時代的上位思考
─文章榮登科學研習雙月刊第63卷第4期
期刊全文檔案鏈結在下方
https://www.ntsec.gov.tw/article/detail.aspx?a=5562
PodCast用聽的
自造者時代-文盛老師的創意天空
2024年11月26日 星期二
2024年11月21日 星期四
我到底要買多大VRAM的顯卡才能順順玩llm
我到底要買多大VRAM的顯卡才能順順玩llm
朋友常常問我這個問題，以阿里巴巴通譯千問2.5的模型來看
如果你使用的是7B參數量的模型，
模型容量是4.7GB通常導入VRAM記憶體之後會再增加個1到2G
所以這個7B的模型在VRAM有6G的顯示卡上面應該是可以順跑的
因此，不管你用的是1060/6G還是3050/4060/6G，順順跑應該都還沒問題
但是一旦VRAM不夠使用，模型部分載入本機記憶體的話體
體感速度就會降10倍
因此如果你想順跑14 B參數的模型
可能就要買到3060/4070/12G或者4060ti/16G以上
想跑32B參數的模型就只能買4090/24G了
但如果你是Mac因為他是共用記憶體架構
因此幾乎大部份的記憶體都可以調用作為VRAM
24G RAM 的Mac應該就可以順跑32B的模型
這是Mac 在LLM領域CP值比較高的原因
不過因為顯示晶片的效能還是不敵獨立顯卡所以速度當然沒有獨立顯卡快
那接下來你就會文32B參數跟14B參數的模型到底有什麼差別
其實就是聰明度的差別從下面這張圖看起來
32B的Qwen2.5各項指標都遠遠超越GPT4-O mini
而14B的模型就跟GPT4-O mini伯仲之間打的有來有回
實際的測試應用上7B以上的模型在國中小服務學生應該是夠用
也可以相當程度的理解角色化GPTs的系統指令(System Prompt)的設定
但是3B以下的模型體感上就覺得他有點笨
所以我的建議是最少用7B的模型,條件稍好用14B的模型
電腦如果實在非常地陽春連顯卡都沒有那就只能用3B的模型體驗體驗
(上面的模型列表大部份是用Q4位元素壓縮量化的，數字越少速度越快但是模型越苯，數字越大模型速度越慢但是越聰明，可以的話儘量Q6~Q8，lm-studio裡面可以選，ollama不行)
注意如果你玩本地AI的話，不管是本地生圖還是大語言模型，甚至是AI動畫製作
老黃的顯卡是資源比較豐富的，如果你使用的是Mac或者是Intel的arc或是AMD的獨顯
都會比較容易遇到相容性和支援的問題
老手可以慢慢處理新手就不建議
又有人問我顯卡那麼貴
我會跟你說公家單位買看得見的設備比較容易買看不見的帳號比較折騰
2024年11月9日 星期六
使用lm-studio本地架設可以提供服務的網路伺服器來提供GPT服務
原來使用lm-studio就可以在區網提供GPT服務了
只要啟動lm-studio的server
客戶端使用chatbox將模型設定成兼容openai
給網址，不用給API KEY 就行了
真是太屌了，架區域LLM伺服器原來很簡單
不過應該還有你家自己防火牆的問題
2024年11月4日 星期一
建置本地LLM設備參考(以TOPS排序)
| 公司 | 型號 | TOPS (FP8) | VRAM | 台幣參考售價 | 備註 |
|---|---|---|---|---|---|
| NVIDIA | RTX 4090 | 1,321 | 24GB GDDR6X | 65,000 | 最強消費級顯卡 |
| NVIDIA | RTX 4080 Super | 1,000 | 16GB GDDR6X | 39,900 | |
| NVIDIA | RTX 4080 | 780 | 16GB GDDR6X | 38,900 | |
| NVIDIA | RTX 4070Ti Super | 670 | 16GB GDDR6X | 32,900 | |
| AMD | RX 7900 XTX | 650 | 24GB GDDR6 | 39,900 | AMD旗艦卡 |
| NVIDIA | RTX 4070Ti | 580 | 12GB GDDR6X | 29,900 | |
| AMD | RX 7900 XT | 520 | 20GB GDDR6 | 35,900 | |
| NVIDIA | RTX 4070 Super | 480 | 12GB GDDR6X | 24,900 | |
| Intel | Arc A770 | 450 | 16GB GDDR6 | 11,900 | Intel首發旗艦卡 |
| NVIDIA | RTX 4070 | 420 | 12GB GDDR6X | 22,900 | |
| AMD | RX 7800 XT | 400 | 16GB GDDR6 | 23,900 | |
| AMD | RX 7700 XT | 380 | 12GB GDDR6 | 19,900 | |
| Intel | Arc A750 | 340 | 8GB GDDR6 | 9,900 | |
| NVIDIA | RTX 4060Ti | 310 | 8GB/16GB GDDR6 | 15,900/17,900 | |
| NVIDIA | RTX 4060 | 280 | 8GB GDDR6 | 12,900 | |
| AMD | RX 7600 | 250 | 8GB GDDR6 | 10,900 | |
| Intel | Arc A580 | 240 | 8GB GDDR6 | 7,900 | |
| NVIDIA | RTX 3060Ti | 220 | 8GB GDDR6 | 11,900 | 上代中階卡 |
| NVIDIA | RTX 3060 | 180 | 12GB GDDR6 | 9,900 | |
| Intel | Arc A380 | 150 | 6GB GDDR6 | 4,900 | |
| NVIDIA | RTX 3050 | 140 | 8GB GDDR6 | 8,900 | |
| AMD | RX 6500 XT | 130 | 4GB GDDR6 | 5,900 | |
| Intel | Core Ultra 7 285H | 80 | 共享系統記憶體 | - | Intel最強筆電APU |
| Intel | Core Ultra 7 165H | 75 | 共享系統記憶體 | - | |
| Intel | Core Ultra 5 125H | 70 | 共享系統記憶體 | - | |
| AMD | Ryzen 8845HS | 65 | 共享系統記憶體 | - | AMD最新筆電APU |
| AMD | Ryzen 7840HS | 60 | 共享系統記憶體 | - | |
| AMD | Ryzen 7835HS | 55 | 共享系統記憶體 | - | |
| Apple | M3 Ultra | 50 | 共享系統記憶體 | - | Apple最強晶片 |
| Apple | M3 Pro | 40 | 共享系統記憶體 | - | |
| Apple | M3 | 35 | 共享系統記憶體 | - | |
| Apple | M2 | 30 | 共享系統記憶體 | - | |
| Apple | M1 | 25 | 共享系統記憶體 | - |
2024年11月3日 星期日
AIGC 時代科技教育該如何轉變
AIGC 時代科技教育該如何轉變
國中小科技領域教學內容一直都有兩個方向
一是科技領域的思考與工具應用用在各領域融入
這個是100%學生未來都有用，
不管你在哪個領域不管是工作或是生活
(但這個方向經常被忽略)
二是科技領域本身的科技技術與科技思考
這個大約只對6%學生有用(未來從事科技相關產業)
我很早就講過
所以教運算思維也不會只有寫程式這種方法
教設計思考也不是只有做手做這條路
早些年我在講這個的時候用語比較尖銳
有些防衛心比較高的人覺得我觸碰了他們的逆鱗
這些人一旦覺得受到威脅就會築起圍牆甚至敵視你
現在AIGC的發展讓這個態勢越來越明顯
就算你以前不想聽我講 現在好像也不得不承認
人在思考前要看得廣，不僅看深度、看廣度，
還要看向前看，看向時間軸的未來
在科技領域推動AIGC也是一樣
第一部分推各領域的普及應用
第二部分你要去推AI的技術，做科技的菁英教育
兩者都要做，但缺一不可，尤其是第一部分
現在和AI聊一下，你不用懂程式，但程式就寫好了
(思考：那現在程式教育該如何轉變...)
但是作品要做得好，還是要比AI更懂那領域的上位思考
你才能控制AI幫你生出符合需求很棒的作品
(思考：使用AIGC 的上位思考是甚麼，教育又該如何轉變...)
你看見了嗎？
未來可能是人人有許多專業助理的時代
繁瑣、重複、技術的事AI都幫你處理了
你要做甚麼？
有你能做甚麼才不會被AI控制？
教育又該如何轉變？
就算你摀著耳朵(我不聽我不聽)
時代一樣會到來
訂閱：
文章 (Atom)