原來使用lm-studio就可以在區網提供GPT服務了
只要啟動lm-studio的server
客戶端使用chatbox將模型設定成兼容openai
給網址，不用給API KEY 就行了
真是太屌了，架區域LLM伺服器原來很簡單
不過應該還有你家自己防火牆的問題
自造者時代-文盛老師的創意天空
2024年11月9日 星期六
2024年11月4日 星期一
建置本地LLM設備參考(以TOPS排序)
| 公司 | 型號 | TOPS (FP8) | VRAM | 台幣參考售價 | 備註 |
|---|---|---|---|---|---|
| NVIDIA | RTX 4090 | 1,321 | 24GB GDDR6X | 65,000 | 最強消費級顯卡 |
| NVIDIA | RTX 4080 Super | 1,000 | 16GB GDDR6X | 39,900 | |
| NVIDIA | RTX 4080 | 780 | 16GB GDDR6X | 38,900 | |
| NVIDIA | RTX 4070Ti Super | 670 | 16GB GDDR6X | 32,900 | |
| AMD | RX 7900 XTX | 650 | 24GB GDDR6 | 39,900 | AMD旗艦卡 |
| NVIDIA | RTX 4070Ti | 580 | 12GB GDDR6X | 29,900 | |
| AMD | RX 7900 XT | 520 | 20GB GDDR6 | 35,900 | |
| NVIDIA | RTX 4070 Super | 480 | 12GB GDDR6X | 24,900 | |
| Intel | Arc A770 | 450 | 16GB GDDR6 | 11,900 | Intel首發旗艦卡 |
| NVIDIA | RTX 4070 | 420 | 12GB GDDR6X | 22,900 | |
| AMD | RX 7800 XT | 400 | 16GB GDDR6 | 23,900 | |
| AMD | RX 7700 XT | 380 | 12GB GDDR6 | 19,900 | |
| Intel | Arc A750 | 340 | 8GB GDDR6 | 9,900 | |
| NVIDIA | RTX 4060Ti | 310 | 8GB/16GB GDDR6 | 15,900/17,900 | |
| NVIDIA | RTX 4060 | 280 | 8GB GDDR6 | 12,900 | |
| AMD | RX 7600 | 250 | 8GB GDDR6 | 10,900 | |
| Intel | Arc A580 | 240 | 8GB GDDR6 | 7,900 | |
| NVIDIA | RTX 3060Ti | 220 | 8GB GDDR6 | 11,900 | 上代中階卡 |
| NVIDIA | RTX 3060 | 180 | 12GB GDDR6 | 9,900 | |
| Intel | Arc A380 | 150 | 6GB GDDR6 | 4,900 | |
| NVIDIA | RTX 3050 | 140 | 8GB GDDR6 | 8,900 | |
| AMD | RX 6500 XT | 130 | 4GB GDDR6 | 5,900 | |
| Intel | Core Ultra 7 285H | 80 | 共享系統記憶體 | - | Intel最強筆電APU |
| Intel | Core Ultra 7 165H | 75 | 共享系統記憶體 | - | |
| Intel | Core Ultra 5 125H | 70 | 共享系統記憶體 | - | |
| AMD | Ryzen 8845HS | 65 | 共享系統記憶體 | - | AMD最新筆電APU |
| AMD | Ryzen 7840HS | 60 | 共享系統記憶體 | - | |
| AMD | Ryzen 7835HS | 55 | 共享系統記憶體 | - | |
| Apple | M3 Ultra | 50 | 共享系統記憶體 | - | Apple最強晶片 |
| Apple | M3 Pro | 40 | 共享系統記憶體 | - | |
| Apple | M3 | 35 | 共享系統記憶體 | - | |
| Apple | M2 | 30 | 共享系統記憶體 | - | |
| Apple | M1 | 25 | 共享系統記憶體 | - |
2024年11月3日 星期日
AIGC 時代科技教育該如何轉變
AIGC 時代科技教育該如何轉變
國中小科技領域教學內容一直都有兩個方向
一是科技領域的思考與工具應用用在各領域融入
這個是100%學生未來都有用，
不管你在哪個領域不管是工作或是生活
(但這個方向經常被忽略)
二是科技領域本身的科技技術與科技思考
這個大約只對6%學生有用(未來從事科技相關產業)
我很早就講過
所以教運算思維也不會只有寫程式這種方法
教設計思考也不是只有做手做這條路
早些年我在講這個的時候用語比較尖銳
有些防衛心比較高的人覺得我觸碰了他們的逆鱗
這些人一旦覺得受到威脅就會築起圍牆甚至敵視你
現在AIGC的發展讓這個態勢越來越明顯
就算你以前不想聽我講 現在好像也不得不承認
人在思考前要看得廣，不僅看深度、看廣度，
還要看向前看，看向時間軸的未來
在科技領域推動AIGC也是一樣
第一部分推各領域的普及應用
第二部分你要去推AI的技術，做科技的菁英教育
兩者都要做，但缺一不可，尤其是第一部分
現在和AI聊一下，你不用懂程式，但程式就寫好了
(思考：那現在程式教育該如何轉變...)
但是作品要做得好，還是要比AI更懂那領域的上位思考
你才能控制AI幫你生出符合需求很棒的作品
(思考：使用AIGC 的上位思考是甚麼，教育又該如何轉變...)
你看見了嗎？
未來可能是人人有許多專業助理的時代
繁瑣、重複、技術的事AI都幫你處理了
你要做甚麼？
有你能做甚麼才不會被AI控制？
教育又該如何轉變？
就算你摀著耳朵(我不聽我不聽)
時代一樣會到來
訂閱：
文章 (Atom)