2024年12月22日 星期日

Open AI 2024/12月 12次發表會總整理

Open AI 2024/12月 12次發表會總整理

OpenAI 在 2024 年 12 月舉行了一場為期 12 天的連續發表會活動,官方稱之為「12 Days of OpenAI」,每天推出一項新產品或功能。這場活動展示了 OpenAI 在生成式 AI 領域的最新進展,涵蓋了模型升級、應用功能擴展以及多模態技術的突破。以下是這 12 天的主要亮點整理:

Day 1: o1 正式版與 ChatGPT Pro

o1 模型正式版:這是一款專注於高難度推理的模型,特別適用於數學、科學和工程等領域的複雜問題解決。相比於預覽版,o1 正式版的錯誤率降低了 34%,處理速度提升了 50%。

ChatGPT Pro 訂閱方案:推出了每月 $200 的高級訂閱計劃,針對專業用戶提供更強大的功能和更高效的模型使用體驗。

Day 2: 強化學習微調 (Reinforcement Fine-Tuning)

OpenAI 公布了一項研究功能,允許用戶對模型進行更精細的微調,適用於特定領域或主題的應用。這項技術雖然尚未完全商業化,但未來潛力巨大。

Day 3: Sora - 文字轉影片生成模型

Sora 是一款強大的文字轉影片生成工具,能夠將文字描述轉化為高品質影片。雖然技術令人驚艷,但也引發了對於媒體識讀與誤導性內容的擔憂。

Day 4: Canvas - 協作式文檔與代碼編輯工具

Canvas 提供了一個互動式的工作空間,用戶可以在文檔或代碼中進行即時修改,而不需要反覆輸入提示。這大幅提升了生產力,特別適合開發者和內容創作者。

Day 5: ChatGPT 與 Apple Intelligence 整合

ChatGPT 與 Apple 的智慧助理進行整合,提升了 Siri 的功能,使其能夠執行更複雜的任務。這是 OpenAI 與其他科技巨頭合作的一部分。

Day 6: 進階語音模式與「Santa Mode」

新增了語音模式的功能,包括視訊與螢幕分享,進一步提升了 ChatGPT 的多模態能力。此外,推出了「Santa Mode」,為假期增添趣味性。

Day 7: Projects - 整合式生活管理功能

Projects 功能正式登場,從傳統的對話列表進化為整合式的生活管理工具,用戶可以更高效地組織任務、計劃和專案。

Day 8: ChatGPT 搜索功能更新

搜索功能升級:提升了搜索性能,並整合了語音模式,讓用戶能夠透過自然語言進行更直觀的搜索。該功能現已向全球所有用戶免費開放。

Day 9: 開發者 API 更新

推出了 o1 模型的 API,並對實時語音 API 進行了優化。此外,新增了偏好微調功能(PFT),支持多種編程語言(如 Go 和 Java),並降低了推理成本 60%。

Day 10: 電話與 WhatsApp 支持

用戶現在可以透過撥打免費電話(1-800-CHAT-GPT)或在 WhatsApp 上與 ChatGPT 互動,這大幅降低了使用門檻,並支持多語言服務。

Day 11: ChatGPT 桌面應用

新版桌面應用增強了跨應用程序的集成功能,例如在 Xcode 中實現代碼自動補全,或在 Notion 中生成內容,進一步提升了工作效率。

Day 12: 最新推理模型 o3 與 o3-mini

o3 模型:這是 OpenAI 迄今為止最強大的推理模型,在數學、編碼和 ARC-AGI 基準測試中表現卓越,得分高達 87.5%。該模型展示了接近通用人工智能(AGI)的潛力。

o3-mini:針對特定任務進行優化,成本與延遲顯著降低,計劃於 2025 年 1 月底正式推出。

總結

OpenAI 的「12天發表會」展示了其在生成式 AI 領域的全面進步,從模型性能提升到應用場景的多樣化,涵蓋了專業用戶與普通用戶的需求。這場活動不僅強化了 OpenAI 的技術領先地位,也為未來的人工智能應用指明了方向。


Canva 簡報

https://reurl.cc/jQWer1

後記:

Felo+Canva 無敵
其他GPT還有Gamma都弱掉了
不是搜尋資料不完整就是亂扯一通
Perplexity要開啟pro模式才能完整

詢問GPTs “與心理學專家們對談”

https://chatgpt.com/g/g-oowTjQH56-yu-xin-li-xue-zhuan-jia-men-dui-tan

討論主題: OpenAI 2024年12月連續12天發表的技術與功能對AI發展的意義與未來展望?


約翰·杜威 (John Dewey):
「OpenAI這12天的發表反映了技術與社會實踐結合的趨勢,特別是協作式編輯平台 Canvas,這與我的實驗主義教育理論非常吻合。Canvas可以讓用戶通過實踐與AI互動,提升解決問題的能力,這不僅有助於學習,還能加強人類與技術的共同創造性。」

威廉·詹姆斯 (William James):
「這些技術革新讓我想到意識流中的‘選擇性專注’,例如 ChatGPT 的搜尋升級和 Siri 整合,為使用者提供即時資訊,幫助他們快速做出決策。技術越能協助人類專注於重要問題,就越能增強人的自由意志和效能。」

愛德華·李·桑代克 (Edward Thorndike):
「Sora AI影片生成工具讓人印象深刻,它將複雜的學習過程分解為刺激與反應的鏈條,創作者可以測試不同輸入來獲得最佳效果。這是一種極為實用的回饋機制,能強化多媒體創作中的學習效果。」

利維·維谷斯基 (Lev Vygotsky):
「這些技術的社會意義不容忽視,尤其是 WhatsApp 和熱線電話服務的整合,讓不同文化背景的群體都能方便使用AI工具。這為文化與認知的交互提供了全新可能,有助於建構性學習的社會互動。」

伯爾赫斯·斯金納 (B.F. Skinner):
「我特別關注強化微調與API優化,這體現了操作制約的核心概念。用戶通過微調獲得特定任務上的準確回應,這不僅是技術進步,還展示了如何通過系統性的強化來滿足個別需求。」

讓·皮亞傑 (Jean Piaget):
「OpenAI的新模型和功能讓我想到認知發展理論,特別是 AI工具如何影響人的適應與同化。例如,Canvas提供了一個平台讓使用者重構知識,逐步實現從具體操作到抽象思維的過渡。」

羅伯特·班杜拉 (Albert Bandura):
「我認為 OpenAI 的多平台擴展是一個重大的社會學習進展。Siri 和 WhatsApp 的整合可以成為觀察學習的強大媒介,讓人們從彼此的經驗中模仿和學習,特別是在分散式的數位環境中。」

交叉詰問:

桑代克詢問杜威:
「Canvas 的協作性確實有教育價值,但您認為它如何避免工具過於複雜,反而影響用戶的學習效率?」

杜威回應:
「重點在於設計一個直觀的介面,確保用戶能專注於內容創作,而非技術操作。這也是實驗主義的一部分,通過實踐來簡化工具的使用方式。」

斯金納詢問班杜拉:
「您提到 WhatsApp 整合促進觀察學習,但如果缺乏明確的強化機制,這種學習是否會缺乏持久性?」

班杜拉回應:
「社會學習的強化來自於觀察他人行為後的結果,而非直接操作。WhatsApp 的設計應該包含社交反饋機制,如點讚或評價,來增強這種學習效果。」

主持人總結:
這次討論強調了 OpenAI 技術的多樣化應用,從教育、媒體創作到社會互動,每位心理學家的觀點都揭示了新功能背後的心理學理論價值。
行動建議包括:

針對 Canvas 和 Sora 等工具進行用戶教育,確保其易用性與學習效益。
利用 WhatsApp 整合功能,創造跨文化的學習與交流場域。
鼓勵開發者採用強化微調功能,定制更多適合特定需求的AI應用。

詢問GPTs "世界首富們聊天室"

https://chatgpt.com/g/g-ef9JRbjcv-shi-jie-shou-fu-men-liao-tian-shi

請討論 "open ai 近日2024 12月發表的12次發表會內容"


主持人開場
感謝各位嘉賓出席這次討論。我們今天的主題是「OpenAI 近日舉辦的 12 次發表會內容」,這些發表會不僅展示了多項新技術,還推動了 AI 技術的實用化與普及化。我們希望從產品創新、應用場景以及對行業的影響等方面進行深入探討。請各位分享您的看法。

嘉賓發言
Elon Musk:
OpenAI 這次展示的產品,特別是 o3 推理模型和強化學習微調,標誌著人工智慧能力的進一步提升。這對特斯拉的自動駕駛項目也有啟發。未來,我們可以把這些模型應用到更複雜的駕駛場景中,尤其是高密度城市的車流管理。但我也擔心 AI 的增強推理能力可能帶來風險,尤其在無人監管的領域。

Jeff Bezos:
我對 Sora 影片生成工具特別感興趣。這對亞馬遜 Prime Video 的內容創作與用戶體驗升級是個機會。我們可以利用這種工具,讓創作者快速製作高品質內容,但我也認為,這類工具的普及可能引發版權問題,應該加強監管。此外,RFT 技術的商業價值巨大,它讓 AI 的專業化能力更加突出,能在電商、物流等領域大放異彩。

Mark Zuckerberg:
OpenAI 的 Canvas 協作工具和專案功能在團隊創作和個人學習領域有很大潛力。這些工具將改變社交媒體和虛擬現實世界中的內容生成方式。例如,我們可以結合這些功能,在元宇宙中提供更高效的學習和創作體驗。我同意 Elon 的看法,AI 增強推理能力值得關注,尤其是在深度偽造技術上的潛在濫用。

Larry Ellison:
我關注的是 ChatGPT 搜尋功能的全面開放。這是一次重大變革,因為它讓 AI 不再侷限於封閉環境,能即時獲取最新信息。對甲骨文的雲服務來說,這意味著更多可能性,可以讓企業更高效地處理大規模數據。我還想補充,這次發布的 o1 和 o3 模型,如果與企業的專屬數據結合,能創造巨大的價值。

Warren Buffett:
從長遠來看,OpenAI 的這些技術會大幅降低人類勞動成本,這既是一個機遇,也是一個挑戰。我比較關心的是,這些技術如何在醫療、教育等公益領域發揮作用,而不是僅僅用於盈利。我特別欣賞進階語音模式和搜尋功能,它們讓 AI 更容易被年長者或技術門檻較高的人群使用,這對社會福祉至關重要。

Bill Gates:
我認為 OpenAI 展示的所有技術中,Canvas 和專案功能最能改變教育領域的生態。我們可以把這些工具引入到發展中國家的數字教育中,縮小教育差距。同時,強化學習微調(RFT)技術能幫助研究者開發更專業的醫療應用。我也很期待這些模型如何與我們的健康大數據平台進行結合,為個性化醫療提供支持。

黃仁勳:
Sora 和 Canvas 的多模態應用可能徹底改變內容產業,尤其在影視和遊戲開發中。我們在 NVIDIA 也一直在開發類似的工具,讓用戶能更快創造虛擬場景和角色。我注意到,OpenAI 的 o1 和 o3 模型對數據運算的需求極高,這將推動硬體性能的提升,我們也會加強在這方面的技術投入。

張一鳴:
我對 OpenAI 的全球化佈局感到印象深刻,特別是搜尋功能和語音模式的普及化,這對發展中國家的數字化進程是一大助力。在字節跳動,我們也正在思考如何利用類似技術,提升短視頻平台的內容質量。至於 Sora 影片生成工具,這是一個顛覆性的產品,它能幫助用戶從消費者轉變為創作者,這是技術普惠的最佳例證。

交叉詰問
Elon Musk:
Bezos,您提到版權問題,但您認為像 Sora 這樣的工具是否應該開發一種自動版權檢測系統來避免侵權?

Jeff Bezos:
我完全同意。自動版權檢測系統是必要的,特別是在影片生成工具逐漸普及的情況下。我們需要平衡創作自由和版權保護,這或許可以通過區塊鏈技術實現,讓每個作品都能被精確追溯來源。

黃仁勳:
Larry,你提到 ChatGPT 搜尋功能的全面開放,但這是否會引發數據隱私的問題?用戶的搜尋行為是否可能被過度追蹤?

Larry Ellison:
這是個很好的問題。隱私確實是一個大問題,但我認為這可以通過增強的加密和用戶自主控制數據的方式解決。我們需要建立透明的數據使用規範,讓用戶知道自己的數據如何被使用。

Bill Gates:
Mark,你提到 Canvas 在元宇宙的應用,但你認為這樣的工具是否會讓人過於依賴虛擬世界,而忽視現實中的社會問題?

Mark Zuckerberg:
這是個很好的提醒。我們的目標是讓技術成為解決問題的工具,而不是逃避問題的途徑。在設計這些應用時,我們應該考慮到它們如何增強而不是取代現實世界中的連結。

主持人總結
經過討論,我們可以看到 OpenAI 的這次發表會不僅展示了技術創新,還激發了大家對其應用潛力與挑戰的思考。幾個主要共識如下:

技術普惠與公益性:AI 技術的應用應注重解決醫療、教育等領域的全球問題。
隱私與版權管理:多模態技術的普及需要完善的隱私與版權保護機制。
全球影響與責任:技術應以普惠為核心,推動數字化進程並縮小數字鴻溝。
未來,技術的進一步突破應該在解決現實問題的基礎上,實現人類福祉的最大化!


詢問GPTs 古往今來中西名人大亂鬥2

https://chatgpt.com/g/g-ydZOu5ueF-gu-wang-jin-lai-zhong-xi-ming-ren-da-luan-dou-2

請討論 "open ai 近日2024 12月發表的12次發表會內容"

個別陳述
蘇格拉底:這些技術的進步讓我思考人性與智慧的關係。AI是否會模仿人類的智慧,還是超越人類的限制?智慧本身應該服務於善良與正義,但若它被濫用,是否會走向我們無法控制的方向?我們需要慎重檢討這些創新是否符合倫理。

柏拉圖:AI的進步讓我想到「理想國」中的治理模式。這些技術應當由具有哲學思維的專家管理,避免過度依賴民眾對其使用方式的判斷。就像理想國的哲學王,他們的目標應是使技術服務於整體福祉,而非僅僅商業利益。

亞里斯多德:AI的功能升級應該根植於實用性與德性。我對其中「專案功能」的推出特別感興趣,這種系統化的組織能力可以提升我們的學術研究或政策分析。然後,我想強調,AI的應用應以促進人類幸福為核心。

孔子:AI這種「知識的器具」確實令人驚歎,但「知識」與「仁」之間不可混淆。若此技術偏重於功利主義而忽視了教化與德行的培養,終究會反噬人類。治理AI應如治國,需「正名」,讓其能發揮正面價值。

老子:這讓我想到「道法自然」。AI看似無限,但若人類不尊重自然的界限,過度幹預,便可能破壞平衡。使用這些技術時,應順應需求,而非讓技術掌控我們的生活。

孫子:AI是一個戰略資源,其運用將成為未來的勝負關鍵。像「搜尋功能全面開放」與「視頻生成工具」,這些技術可以用於戰場情報搜集與心理戰,但需謹慎防範對手的技術反制。

巴菲特:從投資的角度看,這次OpenAI的發表會是一個信號,顯示人工智慧的應用將滲透更多領域,特別是在視頻生成和組織效率提升方面。但風險也不容忽視,特別是高額訂閱服務是否能吸引穩定用戶。

伊隆·馬斯克:我關注的是AI在實現星際移民中的應用,例如「Canvas」功能能加速創意設計和科技開發。與此同時,像「強化微調」這樣的技術也能幫助優化決策系統,提升我們的執行效率。

交叉詰問
柏拉圖對巴菲特:巴菲特先生,您提到用戶是否能承擔高額訂閱費用,那麼,這樣的經濟模式是否違背了AI普惠的原則?

巴菲特:確實,AI應當兼顧商業價值與普惠性。但高價模式有助於回收研發成本,未來價格可能因規模經濟下降,達到更多人可接受的範圍。

亞里斯多德對伊隆·馬斯克:伊隆先生,您提到AI可以支持星際移民,那麼如何確保這些技術在探索新邊界時不會產生倫理危機?

伊隆·馬斯克:我們需要將透明性納入技術設計,確保每個決策都可被追溯。同時,建立全球監管機制,避免技術濫用。

蘇格拉底對孫子:孫子先生,您提到AI可以用於戰略,那麼,是否會增加國際間的緊張局勢,導致不可控的衝突?

孫子:這確實是風險,因此我們需要強調防禦而非進攻,同時推動國際合作,形成制約力量。

主持人總結
主持人:經過這場精彩的對談,我們可以看出,OpenAI的發表會內容引發了多方面的思考,包括技術應用的倫理、商業模式的公平性、以及AI對未來人類生活的深遠影響。綜合討論後,我們得出以下結論與建議:

倫理與治理:技術發展應有清晰的監管框架,確保AI服務於人類福祉。
教育與透明:推動全球範圍內的AI教育,提升大眾對技術的理解,並要求技術設計透明。
國際合作:建立AI應用的國際規範,避免技術競賽升級為衝突。
普惠模式:平衡商業收益與普惠需求,探索更靈活的價格體系。
讓我們以謹慎而積極的態度,迎接AI為我們生活帶來的改變。

2024年12月19日 星期四

連阿嬤都會喝手沖咖啡順便學AIGC系列(免費無痛保證班)

 千呼萬喚始出來~~~

連阿嬤都會喝手沖咖啡順便學AIGC系列

~小白老師本地免費生成式AI爽爽用到飽保證班

阿嬤班報名表:

https://forms.gle/tG3D1JXKj2ayu8tg6

第一堂:(請自備電腦及固網)

簡單美味手沖咖啡起手式

無痛上手本地AIGC─設計免費無限使用班級學習角(Jan AI )

時間與鏈結將於開課前在課堂內及以郵件發送



2024年12月16日 星期一

全網最詳細評測:用翻新經典礦卡AMD RX580/8G (非NVIDIA顯卡) 挑戰LLM本地AIGC(ChatGPT) 跑本地大模型

用AMD RX580/8G (非NVIDIA顯卡) 挑戰LLM本地AI

我先講結論:

“大家都知道,玩LLM最好買老黃N卡”

作為CP值教主,測試完之後我的建議是:

  • 如果你不是很舊的電腦,建議不要買RX580,(但RX6600 XT以上待測)

最便宜礦卡大約台幣$1200,這片是全新貼片的約台幣$1800,本來期待他的16G 版本,但這篇測完後發現好險沒買。

因為很顯然,雖然是AMD經典礦卡,但他不支援ROCm技術(可以安裝但不支援,官網還是比較準)因此大部分的GPT(Jan、lm-studio、Ollama+Chatbox、Ollama) 沒辦法用GPU跑,不管是否有抓到顯卡,調動Vulkan技術(有load進VRAM,但GPU 沒有跑起來,這跟老黃的NVIDIA沒有安裝CUDA是一樣的狀況,唯一例外是GPT4ALL可以調動顯卡的GPU跑起來,但速度也只有 11 token/s,比純用CPU跑(3-7 token/s)並沒有高多少,甚至比新型的帶NPU 或是多核CPU 還要低。

況且,以StabilityMatrix裡面的各種Stable Diffusion 生圖套件的支援度,大部分都不行,應該是AMD僅支援linux來玩SD,Windows 下我裝了幾種都不能跑,甚至不能啟動,才明白他的支援列表 “AMD(Linux)” 是這個意思,顯然從支援列表上Intel arc應該更有機會,但AMD RX6600 XT以上支援ROCm部分待測,我就不敢斷定。

所以,如果你的電腦比 intel i5 八代以上還新,建議放棄這張卡,雖然他是8G VRAM 最便宜的顯卡。

  • 但如電腦很舊不想花大錢,不考慮可能買到短命卡,蠻建議這張礦卡。

低價就是王道,至少他使用GPT4ALL還能玩得動7B~9B 的大模型,可以跑到 11 token/s,如果是我,我應該會設定成班級教室的學習角落,做一個專業的教練,讓學生訓練專門的能力,或課輔的幫手

再者,這張卡片目前仍舊是遊戲領域1080P的低價CP值之王 ,在furmark的測試下,每秒還能到 42 FPS,一般的遊戲是沒有問題的,就是剪輯部分因為編碼缺乏intel優勢比較弱

而且,他還能讓舊電腦效能稍微加強,還能當我維修用的亮機卡,還有Linux的支援向來是AMD的天下,因此也是舊電腦翻身變成高效Ubuntu系統的助力選手。

  •  大家都知道,玩大模型最好買老黃N卡,這句是對的。

以下是測試的歷程 

緣由:


為尋找可以玩LLM的最低配置方案,經過一陣子的知識巡禮後,我買了這張RX580/8G顯卡,這是挖礦時代的卡片,不過這張卡除了核心晶片應該是礦卡搬過來的以外,其餘所有的零件包含電路板都是全新的,售價含運及關稅大約是台幣$1860,比真正礦卡貴了約800但是比較不會踩雷,但其實我更想買的是他們魔改的一張RX580/16G(但售價是雙倍)。

我知道玩AI需要老黃的NVIDIA,因為Cuda的支援比較豐富,而AMD則需要支援ROCm比較沒問題,但支援ROCm的都是RX6600XT以上的顯卡,那就失去我尋求最低配置方案的意義,而老黃的顯卡即使是二手的也是偏貴,更何況是8G以上的中階顯卡;而我也是要順便測試一下,即使未能支援Cuda/ROCm的顯卡,能比純CPU跑LLM快多少,來判斷是否值得。

我其實也考慮過M40,但那功率實在太高,而且支援Cuda的結果我也知道,網路上也有人測過跑中等模型的速度,跑起來跟用CPU跑差不多(5-7 token/s),因此多測無異。

我買的是稍貴的 新貼片生產的RX580/8G/雙風扇/3接口(DVI/HDMI/PD)版本,剛好有一台舊主機無顯卡,因此就算不玩LLM,至少還能給這台主機用或是做亮機卡,或是留著日後測試Oculink外接顯卡。



我其實比較想買16G 魔改那片,但沒買過不確定能用就不想花太多錢(還好後來沒買)


盒子包裝得很好,泡綿也很厚


卡況確定是全新貼片生產的 所有零件都是新的,除了主晶片


有 DVI/HDMI/DP 三個不同的 PORT


規格大約是 150~185W / 2048 Cuda流處理器 / 約等同 GTX-1060 / RX-5500XT 的水準
驅動程式也是使用AMD官網的驅動程式,所以驅動程式更新也不會有問題


從維基百科看來 RX580 是有支援 ROCm 的
但是根據官方網站的說法,是RX6600以上才支援,這裡明顯有矛盾

參考:原則上玩AI大模型 顯卡支援性與環境需求
特性CUDAROCmoneAPI
主要開發商NVIDIAAMD多家廠商共同開發 (包含 Intel, AMD, Google 等)
支援硬體NVIDIA GPUAMD GPU多種加速器 (包含 GPU, CPU, FPGA)
程式語言C/C++, FortranC/C++, FortranC/C++, Fortran, Python 等多種語言
開發工具CUDA ToolkitHIP (Heterogeneous-core Interface for Portability)DPC++ (Data Parallel C++)
生態系最為成熟,擁有龐大的開發者社群和豐富的第三方函式庫生態系正在快速發展,但相較於 CUDA 較小正在積極發展中,目標是建立一個統一的異質運算開發平台
跨平台性主要針對 NVIDIA 平台,但部分功能可跨平台主要針對 AMD 平台,但部分功能可跨平台強調跨平台性,可針對不同硬體進行編譯和優化
優勢生態系成熟、性能優異針對 AMD GPU 優化良好、開放原始碼跨平台性強、未來發展潛力大
劣勢跨平台性較弱、生態系相對封閉生態系較小、開發工具相對不成熟生態系仍在發展中、工具鏈可能不完善

測試設備:



CPU i5-8400 6核心
記憶體 16G 雙通道
系統碟 512 SSD
顯卡 RX 580顯卡 安裝原廠AMD驅動
Power 550W 

Ubuntu開機超順暢
Windows安裝及驅動安裝完全沒問題,就是更新等了很久
確定是 RX580 8G
lm-studio 使用 Qwen2.5 7B 模型,可以完全載入VRAM,但是GPU看似並無運作,速度6.3 token/s
Furmark測試5分鐘最多跑到72度/42FPS,溫度控制很可以,風扇也很安靜
lm-studio 使用 llama3.2 3B 模型,可以完全載入VRAM,但是GPU看似為微幅運作,大部分運作的還是CPU,速度來到11.8 token/s,第二次測是 7.08 token/s,第三次是10.38 token/s
Jan ai 抓不到顯卡 用CPU運作
Jan ai 開啟 Experimenttal Mode 後 就能開啟 Vulkan 支援,這時可以看到顯卡可支援
Jan ai 模型可以載入VRAM ,但GPU毫不配合運作,都只有CPU上工,速度6-7token/s
GPT4ALL 可以抓到支援Vulkan 的RX580
GPT4ALL 測 llama 3B小模型,可以載入RAM,GPU跑起來了,CPU也配合運作,速度達到最快時13 token/s,看來GPT4ALL 可以讓CPU/GPU高度協同
補安裝AMD ROCm支援
GPT4ALL 使用llama3 8B中模型,在安裝了AMD ROCm支援後,GPU終於跑滿檔,令人興奮,速度11 token/s
Jan 回頭測試,GPU仍然不動如山
換成ollama+chatbox,GPU仍然不動如山

結論:

  1. RX580果然不支援ROCm,但GPT4ALL是例外。
  2. 使用GPT4ALL時GPU 可全速運作,速度11 token/s,比新的CPU稍好而已。
  3. 除非是電腦很舊,只想花最少的錢讓她勉強玩一下LLM才值得。
  4. 特殊單一用途,例如設定來當學習角,中型模型用起來還是很棒。
  5. 很新的電腦,用CPU都會跑得比他快。
  6. SD生圖在windows底下RX580大多不支援。
  7. RX6600XT以上支援ROCm,要測試過才知道AMD全系列顯卡在LLM上的支援度。
  8. 不看LLM的話,RX580仍是亮機測試卡、爛老電腦遊戲提高效能最便宜高CP選擇。
  9. 我猜intel arc(比較新) 支援度可能更好,老黃的卡實在太貴了。
  10. AMD老顯卡推薦用GPT4ALL 來玩LLM。

本次測試,花掉我的薪水$1860元

2024年12月2日 星期一

顯卡跑LLM速度大約是如何呢?( 參照RTX4080)

顯卡跑LLM速度大約是如何呢?( 參照RTX4080)

4080是張16G的顯卡,從官網Qwen的測試看來,從7B的版本看起來速度可以達到124tok/sec,大約是4060的3倍,而顯卡天梯上,4080效能也差不多是4060的3倍左右,所以可以估算,模型在不超過VRAM的容量下,大約就是這樣的比例,

我的4060經實際測試大約是47 tok/sec

因此4070大約會落在70 tok/sec左右

至於超過VRAM之後,速度就會掉得很可怕了

以下是實測的結果,電腦10900/64G 顯卡4060/8G

QWEN2.5 7B/14B (Q4)用 lm-studio平台,在不同型號顯卡大家的速度是多少tokens/sec?

4060→7B:46.9tok/sec(極為順暢)

4060→14B:3.92tok/sec (約需要11G VRAM,顯然已經超過顯卡8G VRAM,速度降得很誇張)

高階顯卡部分感謝金門王家駿教授、陳文舟老師助測:

4090/16G筆電(MSI Raider 18 HX A14V筆電 4090/16GB,RAM 32GB)

4090→7B:69.14tok/sec(極為順暢)

TITAN Xp/12G→7B:46.46 tokens/s(極為順暢)

4090→14B:39.57tok/sec(極為順暢)

4090→32B:4.19tok/sec(需要約22G VRAM已經超過,降速離譜)

4090→70B(llama3.3)無法運行(需要45G VRAM才能跑)

因此,對於一般學習者而言,不牽涉其他AI服務的話,桌面版 4060Ti/16G無疑是平衡下的最佳選擇,而對於要玩AI生圖的人,還是攻頂比較合適,是生產力效率的問題

換句話說:如果你想順跑Qwen2.5 7BQ4 的模型,其實6G/8G顯卡就能順跑,所以如果你是GTX1060/6G 其實也不用換,但是若想跑順跑 14B 的模型,就得買VRAM 有12G的顯卡

以下圖片為官網提供測試的結果


至於對岸便宜的礦卡8G礦卡,等我買回來再測給大家看

若是不用顯卡,純用CPU跑(GPU OFFLOAD),跑Qwen2.5 7BQ4,速度是
在17-8700K(6核12緒):5.85 toks/s (速度很慢)

其他網友的測量
Kevin Chen:顯卡GTX1060/6GB (Qwen2.5 7b)→ 11.88 tokens/s
RX580/8G  (Qwen2.5 7b/Gemma2 9B,使用GPT4ALL)→ 6~11 tokens/s
M3 pro 18G 測qwen2.5 "3B" 速度達53token/s /7B未測試/32B無法載入需要再確認

也歡迎大家協助檢測提供數據