2024年12月22日 星期日

Open AI 2024/12月 12次發表會總整理

Open AI 2024/12月 12次發表會總整理

OpenAI 在 2024 年 12 月舉行了一場為期 12 天的連續發表會活動,官方稱之為「12 Days of OpenAI」,每天推出一項新產品或功能。這場活動展示了 OpenAI 在生成式 AI 領域的最新進展,涵蓋了模型升級、應用功能擴展以及多模態技術的突破。以下是這 12 天的主要亮點整理:

Day 1: o1 正式版與 ChatGPT Pro

o1 模型正式版:這是一款專注於高難度推理的模型,特別適用於數學、科學和工程等領域的複雜問題解決。相比於預覽版,o1 正式版的錯誤率降低了 34%,處理速度提升了 50%。

ChatGPT Pro 訂閱方案:推出了每月 $200 的高級訂閱計劃,針對專業用戶提供更強大的功能和更高效的模型使用體驗。

Day 2: 強化學習微調 (Reinforcement Fine-Tuning)

OpenAI 公布了一項研究功能,允許用戶對模型進行更精細的微調,適用於特定領域或主題的應用。這項技術雖然尚未完全商業化,但未來潛力巨大。

Day 3: Sora - 文字轉影片生成模型

Sora 是一款強大的文字轉影片生成工具,能夠將文字描述轉化為高品質影片。雖然技術令人驚艷,但也引發了對於媒體識讀與誤導性內容的擔憂。

Day 4: Canvas - 協作式文檔與代碼編輯工具

Canvas 提供了一個互動式的工作空間,用戶可以在文檔或代碼中進行即時修改,而不需要反覆輸入提示。這大幅提升了生產力,特別適合開發者和內容創作者。

Day 5: ChatGPT 與 Apple Intelligence 整合

ChatGPT 與 Apple 的智慧助理進行整合,提升了 Siri 的功能,使其能夠執行更複雜的任務。這是 OpenAI 與其他科技巨頭合作的一部分。

Day 6: 進階語音模式與「Santa Mode」

新增了語音模式的功能,包括視訊與螢幕分享,進一步提升了 ChatGPT 的多模態能力。此外,推出了「Santa Mode」,為假期增添趣味性。

Day 7: Projects - 整合式生活管理功能

Projects 功能正式登場,從傳統的對話列表進化為整合式的生活管理工具,用戶可以更高效地組織任務、計劃和專案。

Day 8: ChatGPT 搜索功能更新

搜索功能升級:提升了搜索性能,並整合了語音模式,讓用戶能夠透過自然語言進行更直觀的搜索。該功能現已向全球所有用戶免費開放。

Day 9: 開發者 API 更新

推出了 o1 模型的 API,並對實時語音 API 進行了優化。此外,新增了偏好微調功能(PFT),支持多種編程語言(如 Go 和 Java),並降低了推理成本 60%。

Day 10: 電話與 WhatsApp 支持

用戶現在可以透過撥打免費電話(1-800-CHAT-GPT)或在 WhatsApp 上與 ChatGPT 互動,這大幅降低了使用門檻,並支持多語言服務。

Day 11: ChatGPT 桌面應用

新版桌面應用增強了跨應用程序的集成功能,例如在 Xcode 中實現代碼自動補全,或在 Notion 中生成內容,進一步提升了工作效率。

Day 12: 最新推理模型 o3 與 o3-mini

o3 模型:這是 OpenAI 迄今為止最強大的推理模型,在數學、編碼和 ARC-AGI 基準測試中表現卓越,得分高達 87.5%。該模型展示了接近通用人工智能(AGI)的潛力。

o3-mini:針對特定任務進行優化,成本與延遲顯著降低,計劃於 2025 年 1 月底正式推出。

總結

OpenAI 的「12天發表會」展示了其在生成式 AI 領域的全面進步,從模型性能提升到應用場景的多樣化,涵蓋了專業用戶與普通用戶的需求。這場活動不僅強化了 OpenAI 的技術領先地位,也為未來的人工智能應用指明了方向。


Canva 簡報

https://reurl.cc/jQWer1

後記:

Felo+Canva 無敵
其他GPT還有Gamma都弱掉了
不是搜尋資料不完整就是亂扯一通
Perplexity要開啟pro模式才能完整

詢問GPTs “與心理學專家們對談”

https://chatgpt.com/g/g-oowTjQH56-yu-xin-li-xue-zhuan-jia-men-dui-tan

討論主題: OpenAI 2024年12月連續12天發表的技術與功能對AI發展的意義與未來展望?


約翰·杜威 (John Dewey):
「OpenAI這12天的發表反映了技術與社會實踐結合的趨勢,特別是協作式編輯平台 Canvas,這與我的實驗主義教育理論非常吻合。Canvas可以讓用戶通過實踐與AI互動,提升解決問題的能力,這不僅有助於學習,還能加強人類與技術的共同創造性。」

威廉·詹姆斯 (William James):
「這些技術革新讓我想到意識流中的‘選擇性專注’,例如 ChatGPT 的搜尋升級和 Siri 整合,為使用者提供即時資訊,幫助他們快速做出決策。技術越能協助人類專注於重要問題,就越能增強人的自由意志和效能。」

愛德華·李·桑代克 (Edward Thorndike):
「Sora AI影片生成工具讓人印象深刻,它將複雜的學習過程分解為刺激與反應的鏈條,創作者可以測試不同輸入來獲得最佳效果。這是一種極為實用的回饋機制,能強化多媒體創作中的學習效果。」

利維·維谷斯基 (Lev Vygotsky):
「這些技術的社會意義不容忽視,尤其是 WhatsApp 和熱線電話服務的整合,讓不同文化背景的群體都能方便使用AI工具。這為文化與認知的交互提供了全新可能,有助於建構性學習的社會互動。」

伯爾赫斯·斯金納 (B.F. Skinner):
「我特別關注強化微調與API優化,這體現了操作制約的核心概念。用戶通過微調獲得特定任務上的準確回應,這不僅是技術進步,還展示了如何通過系統性的強化來滿足個別需求。」

讓·皮亞傑 (Jean Piaget):
「OpenAI的新模型和功能讓我想到認知發展理論,特別是 AI工具如何影響人的適應與同化。例如,Canvas提供了一個平台讓使用者重構知識,逐步實現從具體操作到抽象思維的過渡。」

羅伯特·班杜拉 (Albert Bandura):
「我認為 OpenAI 的多平台擴展是一個重大的社會學習進展。Siri 和 WhatsApp 的整合可以成為觀察學習的強大媒介,讓人們從彼此的經驗中模仿和學習,特別是在分散式的數位環境中。」

交叉詰問:

桑代克詢問杜威:
「Canvas 的協作性確實有教育價值,但您認為它如何避免工具過於複雜,反而影響用戶的學習效率?」

杜威回應:
「重點在於設計一個直觀的介面,確保用戶能專注於內容創作,而非技術操作。這也是實驗主義的一部分,通過實踐來簡化工具的使用方式。」

斯金納詢問班杜拉:
「您提到 WhatsApp 整合促進觀察學習,但如果缺乏明確的強化機制,這種學習是否會缺乏持久性?」

班杜拉回應:
「社會學習的強化來自於觀察他人行為後的結果,而非直接操作。WhatsApp 的設計應該包含社交反饋機制,如點讚或評價,來增強這種學習效果。」

主持人總結:
這次討論強調了 OpenAI 技術的多樣化應用,從教育、媒體創作到社會互動,每位心理學家的觀點都揭示了新功能背後的心理學理論價值。
行動建議包括:

針對 Canvas 和 Sora 等工具進行用戶教育,確保其易用性與學習效益。
利用 WhatsApp 整合功能,創造跨文化的學習與交流場域。
鼓勵開發者採用強化微調功能,定制更多適合特定需求的AI應用。

詢問GPTs "世界首富們聊天室"

https://chatgpt.com/g/g-ef9JRbjcv-shi-jie-shou-fu-men-liao-tian-shi

請討論 "open ai 近日2024 12月發表的12次發表會內容"


主持人開場
感謝各位嘉賓出席這次討論。我們今天的主題是「OpenAI 近日舉辦的 12 次發表會內容」,這些發表會不僅展示了多項新技術,還推動了 AI 技術的實用化與普及化。我們希望從產品創新、應用場景以及對行業的影響等方面進行深入探討。請各位分享您的看法。

嘉賓發言
Elon Musk:
OpenAI 這次展示的產品,特別是 o3 推理模型和強化學習微調,標誌著人工智慧能力的進一步提升。這對特斯拉的自動駕駛項目也有啟發。未來,我們可以把這些模型應用到更複雜的駕駛場景中,尤其是高密度城市的車流管理。但我也擔心 AI 的增強推理能力可能帶來風險,尤其在無人監管的領域。

Jeff Bezos:
我對 Sora 影片生成工具特別感興趣。這對亞馬遜 Prime Video 的內容創作與用戶體驗升級是個機會。我們可以利用這種工具,讓創作者快速製作高品質內容,但我也認為,這類工具的普及可能引發版權問題,應該加強監管。此外,RFT 技術的商業價值巨大,它讓 AI 的專業化能力更加突出,能在電商、物流等領域大放異彩。

Mark Zuckerberg:
OpenAI 的 Canvas 協作工具和專案功能在團隊創作和個人學習領域有很大潛力。這些工具將改變社交媒體和虛擬現實世界中的內容生成方式。例如,我們可以結合這些功能,在元宇宙中提供更高效的學習和創作體驗。我同意 Elon 的看法,AI 增強推理能力值得關注,尤其是在深度偽造技術上的潛在濫用。

Larry Ellison:
我關注的是 ChatGPT 搜尋功能的全面開放。這是一次重大變革,因為它讓 AI 不再侷限於封閉環境,能即時獲取最新信息。對甲骨文的雲服務來說,這意味著更多可能性,可以讓企業更高效地處理大規模數據。我還想補充,這次發布的 o1 和 o3 模型,如果與企業的專屬數據結合,能創造巨大的價值。

Warren Buffett:
從長遠來看,OpenAI 的這些技術會大幅降低人類勞動成本,這既是一個機遇,也是一個挑戰。我比較關心的是,這些技術如何在醫療、教育等公益領域發揮作用,而不是僅僅用於盈利。我特別欣賞進階語音模式和搜尋功能,它們讓 AI 更容易被年長者或技術門檻較高的人群使用,這對社會福祉至關重要。

Bill Gates:
我認為 OpenAI 展示的所有技術中,Canvas 和專案功能最能改變教育領域的生態。我們可以把這些工具引入到發展中國家的數字教育中,縮小教育差距。同時,強化學習微調(RFT)技術能幫助研究者開發更專業的醫療應用。我也很期待這些模型如何與我們的健康大數據平台進行結合,為個性化醫療提供支持。

黃仁勳:
Sora 和 Canvas 的多模態應用可能徹底改變內容產業,尤其在影視和遊戲開發中。我們在 NVIDIA 也一直在開發類似的工具,讓用戶能更快創造虛擬場景和角色。我注意到,OpenAI 的 o1 和 o3 模型對數據運算的需求極高,這將推動硬體性能的提升,我們也會加強在這方面的技術投入。

張一鳴:
我對 OpenAI 的全球化佈局感到印象深刻,特別是搜尋功能和語音模式的普及化,這對發展中國家的數字化進程是一大助力。在字節跳動,我們也正在思考如何利用類似技術,提升短視頻平台的內容質量。至於 Sora 影片生成工具,這是一個顛覆性的產品,它能幫助用戶從消費者轉變為創作者,這是技術普惠的最佳例證。

交叉詰問
Elon Musk:
Bezos,您提到版權問題,但您認為像 Sora 這樣的工具是否應該開發一種自動版權檢測系統來避免侵權?

Jeff Bezos:
我完全同意。自動版權檢測系統是必要的,特別是在影片生成工具逐漸普及的情況下。我們需要平衡創作自由和版權保護,這或許可以通過區塊鏈技術實現,讓每個作品都能被精確追溯來源。

黃仁勳:
Larry,你提到 ChatGPT 搜尋功能的全面開放,但這是否會引發數據隱私的問題?用戶的搜尋行為是否可能被過度追蹤?

Larry Ellison:
這是個很好的問題。隱私確實是一個大問題,但我認為這可以通過增強的加密和用戶自主控制數據的方式解決。我們需要建立透明的數據使用規範,讓用戶知道自己的數據如何被使用。

Bill Gates:
Mark,你提到 Canvas 在元宇宙的應用,但你認為這樣的工具是否會讓人過於依賴虛擬世界,而忽視現實中的社會問題?

Mark Zuckerberg:
這是個很好的提醒。我們的目標是讓技術成為解決問題的工具,而不是逃避問題的途徑。在設計這些應用時,我們應該考慮到它們如何增強而不是取代現實世界中的連結。

主持人總結
經過討論,我們可以看到 OpenAI 的這次發表會不僅展示了技術創新,還激發了大家對其應用潛力與挑戰的思考。幾個主要共識如下:

技術普惠與公益性:AI 技術的應用應注重解決醫療、教育等領域的全球問題。
隱私與版權管理:多模態技術的普及需要完善的隱私與版權保護機制。
全球影響與責任:技術應以普惠為核心,推動數字化進程並縮小數字鴻溝。
未來,技術的進一步突破應該在解決現實問題的基礎上,實現人類福祉的最大化!


詢問GPTs 古往今來中西名人大亂鬥2

https://chatgpt.com/g/g-ydZOu5ueF-gu-wang-jin-lai-zhong-xi-ming-ren-da-luan-dou-2

請討論 "open ai 近日2024 12月發表的12次發表會內容"

個別陳述
蘇格拉底:這些技術的進步讓我思考人性與智慧的關係。AI是否會模仿人類的智慧,還是超越人類的限制?智慧本身應該服務於善良與正義,但若它被濫用,是否會走向我們無法控制的方向?我們需要慎重檢討這些創新是否符合倫理。

柏拉圖:AI的進步讓我想到「理想國」中的治理模式。這些技術應當由具有哲學思維的專家管理,避免過度依賴民眾對其使用方式的判斷。就像理想國的哲學王,他們的目標應是使技術服務於整體福祉,而非僅僅商業利益。

亞里斯多德:AI的功能升級應該根植於實用性與德性。我對其中「專案功能」的推出特別感興趣,這種系統化的組織能力可以提升我們的學術研究或政策分析。然後,我想強調,AI的應用應以促進人類幸福為核心。

孔子:AI這種「知識的器具」確實令人驚歎,但「知識」與「仁」之間不可混淆。若此技術偏重於功利主義而忽視了教化與德行的培養,終究會反噬人類。治理AI應如治國,需「正名」,讓其能發揮正面價值。

老子:這讓我想到「道法自然」。AI看似無限,但若人類不尊重自然的界限,過度幹預,便可能破壞平衡。使用這些技術時,應順應需求,而非讓技術掌控我們的生活。

孫子:AI是一個戰略資源,其運用將成為未來的勝負關鍵。像「搜尋功能全面開放」與「視頻生成工具」,這些技術可以用於戰場情報搜集與心理戰,但需謹慎防範對手的技術反制。

巴菲特:從投資的角度看,這次OpenAI的發表會是一個信號,顯示人工智慧的應用將滲透更多領域,特別是在視頻生成和組織效率提升方面。但風險也不容忽視,特別是高額訂閱服務是否能吸引穩定用戶。

伊隆·馬斯克:我關注的是AI在實現星際移民中的應用,例如「Canvas」功能能加速創意設計和科技開發。與此同時,像「強化微調」這樣的技術也能幫助優化決策系統,提升我們的執行效率。

交叉詰問
柏拉圖對巴菲特:巴菲特先生,您提到用戶是否能承擔高額訂閱費用,那麼,這樣的經濟模式是否違背了AI普惠的原則?

巴菲特:確實,AI應當兼顧商業價值與普惠性。但高價模式有助於回收研發成本,未來價格可能因規模經濟下降,達到更多人可接受的範圍。

亞里斯多德對伊隆·馬斯克:伊隆先生,您提到AI可以支持星際移民,那麼如何確保這些技術在探索新邊界時不會產生倫理危機?

伊隆·馬斯克:我們需要將透明性納入技術設計,確保每個決策都可被追溯。同時,建立全球監管機制,避免技術濫用。

蘇格拉底對孫子:孫子先生,您提到AI可以用於戰略,那麼,是否會增加國際間的緊張局勢,導致不可控的衝突?

孫子:這確實是風險,因此我們需要強調防禦而非進攻,同時推動國際合作,形成制約力量。

主持人總結
主持人:經過這場精彩的對談,我們可以看出,OpenAI的發表會內容引發了多方面的思考,包括技術應用的倫理、商業模式的公平性、以及AI對未來人類生活的深遠影響。綜合討論後,我們得出以下結論與建議:

倫理與治理:技術發展應有清晰的監管框架,確保AI服務於人類福祉。
教育與透明:推動全球範圍內的AI教育,提升大眾對技術的理解,並要求技術設計透明。
國際合作:建立AI應用的國際規範,避免技術競賽升級為衝突。
普惠模式:平衡商業收益與普惠需求,探索更靈活的價格體系。
讓我們以謹慎而積極的態度,迎接AI為我們生活帶來的改變。

2024年12月19日 星期四

連阿嬤都會喝手沖咖啡順便學AIGC系列(免費無痛保證班)

 千呼萬喚始出來~~~

連阿嬤都會喝手沖咖啡順便學AIGC系列

~小白老師本地免費生成式AI爽爽用到飽保證班

阿嬤班報名表:

https://forms.gle/tG3D1JXKj2ayu8tg6

第一堂:(請自備電腦及固網)

簡單美味手沖咖啡起手式

無痛上手本地AIGC─設計免費無限使用班級學習角(Jan AI )

時間與鏈結將於開課前在課堂內及以郵件發送



2024年12月16日 星期一

全網最詳細評測:用翻新經典礦卡AMD RX580/8G (非NVIDIA顯卡) 挑戰LLM本地AIGC(ChatGPT) 跑本地大模型

用AMD RX580/8G (非NVIDIA顯卡) 挑戰LLM本地AI

我先講結論:

“大家都知道,玩LLM最好買老黃N卡”

作為CP值教主,測試完之後我的建議是:

  • 如果你不是很舊的電腦,建議不要買RX580,(但RX6600 XT以上待測)

最便宜礦卡大約台幣$1200,這片是全新貼片的約台幣$1800,本來期待他的16G 版本,但這篇測完後發現好險沒買。

因為很顯然,雖然是AMD經典礦卡,但他不支援ROCm技術(可以安裝但不支援,官網還是比較準)因此大部分的GPT(Jan、lm-studio、Ollama+Chatbox、Ollama) 沒辦法用GPU跑,不管是否有抓到顯卡,調動Vulkan技術(有load進VRAM,但GPU 沒有跑起來,這跟老黃的NVIDIA沒有安裝CUDA是一樣的狀況,唯一例外是GPT4ALL可以調動顯卡的GPU跑起來,但速度也只有 11 token/s,比純用CPU跑(3-7 token/s)並沒有高多少,甚至比新型的帶NPU 或是多核CPU 還要低。

況且,以StabilityMatrix裡面的各種Stable Diffusion 生圖套件的支援度,大部分都不行,應該是AMD僅支援linux來玩SD,Windows 下我裝了幾種都不能跑,甚至不能啟動,才明白他的支援列表 “AMD(Linux)” 是這個意思,顯然從支援列表上Intel arc應該更有機會,但AMD RX6600 XT以上支援ROCm部分待測,我就不敢斷定。

所以,如果你的電腦比 intel i5 八代以上還新,建議放棄這張卡,雖然他是8G VRAM 最便宜的顯卡。

  • 但如電腦很舊不想花大錢,不考慮可能買到短命卡,蠻建議這張礦卡。

低價就是王道,至少他使用GPT4ALL還能玩得動7B~9B 的大模型,可以跑到 11 token/s,如果是我,我應該會設定成班級教室的學習角落,做一個專業的教練,讓學生訓練專門的能力,或課輔的幫手

再者,這張卡片目前仍舊是遊戲領域1080P的低價CP值之王 ,在furmark的測試下,每秒還能到 42 FPS,一般的遊戲是沒有問題的,就是剪輯部分因為編碼缺乏intel優勢比較弱

而且,他還能讓舊電腦效能稍微加強,還能當我維修用的亮機卡,還有Linux的支援向來是AMD的天下,因此也是舊電腦翻身變成高效Ubuntu系統的助力選手。

  •  大家都知道,玩大模型最好買老黃N卡,這句是對的。

以下是測試的歷程 

緣由:


為尋找可以玩LLM的最低配置方案,經過一陣子的知識巡禮後,我買了這張RX580/8G顯卡,這是挖礦時代的卡片,不過這張卡除了核心晶片應該是礦卡搬過來的以外,其餘所有的零件包含電路板都是全新的,售價含運及關稅大約是台幣$1860,比真正礦卡貴了約800但是比較不會踩雷,但其實我更想買的是他們魔改的一張RX580/16G(但售價是雙倍)。

我知道玩AI需要老黃的NVIDIA,因為Cuda的支援比較豐富,而AMD則需要支援ROCm比較沒問題,但支援ROCm的都是RX6600XT以上的顯卡,那就失去我尋求最低配置方案的意義,而老黃的顯卡即使是二手的也是偏貴,更何況是8G以上的中階顯卡;而我也是要順便測試一下,即使未能支援Cuda/ROCm的顯卡,能比純CPU跑LLM快多少,來判斷是否值得。

我其實也考慮過M40,但那功率實在太高,而且支援Cuda的結果我也知道,網路上也有人測過跑中等模型的速度,跑起來跟用CPU跑差不多(5-7 token/s),因此多測無異。

我買的是稍貴的 新貼片生產的RX580/8G/雙風扇/3接口(DVI/HDMI/PD)版本,剛好有一台舊主機無顯卡,因此就算不玩LLM,至少還能給這台主機用或是做亮機卡,或是留著日後測試Oculink外接顯卡。



我其實比較想買16G 魔改那片,但沒買過不確定能用就不想花太多錢(還好後來沒買)


盒子包裝得很好,泡綿也很厚


卡況確定是全新貼片生產的 所有零件都是新的,除了主晶片


有 DVI/HDMI/DP 三個不同的 PORT


規格大約是 150~185W / 2048 Cuda流處理器 / 約等同 GTX-1060 / RX-5500XT 的水準
驅動程式也是使用AMD官網的驅動程式,所以驅動程式更新也不會有問題


從維基百科看來 RX580 是有支援 ROCm 的
但是根據官方網站的說法,是RX6600以上才支援,這裡明顯有矛盾

參考:原則上玩AI大模型 顯卡支援性與環境需求
特性CUDAROCmoneAPI
主要開發商NVIDIAAMD多家廠商共同開發 (包含 Intel, AMD, Google 等)
支援硬體NVIDIA GPUAMD GPU多種加速器 (包含 GPU, CPU, FPGA)
程式語言C/C++, FortranC/C++, FortranC/C++, Fortran, Python 等多種語言
開發工具CUDA ToolkitHIP (Heterogeneous-core Interface for Portability)DPC++ (Data Parallel C++)
生態系最為成熟,擁有龐大的開發者社群和豐富的第三方函式庫生態系正在快速發展,但相較於 CUDA 較小正在積極發展中,目標是建立一個統一的異質運算開發平台
跨平台性主要針對 NVIDIA 平台,但部分功能可跨平台主要針對 AMD 平台,但部分功能可跨平台強調跨平台性,可針對不同硬體進行編譯和優化
優勢生態系成熟、性能優異針對 AMD GPU 優化良好、開放原始碼跨平台性強、未來發展潛力大
劣勢跨平台性較弱、生態系相對封閉生態系較小、開發工具相對不成熟生態系仍在發展中、工具鏈可能不完善

測試設備:



CPU i5-8400 6核心
記憶體 16G 雙通道
系統碟 512 SSD
顯卡 RX 580顯卡 安裝原廠AMD驅動
Power 550W 

Ubuntu開機超順暢
Windows安裝及驅動安裝完全沒問題,就是更新等了很久
確定是 RX580 8G
lm-studio 使用 Qwen2.5 7B 模型,可以完全載入VRAM,但是GPU看似並無運作,速度6.3 token/s
Furmark測試5分鐘最多跑到72度/42FPS,溫度控制很可以,風扇也很安靜
lm-studio 使用 llama3.2 3B 模型,可以完全載入VRAM,但是GPU看似為微幅運作,大部分運作的還是CPU,速度來到11.8 token/s,第二次測是 7.08 token/s,第三次是10.38 token/s
Jan ai 抓不到顯卡 用CPU運作
Jan ai 開啟 Experimenttal Mode 後 就能開啟 Vulkan 支援,這時可以看到顯卡可支援
Jan ai 模型可以載入VRAM ,但GPU毫不配合運作,都只有CPU上工,速度6-7token/s
GPT4ALL 可以抓到支援Vulkan 的RX580
GPT4ALL 測 llama 3B小模型,可以載入RAM,GPU跑起來了,CPU也配合運作,速度達到最快時13 token/s,看來GPT4ALL 可以讓CPU/GPU高度協同
補安裝AMD ROCm支援
GPT4ALL 使用llama3 8B中模型,在安裝了AMD ROCm支援後,GPU終於跑滿檔,令人興奮,速度11 token/s
Jan 回頭測試,GPU仍然不動如山
換成ollama+chatbox,GPU仍然不動如山

結論:

  1. RX580果然不支援ROCm,但GPT4ALL是例外。
  2. 使用GPT4ALL時GPU 可全速運作,速度11 token/s,比新的CPU稍好而已。
  3. 除非是電腦很舊,只想花最少的錢讓她勉強玩一下LLM才值得。
  4. 特殊單一用途,例如設定來當學習角,中型模型用起來還是很棒。
  5. 很新的電腦,用CPU都會跑得比他快。
  6. SD生圖在windows底下RX580大多不支援。
  7. RX6600XT以上支援ROCm,要測試過才知道AMD全系列顯卡在LLM上的支援度。
  8. 不看LLM的話,RX580仍是亮機測試卡、爛老電腦遊戲提高效能最便宜高CP選擇。
  9. 我猜intel arc(比較新) 支援度可能更好,老黃的卡實在太貴了。
  10. AMD老顯卡推薦用GPT4ALL 來玩LLM。

本次測試,花掉我的薪水$1860元

2024年12月2日 星期一

顯卡跑LLM速度大約是如何呢?( 參照RTX4080)

顯卡跑LLM速度大約是如何呢?( 參照RTX4080)

4080是張16G的顯卡,從官網Qwen的測試看來,從7B的版本看起來速度可以達到124tok/sec,大約是4060的3倍,而顯卡天梯上,4080效能也差不多是4060的3倍左右,所以可以估算,模型在不超過VRAM的容量下,大約就是這樣的比例,

我的4060經實際測試大約是47 tok/sec

因此4070大約會落在70 tok/sec左右

至於超過VRAM之後,速度就會掉得很可怕了

以下是實測的結果,電腦10900/64G 顯卡4060/8G

QWEN2.5 7B/14B (Q4)用 lm-studio平台,在不同型號顯卡大家的速度是多少tokens/sec?

4060→7B:46.9tok/sec(極為順暢)

4060→14B:3.92tok/sec (約需要11G VRAM,顯然已經超過顯卡8G VRAM,速度降得很誇張)

高階顯卡部分感謝金門王家駿教授、陳文舟老師助測:

4090/16G筆電(MSI Raider 18 HX A14V筆電 4090/16GB,RAM 32GB)

4090→7B:69.14tok/sec(極為順暢)

TITAN Xp/12G→7B:46.46 tokens/s(極為順暢)

4090→14B:39.57tok/sec(極為順暢)

4090→32B:4.19tok/sec(需要約22G VRAM已經超過,降速離譜)

4090→70B(llama3.3)無法運行(需要45G VRAM才能跑)

因此,對於一般學習者而言,不牽涉其他AI服務的話,桌面版 4060Ti/16G無疑是平衡下的最佳選擇,而對於要玩AI生圖的人,還是攻頂比較合適,是生產力效率的問題

換句話說:如果你想順跑Qwen2.5 7BQ4 的模型,其實6G/8G顯卡就能順跑,所以如果你是GTX1060/6G 其實也不用換,但是若想跑順跑 14B 的模型,就得買VRAM 有12G的顯卡

以下圖片為官網提供測試的結果


至於對岸便宜的礦卡8G礦卡,等我買回來再測給大家看

若是不用顯卡,純用CPU跑(GPU OFFLOAD),跑Qwen2.5 7BQ4,速度是
在17-8700K(6核12緒):5.85 toks/s (速度很慢)

其他網友的測量
Kevin Chen:顯卡GTX1060/6GB (Qwen2.5 7b)→ 11.88 tokens/s
RX580/8G  (Qwen2.5 7b/Gemma2 9B,使用GPT4ALL)→ 6~11 tokens/s
M3 pro 18G 測qwen2.5 "3B" 速度達53token/s /7B未測試/32B無法載入需要再確認

也歡迎大家協助檢測提供數據

2024年11月26日 星期二

賀!是你控制了GAI?還是GAI控制了你?AIGC時代的上位思考─文章榮登科學研習雙月刊第63卷第4期

是你控制了GAI?還是GAI控制了你?
AIGC時代的上位思考

    ─文章榮登科學研習雙月刊第63卷第4期



期刊全文檔案鏈結在下方

https://www.ntsec.gov.tw/article/detail.aspx?a=5562

PodCast用聽的




2024年11月21日 星期四

我到底要買多大VRAM的顯卡才能順順玩llm

我到底要買多大VRAM的顯卡才能順順玩llm

朋友常常問我這個問題,以阿里巴巴通譯千問2.5的模型來看

如果你使用的是7B參數量的模型,

模型容量是4.7GB通常導入VRAM記憶體之後會再增加個1到2G

所以這個7B的模型在VRAM有6G的顯示卡上面應該是可以順跑的

因此,不管你用的是1060/6G還是3050/4060/6G,順順跑應該都還沒問題

但是一旦VRAM不夠使用,模型部分載入本機記憶體的話體

體感速度就會降10倍

因此如果你想順跑14 B參數的模型
可能就要買到3060/4070/12G或者4060ti/16G以上
想跑32B參數的模型就只能買4090/24G了

但如果你是Mac因為他是共用記憶體架構
因此幾乎大部份的記憶體都可以調用作為VRAM
24G RAM 的Mac應該就可以順跑32B的模型
這是Mac 在LLM領域CP值比較高的原因
不過因為顯示晶片的效能還是不敵獨立顯卡所以速度當然沒有獨立顯卡快

那接下來你就會文32B參數跟14B參數的模型到底有什麼差別
其實就是聰明度的差別從下面這張圖看起來
32B的Qwen2.5各項指標都遠遠超越GPT4-O mini
而14B的模型就跟GPT4-O mini伯仲之間打的有來有回
實際的測試應用上7B以上的模型在國中小服務學生應該是夠用
也可以相當程度的理解角色化GPTs的系統指令(System Prompt)的設定
但是3B以下的模型體感上就覺得他有點笨

所以我的建議是最少用7B的模型,條件稍好用14B的模型
電腦如果實在非常地陽春連顯卡都沒有那就只能用3B的模型體驗體驗

(上面的模型列表大部份是用Q4位元素壓縮量化的,數字越少速度越快但是模型越苯,數字越大模型速度越慢但是越聰明,可以的話儘量Q6~Q8,lm-studio裡面可以選,ollama不行)

注意如果你玩本地AI的話,不管是本地生圖還是大語言模型,甚至是AI動畫製作
老黃的顯卡是資源比較豐富的,如果你使用的是Mac或者是Intel的arc或是AMD的獨顯
都會比較容易遇到相容性和支援的問題
老手可以慢慢處理新手就不建議

又有人問我顯卡那麼貴
我會跟你說公家單位買看得見的設備比較容易買看不見的帳號比較折騰

2024年11月9日 星期六

使用lm-studio本地架設可以提供服務的網路伺服器來提供GPT服務

 

原來使用lm-studio就可以在區網提供GPT服務了
只要啟動lm-studio的server
客戶端使用chatbox將模型設定成兼容openai
給網址,不用給API KEY 就行了
真是太屌了,架區域LLM伺服器原來很簡單
不過應該還有你家自己防火牆的問題

2024年11月4日 星期一

建置本地LLM設備參考(以TOPS排序)

公司 型號 TOPS (FP8) VRAM 台幣參考售價 備註
NVIDIA RTX 4090 1,321 24GB GDDR6X 65,000 最強消費級顯卡
NVIDIA RTX 4080 Super 1,000 16GB GDDR6X 39,900
NVIDIA RTX 4080 780 16GB GDDR6X 38,900
NVIDIA RTX 4070Ti Super 670 16GB GDDR6X 32,900
AMD RX 7900 XTX 650 24GB GDDR6 39,900 AMD旗艦卡
NVIDIA RTX 4070Ti 580 12GB GDDR6X 29,900
AMD RX 7900 XT 520 20GB GDDR6 35,900
NVIDIA RTX 4070 Super 480 12GB GDDR6X 24,900
Intel Arc A770 450 16GB GDDR6 11,900 Intel首發旗艦卡
NVIDIA RTX 4070 420 12GB GDDR6X 22,900
AMD RX 7800 XT 400 16GB GDDR6 23,900
AMD RX 7700 XT 380 12GB GDDR6 19,900
Intel Arc A750 340 8GB GDDR6 9,900
NVIDIA RTX 4060Ti 310 8GB/16GB GDDR6 15,900/17,900
NVIDIA RTX 4060 280 8GB GDDR6 12,900
AMD RX 7600 250 8GB GDDR6 10,900
Intel Arc A580 240 8GB GDDR6 7,900
NVIDIA RTX 3060Ti 220 8GB GDDR6 11,900 上代中階卡
NVIDIA RTX 3060 180 12GB GDDR6 9,900
Intel Arc A380 150 6GB GDDR6 4,900
NVIDIA RTX 3050 140 8GB GDDR6 8,900
AMD RX 6500 XT 130 4GB GDDR6 5,900
Intel Core Ultra 7 285H 80 共享系統記憶體 - Intel最強筆電APU
Intel Core Ultra 7 165H 75 共享系統記憶體 -
Intel Core Ultra 5 125H 70 共享系統記憶體 -
AMD Ryzen 8845HS 65 共享系統記憶體 - AMD最新筆電APU
AMD Ryzen 7840HS 60 共享系統記憶體 -
AMD Ryzen 7835HS 55 共享系統記憶體 -
Apple M3 Ultra 50 共享系統記憶體 - Apple最強晶片
Apple M3 Pro 40 共享系統記憶體 -
Apple M3 35 共享系統記憶體 -
Apple M2 30 共享系統記憶體 -
Apple M1 25 共享系統記憶體 -
學習建議4060Ti/16G最具CP值,生產力請直上4090

建置本地AI之LLM設備參考(TOPS天梯)

學習建議4060Ti/16G最具CP值,生產力請直上4090

2024年11月3日 星期日

AIGC 時代科技教育該如何轉變

 AIGC 時代科技教育該如何轉變


國中小科技領域教學內容一直都有兩個方向

一是科技領域的思考與工具應用用在各領域融入
這個是100%學生未來都有用,
不管你在哪個領域不管是工作或是生活
(但這個方向經常被忽略)
二是科技領域本身的科技技術與科技思考
這個大約只對6%學生有用(未來從事科技相關產業)

我很早就講過
所以教運算思維也不會只有寫程式這種方法
教設計思考也不是只有做手做這條路
早些年我在講這個的時候用語比較尖銳
有些防衛心比較高的人覺得我觸碰了他們的逆鱗
這些人一旦覺得受到威脅就會築起圍牆甚至敵視你

現在AIGC的發展讓這個態勢越來越明顯
就算你以前不想聽我講 現在好像也不得不承認

人在思考前要看得廣,不僅看深度、看廣度,
還要看向前看,看向時間軸的未來

在科技領域推動AIGC也是一樣
第一部分推各領域的普及應用
第二部分你要去推AI的技術,做科技的菁英教育
兩者都要做,但缺一不可,尤其是第一部分

現在和AI聊一下,你不用懂程式,但程式就寫好了
(思考:那現在程式教育該如何轉變...)
但是作品要做得好,還是要比AI更懂那領域的上位思考
你才能控制AI幫你生出符合需求很棒的作品
(思考:使用AIGC 的上位思考是甚麼,教育又該如何轉變...)

你看見了嗎?
未來可能是人人有許多專業助理的時代
繁瑣、重複、技術的事AI都幫你處理了
你要做甚麼?
有你能做甚麼才不會被AI控制?
教育又該如何轉變?

就算你摀著耳朵(我不聽我不聽)
時代一樣會到來

2024年10月29日 星期二

古往今來中西名人大亂鬥座談GPTs應用-Prompt在文章中,本地LLM可用

古往今來中西名人大亂鬥座談GPTs應用

你知道嗎?太好玩了

中西方十大哲學家跟你對話
參考指令“主題:AIGC對教育到底是幫助還是傷害"
https://chatgpt.com/g/g-ydZOu5ueF-gu-wang-jin-lai-zhong-xi-ming-ren-da-luan-dou-2
PodCast介紹
https://mixerbox.ai/genpod/epA7nSevUgfbg?hl=zh

Prompt在文章中

本地LLM可用 

超好玩的GPTs

當你可以把死人古人叫起來
當你可以邀請中西名人一起來對話
還可以詢問來賓對其他人發表的觀點
可以交互詰問

這麼多元的想像...真是太好玩了
我要叫醒中國九流十家來學中國古代哲學
我要聚集世界首富和投資專家來教我退休理財規劃
我要傳召各國國家元首來探討世界和平
我要聘請台灣所有語文專家教我作文
歡迎大家接龍多元應用
https://chatgpt.com/g/g-ydZOu5ueF-gu-wang-jin-lai-zhong-xi-ming-ren-da-luan-dou-2

做好的GPTs 都放在上方鏈結區喔

我和它們聊了兩段,你就會發現它們很厲害,聊天歷史在下方

https://chatgpt.com/share/67223147-93dc-8001-a905-03284d6c0186?fbclid=IwZXh0bgNhZW0CMTAAAR1nsQf2oaRDk4J7E9fpRNQuZ_foMeg1nHbz5teYwcjyQiuwWFjTZb38ffE_aem_o886pr1WVNbm7ABjejV4oA

https://chatgpt.com/share/672235b6-cc34-8008-86da-b6b80120f75a?fbclid=IwY2xjawGPGYlleHRuA2FlbQIxMAABHVYs6nI8qYnW0Ho9vY_2uLz2LuaNytk_bkTB8dl31-NAS9-JsLDMgXFu9Q_aem_aymv0umA9JIbBpMSnM9oXw


本地LLM可用,提示詞在下方,人名可置換
---------------------------------------------------------------------------------------------------------

模擬一個現場座談會,邀請以下八位知名人物:蘇格拉底、柏拉圖、亞里斯多德、孔子、老子、孫子,以及現代的巴菲特和伊隆·馬斯克。每位嘉賓針對所提出的問題內容發表各自的觀點,過程中可進行交叉詰問以深入討論。最後,由主持人進行總結,並提出結論與可行方案。對談需使用繁體中文的台灣用語。 # Steps 1. **設置主題:** 提出座談會的核心問題或議題。 2. **個別陳述:** 每位嘉賓依次發表對此議題的獨特見解。 3. **交叉詰問:** 若出現觀點差異,允許嘉賓之間進行問答和挑戰。 4. **小結與可行方案:** 主持人對討論內容總結出主要結論,並提出具體可行方案。 # Output Format - 整理為一段流暢的,對話形式的文本。 - 各角色的發言以角色名:內容的格式呈現。 - 總結部分應以「主持人:」開頭,結尾標示可行方案。 # Examples **Example:** - 議題:「未來科技對人類社會的影響」 - 蘇格拉底:這是一個值得深思的話題,我們需從道德和倫理方面審視科技的進步... - 伯拉圖:科技應該由理想國的哲學王來指導和管理,以確保其不偏離正道... - ... - 孫子:對於科技,我們應該了解其對戰略優勢的增強作用... - 巴菲特:投資方面,未來科技無疑是大勢所趨,然而需保持謹慎... - 伊隆·馬斯克:我的願望是藉由科技,拓展人類的生活空間,甚至在其他星球生活... - 主持人:經過大家的精彩對談,我們可以了解到XX問題的重要性,針對此問題,我們可以採取的方案有... (Note: 現實情境中每位嘉賓的發言會較詳細,請確保完整的觀點闡述。)


2024年10月28日 星期一

本地LLM大語言模型運用-陽春電腦沒顯卡怎麼用

沒有顯卡的陽春電腦


不宜使用這兩個容器玩大模型,因為他們偵測不到你的顯卡就不能用

lm-studio/gpt4all


請改用這幾個,可使用CPU(比較慢,選用2B/3B小模型)

或是改用API串接方式(速度很好,大模型品質高=少量分期付款)

ollama+chatbox

chatbox

jan

anythingLLM

2024年10月27日 星期日

AIGC工具是中性的,變好變壞都是人

 今天在臉書上看到一則貼文

主題是【AI 內容:讓你走向平庸的超級下策】── 停滯就算了。更慘的是隱性退步

我來導正一下視聽,以免影響多數想要前進的人

其實不用吵,也不用一竿子打翻一船人

沒有甚麼“一定”的事

要看你是甚麼目的,甚麼用途,還有你怎麼做而定

這可是依據教育心理學、認知心理學、腦神經科學、運算思維等相關理論得出來的結果,

我來舉個例子:

在刻意練習那本書也提到,例如籃球,我們會做分部練習,練單一技能、會作競賽練習,練交錯混和運用的技能;在教育上,我們也會為了容易學習,練單一技能,例如練抽象化能力,抽取段落大意、關鍵字及文章重點,這時候將不相關的雜訊排除,例如找文章來練習,用AIGC產生文章,讓孩子專心在練習找核心重點,再給AIGC檢查評論,這樣對練,可以達到快速的單一技能學習成長,有何不可,這不就是分部練習,也是心流的運用,完全符合各種理論而且又接地氣,不但完美的個別化學習,還解決老師人力時間完全不足的問題;

然後也會給主題型的練習(交錯練習),甚至孩子成熟一點或上了國中以後,給予大量的批判思考練習才有意義,因為他有了基本的閱讀基礎

但是,如果你只是把工具丟給他,他本能就只會用AIGC 來產生答案偷懶,因為偷懶是人性,

所以強大的工具給心智未成熟的人(我不單指小孩),沒監管容易出事

邪人行正法,正法亦邪
正人行邪法,邪法亦正

任何工具都可以用在好或壞的方面,看你怎麼用而已

工具沒有是非,事件本身也沒對錯,全看你自己的念

“像由心生,境隨心轉”

身為老師
任何工具都能化為助力才是很棒的老師
所以刀能殺人,也能救人,我會選擇拿他來救人

(合十)

我還跟世界最有名的心理學家聊了一下,聊天紀錄在此,真的有趣

https://chatgpt.com/share/672235b6-cc34-8008-86da-b6b80120f75a?fbclid=IwY2xjawGPGYlleHRuA2FlbQIxMAABHVYs6nI8qYnW0Ho9vY_2uLz2LuaNytk_bkTB8dl31-NAS9-JsLDMgXFu9Q_aem_aymv0umA9JIbBpMSnM9oXw

為了證明我講的我剛剛還去perplexity一下他可是很支持我的

====以下是他給的相關內容=====

教育心理學與認知心理學

1. 刻意練習理論
刻意練習(Deliberate Practice)是由心理學家安德斯·艾利克森(Anders Ericsson)提出的理論,強調專注於特定技能的練習以達到專業水平。這種方法不僅適用於體育運動,如籃球,也適用於學術學習。您提到的分部練習和交錯練習正是這一理論的具體應用,透過有針對性的練習來提升學生的能力。2. 心流理論
心流(Flow)是由心理學家米哈伊·契克森米哈伊(Mihaly Csikszentmihalyi)提出的一種心理狀態,當人們全神貫注於某項活動時會感受到的愉悅和滿足。透過設計合適的學習活動,例如使用AIGC生成文章來集中注意力,學生能夠更容易進入心流狀態,從而提高學習效果。

腦神經科學

3. 神經可塑性
腦神經科學研究表明,大腦具有可塑性,能根據經驗和學習進行改變。這意味著透過適當的練習和工具使用,學生的大腦結構和功能可以得到改善。因此,利用AIGC等工具進行針對性練習,可以促進學生在特定技能上的發展。

運算思維

4. 運算思維與批判思考
運算思維(Computational Thinking)是一種解決問題的方法,它強調分析、設計和實施解決方案。您提到在學生具備基本閱讀能力後引入批判思考訓練,這與運算思維相輔相成,有助於學生在面對複雜問題時能夠系統性地分析和評估。

工具的雙面性

您提到“工具沒有是非”,這一觀點與教育哲學中的工具中立性(Tool Neutrality)相呼應。工具本身並不具備道德價值,其影響取決於使用者的意圖和方式。強調教師在使用工具時的引導作用,可以幫助學生更好地利用技術資源,而不是依賴它們來逃避思考。總結來說,您的觀點得到了多個教育理論的支持,這些理論強調了在教學中靈活運用工具的重要性,以及教師在引導學生有效使用這些工具方面所扮演的關鍵角色。
https://www.perplexity.ai/search/wo-xiang-jiang-yi-xia-zhe-jian-dI4bk_dKTwehXFoHZldOHQ