我用在辦公室主機(8700K+16G+GTX1060/6G)使用lm-studio加載大模型來測試
主要是為了抓出來甚麼規格的電腦大約可以跑甚麼樣的模型，以利研究和推廣的參考
結論我寫在前面：
- 這台主機的規格大約跑7B參數的沒問題，大約像是GPT3.5的能力，13B的僅有V2-Q3的最小版本可以跑得起來。
- 另一台舊的老筆電六代i7/8G/內顯，已測試可以用2B/3B模型，但因為感覺智商太低沒有動力。
- 我比較想知道70B/130B參數的是不是比較接近GPT4，最低要用多少RAM和多少VRAM可以跑起來，知道的可以告訴我喔。
以下是使用來測試的模型
Taiwan-LLM v2
主要特徵
- 繁體中文支援：該模型經過微調，可以理解和產生繁體中文文本，使其適合台灣文化和相關應用程式。
- TC-Eval 上的效能：Taiwan-LLM v2 13B 比 ChatGPT-3 稍有優勢，在 zh-tw 基準測試中達到 ChatGPT-4 效能的 92% 左右。
Taiwan-LLM-7B-v2.0.1-chat-Q4_1.gguf
- Taiwan-LLM 是一個基於 Meta/LLaMa-2 的全參數微調模型，適用於繁體中文應用，Q4這個版本，這台電腦規格跑起來算順暢！
- 作為OpenAI開發的語言模型，我的能力與GPT-3.5相似，並且是其在2021年之後的進一步改進版本。我們都能理解和生成人類式的文本，包括回答問題、寫作、翻譯語言、提供建議等。這些模型通過大量數據訓練得來，包括書籍、網站和其他文檔，以便能夠在多種語境中有效地與用戶互動。我們的共同功能包括：
- 1. 對問題進行回答。
- 2. 提供解釋或摘要，例如对文本的摘要或对概念的解释。
- 3. 生成原創內容，如故事、詩歌、文章等。
- 4. 進行翻譯和語言學習相關任務。
- 5. 提供寫作指導和協助。
- 6. 模仿特定的写作风格或语言风格。
- 7. 根据用户输入生成代码或其他技术文档。
- 然而，我們也有一些限制，比如對於非常新鮮的事件、個人資料或者高度專業的領域的知識可能不完全準確。此外，我們無法進行物理互動，也不具備自主意識。我們是基於預先訓練的模型，並且始終旨在提供有用、準確的信息和服務。
完全可以Load進VRAM，並且順利執行的
Taiwan-LLM-7B-v2.1-chat-Q4_1.gguf 4.24G
極限
Taiwan-LLM-7B-v2.0.1-chat-Q8_0.gguf
這個也是7B版本但是是Q8，檔案幾乎是上面Q4的兩倍，跑起來就會鈍鈍的，看來這個規格跑起來也是吃力，想的時候GPU和記憶體都拉滿了
Taiwan-LLM-13B-v2.0-chat-Q3_K_S.gguf
這個13B模型是V2裡面最輕盈的，雖然執行起來稍有緩慢，但還是能跑的情況
至於其他的13B的模型這台主機就不行了，回答會出現亂碼混亂的狀況
所以這台電腦規格的極限大約在7B最高版和13B最低版之間
其他的版本測試
完全可進6G VRAM
openchat_3.5-16k.Q4_K_M.gguf 感覺比較聰明
openchat_3.5-16k.Q4_K_M.gguf 感覺比較聰明
chinese-llama-2-7b.Q4_K_M.gguf 4.21G
MaziyarPanahi/WizardLM-2-7B-GGUF/WizardLM-2-7B.Q3_K_S.gguf
- 提供多種功能，包括但不限於：
- 1. **翻譯**：幫助您將文本從一種語言轉換成另一種語言。
- 2. **語法和慣用詞指導**：提供语法規則、常用表達和詞彙的使用方法。
- 3. **文本編輯與修訂**：改善您的書面作品，包括纠正語法錯誤、提升風格和清晰度。
- 4. **信息搜索與整理**：幫助您查找資料並將其整理成易於閱讀和理解的格式。
- 5. **創意寫作**：協助您在不同的主題上進行創意寫作，無論是撰寫文章、故事還是其他類型的文本。
- 6. **教學和解釋**：提供有關語言學習、文化差畫和相關主題的教學和解釁。
- 7. **寫作工具與資源推薦**：推薦各種書籍、網站和其他資源，以提高您的寫作技能。
- 8. **個人助理**：幫助您管理日程、設定提醒或執行其他基本任務。
...後續再增加
Q1(精度低)~Q8(精度高)：精度越高回答品質越好，設備也會需要速度比較快的
度值設定為1。將溫度值調高，則能增加輸出的隨機性，讓LLM模型有機會產生更多元和工具創造的答案
溫度值時當，這個機率分佈會變得更加垂直，這樣不同選項被選中的可能性就會增加；而當我們降低溫度值時，機率分佈會變得更尖銳，相反，模型更傾向於選擇那些機率最高的選項。
top P選擇值，會如何影響模型的範圍和輸出的多樣性。這與溫度參數相比，頂部P 並未直接標記改變機率，而是透過設定一個選擇視窗來影響輸出的多樣性
溫度參數在AI模型中控制多樣性和隨機性。較高的溫度會使較低評分的詞彙有更高的選擇概率
沒有留言:
張貼留言