2024年11月9日 星期六

使用lm-studio本地架設可以提供服務的網路伺服器來提供GPT服務

 

原來使用lm-studio就可以在區網提供GPT服務了
只要啟動lm-studio的server
客戶端使用chatbox將模型設定成兼容openai
給網址,不用給API KEY 就行了
真是太屌了,架區域LLM伺服器原來很簡單
不過應該還有你家自己防火牆的問題

沒有留言:

張貼留言