2024年11月9日 星期六

使用lm-studio本地架設可以提供服務的網路伺服器來提供GPT服務

 

原來使用lm-studio就可以在區網提供GPT服務了
只要啟動lm-studio的server
客戶端使用chatbox將模型設定成兼容openai
給網址,不用給API KEY 就行了
真是太屌了,架區域LLM伺服器原來很簡單
不過應該還有你家自己防火牆的問題

2 則留言:

  1. 原來使用lm-studio這麼簡單就能在區網提供GPT服務!不需要API KEY iccid!,只需設定好伺服器,真的是一個非常方便的解決方案。對於像我這樣想要在本地系統中集成AI的人來說,這真的是個突破性的想法。希望能夠試試看,並探索更多可能性!

    回覆刪除
  2. 這篇指南讓我對使用lm-studio架設本地GPT伺服器充滿了激動 discordtimestamp!!沒想到能夠如此輕鬆地在區域網路中提供GPT服務,這是探索AI的一個好方法,尤其是在私密且可控的環境下。雖然防火牆問題需要注意,但它的簡單易用性讓人很有動力去嘗試。我一定會試一試!

    回覆刪除