跳至主要内容

釋出 Kuwa OS v0.1.0

· 閱讀時間約 3 分鐘
Ching-Pao Lin

各位開發者、使用者午安,

我們在初版釋出後,聽到了不少使用者的問題與回饋,
現在v0.1.0穩定版已釋出,此版本在Windows版安裝方式上,做了些許的調整
這次的更新同步釋出了Docker版本,供使用者快速安裝、依需求調整環境架構,
也修正了一些使用上已知的小bug,

以下是此次更新主要的更新內容

Windows Portable 版

  1. 模型架設方式調整,現在可以簡易的設定更多模型
  2. 修正使用 MySQL 或 PostgreSQL 時會發生的多種錯誤
  3. Readme 更新的更完整

Docker 版

  1. 可透過 Docker Compose 一件啟動整個系統與多個 Executor
  2. 選用穩定的軟體堆疊,可直接作為生產環境
  3. 模組化設計,可自由選擇要啟動的 Executor 種類與數量

Executor

  1. 加上命令列介面啟動器,可一鍵啟動多種 Executor,並允許將Prompt模板、System Prompt、生成設定 (Generation config)等常用的參數用指令帶入
  2. 支援Huggingface Transformers與Llama.cpp等常見地端模型推論框架
  3. 支援與 OpenAI API 或 Gemini-Pro API 相容的推論服務,如vLLM、LiteLLM等
  4. 將常用功能包成 Executor 框架,如自動註冊重試、自動註銷、自動歷史紀錄修剪、中斷生成等
  5. 將 Executor 框架打包成套件,方便自行擴充 Executor
  6. 修正 llama.cpp executor 的生成錯誤 bug
  7. 底層框架換成 FastAPI 以提昇效率與穩定性

Multi-chat

  1. 網站機率跳到/stream route 的 bug 修正
  2. 模型預設圖片
  3. 一些小 Bug 修復
  4. 多了更多設定網站用的 Command line 工具

如需從舊版遷移至新版,請參考此份遷移指南