跳至主要内容

Kuwa GenAI OS v0.4.0 介紹

· 閱讀時間約 6 分鐘
Yung-Hsiang Hu

Kuwa GenAI OS 是一個自由、開放、安全且注重隱私的開源人工智慧編導平台,我們提供友善的生成式人工智慧使用介面,讓使用者可以輕易的使用各種人工智慧模型、代理人與應用,也可以透過Kuwa的編導系統,以No-code或Low-code的方式輕易結合不同模型的長處,協助使用者快速完成更複雜的任務。 Kuwa提供多語言與多模型的開發與部署之整體解決方案,可以讓個人及各行各業在地端筆電、伺服器或雲端使用生成式AI、開發應用,或開Store商店、對外提供服務。

在台灣的西拉雅語中,Kuwa是人們聚會、討論與決策的公共集會場所。

Kuwa GenAI OS 的功能特色簡要說明如下:

使用環境

  1. 提供一套可立即使用的整合式解決方案,用於生成式 AI、檢索增強生成(RAG)與智慧代理暨流程自動化應用。此方案整合了多個熱門的開源框架與工具,如 PyTorch、Ollama、LangChain、n8n、Llama.cpp、MCP、Qualcomm 的 SDK 等,讓使用者無需繁複設定即可快速上手
  2. 支援Windows、Linux、MacOS等多種作業系統,提供簡易安裝及軟體更新工具,包括Windows單一安裝執行檔、Linux自動安裝Script、Docker啟動腳本、預安裝好的VM虛擬主機等
  3. 支援多元、分散式與混合型硬體環境,涵蓋從 Raspberry Pi、筆記型電腦、個人電腦,到本地部署的伺服器、虛擬機,以及公有或私有雲端,無論是否具備 GPU/NPU 加速功能皆可運行

使用介面

  1. 整合介面可以選取任何模型、知識庫、代理人或GenAI應用,隨意組合建立單一或群聊的聊天室
  2. 聊天室內可以自主編導,引用或刪除對話,指定群聊或直接單聊,切換連貫問答或單筆問答模式
  3. 隨時可以指揮介接,匯入提示腳本或上傳檔案,也可以匯出完整的聊天室對話劇本,直接輸出PDF、Doc/ODT、純文字等格式的檔案或分享網頁
  4. 支援文字、圖片生成,以及語音與視覺識別等多模態語言模型,並可突顯程式、Markdown等語法,或快速使用系統小工具

開發介面

  1. 使用者可以免寫程式,建立提示機器人(Prompt Bots)、伺服器機器人(Server Bots)或智慧代理機器人(Agent Bots),透過串接即有模型、知識庫或Bot應用,調整系統提示與參數、自定使用者提示的前綴後綴與批次、預置情境或建立提示模板,即可打造個人化或更強大的GenAI應用與工作流程
  2. 使用者可以透過簡易拖拉的方式建立自有的知識庫,或匯入即有的向量資料庫,能同時利用多個知識庫進行GenAI應用與工作流程
  3. 使用者可以自建及維護共用的Store應用商店,使用者間也可以共享Bot應用
  4. 可透過Ollama modelfile來調校啟用Kuwa擴充的模型及RAG進階功能

部署介面

  1. 支援多國語言,可以自行客製化畫面與訊息後,直接對外部署提供服務
  2. 可以串接即有帳號或提供邀請碼註冊,支援忘記密碼時可以用Email重設密碼
  3. 系統設定可修改系統公告、服務條款、警語等,或進行群組權限管理、使用者管理、模型管理等
  4. 儀錶板支援回饋管理、系統日誌管理、安全隱私管理、訊息查詢等

開發環境

  1. 整合多種生成式AI開源工具,包括Faiss, HuggingFace, LangChain, Llama.cpp, Ollama, vLLM等,以及多種Embedding及Transformer相關套件,開發者可以下載、串接、開發多種多模態的大語言模型及應用
  2. RAG Toolchain內建DB QA、Document QA、Web QA及Search QA等多種檢索擴增生成應用工具,可以串接搜尋引擎與自動爬蟲,或整合企業內即有資料庫或系統,方便開發進階的客製化應用
  3. 開放原始碼讓開發者可以根據自己的需求來打造自己想要的客製系統
  4. 類似代理人的Bots可以透過 Kuwa 商店分享,匯出為獨立應用程式,或從外部來源下載並匯入使用