Kuwa 的 RAG 應用 (DocQA/WebQA/DatabaseQA/SearchQA) 從 v0.3.1 版本起支援透過 Bot 的 modelfile 自訂進階參數， 可以讓單個 Executor 虛擬化成多個 RAG 應用，詳細參數說明及範例如下。
參數說明
以下參數內容為 v0.3.1 RAG應用的預設值。
所有 RAG 的共用參數
PARAMETER retriever_embedding_model "thenlper/gte-base-zh" # embedding model名稱
PARAMETER retriever_mmr_fetch_k 12 # MMR前取幾個chunk
PARAMETER retriever_mmr_k 6 # MMR取幾個chunk
PARAMETER retriever_chunk_size 512 # 每個chunk的長度，以字元為單位 (DatabaseQA不受限制)
PARAMETER retriever_chunk_overlap 128 # chunk間的交疊長度，以字元為單位 (DatabaseQA不受限制)
PARAMETER generator_model None # 指定哪個模型回答，None表示自動選擇
PARAMETER generator_limit 3072 # 整個prompt的長度限制，以字元為單位
PARAMETER display_hide_ref False # 不顯示參考資料
DocQA, WebQA, SearchQA 專用參數
PARAMETER crawler_user_agent "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36" # 爬蟲的UA字串
SearchQA 專用參數
PARAMETER search_advanced_params "" # 進階搜尋參數 (SearchQA專用)
PARAMETER search_num_url 3 # 取用幾個搜尋結果[1~10] (SearchQA專用)
DatabaseQA專用參數
PARAMETER retriever_database None # Executor本機的向量資料庫路徑
使用範例
假如要建立一個 DatabaseQA 知識庫並指定模型回答，可以建立一個 Bot，
基底模型選擇 DocQA，並填入以下 Modelfile。
PARAMETER generator_model "model_access_code" # 指定哪個模型回答，None表示自動選擇
PARAMETER generator_limit 3072 # 整個prompt的長度限制，以字元為單位
PARAMETER retriever_database "/path/to/local/database/on/executor" # Executor本機的向量資料庫路徑