跳至主要内容

在 Kuwa v0.4.0 中啟用 Qualcomm NPU 支援

· 閱讀時間約 2 分鐘
Yung-Hsiang Hu

Kuwa v0.4.0 已包含由 仨宇股份有限公司 貢獻的 Qualcomm NPU 支援，可大幅提升AI模型的生成速度，同時降低功耗。由於 Kuwa 無法在所有系統上可靠的偵測 NPU 是否可用，因此此功能預設未啟用。請按照以下步驟啟用 Qualcomm NPU 支援：

  1. 更新 Kuwa: 確保您正在執行最新版本的 Kuwa。點擊開始選單中的「Upgrade Kuwa」圖示。

  2. 存取 Maintenance Tool: 從開始選單開啟「Maintenance Tool」以存取 Kuwa 的內部工具程式。

  3. 安裝 QNN 相依套件: 在 Maintenance Tool 的控制台（輸入 cmd 開啟它）中，執行命令 build.bat qnn。這將安裝 Qualcomm AI Engine Direct SDK 等相依套件。

  4. 啟動 Kuwa: 重新啟動 Kuwa。您現在將看到幾個新的聊天機器人，其名稱後面附加了「@NPU」，表示支援 NPU。

  5. 第一次聊天和模型下載: 與其中一個啟用 NPU 的機器人開始對話。模型將在第一次互動時下載，這將導致初始回應時間略長。

  6. 驗證 NPU 使用情況: 初始下載後，您將觀察到模型正在 NPU 上運行，提供明顯更快的生成速度。

訊息

若要獲得具有較強效能且預先優化過的使用體驗，請考慮使用仨宇提供的 Qualcomm AI Hackathon Turu 版本。