Performance｜AI Review

本篇將帶您了解如何透過 Raccoon AI 後台的 AI Review 查看 AI Agent 的成效指標總覽（問答合理、商品推薦與禮貌回覆的綜合評分）和關注工單，協助您追蹤並持續優化 AI Agent 在對話中的表現。

一、成效指標總覽

       A. 選擇資料區間

       B. 綜合評分

二、關注工單

       A. 選擇資料區間

於 Raccoon AI 後台左側選單點擊 Performance ，接著點擊「AI Review」頁籤。

於左側選擇您希望檢視成效的 AI Agent。

一、成效指標總覽

此區顯示 AI Agent 在特定時間範圍內的綜合評分。

 

A. 選擇資料區間

預設顯示的時間範圍為一週內，您可以點擊「預設範圍」的下拉選單選擇其他預設範圍，或點擊「時間區間」自訂起始與結束時間。

B. 綜合評分

該 AI Agent 在特定服務品質指標（問答合理、商品推薦與禮貌回覆）的平均分數。

B-1. 綜合評分的用途與顯示項目

上方大區塊的顯示項目

• 分數：顯示加權計算後的總分（例如：84/100 分）。
  • 加權總分計算方式：
    • 禮貌回覆 20%
    • 問答合理 40%
    • 商品推薦 40%
• 顏色：分數會以不同的底色呈現：
  • 綠底色：當分數 ≥ 60 分時。
    
  • 紅底色：當分數 < 60 分時。

• 更新頻率：資料會在任一對話結束後即時自動更新。

＊提示：顯示分數是基於幾項指標加權計算而得（例如：基於 2 項指標加權計算）。這表示分數參考的指標不一定會涵蓋全部三項，系統會根據對話情況判斷是否包含某項指標。

下方小區塊的顯示項目

• 問答合理
• 商品推薦
• 禮貌回覆

下表說明各項指標的定義、分數類型與扣分制度：

指標	問答合理	商品推薦	禮貌回覆
定義	AI 回覆是否理解問題，且提供合理實用的答案。	AI 在推薦商品時，是否精準匹配到合適的商品。	AI 回覆是否具備禮貌與專業性。
分數類型	1~10 分	1~10 分	1~10 分
扣分制度（扣 6~7 分）	部分理解但明顯誤解用戶意圖；知識庫有答案但只部分使用或誤解	部分不相關或精準度不足；有更好選項但只用一部分或夾雜不相關商品	語氣生硬且不適合情境
扣分制度（扣 9 分）	完全無法理解用戶問題、回覆完全無關；知識庫有答案但完全忽略	推薦完全與用戶需求無關的商品	語氣粗魯、冒犯或冷漠

B-2. 綜合評分的計算邏輯

綜合評分是根據以下三項指標進行加權計算的總分。

• 問答合理
• 商品推薦
• 禮貌回覆

1. 正常情況（回答涵蓋所有指標）

當 AI Agent 在對話中的回答了所有項目時：

舉例：顧客詢問了某件商品的細節（觸發問答合理與禮貌回覆），隨後 AI Agent 推薦了相關商品（觸發商品推薦）。

綜合評分 ＝（問答合理分數 x 40%）＋（商品推薦分數 x 40%）＋（禮貌回覆分數 x 20%）

• 範例：
  • 問答合理：9 分
  • 商品推薦：9.5 分
  • 禮貌回覆：9.3 分
  • 計算結果：（90 x 40%）＋（95 x 40%）＋（93 x 20%）＝ 92.6。
  • 綜合評分：四捨五入取整數，顯示 93 分。

2. 特殊情況（回答未涵蓋所有指標）

若 AI Agent 在回答過程中，有任一項目沒有回答：

舉例：顧客單純查詢訂單狀態（觸發問答合理與禮貌回覆），未提及商品相關資訊（未觸發商品推薦）。

綜合評分 ＝［（問答合理分數 x 40%）＋（禮貌回覆分數 x 20%）］÷ 60%

• 範例：
  • 問答合理：9 分
  • 禮貌回覆：9.3 分
  • 計算結果：［（90 x 40%）＋（93 x 20%）］＝ 91。
  • 綜合評分：91 分。

二、關注工單

此區可幫助您快速鎖定 AI Agent 在「問答合理」與「商品推薦」兩項指標上得分較低的工單。透過檢視這些工單，您可以針對性地進行 AI 的優化與訓練，從而改善對話品質。

A. 選擇資料區間

預設顯示的時間範圍為一週內，您可以點擊「預設範圍」的下拉選單選擇其他預設範圍，或點擊「時間區間」自訂起始與結束時間。

• 當所有工單的「問答合理」或「商品推薦」分數皆高於 6 分，將不會顯示任何工單。

• 若有任何工單的「問答合理」或「商品推薦」分數小於或等於 6 分，將顯示其對話紀錄於下方（任一指標低於 6 分就顯示）。

功能說明

• 對話紀錄顯示資訊：
  • 工單編號
  • 對話開始時間
  • 分數低的對話內容
• 點擊右上方「前往對話」，可另開分頁到指定對話。
• 「需要改且分數較低的成效指標」將會顯示分數低的原因以及 AI 建議的改善方式。