Visa調查:AI智慧購物測試平均通過率僅56.6%
(中央社記者呂晏慈台北12日電)AI從內容生成邁向協助決策與完成交易,Visa今天指出,根據最新代理式商務測試結果,AI模型的平均測試通過率為56.6%,而在部分未通過測試的狀況中,AI可能推薦不符合需求的商品,或未能充分掌握購買條件,顯示在減少錯誤、提升穩定性兩面向上,仍有進步空間。
近年各國際發卡組織積極拓展代理式AI(AI Agent)交易應用,如Visa透過「AI智慧購物評測」模擬真實消費情境,評估主流AI模型的實際表現,也開放消費者親自參與測試,並於今天發表測試結果。
Visa指出,首輪測試標準涵蓋來自12個AI研發團隊的22款AI模型,購物情境設定為買電視、筆記型電腦及個人護理家電等15種類型。
結果發現,AI模型的平均測試通過率為56.6%,當中表現最佳的模型通過率達82.2%,最低僅有28.9%,反映AI購物能力仍有提升空間。同時,每款AI模型在各類購物情境中均進行3次測試,但綜合所有模型與情境,3次測試皆通過的比例僅有33%,意味表現穩定度仍有不足。
Visa台灣總經理黃慧琴透過新聞稿說明,在其中1種測試情境中,消費者希望AI協助挑選1台新電視,提及親友曾推薦特定品牌,且自己擁有某家第三方供應商的會員資格,但並未提供其他具體細節。
黃慧琴表示,AI必須透過對話,進一步了解消費者的預算及其他需求,例如電視是否支援杜比視界(Dolby Vision)、是否支援HDR10+家庭影片播放功能,以及遊戲所需效能等。
測試結果顯示,越能深入掌握消費者需求的AI模型,通常具有較高的測試通過率。然而,即使是先前已成功通過測試的模型,在重複執行相同情境時仍經常失敗,顯示AI在提供一致性消費體驗方面所面臨的挑戰。
Visa指出,透過與消費者對話,挖掘最多潛在購買需求的5款AI模型,其平均通過率達68%,相較之下,掌握最少潛在購買需求的5款模型,通過率只有44.4%。
Visa說明,測試也發現,即便高成本模型表現較佳,但仍有失敗風險,平均單次測試成本最高的5款AI模型,通過率達65%,而成本最低的5款模型通過率為50%。
Visa補充,在未通過的測試中,約有53%結果為AI最終仍決定進行購買,包括推薦不符合消費者要求的商品,或未能充分掌握消費者的所有購買條件。
黃慧琴強調,減少錯誤、提升穩定性是消費者信任代理式商務的關鍵,但這2個項目仍有進步空間。未來將持續擴充代理式商務評測基準,納入更多購物情境與產品類別,延伸測試範圍至結帳、支付及訂單成立等環節。(編輯:林家嫻)1151112