如何降低 AI 智能體與 RAG 工作流程的 SERP API 成本

AI Agent 和 RAG 系統經常需要新鮮的 Web 上下文。

模型可以根據訓練資料回答問題，但無法可靠知道今天的價格、產品變更、搜尋排名、新聞、本地結果、競爭對手頁面或新發布內容。因此，許多團隊會把 Agent 接入 SERP API 或 Search API。

問題是成本。

如果每個使用者問題都觸發多次搜尋，跨多個地點，還包含分頁、新聞、購物和完整頁面抓取，帳單可能會比產品價值增長得更快。目標不是避免搜尋，而是只在搜尋能改善答案時才搜尋。

這篇文章說明如何在不犧牲資料品質的前提下，降低 AI Agent 和 RAG 工作流程中的 SERP API 成本。

為什麼 AI 工作流程中的 SERP API 成本會快速增加？

傳統 SEO 工具的用量通常比較可預測。例如：

keywords × locations × devices × refresh frequency

但 AI Agent 不一樣。

單個使用者請求可能觸發：

• Query rewriting

• 多次搜尋嘗試

• 跨不同搜尋引擎搜尋

• News 或 Shopping 搜尋

• SERP discovery 後的頁面抓取

• RAG indexing

• 信心不足時的後續搜尋

如果工作流程不加控制，成本會很快上升。

昂貴的模式通常像這樣：

user question
→ generate 5 search queries
→ run each query in 3 locations
→ collect 20 results per query
→ fetch every URL
→ send too much text into the model

大多數工作流程不需要這麼多資料。它們需要的是正確的資料。

1. 只有在需要新鮮度時才搜尋

不是每個 AI 答案都需要即時搜尋。

在呼叫 SERP API 前，先判斷使用者請求類型。

好的 Agent 應該先判斷：「我能否用已有知識或內部文件回答？」如果可以，就不要呼叫搜尋。

這一條規則就能大幅降低 SERP API 使用量。

2. 設定 Query Budget

Agent 經常過度搜尋，是因為沒有被設定搜尋預算。

可以設定明確限制：

max_search_queries_per_task = 2
max_results_per_query = 5
max_locations_per_task = 1
max_pages_per_query = 1

對多數 AI 回答來說，第一頁結果已經足夠。如果任務研究性較強，可以讓 Agent 在第一組結果品質不足時，再申請第二次搜尋。

簡單的預算策略可以是：

不應讓 Agent 自行決定無限制搜尋量。

3. 按 Query、Location 和時間快取 SERP 結果

SERP 結果不一定每次都要重新收集。

可以使用這類 key 快取結果：

engine + query + location + language + device + result_type

再設定 freshness window。

具體快取時間取決於工作流程。新聞和價格需要更短快取；常青研究可以重用更久的結果。

對 RAG 系統來說，快取也能避免反覆索引相同來源。

4. 抓取頁面前先去重 URL

SERP API 呼叫通常只是第一層成本。下一層成本是抓取和處理頁面。

抓取頁面前，先去重：

• 相同 URL

• 相同 canonical URL

• 相同 domain

• 多個網站轉載的同一篇文章

• 帶 tracking parameters 的同一商品頁

• 已經進入 RAG 系統的相同結果

一條簡單規則是：

除非任務需要，否則每個 domain 最多抓取 1–2 個 URL。

這可以避免單一 domain 消耗整個 retrieval budget。

對 AI Agent 來說，來源多樣性通常比收集十個相似頁面更有價值。

5. 不要預設收集所有 SERP Features

SERP API 可以返回很多結果類型：organic results、ads、People Also Ask、news、shopping、images、maps、videos 和 local packs。

但不是每個任務都需要每個欄位。

收集所有結果類型會增加成本和清洗工作。先收窄，再在工作流程需要時擴展。

6. 限制 Location 和 Device 組合

地理定位很有用，但也會快速放大成本。

這類組合會變得很貴：

100 queries × 20 cities × 2 devices × daily refresh

對 AI Agent 和 RAG 工作流程來說，要先判斷地點是否真的重要。

以下情況適合使用 location targeting：

• 使用者要求本地答案

• 任務涉及 Local SEO

• 主題會因國家或城市而變化

• 價格、法規或供應情況因市場不同

否則，使用一個預設市場即可。

對 SEO 監測，可以把地點分層：

Device 也一樣。Mobile 和 desktop 結果可能不同，但不是每個工作流程都需要每次同時查兩者。

7. 使用 Two-Stage Retrieval

常見錯誤是：對每一條 SERP 結果都同時使用 SERP API 和完整頁面抓取。

更好的方式是 two-stage retrieval：

Stage 1: SERP API
收集 titles、URLs、snippets、domains、result types、timestamps。

Stage 2: Page retrieval
篩選後只抓取最有價值的來源。

篩選可以基於：

• Result position

• Domain trust

• Freshness

• 與任務相關性

• 來源多樣性

• 既有 RAG 覆蓋

這能降低頁面抓取、embedding、儲存和 LLM token 成本。

8. 區分 Chat Search 和 Scheduled Monitoring

不要讓每個聊天 session 都變成一次 ranking tracking job。

AI chat search 和 scheduled monitoring 是不同工作流程。

如果使用者問：「我們競爭對手這週排名如何？」Agent 應該先查你已有的 monitoring database，而不是在聊天中即時跑數百次 SERP calls。

這能讓使用者體驗更快，也讓 SERP API 成本更可預測。

9. 衡量每個可用答案的成本

不要只看每次 API call 的成本。

對 AI 工作流程來說，更好的指標是：

SERP API cost per useful grounded answer

應追蹤：

• 每個使用者請求觸發多少 search calls

• 最終答案使用了多少結果

• 抓取了多少 URL

• 加入 RAG 的頁面數

• 引用了多少來源

• 失敗或未使用的結果

• 每個成功答案的成本

如果 Agent 跑了 10 次搜尋，但最後只用了 2 個來源，query plan 就太鬆散了。

好的目標不是「最大化搜尋覆蓋」，而是「提供足夠可靠的上下文，讓答案更好」。

10. 按資料類型路由 Search Tasks

不是每個搜尋任務都應該走同一條路徑。

可以使用 routing rules：

這可以避免為簡單任務使用過於昂貴的流程。

對正在搭建 AI Agent 或 RAG 系統的團隊來說，SERP API 最適合作為 source discovery layer，而不是不受控制的 search button。建議先用少量真實 query 測試結果品質，確認 query、location、title、URL、snippet、domain、result type 和 timestamp 等欄位是否足夠，再擴大使用。你可以 從 1000 次免費響應開始測試 >>，也可以 查看 SERP API 參數，再把搜尋資料接入 Agent 或 RAG pipeline。

會增加 SERP API 成本的常見錯誤

第一個錯誤，是每個 user turn 都搜尋。很多回合只是追問，可以使用前一輪結果。

第二個錯誤，是生成太多 query variations。Query expansion 有用，但五個弱查詢通常不如一個精準查詢。

第三個錯誤，是忽略 cache。如果多個使用者提出相似問題，系統應該重用近期 SERP data。

第四個錯誤，是抓取所有結果頁。多數工作流程需要 top results，而不是深度分頁。

第五個錯誤，是混合 monitoring 和 chat。排程任務應該寫入資料庫，chat agent 在重新搜尋前應先查資料庫。

常見問題

為什麼 AI Agent 需要 SERP API？

AI Agent 使用 SERP API 取得新鮮 Web 上下文、來源 URL、摘要、搜尋結果、本地資料、商品資訊或新聞，這些資訊可能不存在於模型訓練資料中。

如何降低 RAG 的 SERP API 成本？

使用 cache、URL 去重、限制 query expansion、只抓取篩選後的來源、區分 scheduled monitoring 和 chat search，並避免預設收集所有 SERP feature。

每個 AI 答案都應該觸發搜尋嗎？

不應該。穩定概念解釋、內部知識問題和追問通常不需要新搜尋。只有當 freshness、source discovery 或 location-specific data 重要時才應搜尋。

AI Agent 應該收集多少 SERP 結果？

對很多任務來說，top 3–5 results 已經足夠。研究型工作流程可以收集更多，但也會增加成本、噪音、頁面抓取和 token 使用。

SERP API 結果可以快取嗎？

可以，只要 cache window 和資料類型匹配。新聞和價格需要短快取；常青資訊型查詢可以使用較長快取。

結語

SERP API 對 AI Agent 和 RAG 工作流程很有用，但不受控制的搜尋會變得很貴。

降低成本的最好方法不是盲目減少搜尋，而是讓搜尋更有意圖。

只在 freshness 重要時觸發搜尋。設定 query budget。快取結果。去重來源。限制地點和裝置。先篩選，再抓完整頁面。把 chat search 和 scheduled monitoring 分開。

這樣，AI 系統既能基於當前搜尋資料回答，也不會把每個使用者請求都變成昂貴的 Web crawling job。