預設google bot 或是spider 會根據你的網站效能來評估抓取網站內容的頻率
但是如果你的網站真的已經被爬到吃不消
或是流量費超支
或是後端有其他瓶頸，google 也無從得知

這時候可以透過 google search console 暫時限制 google bot 爬網頁的頻率
進入
https://www.google.com/webmasters/tools/settings
image

請選取資源
image

選擇 限制 Google 的檢索頻率上限
並調整到一個適合的檢索頻率
image

儲存

arrow
arrow
    文章標籤
    google bot spider
    全站熱搜

    helloworld 發表在 痞客邦 留言(0) 人氣()

    E-mail轉寄