根據網路上的說法
Bytespider 是字節跳動旗下的今日頭條正在開發搜索引擎所派出來的爬蟲
但頻率真的太高了
有些小網站根本受不了
如果要擋的話有幾個方式

1. robots.txt
不允許 Bytespider 來爬網站，但可能不會有效

2. apache rewrite rule 
判斷 agent 為 Bytespider 則回應 403

3. 防火牆直接擋在外面
這是最直接有效的方式，也不用讓人家進到web server 後再給人家拒絕
目前整理出來幾個網段可以參考
110.249.202.0/24
110.249.201.0/24
111.225.149.0/24
111.225.148.0/24
60.8.123.0/24
220.243.135.0/24
220.243.136.0/24
 

arrow
arrow
    全站熱搜

    helloworld 發表在 痞客邦 留言(0) 人氣()

    E-mail轉寄