百度爬虫蜘蛛ip地址表
百度蛛蛛有很多假冒user-agent的,可靠的蜘蛛ip有反向解析地址,例如
40.221.206.111.in-addr.arpa name = baiduspider-111-206-221-40.crawl.baidu.com.
分析某站点的日志,得到以下几个可靠的地址段,及抓取次数、地址数、示例ip等
subnet
cral_times
ip_count
example
123.125.71.0
1106531
76
123.125.71.36
220.181.108.0
1101992
75
220.181.108.121[……]
