百度爬虫蜘蛛ip地址表
百度蛛蛛有很多假冒user-agent的，可靠的蜘蛛ip有反向解析地址，例如
40.221.206.111.in-addr.arpa name = baiduspider-111-206-221-40.crawl.baidu.com.
分析某站点的日志，得到以下几个可靠的地址段，及抓取次数、地址[……]
User-agent
user agent 中 PostRank/2.0 (postrank.com; 1 subscribers)是什么
在网站日志中有user agent里发现PostRank/2.0 (postrank.com; 1 subscribers)的记录，经搜索得知PostRank的简介，录于下
PostRank简介：
PostRank的前身是AideRss，是一个知名的RSS分析工具，通过给每篇文章计算Ra[……]
User Agent里Mediapartners-Google是什么浏览器/客户端
在网站访问日志里，看到Mediapartners-Google，搜索一下，原来是Google Adsense的漫游器
Mediapartners-Google
Mediapartners-Google 抓取网页中的文字内容，用于 Google Adsense 分析关键词。只有投放了 Go[……]
使用User-Agent伪造浏览器，谎称身份欺骗服务器/IE,FireFox,Opera,Maxthon,Chrome,Safari,iPhone
关于User-Agent，在此不多说，假定您已经熟悉http协议尤其是User-Agent，如果需要了解更多，请查看以下
User-agent 字串(客户端操作系统浏览器识别)
更多User-Agent资料
常见的浏览器伪造User-agent方法
IE浏览器修改User-agent，修改注[……]
User-agent 字串史(客户端操作系统浏览器识别)
较古的浏览器
1993年，NCSA 发布了首款 web 浏览器 Mosaic。它的 user-agent 字串非常简洁：
Mosaic/0.9
虽然当时由于它对操作系统和平台的依赖性，但是基本格式还是很简单明了。在文本中，斜杠前面是产品名称(可能会显示为 NCSA Mosaic 或是其他类[……]