网络爬虫带走的流量有多大?
defe.me域名闲置了一段时间,不知道干什么,前几天挂了一个TE上去,一直是刚安装完成的那个状态。自己就进后台简单设置了下,什么都没写,就在昨晚登入主机管理面板发现流量损失巨大,什么都没有的东西难道会有N多人来访问?有人说是盗链,才建的站没得什么东西可盗的。百思不得其解,看日志有3G多的Apache流量。没法只有下载apache日志分析。
8号900多M将近1G流量,9号2G多流量消耗,8号日志没备份,从9号这天的日志来看,除了自己的点击之外,就只有几个搜索引擎的爬虫经过?不过流量这么巨大?太吓人了。一个空站,几个爬虫经过就带走了3G多的流量,我正在用的这个博客站也没经历过这种情形。一直没怎么注意,看来要加robots.txt文件来限制爬虫了。针对一些自动采集程序,也没法。
暂无评论