下面这条应该不是爬虫,是扫描程序吧
220.191.238.115 - - [26/Feb/2017:19:56:49 +0800] "GET /phpmyadm
额,被爬虫爬到了……
把User-Agent也打出来吧,会大开眼界的 :-)
应用发布到网上,除了正常访问,一般还会有如下三种情况:
爬虫访问
这种情况在tomcat打印access日志时,把 user-agent 打印出来就可以看到,会有搜索引擎名字,如baidu、sogou等,而且一般搜索引擎IP都可以反查到,可以IP查询(http://www.ip138.com)反查一下
安全站点扫描
如果使用360或其他站长安全扫描工具,也会有大量IP过来访问
恶意工具扫描
与第二项类似,安全扫描会通过之前设置好的扫描点逐步扫描,也会造成大量IP访问
排查时主要关注扫描IP是否搜索引擎或安全站点扫描IP,以及扫描的目录点来综合判断,如果判断为恶意IP,可以配合防火墙规则进行屏蔽即可。