【★★★★★】robots未能屏蔽360蜘蛛

问题现象：360蜘蛛不遵守robots
问题站点： www.lvmama.com
在线联系方式：839668768

你好，发现robots未能屏蔽360蜘蛛，确认来自360spider，详细案例如下
1.这个是用工具检测的，是禁止抓取的

http://ticket.lvmama.com/robots.txt
2.提取服务器日志发现360spider还是抓取了

服务器日志

部分日志复制如下：
9604:182.118.20.252 - - [24/Apr/2016:05:05:52 +0800] "ticket.lvmama.com" "GET /a-taian200181/tf-Z11D160025K510700 HTTP/1.1" 200 8748 "http://ticket.lvmama.com/a-taian200181/tf-D160025K510700" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0); 360Spider(compatible; HaosouSpider; http://www.haosou.com/help/help_3_2.html)" "-" "uid=6F0AA8C0AFE31B57504370330249D018" "-" "6433e6e6-eb19-4949-915b-02c8c7a15d1a"
3.确认ip是官网提供的ip段

你找他们吧！！还有这样得要求！！居然不想让收录。

决定忘来 发表于 2016-4-28 16:39
你找他们吧！！还有这样得要求！！居然不想让收录。

无效的筛选页面，没什么价值吧，能屏蔽了最好，蜘蛛资源让他抓重要页面。

反馈问题已转交技术人员核实，感谢支持360搜索！

什么时候更新的robots，麻烦同步下

360fans138946689 发表于 2016-4-28 21:30
什么时候更新的robots，麻烦同步下

图片上的robots规则15年6月就屏蔽了

360fans138946689 发表于 2016-4-28 21:30
什么时候更新的robots，麻烦同步下

有结果了吗？