淘掌门程序对雅虎蜘蛛的屏蔽失效的解决办法
作者：TBW小二 发布于：2011-11-27 13:37 Sunday 分类：TBW学习
淘掌门程序是不款不错的淘宝客程序，但是后台设置了屏蔽后也不管用，最近用着发现雅虎的蜘蛛来的太多了，服务器快吃不消了，所以想让他歇会，taob网一个站就是利用以下几种办法来做下限制：
1、robots.txt限制
User-agent: Yahoo-Slurp
Crawl-delay: 300
User-agent表示搜索引擎的代理蜘蛛，Yahoo-Slurp是雅虎蜘蛛的名字
Crawl-delay表示爬虫延时，300表示时间。
2、下载更新补丁
这个我见过不过当时没有意识到它的重要性，所以希望的的朋友给提供一下
« 香港汇丰总行大厦
|
冬季护肤应避开的N个误区»
-
日历
-
存档
-
最新评论
-
链接
-
标签
-
最新日志
-
分类
-
搜索
发表评论：