矮人村

标题: 我屏蔽了google的蜘蛛他为什么还不停抓取 [打印本页]

作者: jacky8 时间: 2017-8-25 15:52
标题: 我屏蔽了google的蜘蛛他为什么还不停抓取
规则这样对不

User-Agent: Googlebot
Disallow: /1/
Disallow: /2/
Disallow: /3/
Disallow: /4/
Disallow: /images/

[貌似狂徒]

cschanlin/robots.txt 应该像这样屏蔽下如果不知道可以百度下屏蔽了蜘蛛是不会爬去的

[紫气伏地]

你这个是屏蔽所有的蜘蛛吧我只要屏蔽google的就OK了

[lzr291]

我也想知道怎么屏蔽谷歌蜘蛛，而不屏蔽其他的蜘蛛。

[cqyork]

时间不够长

[diji]

应该是对的吧~~！！

[florence405]

你没robots是不是写错了

[lk2556]

无所谓撒！~ 抓就抓嘛！~

[seo木子]

这个我也不清楚。我也是新来学习的。期待达人的指示。

[心动地带]

不敢随便瞎说

[etsmiymm]

这个怎么写的啊。。？？？不懂啊。。

[cyhyy80]

User-Agent: Googlebot是说谷歌可以抓取，但是加上第二个命令Disallow: /，就可以屏蔽谷歌了

[退出论坛模式]

不是吧？干嘛要屏蔽呢？

[可奥　▋]

这个具体得问问懂行的。

[朱自醒]

这个或许是蜘蛛原来抓取的吧，放出来了，淡定，等一段时间再看看，前提是你的robots写对了

[Mrstar]

roots 文件设置出了问题吧

欢迎光临矮人村 (http://www.airencun.com/)