您好,欢迎来到哪边好网址大全!
当前位置:哪边好网址大全 » 站长资讯 » 建站技术 » 文章详细 订阅RssFeed

发现插件生成的robots.txt不能被谷歌和360识别

来源:互联网 浏览:249次 时间:2020-01-16
《发现插件生成的robots.txt不能被谷歌和360识别》来自张戈博客

上次通过《正确的Win主机网站伪静态设置方法》重新设置了玛思阁的伪静态,当时由于使用Rewrite robots没有效果,就安装了一个生成robots.txt的插件,然后发现访问robots地址也有了指定的内容。几天却发现360全部被K,仅剩首页,而谷歌也不再收录新页面,一直以为是我的robots内容有误,于是搜来搜去,改了无数次robots内容。谷歌在【已拦截的网址】选项中总是显示【语法有误】,在sitemap提交界面也用英文提示“所有内容被robots拦截...”云云。但是百度却未受影响,开始收录玛思阁的文章了。。。

今天闲下来了,决定解决这个疑难杂症!于是我去复制了别人正常收录的robots内容,然后贴到robots插件中生成新的,结果发现在谷歌sitemap提交时依然提示全部被拦截!我勒个去,这明显说明问题出现在插件上了!但是使用插件生成了robots,百度站长平台检测又是没问题的,真是纳闷!

于是重新去查Rewrite规则相关资料,并通过UE编辑器重建httpd.ini文件,新增了内容:

RewriteRule /robots.txt /robots.txt [L]

删除robots插件之后,发现可以访问自定义的robots了!以前httpd里面也有这条规则,就是不生效!难道是编码错了么?

重新编写robots.txt上传后,再到谷歌提交sitemap,发现问题已解决:

至于效果,可能要等几天再去查看下收录情况了!

下面贴一下我的httpd.ini和robots内容,以供参考:

httpd.ini

robots.txt

robots内容暂时先这样了,以后观察收录情况再来修改。

另外,不知道各位有没有设置过更新服务【WP后台=>设置=>撰写】,在我搜索robots的时候看到了别人提供的博客更新通知列表,管它有没有用,先加上再说:

 

RPC更新列表如下:

推荐站点

  • 盛大云盛大云

    \\\\\\\"盛大云\\\\\\\"(www.grandcloud.cn)是在整合盛大集团资源的基础上,百分百自主技术研发而成的公有云平台。\\\\\\\"盛大云\\\\\\\"以国际领先的AWS模式,已推出国内第一家按需计费的云主机,第一家基于Key-Value的云存储,第一家云硬盘服务,第一家一站式服务的DDS产品,第一家在线MongoIC服务以及云监控服务

    www.grandcloud.cn
  • 揽众网络揽众网络

    揽众网络

    www.dkw.com.cn
  • 云立方网云立方网

    云立方网

    www.yunlifang.cn
  • 新安数据新安数据

    新安数据也是一家提供主机合租业务的IDC运营商,分配到每个合租方的空间也不少,如果不是对空间大小有特殊要求的企业可以考虑。

    www.xinanidc.com
  • 老左博客老左博客

    老左博客,致力于美国VPS,美国主机评测、推荐;分享便宜VPS,美国主机优惠码,Godaddy优惠码,NameCheap等域名优惠码的IT博客,博主老左(LaoZuo.ORG)。

    www.laozuo.org