设为首页|加入收藏 精品推荐:
返回首页>>当前位置:主页 > seo随笔 >

如何正确书写r​o​b​o​t​s.​t​x​t​

来源:未知 | 作者:技术小白 | 点击:
如何正确书写r​o​b​o​t​s.​t​x​t​
 
    当搜索引擎爬去我们页面时有一种爬虫蜘蛛叫做“Baiduspider”
 
    蜘蛛在爬去网站页面之前,首先会去拜访网站根目录下面的一个文件,就是robots.txt。这个文件其实就是给“蜘蛛”的规矩,假如没有这个文件,蜘蛛会以为你的网站赞同悉数抓取网页。

如何正确书写r​o​b​o​t​s.​t​x​t​
 
    Robots.txr文件是一个纯文本文件,能够告知蜘蛛哪些页面能够被抓取(录入),哪些页面不能被抓取。
 
    写robots.txt要注意的问题:
 
    1、只要在你的网站包含不期望被搜索引擎录入的内容时,才利用robots.txt文件。要是您期望搜索引擎录入网站上悉数内容,切勿创立robots.txt文件,不要创立一个内容为空的robots.txt文件。这一点一般被人们忽视,实际上创立空的robots.txt文件对搜刮引擎非常晦气。
 
    2、假如你不想自己写robots.txt文件,那就请Google帮你写。登录Google渠道,有生成robots.txt文件的。
 
    3、robots.txt文件是以纯文本格式存在的txt文件。
 
    4、robots.txt有必要放在网站的根目录中。最上层的robots.txt文件有必要这样被拜访:如网站:想看就看_享受电影带来的艺术体会写的robots.txt  http://www.xiangkantv.cn/robots.txt
 
    5、robots.txt一般在某个分目录中还能够存在,可是要是与尖端目录中的robots.txt有不同,则以尖端目录中robots.txt为准。
 
    6、写robots.txt时要严厉根据以下大小写方式来写
 
    7、User-agent:*
 
    Disallow:/
 
    这种格式不只阻挠抓取页面,并且更主要的是你的网站被录入了,然后又把robots.txt文件修改成以上格式,那么你的网站将在搜索引擎中被删去,整个地删去。
 
    8、元标志对一样往常的网站来说可有可无,不过你还是得知道:
 
    <METANAME=”ROBOTS”CONTENT=”NOINDEX,NOFOLLOW”>(不容许抓取该页面,不容许跟着该页面上的链接连续抓取)
 
    <METANAME=”ROBOTS”CONTENT=”INDEX,FOLLOW”>(容许抓取该页面,容许跟着该页面上的链接连续抓取)
 
    <METANAME=”ROBOTS”CONTENT=”INDEX,NOFOLLOW”>(容许抓取该页面,不容许跟着该页面上的链接连续抓取)
 
    <METANAME=”ROBOTS”CONTENT=”NOINDEX,FOLLOW”>(不容许抓取该页面,容许跟着该页面上的链接连续抓取)
 
    9、必要删去一些被搜索引擎录入的特定网页
 
    10、假如你的网站比较简单,那么下面的格式足够你利用的了。要是比较大的话,必要拜访这儿而又不必要拜访那儿,阻挠这个文件又要容许那个文件,容许拜访拜访带有“?”符号的特定网页等等,那么你有必要结合下面的格式具体研讨符合于你网站的robots.txt文件写法。
 
    接下来就和我们说说怎么写robots.txt?
 
    1、阻挠搜索引擎拜访网站中悉数的动态页面(动态页面就是URL中任何带有“?”的页面)
 
    User-agent:*
 
    Disallow:/*?*
 
    2、限制搜索引擎拜访某一特定文件后缀方式的网页。
 
    User-agent:*
 
    Disallow:/*.后缀方式(如.html、.htm、.php等等)
 
    3、只是容许搜索引擎拜访某一特定文件后缀方式的网页。
 
    User-agent:*
 
    Allow:.后缀方式(如.html、.htm、.php等等)$
 
    Disallow:/
 
    4、仅抑制某一搜索引擎拜访你的网站。Google是googlebot百度是baiduspider
 
    User-agent:baiduspider
 
    Disallow:/
 
    5、阻挠搜索擎拜访网站特定某一文件格式的文件(注意不是网页)
 
    User-agent:*
 
    Disallow:/*.(文件格式:如gif、jpg等等)$
 
    6、只是容许某一搜索引擎拜访你的网站。同样百度是baiduspiderGoogle是googlebot
 
    User-agent:baiduspider
 
    Allow:
 
    User-agent:googlebot
 
    Allow:
 
    7、要是你网站的某个目录不想被搜索引擎录入,写法如下:
 
    User-agent:*
 
    Disallow:/目录称号1/
 
    Disallow:/目录称号2/
 
    Disallow:/目录称号3/
 
    过细:不能写成Disallow:/目录称号1//目录称号2/这样的情势,每个目录要单独另起一行特别阐明。
 
    8、容许悉数的搜索引擎拜访你的网站的任何部分,这是一般的用法。
 
    User-agent:*
 
    Disallow:
 
    或者
 
    User-agent:*
 
    Allow:/
 
    9、阻挠悉数搜索引擎拜访网站的任何部分,也就是是阻挠悉数引擎录入你的网站。
 
    User-agent:*
 
    Disallow:/
 
    10、容许搜索引擎拜访特定目录中的网页
 
    User-agent:*
 
    Allow:/目录1/目录2(容许拜访目录2中的网页)
 
    Allow:/目录3/目录4(容许拜访目录4中的网页)
 
    Allow:/目录5/目录6(容许拜访目录6中的网页)
 
    Disallow:/目录1/
 
    Disallow:/目录3/
 
    Disallow:/目录5/
 
    上面所介绍的都是几种常用的文件格式。具体的写法还要视个人的网站需求来定。

您可能对以下内容感兴趣

小编分享

  • 广告位一
  • 广告位二
  • 广告位三
  • 广告位四
  • 广告位五

最新评论文章

回到顶部