设为首页  | 加入收藏   
全国免费电话:400-6565-224
联系我们
滨州旭日网络有限公司
地址:山东省滨州市黄河三路渤海六路往西30米路北
邮编:256600
联系人:吴经理
电话:400-6565-224
技术服务 你的位置:首页 > 新闻中心 > 技术服务 >
关于网站robots.txt文件概念和格式运用
来源:滨州旭日网络有限公司 | 发布时间:2019-05-03

_______________________________________________________________________________________

什么是robots文件?
     
       robots是站点与spider沟通的重要渠道,站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

       请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。为了避免站长在设置robots文件时出现,百度站长平台特别推出了robots工具,帮助站长正确设置robots。
      
    
       robots.txt文件格式是怎么样的?
    
       User-agent: *
       Disallow:

       User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符,也可以是具体的搜索引擎蜘蛛,如Baiduspider 百度蜘蛛。

       Disallow:   按设置禁止访问某些页面,不加内容,表示无限制。

关于网站robots.txt文件概念和格式运用

       如何创建robots.txt文件?

       1.当网站本身并不存在robots文件的情况下,新建一个纯文本文档,命名为robots.txt,在此文件中进行编辑,完成后传到对应网站的根目录下即可。
      
       2.网站本身存在robots文件的情况下,下载原robots文件进行编辑,完成后传到对应网站的根目录下。

       以上就是小七为您整理关于robots.txt文件的基本知识,快为你的网站创建robots.txt文件吧,注意别把robots.txt写错为robot.txt了。

打印本页 || 关闭窗口
 
上一篇:详细了解软文中描文本以及作用
下一篇:网站的闭站保护都需要注意哪些方面
主营业务:网站建设 网站优化 百度推广 谷歌推广 网站推广 400电话 域名空间 企业邮箱
Copyright © 2012 滨州旭日网络 All Rights Reserved 电话:400-6565-224 传真:400-6565-224
版权所有 ©2012 滨州旭日网络科技有限公司