网络公司排名优化之robots文件写法技巧-整站优化

作者:千赢国际唯一官网 来源:千赢国际唯一官网技术 日期:2020-08-23 浏览:
网络公司排名优化之robots文件写法技巧-整站优化
 
网站做好后很多人都想通过快速排名让网站能在短时间做好自己的整站优化,千赢国际唯一官网网络技术,是一家致力于网站设计网站优化企业宣传片一体服务的网络公司,排名优化方式很多,今天小编就给大家说下robots文件的优化方式
1.robots.txt文件是什么
  robots.txt是一个纯文本文件,robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
 
每个站点建立一个robots.txt文件,所以你应该在网站中添加一个robots.txt(即使这个robots.txt文件只是一个空文件)。
 
2.robots.txt的写法(语法)  
1)User-Admin该项的值用于描述搜索引擎蜘蛛的名字。如果该项的值设为*,则该协议对任何机器人均有效。
  
2)Disallow: 该项的值用于描述不希望被访问到的一个URL,一个目录或者整个网站。我们可以用以Disallow URL 均不会被搜索引擎蜘蛛访问到。
任何一条 Disallow 记录为空,
3)用法举例:
网站目录下所有文件均能被所有搜索引擎蜘蛛访问 
Disallow:  
禁止所有搜索引擎蜘蛛访问网站的任何部分 
Disallow: / 
禁止所有的搜索引擎蜘蛛访问网站的几个目录  
Disallow: /b/  
只允许某个搜索引擎蜘蛛访问 
Disallow: 
3.robots.txt文件带来的风险以及解决 
robots.txt 同时也带来了一定的风险:其也给攻击者指明了网站的目录结构和私密数据所在的位置。设置访问权限对您的隐私内容实施保护,这样,攻击者便从此进入。  
4.常见搜索引擎蜘蛛Robots名字 
Baiduspider :http://www.baidu.com  
Scooter :http://www.altavista.com  
ia_archiver: http://www.alexa.com  
Googlebot :http://www.google.com 
Inktomi Slurp :http://www.yahoo.com 
FAST-WebCrawler: http://www.alltheweb.com  
Slurp :http://www.inktomi.com  
MSNBOT :http://search.msn.com
  
5.注意事项: 
1)robots.txt可以站点的根目录下,而且文件名必须全部小写。
  
2)不要在robots.txt文件中设置所有的文件都可以被搜索蜘蛛抓取。
  
3)为安全考虑,建议很重要的文件夹不要写在robots.txt文件中,或你只建一个空白robots.txt文件。
 
首页
电话
短信
联系