有推-微信公众号推广-网络推广-论坛推广

 找回密码
 立即注册
搜索
查看: 125|回复: 0

robots文件对网站的作用及常用详写方法

[复制链接]

1195

主题

3492

帖子

5886

积分

论坛元老

Rank: 8Rank: 8

积分
5886
发表于 2024-7-9 19:40:08 | 显示全部楼层 |阅读模式
网站制作好之后上线,作为一个新网站,看到的人不会太多,毕竟有这么多的网站,你的网站只是其中一员,想要网站让更多的人看到,需要有很好的排名,可以做竞价排名,还可以做搜索引擎优化,做搜索引擎优化,在布局之前要做一个相对比较重要的文件——robots文件。

  这个文件根据自己网站情况,可以设定想要搜索引擎抓取哪些内容,不抓取哪些内容,或是指定哪个搜索引擎抓取。我们在设置robots文件时也需要注意规则不要写错,我们一起来看看robots文件格式和写法。

  robots文件里一般写这三行规则:

  User-agent:

  Allow:

  Disallow:

  这三种

  User-agent后面可以跟指定的搜索引擎蜘蛛,比如:User-agent:Baiduspider,就是适配百度蜘蛛,只允许百度蜘蛛抓取。

  User-agent:*是适配所有搜索引擎蜘蛛,都可以抓取。

  Disallow是禁止搜索引擎抓取网站的某些文件,你可以根据网站情况设置。

  Allow后面可以填写蜘蛛可以抓取的页面,文件。举例写法:

  仅禁止Baiduspider访问您的网站

  User-agent:Baiduspider

  Disallow:/

  禁止所有搜索引擎访问网站的任何部分

  User-agent:*

  Disallow:/

  允许所有的robot访问

  User-agent:*

  Allow:/
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|设计师导航|好狗导航|自动秒收录|机灵助手|有推

网站地图

GMT+8, 2024-7-18 07:20 , Processed in 0.210439 second(s), 18 queries .

快速回复 返回顶部 返回列表