请选择 进入手机版 | 继续访问电脑版

站长赚钱网赚钱论坛

 找回密码
 立即注册
查看: 80|回复: 0

[无锡seo] 什么是robots.txt

[复制链接]

557

主题

1099

帖子

3221

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
3221
发表于 2018-3-12 20:01:10 | 显示全部楼层 |阅读模式
在网站建设过程中我们会有一部分内容不希望被搜索引擎抓取到或者不希望其在互联网中出现,那么要怎么办呢?我要怎么跟搜索引擎说你不要抓取我的xx内容呢?这时候robots就派上用场了。 Robots.txt是存放于网站根目录下用于规定搜索引擎对网站内容抓取范围的文本文件,就这么一句话可以解释robots.txt是什么,但是我们需要注意的几点:
1.robots.txt必须存放在网站的根目录下。
2.其命名必须为robots.txt
3.Robots.txt是搜索引擎访问网站的第一个页面
4.Robots.txt中必须指明user-agent 以上是关于什么是robots的说明。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|站长赚钱网赚钱论坛 ( 皖ICP备13004459号 )

GMT+8, 2018-7-17 00:41 , Processed in 0.447784 second(s), 22 queries .

Powered by 冯站长之家 Discuz! X3.4

© 2001-2017 冯站长之家论坛

快速回复 返回顶部 返回列表