请选择 进入手机版 | 继续访问电脑版

站长赚钱网赚钱论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

js广告代码或css文件需要屏蔽抓取吗?

2018-8-29 09:18| 发布者: admin| 查看: 19| 评论: 0

摘要: 搜索引擎的蜘蛛只有链接指向了某个页面,就会对其进行抓取,但很多时候,因为我们的网站服务器性能等各方面的原因,很多站长朋友可能在想,我们是否需要禁止搜索引擎蜘蛛抓取js广告代码或css文件,这样一来,会适当减轻服务 ...

搜索引擎的蜘蛛只有链接指向了某个页面,就会对其进行抓取,但很多时候,因为我们的网站服务器性能等各方面的原因,很多站长朋友可能在想,我们是否需要禁止搜索引擎蜘蛛抓取js广告代码或css文件,这样一来,会适当减轻服务器压力,虽然各个搜索引擎目前对js文件的识别度还相当有限,但目前来看,蜘蛛crawl这些页面还是完全能做到的.

对于css文件不建议大家屏蔽蜘蛛抓取,原因很简单,其一大部分的站点,css文件的体积都不大,不会影响到抓取速度,另外一点就是,蜘蛛在建立页面快照时,大多是用div+css来建设的如果没有css的页面,会乱得不成样子.

禁止搜索引擎蜘蛛抓取js广告代码或css文件

首先我们来看看如何禁止搜索引擎蜘蛛抓取js广告代码或css文件?这个很容易实现,我们只需要在robots.txt文件中加入以下代码就能做到:

Disallow: /*.css

Disallow: /*.js

当然,也可以在页面中加入nofollow 属性,不过现在的nofollow,好像还是会有蜘蛛爬取.具体的写法如下:

<meta name=”robots” content=”noindex,nofllow” />

要检查是否生效,我们可以直接在百度站长工具里检查

是否需要禁止搜索引擎蜘蛛抓取js广告代码或css文件

是否需要禁止搜索引擎蜘蛛抓取js广告代码

这一点,我们可以先看看网上一些高手的说法:

我认为“蜘蛛抓取一个网站的时间是一定的限制了某文件被抓取则它又更多时间去抓取别的网页”,如果不成立则完全没必要屏蔽CSS和JS了。如果成立那要屏蔽的就不止CSS和JS了很多没实质意义的文件都值得屏蔽.

经过试验和跟踪数据表明:

1>被屏蔽掉的js/css文件依然会被baidu和google大量crawl

2>屏蔽后跟踪观察其他page type 蜘蛛crawl量发现并未增加

3>如果网站大部分js/css文件里包含较多URL可以不屏蔽蜘蛛爬取js/css文件的同时可以爬取里面的link

4>如果网站大部分js/css文件里基本上都是代码之类的屏蔽也可没发现明显的好处也没发现坏处.

阻止你的CSS和js文件可能会影响你在谷歌的搜索排名所以建议robots.txt不要禁止JS和CSS文件访问.

谷歌索引的建议:

网页加载速度对用户和索引依然非常重要.

屏蔽JS和CSS谷歌索引将无法向普通用户那样读取页面.如果JS太复杂渲染页面可能不正确.

百度官方表示,排名不会考虑js文件或者css文件也就是说js文件和css文件不参与百度排名但是大量站长反馈虽然禁止百度抓取js和css文件但是百度蜘蛛还是照样抓取不误毫无疑问它们是用来支撑网站整体上的功能性和美观性任何网站都需要js和css.

在百度官方的论坛里还看到一些说法:

蜘蛛大量抓取js和css文件一般是因为页面模板改动导致的,如果js文件中没有给用户看的内容可以选择屏蔽.但就我知道屏蔽js和css文件并不是很好使.

联盟来谈一点自己的看法,仅供参考:

 

小结

一般来说,不是什么特殊的情况,确实没有必要去设置禁止爬行这样的文件.但一些网站的后台文件,需要禁止蜘蛛爬行的,一定要去设置一下.

再有就是一般我们设置了robots.txt后,也不是一天两天能见效的,一般需要7到20天左右才能看到搜索结果上的效果.所以大家不要心急.


鲜花

握手

雷人

路过

鸡蛋

最新评论

QQ|Archiver|手机版|小黑屋|站长赚钱网赚钱论坛 ( 皖ICP备13004459号 )

GMT+8, 2018-9-20 16:24 , Processed in 0.059392 second(s), 16 queries .

Powered by 站长赚钱网 X3.4

© 2001-2017 中国免费的网上赚钱平台

返回顶部