1.屏蔽所有的搜索引擎抓取信息,如果你的网站只是你的私密性的网站,不想太多的人知道的话,可以利用robots屏蔽掉所有的搜索引擎,例如你写的私人博客。你就可以把搜索引擎全都屏蔽掉
User-agent: *
Disallow: /
2.如果你只想某一个搜索引擎抓取你的信息,这个时候就可以用robots进行设置,例如:我只想我的网站被百度这个收录,而不想被别的搜索引擎收录。就可以利用robots进行设置
User-agent: Baiduspider
Allow:
User-agent: *
Disallow: /
3.可以利用各种通配符对网站进行相对应的调配,例如我不想网站抓取我的所有图片,这个时候就可以运用$来进行设置。一般我们常见的图片的格式是BMP、JPG、GIF、JPEG等格式。这个时候设置就是:
User-agent: *
Disallow: /.bmp$
Disallow: /.jpg$
Disallow: /.gif$
Disallow: /.jpeg$
4.还可以利用*来屏蔽掉相关的URL,有些网站不允许搜索引擎抓取动态地址的时候可以利用这个*通配符来进行匹配设置。一般情况下动态URL的有一个特点就是有“?”这个时候我们就可以利用这个特性来进行匹配的屏蔽:
User-agent: *
Disallow: /*?*
5.如果网站改版了,整个文件夹都没有了的时候,这个情况下就要考虑屏蔽掉整个文件夹。我们可以运用robots来对这整个的文件夹进行屏蔽,例如网站里的ab文件夹因改版全都给删掉了,这个时候就可以这样子设置:
User-agent: *
Disallow: /ab/
6.如果网站里有一个文件夹不想被收录,但是在这个文件夹里面有一个信息是允许被收录。那可以运用robots的allow进行设置。例如我网站里ab文件夹不允许搜索引擎抓取,但是在ab文件夹里面又有一个信息cd是允许被抓取的,这个时候就可以运用robots进行设置:
User-agent: *
Disallow: /ab/
Allow:/ab/cd
7.可以在robots里定义出网站地图的位置,有利于网站的收录。
sitemap:<网站地图的位置>
8.有的时候你会发现我的网站里设置了robots但是还发现其收录了这个URL地址,这个的原因是因为这个搜索引擎的蜘蛛是通过URL爬行到网页的一般 google抓取这样子的URL的时候是不带title与描述的,但是百度抓取这个URL会带上title与描述,所以有很多有人会说我设置了 robots但是没有效果。实际情况是抓取了这个链接而没有收录这个页面内容。
京喜app是一款京东旗下推出的网购电商平台,京喜app里面能够帮助你省下的大量的金额,很多的优惠卷免费发送,先领劵在购物省一大笔钱。还有每天推荐精品好货为你提供最优质的商品,精细分类让你挑选起来更简易,需要的用户快来下载体验把。
旅行串串游戏下载是一款非常好玩的休闲经营养成类型游戏,旅行串串游戏安卓下载在游戏剧情里,你跟女友辞去了工作,来了一场说走就走的旅行,旅途中你会看到世界各地的文化、风景、美食等。非常的有意思。赶快下载试试。
泡沫冬景破解版是一款今年超级火爆galgame。泡沫冬景破解免费版游戏正版是要收费18元才能玩的,小编在这里找到了一个免费的下载渠道,但内容是跟正版一模一样的哦。喜欢这款游戏的欢迎来ucbug下载站下载体验。
百度地图2020最新版是一款最新的地图导航手机软件,百度地图2020最新手机版软件内有着全网最新的地图路线,而且增添了许多实用功能,可以看到公交车的实时定位,也可以直接在地图软件上预估打车价格等等。非常方便。
高德地图手机版是目前手机上最好用的一款地图软件之一,高德地图手机版软件内有着非常精准的定位系统,包括的人的朝向都能够清晰观察到。软件内还有实时路况播报,方便你开车时避开高峰路段,节省路途时间。
1号店app是一款非常好用网上电子商务平台。1号店app可以说是一家网上百货超市,几乎所有日常生活用品等可以在1号店上进行购买,覆盖食品、饮食、进口商品、服饰、鞋帽、清洁用品、数码、家电等非常多的种类。同时1号店拥有独具特色的集成供应链既保证了商品质