Google教你正确设置robots.txt文件

  一个正确的robots.txt文件,能让搜索引擎不抓取网站的某个不想让蜘蛛抓取的文件,也可以避免大量的复制网页对网站搜索引擎权重的影响。Robots.txt 协议标准介绍以前也已提到过,也可以访问robotstxt.org官方网站参考正确的设置方法,但对了一个新手来讲,正确设置一个robots.txt文件是一件比较头痛的事情。不必烦恼,Google教你正确设置robots.txt文件。

  对于一个网站管理者,拥有一个google帐号是非常有用的,google网站管理工具,全方位的为你诊断网页,google通过此工具,为你反馈网站存在的一些问题。至于google网站管理工具榜大的功能我就不一一介绍,这里来讲一下怎么利用Google网站管理工具设置一个正确的robots.txt文件。

  网站管理工具中工具下有一个分析robots.txt文件,此栏下google检查你网站是否有设置robots.txt文件,如果没有你也可以通过提供的测试robots.txt文件并试用更改功能来设置一个正确的robots.txt文件,把你想要禁止的文件或目录通过robots.txt格式制作好后,复制到Google提供的robots区,然后你可以在robots.txt文件测网址区测试下你刚才写的robots.txt文件是否正确。此处还提供了移动索引抓取、图片索引抓取、抓取网以确定AdSense内容、抓取网页测量AdWords到达网页的品质等强大的功能。

  有了googel网站管理工具,让你不必烦心robots.txt文件怎么去写,写得正不正确,也避免了写错robots而给网站带来不必要的创伤直接为网站管理者带来的经济损失!

  网友评论:(只显示最新10条。评论内容只代表网友观点,与本站立场无关!)