<meta name="robots" 这句到底怎么写？

[joynic]

很多人说谷歌与百度对待<meta name="robots"的态度不一样，那么header中到底应该怎么写这句？

<meta name="robots" content="index,follow" />
<meta name="robots" content="noindex,nofollow" />

或者干脆整站不写？

因为自己的一个网站经常同一时间访问的人较多，虚拟主机数据库很不给力，前几天为使用wordpress搭建的网站增加了一个db-error.php，发现百度收录的网站首页变成了这个数据库错误提示页面。

我发现db-error.php里面有我从文章页面复制过来的<meta name="robots" content="index,follow" />。

[Evance]

<meta name="robots" content="index,follow" />
<meta name="robots" content="noindex,nofollow" />

上面一句是指允许搜索引擎索引，并可以根据页面上的链接进行爬行索引。它是robot的默认声明，也就是说你不加这句话其实也是这样的。


后面一句是即不允许被索引，也不允许通过这个页面的内容进行爬行索引。