测试网站不小心被百度收录了，通过 useragent 判断并返回 403 有效吗？
shaojz2005 · 2019-08-20 11:37:32 +08:00 · 922 次点击这是一个创建于 1958 天前的主题，其中的信息可能已经有所发展或是发生改变。
测试网站不小心被百度收录了，而且有时候比正式网站的权重更高，无语了。
但是测试网站还要用，不方便关掉。网上看到有个在 nginx 配置里，根据 useragent 来返回 403 的方法：
if ($http_user_agent ~* "qihoobot|Baiduspider|Googlebot|Googlebot-Mobile|Googlebot-Image|Mediapartners-Google|Adsbot-Google|Feedfetcher-Google|Yahoo! Slurp|Yahoo! Slurp China|YoudaoBot|Sosospider|Sogou spider|Sogou web spider|MSNBot|ia_archiver|Tomato Bot") { return 403; }
不知道百度这些搜索引擎会不会伪造 useragent 来绕过限制进行收录呢？
 |
1
learningman 2019-08-20 14:16:40 +08:00 via Android
建议试试 robots.txt
|
 |
2
shaojz2005 OP @learningman 不能阻止收录首页
|
 |
3
googlefans 2019-08-21 23:28:02 +08:00
将测试域名做 301 转向正式网站域名
|
Select Language