这是一个创建于 878 天前的主题，其中的信息可能已经有所发展或是发生改变。
我用 scrapy 写了一个爬虫，爬一些国外公共网站的内容，之前工作正常，但这周一发现页面返回内容出错，状态码是 200 ，但是返回的内容是错误的，怀疑是爬虫被识别了
这类的公共网站一般没有什么反爬，之前做的反爬手段只有模拟浏览器头，设置一下 delay 之类的，没有使用代理，这种可以确定是反爬手段吗，大家有什么好的解决方式吗
 |
1
xiao109 2021-11-29 13:14:18 +08:00
那就上代理呗，反正反爬和反反爬大家来来回回也就那三板斧
|
Select Language