爬虫拉勾网的反爬

最近在爬拉勾网，但是在爬的过程中遇到好像是滑动验证码
res = requests.get(companyLink, headers=header, cookies=get_cookies(cookies_str))
这是请求带的参数

https://passport.lagou.com/login/login.html?msg=validation&uStatus=2&clientIp=47.105.103.225 请求的时候回偶尔跳转这个登陆页面
所以我猜是反爬有人遇到过吗？

我试过本地稳定 ip 和动态代理，都会有这种情况发生

反爬

拉勾网

header

res

12 条回复 • 2018-10-23 10:18:13 +08:00

PulpFunction

2018-10-22 11:45:01 +08:00

violence123456

2018-10-22 11:51:48 +08:00

依稀记得当年被拉勾禁了一段时间 ip23333

Ewig

2018-10-22 11:53:01 +08:00

@PulpFunction 我知道有反爬，所以才来问大家最近有人爬过没有

cuzfinal

2018-10-22 14:34:29 +08:00

拉钩的反爬应该挺难弄的，毕竟拉钩好多数据就是自己爬的。

wersonliu9527

2018-10-22 14:43:53 +08:00

我们公司爬烂了,长期爬最好用代理 ip,一次的话本地 ip 加 cooki 就行
post 请求 'https://www.lagou.com/jobs/positionAjax.json?px=new&needAddtionalResult=false' 这个接口
参数下面自己循环变换
data = {
'first': 'true',
'pn': 页码,
'kd': 关键字)
}