公司的网站,想做个工具爬取跟工作相关的内容,但登录总是失败。 爬虫纯新手,大佬帮忙看下? import requests from requests.packages import urllib3 from http.cookiejar import CookieJar
urllib3.disable_warnings()
headers = {
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
}
url = "https://clm.patac.shanghaigm.com/ccm/auth/authrequired" s = requests.Session() data = { 'j_username': '******', 'j_password': '******' }
response = s.post(url, data=data, verify = False,headers = headers) print(response.text)
本来要爬的网页是 https://clm.patac.shanghaigm.com/ccm/web,爬这个网页会重定向到 https://clm.patac.shanghaigm.com/ccm/auth/authrequired,所以我干脆 post 了 https://clm.patac.shanghaigm.com/ccm/auth/authrequired,不过代码执行下来,虽然 是 200 的状态码,但明显不是登录成功的页面,求指教。。。