系统常驻梯子，程序中设置代理 ip 后无法成功爬取墙外资源，不设置却可以爬取成功，这是为什么？

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 1539 days ago, the information mentioned may be changed or developed.

根据教程在代码中设置代理(我的梯子 http 端口是 8001)

proxies = {'https': 'https://127.0.0.1:8001', 'http': 'http://127.0.0.1:8001'}

然后通过 requests 包进行网络请求

print(requests.get(url=url, headers=headers, proxies=proxies).text) // 报错

结果报错

Caused by SSLError(SSLEOFError(8, 'EOF occurred in violation of protocol (_ssl.c:1129)'))

但是取消设置代理后通过下面的方式又可以正常请求到资源

print(requests.get(url=url, headers=headers).text) // 能获取到 html 资源

这是什么原因呢？如果我用 scrapy 框架的话，那应该是在中间件中配置代理还是不配置呢

Headers

URL

Proxies

6 replies • 2022-03-26 12:14:41 +08:00

Windy418

Mar 18, 2022

还发现一个问题就是如果程序中代理用 socks5 协议是可以返回数据的
```
proxies = {'socks5': 'https://127.0.0.1:8001', 'socks5': 'http://127.0.0.1:8001'}
```
但是用 http 的不行

ysc3839

Mar 18, 2022 via Android

你的代理服务器不支持用 https 协议连接吧？你写 https://代表用 https 协议连接代理服务器，这里应该写 http://
这个错误信息大概是发送了 https 数据给了 http 服务器，然后被断开连接了。

Windy418

Mar 19, 2022

@ysc3839 我的代理服务器里默认有三个端口，一个 Socks5 端口（ 1081 ），一个 HTTP 端口（ 8001 ），一个 PAC 服务器端口（ 7777 ）

linuxyz

Mar 19, 2022

`proxies = {'https': 'http://127.0.0.1:8001', 'http': 'http://127.0.0.1:8001'}`

你把代理都改成 `http://127.0.0.1:8001`

或者
`proxy: 'socks5://127.0.0.1:1081'`

or

`proxy: 'http://127.0.0.1:8001'`

Windy418

Mar 21, 2022

@linuxyz 这样的话如果我爬 https 的网站也是可以走代理的么

linuxyz

Mar 26, 2022

@qtoq126 看你的代码感觉是在配 Node.js 如果配了 proxy 之后，无论应该访问啥资源 http or https 都会尝试使用 proxy. 建议用 socks5 代理先。