1
locoz 2019-09-07 09:53:57 +08:00 via Android
跟 fq 一样的,一般的代理当然不能让墙内机器直接 fq
|
2
wersonliu9527 OP @locoz 用香港的 vps 拨号主机,ip 都是香港的,在里面搭建 socket 代理,在本地电脑 requests 使用下面方式可以翻
proxies = { 'http': 'socks5://xxx:1080', 'https': 'socks5://xxx:1080' } 但是问题来了在 scrapy 里面使用下面却不行 class LocalProxyMiddleware(HttpProxyMiddleware): def process_request(self, request, spider): request.meta["proxy"] = 'socks5://xxx:1080' |
3
locoz 2019-09-09 14:43:13 +08:00
@wersonliu9527 #2 我没有深入地用过 scrapy,你可以翻一下文档看看 scrapy 是否支持 socks5 代理,并且确认一下是不是这么写。
|
4
wersonliu9527 OP @locoz 多谢提醒确实不直接支持 网上查了很久 似乎通过 txsocksx 间接支持,但是 txsocksx 这个 15 年就停止更新了。
|
5
locoz 2019-09-09 15:54:20 +08:00
@wersonliu9527 #4 那你可以尝试使用 Privoxy 之类的工具,将 Socks5 代理转成 HTTP 代理。
|