请教一下，为什么只有我的电脑跑爬虫会出现 SSLCertVerificationError ？

[tankb52]

具体报错信息如下

requests.exceptions.SSLError: HTTPSConnectionPool(host='www.amazon.com', port=443): Max retries exceeded with url: /product-reviews/B07GBP3GH9/ref=cm_cr_arp_d_viewopt_srt?sortBy=recent&pageNumber=1 (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1076)'

爬一些亚马逊上评论会出现这个错误（是自家产品，不涉及侵权），在 r = requests.get(self.url + str(page_n), headers=header, timeout=30)最后面添加, verify = False 就不会报错。

只在我的电脑上出现这个问题，其他同事的电脑上运行正常。

同时发现我电脑上pip install moudlename时也会报这个错误。搜索以后已经将 pip 升级到 19.2.2，或者说是所有的模块都已更新到最新。 最后解决方案是在 pip.ini 中加入以下内容

[global]
trusted-host = pypi.python.org
               pypi.org
               files.pythonhosted.org

但是爬虫依然有问题，我电脑换用同事的网络也不行，走手机热点电信网络也不行。

我怀疑是我电脑上某个证书出问题了，怎么排查呢？ 最开始在自己电脑上鼓捣爬虫时动过很多设置，这次脚本是同事发过来的，在别人电脑上跑都通过了。

Windows 10 系统。
同事的 Mac 和 Windows 10 都没问题。
我自己添加 verify = False 就不会报错。
但我还是想找到原因，毕竟也影响到了 pip install。

[warcraft1236]

是不是有代理啥的，劫持了证书。然后系统里边是不是安装了什么第三方证书，然后配置的还不对？只想到这些了，你的问题还真没遇到过

[jackleeforce3615]

def init_ssl():
ssl._create_default_https_context = ssl._create_unverified_context

[jackleeforce3615]

上面这个函数有没有执行过？

[tankb52]

@warcraft1236 #1
我也怀疑是这个原因，那如何排查呢？

[tankb52]

@jackleeforce3615 #2 加了也是一样的报错。

[wongyusing]

这个我没记错应该是证书问题。
试一下把 https 改成 http。
上次我就这样解决了
不行的话，查一下配置证书方面的知识

[BigDogWang]

你用的 request 吗？直接参数声明不做 ssl 检查就可以了

[lusi1990]

是 linux 吗?是自己编译的吗?如果是的话
sudo apt-get install -y openssl
sudo apt-get install -y libssl-dev
sudo apt-get install -y zlib*
然后重新编译, 安装

[sodora]

可能是系统时间问题。当前系统时间处在证书有效期之外。

[tankb52]

@BigDogWang #7
是添加 verify = False 吗？添加了就不会报错。但我还是想到的原因。

[tankb52]

@lusi1990 #8
windows 10，同事的 Mac 和 windows 10 上面也不会报错，所以不应该是 系统问题。

[supervipcard]

重装下 Python 试试

[Keyes]

@tankb52 把证书 dump 出来，看一下 issue 是谁的，可能性比较大的是缺少了中级证书，另一个就是网关上有中间人

[tankb52]

@Keyes #13

这个？为什么别人没有问题呢？

DO_NOT_TRUST_FiddlerRoot
DO_NOT_TRUST_BC
Created by http://www.fiddler2.com

[tankb52]

@supervipcard #12 重装过，无效。

[Keyes]

@tankb52 因为别人把 FiddlerRoot 证书导入到可信证书列表中了

你导入 Fiddler 证书的时候，不要让系统自动选择存储区域，点手动选择，然后指定到受信任的根证书颁发机构

[lazyfighter]

貌似需要导入 fiddler 的根证书才行

[tankb52]

@Keyes #16
导入后需要重启系统吗？我从 firefox 中导出 amazon.com 的证书到本地，然后双击安装，选择指定到了受信任的根证书颁发机构。
但是重新运行脚本还是报错。

[huyinjie]

可以尝试下用这个软件重置下网络 https://www.rizonesoft.com/downloads/complete-internet-repair/

[Keyes]

@tankb52 导 Fiddler 的证书，不是 Amazon 的

fiddler ca 可能在不信任的列表中，把它移到信任里也可以

[ThirdFlame]

难道设置了全局代理到 fiddle ？

[tankb52]

@Keyes
@ThirdFlame

公司的网络应该是统一走 fiddle 的，但是只有我的电脑出问题就很奇怪了。

我明天再去看看

[ThirdFlame]

@tankb52 那就是你没有信任 fiddle 的证书问题而已。

[lusi1990]

原来是走了 fiddler, 你需要的是 fiddler 的证书
resp = requests.get('https://ipinfo.io/json', verify='fiddler.cer',proxies=proxy)

[tankb52]

@ThirdFlame #23
@lusi1990 #24
请问如何做呢？
本地没有 fiddler.cer 。
我执行后错误如下
OSError: Could not find a suitable TLS CA certificate bundle, invalid path: fiddler.cer

[lusi1990]

@tankb52 这个是你们公司提供给你了, 名字可能不叫这个, fiddler 证书的默认名字应该是 "FiddlerRoot.cer", verify 是证书 "FiddlerRoot.cer" 的路径

[tankb52]

@lusi1990 #26
好的，多谢了。
我去想办法，不行再找公司 IT.

[foxyier]

把抓包工具关了再试一下呢。。

[tankb52]

@foxyier
公司层级的，不是我电脑上的

[foxyier]

@tankb52 你都说了你同事电脑都没问题。那就肯定是你电脑的问题啊。。为啥问题是公司层级呢？ 公司层级的话不是都应该有问题么

[tankb52]

@foxyier
我的意思是说抓包工具是公司层级上部署的，我关不掉。

至于我电脑上确实是出问题，只是我找不到原因。

[dapan24678]

@warcraft1236 老哥 666，确实 本机开代理会影响 ssl 验证