V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  warcraft1236  ›  全部回复第 58 页 / 共 122 页
回复总数  2437
1 ... 54  55  56  57  58  59  60  61  62  63 ... 122  
@warcraft1236 北京,打错了
可惜没有背景
2019-02-04 21:46:18 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 的 RetryMiddleware 不生效,求教
@meik2333 我自己的是 200,但是感觉还是先走的系统的,重试了之后才走的我的,奇怪
2019-02-04 18:28:13 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 的 RetryMiddleware 不生效,求教
@meik2333 我重新试了一下,我上边这段代码确实打印不出来 if retries <= retry_times: 判断里边的 log

重新看了一下,发现

```
INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
'New91Crawler.middlewares.CustomerRetryMiddleware',
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
'scrapy.downloadermiddlewares.retry.RetryMiddleware',
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
'scrapy.downloadermiddlewares.stats.DownloaderStats']

```

我自定义的 retry 和 Scrapy 自带的 retry 都加载了,理论上不应该用我的覆盖系统的吗?
2019-02-04 09:45:13 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 的 RetryMiddleware 不生效,求教
@meik2333 我发现,我爬取了一批视频,总是有几个下载报 403,然而我手动打开这个视频是正常的。 我有 headers 中 random UA 和 X-Forwarded-For,不知道是不是因为下载太多被封了
2019-02-04 09:38:29 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 的 RetryMiddleware 不生效,求教
@meik2333 if 里边的是 Scrapy 的代码,我没有改,但是经过你的提醒,我终于发现我确实看不到 log,因为我配置的 loglevel 是 warn,多谢
2019-02-03 23:33:24 +08:00
回复了 sagaxu 创建的主题 职场话题 年终奖很失望
什么公司呀,需要测试吗?
2019-02-02 15:57:46 +08:00
回复了 laboum92 创建的主题 职场话题 快 30 而立,第一次遇到这么大的职场打击
@insert000 我司招开发,你有意向不?
2019-01-30 10:02:55 +08:00
回复了 warcraft1236 创建的主题 Python 继承的父类的方法,我想修改部分逻辑,有什么好的方法吗
@zwzmzd 学习了,我去看看
python 感兴趣,不知道有啥项目
2019-01-29 18:39:36 +08:00
回复了 warcraft1236 创建的主题 Python 继承的父类的方法,我想修改部分逻辑,有什么好的方法吗
@dendi009 重写岂不是得复制粘贴代码之后,再修改,他的方法有很多 import,我懒得挨个 import 了
2019-01-29 17:43:50 +08:00
回复了 warcraft1236 创建的主题 Python 继承的父类的方法,我想修改部分逻辑,有什么好的方法吗
@mainlong 没懂
@wdytoya 然后呢?我只是问一下加班,至于?
2019-01-28 15:49:33 +08:00
回复了 kidlfy 创建的主题 Python pymongo 熟悉 mongo 的大佬帮忙看一下错误
pymongo 好像不这么用吧......
2019-01-25 13:40:29 +08:00
回复了 warcraft1236 创建的主题 Python Mac 系统下, Scrapy 自动走系统代理?
@15399905591 我代理是全局的
想问问北京这边加班多吗?
2019-01-25 09:47:05 +08:00
回复了 warcraft1236 创建的主题 Python Mac 系统下, Scrapy 自动走系统代理?
@15399905591 但是命令行中其他命令并不会走代理啊
1 ... 54  55  56  57  58  59  60  61  62  63 ... 122  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5551 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 40ms · UTC 03:04 · PVG 11:04 · LAX 20:04 · JFK 23:04
Developed with CodeLauncher
♥ Do have faith in what you're doing.