V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  arithboy  ›  全部回复第 1 页 / 共 1 页
回复总数  2
赞楼主!
没有盈利,出于善意,不必考虑版权问题
2018-05-03 22:42:35 +08:00
回复了 akmonde 创建的主题 Python 关于 scrapy 处理批量 url
你把 url 和相应的参数拼成一个 url 列表,然后赋值到 self.start_urls 变量里面跑
要多进程的话,把 url 放到队列里面,然后启动多个 scrapy 从队列中取
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2362 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 12:50 · PVG 20:50 · LAX 05:50 · JFK 08:50
Developed with CodeLauncher
♥ Do have faith in what you're doing.