@Kilerd 英文看不懂

今天大佬们都不在啊

@locktionc 有了解过 但总感觉 有那么点不对

@fiht 可能我没说明白 不好意思哈 我换种说法，比如 我监控 1000 个页面，我 20 分钟扫描一次这一千个页面，任务发布需要从另一个地方提取数据构造这一千个 URL，压进队列里，我想控制的是这一千个 URL 之间的频率，比如扫 20 个休息 10 秒，这 20 个是并发多线程 ，我现在是用 futues 弄的 设置 20 个线程 他就是同时爬 20 个 但是是连续的。我怕我的代理池顶不住，就想控制其频率。而且这样完全自己写，发布任务的轮询实现的也不理想。就想有没有成熟的包或框架可以用。（其间还要根据每个 URL 的壮态，判定是不是剔除出来，不再发布这个任务）

@ericls 好高端 还没接触过

@Trim21 这好像不错，不过这执行的有点快啊 爬虫太快了会被 BAN 的 有没有办法控制间隔或者速度啊

@binux 我觉得 celery 更像 futuer

@wellsc RQ 是啥

@binux 我看了教程 好像 他定义的是任务 并不是队列啊

@laxenade 这不是进程 吗

@1iuh celery 是任务啊 我这个需求应该是发数据给任务让任务跑起来

@bazingaterry 是吧 最好是基于 redis 的 能保存状态的

@ipwx 是这样的 塞进去就变成字符串了 然后 现在我进去都 JSON 一下 就可以了 不过不知道会不会慢

@ipwx 我是当管道用 多加一层 JSON 处理 会不会不效率

@WO31400 我了个草 居然把这个忘了 感谢大佬深夜鼎立相助

@locoz 有个时间 但是 存在 redis 里 除了 list 别的不能选择最后一个入队列的来对比时间啊

@kkzxak47 是下读取数据后对比，那是否只能一条条的跟数据库的对比 没有的才写入这样？

@rrfeng redis 有上限吗 我主要是为了保存壮态 所以才用 REDIS

@wujichao zet 还要给个下标 不麻烦吗 大佬