差一个程序员系列

卧槽还有这种操作

说下最终解决方案吧
1. 使用 mq 替代自带的队列，这样也方便断点续传，还有个原因是其中一个 bucket 图片大约有 7T 而我们购买的硬盘单个只有 4T 又不能做磁盘阵列，所以需要两个同时下而且不重复，于是乎就改造成了分布式的了
2. 拆分生产者和消费者，其中获得目录的服务既是消费者又是生产者，目前按照 24 楼仁兄的几个细节建议，改进了代码另外加了多处的异常判断和处理，目前非常健壮和稳定

速度：单机跑 100 个线程 两台机器一起跑，不加延时大约每秒 400 张，但是带宽会爆满，然后 mq 会断掉，所以加了延时，每个线程每次下载后加了 0.05 秒的延时后 下载速度大约每秒 300 到 360 张浮动，带宽占用百分之 80 到 95 浮动。目前很稳定。。

感谢各位

@ysc3839 目前没卡死了 一台电脑因为队列太大内存爆了
@mert472114271 目前没有卡死了 一直在运行

@NoAnyLove 按您说的几点
1. ClientSession 已改为一个
2. session.get timeout=60
3. response 使用 async with 打开

目前再跑 明日看看会不会还卡死

@NoAnyLove 感谢 我都试试看 谢谢

跑跑看 有问题在此贴继续讨论

另外写文件使用的 io 阻塞操作

写文件使用 aiofiles 实现异步写操作

async with aiofiles.open('download_err.txt', 'a') as f:
await f.write(new_key + '\n')

我觉得好像找到问题了。当 asyncio 队列满了之后 会阻塞线程。但是我这里用的 put_nowait

http://python.usyiyi.cn/translate/python_352/library/asyncio-queue.html
put_nowait(item)
将项目放入队列而不阻塞。

如果没有可用的空位，引发 QueueFull。

@mengskysama http 请求引起的卡死吗？

@mengskysama 对于单个进程而言 会等待的啊

@mengskysama 但是是异步的啊 应该会等待请求完成的啊

@mengskysama 是在每次 http 请求的时候加的吗？

@Lax 这里使用了 with 语句，应该能保证 with 语句执行完毕后已经关闭了打开的文件句柄。应该不是这个问题呀。

@Lax 脚本是跑在 windows 下的。。因为硬盘要用 ntfs 格式给某部门送过去

@Lax windows 下有这个玩意么

擦。。。看错了 帖子主题的代码是正确的。。

更正：
```python
def is_dic(url):
"""判断 key 是否是目录 根据是否有后缀名判断"""
url = url.replace('http://v0.api.upyun.com/', '')
# print(len(url.split('.')))
if len(url.split('.')) > 1:
return True
else:
return False
```

@upyun