justou 最近的时间轴更新 justou 最近的时间轴更新 |
justouV2EX 第 171389 号会员，加入于 2016-05-01 22:34:52 +08:00今日活跃度排名 8967 |
justou 最近回复了
155 天前 回复了 justou 创建的主题 › C++ › C++libtorch 多线程多 GPU 推理问题 |
@ypw 按理说应该是可行的, 只要每个线程都能在对应的设备上分配独立的 cuda context, 彼此互不影响. 后来我的应用要同时兼容 TorchScript 和 PyTorch model, 所以只能用进程了
264 天前 回复了 Dynesshely 创建的主题 › JetBrains › Clion 和新出的 Clion Nova 主要区别是什么 |
Clion 的 clangd 性能真的差了点，小的工程还好，一个引入了 qt, torch, boost 工程, goto 经常卡半天, 语法分析和补全几乎处于半不工作状态, 即使给它内存再多也没用.
2023-09-19 20:38:46 +08:00 回复了 justou 创建的主题 › C++ › C++libtorch 多线程多 GPU 推理问题 |
经过一些测试和查找资料，发现单个进程内，cuda 似乎无法充分利用多显卡，可能是单个进程 cuda 能利用的数据带宽有限，得一个进程一个模型对应一个显卡。
例如有 4 个显卡，主进程启动 4 个子进程，每个子进程一个推理模型，主进程源源不断地将数据一个一个 batch 的送到进程共享队列，每个推理子进程一边从队列获取数据缓存一边推理一边将结果发送回主线程汇总，这些都异步进行，主要目的是让各个显卡尽量不要空闲，以此将利用率最大化。
最开始尝试将大量输入数据均摊到各个子进程，然后等他们完成，再获取结果，发现这种方式显卡利用率不高，主要是有些进程很快完成推理，有些进程则很慢，这种方式永远是在等最慢的那个进程，而其它进程早就空闲下来了。这种方式得到的 fps 跟单个进程多个线程的差不多，而通过上面这种流水线处理方式，fps 按显卡个数倍增。
例如有 4 个显卡，主进程启动 4 个子进程，每个子进程一个推理模型，主进程源源不断地将数据一个一个 batch 的送到进程共享队列，每个推理子进程一边从队列获取数据缓存一边推理一边将结果发送回主线程汇总，这些都异步进行，主要目的是让各个显卡尽量不要空闲，以此将利用率最大化。
最开始尝试将大量输入数据均摊到各个子进程，然后等他们完成，再获取结果，发现这种方式显卡利用率不高，主要是有些进程很快完成推理，有些进程则很慢，这种方式永远是在等最慢的那个进程，而其它进程早就空闲下来了。这种方式得到的 fps 跟单个进程多个线程的差不多，而通过上面这种流水线处理方式，fps 按显卡个数倍增。
2023-06-29 14:27:26 +08:00 回复了 iqoo 创建的主题 › 程序员 › C++ 类析构是按先进后出的顺序吗？ |
必须是那样, 利用 RAII 方式来保证一些动作得到执行
void func(){
auto socks_guard = wear_socks_guard(); // 构造时穿上袜子, 析构时脱掉袜子
auto shoes_guard = wear_shoes_guard(); // 构造时穿上鞋, 析构时脱掉鞋
// ....
// 先脱鞋
// 再脱袜子
}
void func(){
auto socks_guard = wear_socks_guard(); // 构造时穿上袜子, 析构时脱掉袜子
auto shoes_guard = wear_shoes_guard(); // 构造时穿上鞋, 析构时脱掉鞋
// ....
// 先脱鞋
// 再脱袜子
}
2023-06-08 08:51:03 +08:00 回复了 yoyoluck 创建的主题 › Python › pybind11 链接 py 库版本的问题 |
windows 下有个 embed 版本的 python, 比如 https://www.python.org/ftp/python/3.10.11/python-3.10.11-embed-amd64.zip 可以把它看成一个绿色版 python(可以用 pip 在这个环境中安装管理第三方库), 相当于把 python 当成动态链接库来用, 可以随你的程序一起发布
2023-04-08 08:36:14 +08:00 回复了 Andor_Chen 创建的主题 › 推广 › 送几本“通透”的《流畅的 Python （第 2 版）》 |
排队凑个热闹, 感谢 lz 的翻译工作
2023-03-29 16:36:07 +08:00 回复了 dunhanson 创建的主题 › 程序员 › Typora 怎么像 VS Code 那样多标签显示？ |
@oneKnow 发现 Obsidian 支持 vim ，准备弃 Typora 了...
2023-02-18 13:31:16 +08:00 回复了 Baboonowen 创建的主题 › Python › 发现一个用 Rust 重写的 Pandas 的替代品，支持 Python |
@mepwang 让我想起了我的入门语言 Fortran ，数组在内存中列连续。出了学校再也没用过了，现在语言内置的并行计算功能越来越完善了
https://coarrays.sourceforge.io/doc.html
https://github.com/tkoenig1/coarray-tutorial/blob/main/tutorial.md
https://coarrays.sourceforge.io/doc.html
https://github.com/tkoenig1/coarray-tutorial/blob/main/tutorial.md
2023-02-03 16:17:21 +08:00 回复了 justou 创建的主题 › Python › 如何将一个 class pickle, 在缺失源码的情况下也能 unpickle 后生成实例 |
https://stackoverflow.com/questions/26389981/serialize-a-python-function-with-dependencies
可能 dill 可以做, 我先试试看好使不好使
可能 dill 可以做, 我先试试看好使不好使
Select Language