这是一个创建于 476 天前的主题，其中的信息可能已经有所发展或是发生改变。
MLC-LLM 包可以利用 AMD 的 ROCm 进行大语言模型的编译及推理。性能方面，在 Llama2-7B/13B 上，7900 XTX 做推理可以达到 80% 4090 的水平
中文简介 https://zhuanlan.zhihu.com/p/649088095
英文原文 https://blog.mlc.ai/2023/08/09/Making-AMD-GPUs-competitive-for-LLM-inference
Github https://github.com/mlc-ai/mlc-llm/
中文简介 https://zhuanlan.zhihu.com/p/649088095
英文原文 https://blog.mlc.ai/2023/08/09/Making-AMD-GPUs-competitive-for-LLM-inference
Github https://github.com/mlc-ai/mlc-llm/
 |
1
qq565425677 2023-08-11 11:06:47 +08:00
从防垄断角度考虑非常不错，不过具体到个人使用还是先让别人把坑都踩一遍吧
|
 |
2
chhtdd 2023-08-11 15:00:52 +08:00
CUDA 的坑踩得够多了，不想再踩一遍 opencl 的了
|
Select Language