huggingface 的 bigscience/T0pp 要多大内存？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1067 天前的主题，其中的信息可能已经有所发展或是发生改变。

python3 -m manifest.api.app \
    --model_type huggingface \
    --model_name_or_path bigscience/T0pp \
    --use_hf_parallelize

执行的这个命令，32G 内存，提示内存不足，想问下大概要多大？

1 条回复

coolair

2023 年 5 月 5 日

找到了：Just to load the model, you will need ~90GB of CPU memory.