OpenBMB / BMInf

Efficient Inference for Big Models
Apache License 2.0
572 stars 67 forks source link

请问是否支持显存按需调用,如果支持可否给个代码演示 #43

Closed thehzzz closed 2 years ago

thehzzz commented 2 years ago

非常喜欢bminf。 请问是否支持显存按需调用。 非常感谢。

a710128 commented 2 years ago

目前还不支持显存按需调用,需要预先设定显存大小限制。 未来可能会支持动态的显存分配。

thehzzz commented 2 years ago

感谢回复。请问Ubuntu是通过什么方式去设定显存限制呢。

thehzzz commented 2 years ago

因为条件有限,希望在运行bminf的时候,留1G 左右显存。

a710128 commented 2 years ago
cpm1 = bminf.models.CPM1(
        dynamic_memory=512 * 1024 * 1024, # 512MB
        memory_limit= 4 * 1024 * 1024 * 1024, # 4GB
    )
thehzzz commented 2 years ago

非常感谢!