search

UbiquitousLearning / mllm

Fast Multimodal LLM on Mobile Devices
https://ubiquitouslearning.github.io/mllm_website
MIT License
504 stars 57 forks source link

请教llava推理教程 #71

Closed lijianxing123 closed 6 months ago

lijianxing123 commented 7 months ago

请问怎么使用llava 模型，1. 我下载llava1.5版本(https://huggingface.co/liuhaotian/llava-v1.5-7b) 2.使用converter.py 转换模型，3.编译代码运行demo_llava, 加载模型过程报错

lijianxing123 commented 7 months ago

![Uploading image.png…]()

lijianxing123 commented 7 months ago

怎么进行llava 的模型转换呢，使用llava的哪个版本呢

yirongjie commented 7 months ago
  1. llava1.5的模型在https://huggingface.co/mllmTeam/llava-1.5-7b-mllm/tree/main可以下载.
  2. 目前我们只支持liux平台的模型加载,windows平台模型加载会报错.