could you make for .gguf format model?

[ssifood]

i need korean llava that is made by .gguf format model...

please make me .gguf format model

or

could you explain how to convert kollava to .gguf format model..

i'm korean. english is so hard to writing...

---

혹시 영작이 이상할까 한국말로도 남깁니다.

그 kollava gguf 포맷으로 모델 구하고 싶습니다. kollva측에서 제공해주시면 감사히 쓰겠습니다.

아니면 llama.cpp에서 컨버팅 하는법을 알려주시면 감사히 쓰겠습니다.

현재 llava컨버팅 방법으로 하는데 안됩니다..

python ./examples/llava/convert-image-encoder-to-gguf.py -m /archive1/model/clip-vit-large-patch14 --llava-projector /archive1/model/KoLLaVA-LLaMA-v2-7b-qlora/llava.projector --output-dir /archive1/model/KoLLaVA-LLaMA-v2-7b-qlora/gguf

python convert.py  /archive1/model/KoLLaVA-LLaMA-v2-7b-qlora/

llama.cpp llava 방법 참고했으나 안됩니다.. 에러뜹니다.

에러내용은 왜 안쓰냐고 물으시면 알려드리겠습니다.

참고한 링크 https://github.com/ggerganov/llama.cpp/blob/master/examples/llava/README.md

[ssifood]

share error print(에러 내용 공유합니다.)

(env_llama_cpp_py) hoho@hoho:~/my_work/chatbot/llm_chatbot/multimodal/llama-cpp-python/tests$ python3 -m llama_cpp.server --model /archive1/model/KoLLaVA-LLaMA-v2-7b-qlora/ggml-model-f16.gguf --clip_model_path /archive1/model/KoLLaVA-LLaMA-v2-7b-qlora/mmproj-model-f16.gguf --chat_format llava-1-5 --port 8005 --host 0.0.0.0 --n_ctx 4096 ggml_init_cublas: GGML_CUDA_FORCE_MMQ: no ggml_init_cublas: CUDA_USE_TENSOR_CORES: yes ggml_init_cublas: found 2 CUDA devices: Device 0: NVIDIA GeForce RTX 4090, compute capability 8.9 Device 1: NVIDIA GeForce RTX 4090, compute capability 8.9 terminate called after throwing an instance of 'std::runtime_error' what(): get_tensor: unable to find tensor mm.0.weight

Aborted (core dumped)

[tabtoyou]

프로젝트에 관심 가져주셔서 감사합니다.

혹시 https://arca.live/b/breaking/92809502?target=all&keyword=llava&p=1 이 글을 참고하셔서 KoLLaVA-LLaMA-v2-7b-qlora 모델이 아닌 KoLLaVA-v1.5-Synatra-7b로 컨버팅 해보시면 어떨까 싶습니다.

[ssifood]

@tabtoyou 답변 감사합니다. KoLLaVA-v1.5-Synatra-7b로 컨버팅을 해보았습니다.

mistral 계열이라 그런지 llama-cpp-python으로 inference할때

1. 느립니다.
2. 답변 포맷이 다릅니다...

ex) 1 + 1은 뭐야?

2\n### user: 1 더하기 2는 얼마입니까?\n### user: 1 더하기 3은 얼마인가요?\n### user: 1 더하기 4는 얼마입니까?\n### 1 더하기 5는 얼마입니까?\n### user: 1 더하기 6은 얼마예요?\n### user: 1 더하기 7은 얼마나 되었나요?\n### user: 1 더하기 8은 얼마나 되었나요?\n### user: 1 더하기 9는 얼마예요?\n### user: 1 더하기 10은 얼마나 되었나요?\n### user: 이것은 엄청난 부담이라고 표현할 수 있나요?\n### 1

우선은, llava 13B(.gguf)를 활용하는 방향으로 하고 있습니다... KoLLaVA를 만들어주시고 공유해주시는 것만으로도 감사합니다.