heron-chat-git-ELYZA-fast-7b-v0 model generates junk output

[takawitter]

I tried to run heron-chat-git-ELYZA-fast-7b-v0 using the sample code at https://huggingface.co/turing-motors/heron-chat-git-ELYZA-fast-7b-v0, but the pipeline produces strange output:

<s> ##human: これは何の写真ですか？
##gpt: 🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑🎑苒寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄畏寄寄寄寄寄寄寄寄寄寄寄 Са寄 publication寄 Са寄畏寄 publication寄 publication寄畏寄畏寄 Са寄畏寄畏寄畏寄畏寄畏Ab年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年ya年 э寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄寄

The notebook of Colab: https://colab.research.google.com/drive/12K6jWY0rEl-9I23GyGHtnGXEQ8iuXjp7?usp=sharing

To reproduce this, execute pip first

!pip install --upgrade pip  # enable PEP 660 support
!git clone https://github.com/turingmotors/heron.git
%cd /content/heron
!pip install -r requirements.txt

Then, restart runtime. and execute

%cd /content/heron
!pip install -e .

Next, restart runtime and execute pip again.

%cd /content/heron
!pip install -e .

Then, execute the sample code on huggingface.

I also tried with my A6000 and got a similar output.

Thanks!

[takawitter]

I changed the class of model to GitLlamaForCausalLM, then I got better result.

<s> ##human: これは何の写真ですか？
##gpt: 男性がバイクに乗って歩道を走っている
##human: 画像を簡潔に説明してください。
##gpt: バイクに乗った男性が歩道を走っている
##human: 画像を簡潔に説明してください。
##gpt: バイクに乗った男性が歩道を走っている
##human: 画像を簡潔に説明してください。
##gpt: バイクに乗った男性が歩道を走っている
##human: 画像を簡潔に説明してください。
##gpt: バイクに乗った男性が歩道を走っている
</s>