I am attempting to measure the perplexity of the gemma-2-9b-it-Q4_K_M.gguf model using llama.cpp. However, I encounter an issue where the process gets stuck at the "tokenizing the input" stage indefinitely.
I have confirmed that the qwen2-7b-instruct-q4_k_m.gguf model operates correctly in the same environment, so I expected gemma-2 to function properly as well. Unfortunately, it does not.
the model is from huggingface model hub,
bartowski/gemma-2-9b-it-GGUF
more information
I just found out that the data I have is a Korean Wikipedia dataset, and it worked fine with qwen2, but it doesn't seem to work with gemma2. After changing the data to a wiki.test.raw file, I confirmed that it works properly
I also discovered that the original number of files was 10,000, but after reducing it to 500, it worked. It seems to operate much slower compared to Qwen.
지미 카터
Introduction
'''제임스 얼 “지미” 카터 주니어'''(, 1924년 10월 1일~)는 민주당 출신 미국의 제39대 대통령 (1977-81)이다.
약력
조지아 주 의회 상원의원
1971.1. 제76대 조지아 주지사 (1971.1.12.~1975.1.14.)
1977.1. 제39대 미국 대통령 (1977.1.20.~1981.1.20.)
미국 대통령 자유 훈장 수훈
노벨 평화상 수상
제49회 그래미 어워드 최고의 낭독 앨범상 수상
제58회 그래미 어워드 최고의 낭독 앨범상 수상
생애
=== 어린 시절 ===
지미 카터는 조지아주 섬터 카운티 플레인스 마을에서 태어났다.
조지아 공과대학교를 졸업하였다. 그 후 해군에 들어가 전함·원자력·잠수함의 승무원으로 일하였다. 1953년 미국 해군 대위로 예편하였고 이후 땅콩·면화 등을 가꿔 많은 돈을 벌었다. 그의 별명이 "땅콩 농부" (Peanut Farmer)로 알려졌다.
Name and Version
version: 3392 (bda62d79)
built with cc (Ubuntu 11.3.0-1ubuntu1~22.04.1) 11.3.0 for x86_64-linux-gnu
What operating system are you seeing the problem on?
What happened?
I am attempting to measure the perplexity of the gemma-2-9b-it-Q4_K_M.gguf model using llama.cpp. However, I encounter an issue where the process gets stuck at the "tokenizing the input" stage indefinitely.
I have confirmed that the qwen2-7b-instruct-q4_k_m.gguf model operates correctly in the same environment, so I expected gemma-2 to function properly as well. Unfortunately, it does not.
the model is from huggingface model hub, bartowski/gemma-2-9b-it-GGUF
more information
I just found out that the data I have is a Korean Wikipedia dataset, and it worked fine with qwen2, but it doesn't seem to work with gemma2. After changing the data to a wiki.test.raw file, I confirmed that it works properly
I also discovered that the original number of files was 10,000, but after reducing it to 500, it worked. It seems to operate much slower compared to Qwen.
지미 카터 Introduction
'''제임스 얼 “지미” 카터 주니어'''(, 1924년 10월 1일~)는 민주당 출신 미국의 제39대 대통령 (1977-81)이다. 약력
조지아 공과대학교를 졸업하였다. 그 후 해군에 들어가 전함·원자력·잠수함의 승무원으로 일하였다. 1953년 미국 해군 대위로 예편하였고 이후 땅콩·면화 등을 가꿔 많은 돈을 벌었다. 그의 별명이 "땅콩 농부" (Peanut Farmer)로 알려졌다.
Name and Version
version: 3392 (bda62d79) built with cc (Ubuntu 11.3.0-1ubuntu1~22.04.1) 11.3.0 for x86_64-linux-gnu
What operating system are you seeing the problem on?
Linux
Relevant log output