search

ggerganov / llama.cpp

LLM inference in C/C++
MIT License
65.69k stars 9.43k forks source link

WSL2 Ubuntu, CUDA (RTX A2000) some strange delay prior offload layers to GPU #7753

Closed anfedoro closed 2 months ago

anfedoro commented 3 months ago

What happened?

Once ./main -m model.gguf -ngl 33 starting it is see the GPU.. produce all the output about models, but STOP at some moment for about 2-3 min This is from log. I marked the lien.. you may see that timestamt diff is about 200 sec [1717529683] llm_load_tensors: ggml ctx size = 0.30 MiB ----------------------------------- Here is a delay for about 2-3 min ------------------ [1717529875] llm_load_tensors: offloading 32 repeating layers to GPU

Then it quicky loads model to VRAM, providing rest of information: and then either stay interactive or generate output.. in accordance to other cli parameters.

What could be an issue ? While delay it actually does nothing.. neither CPU nor GPU load increase

nvidia-smi Tue Jun 4 22:44:58 2024 +---------------------------------------------------------------------------------------+ | NVIDIA-SMI 535.171.04 Driver Version: 552.22 CUDA Version: 12.4 | |-----------------------------------------+----------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+======================+======================| | 0 NVIDIA RTX A2000 On | 00000000:01:00.0 Off | Off | | 30% 43C P5 14W / 70W | 808MiB / 6138MiB | 10% Default | | | | N/A | +-----------------------------------------+----------------------+----------------------+

+---------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=======================================================================================| | No running processes found | +---------------------------------------------------------------------------------------+

Name and Version

version: 3083 (adc9ff38) built with cc (Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0 for x86_64-linux-gnu

What operating system are you seeing the problem on?

Other? (Please let us know in description)

Relevant log output

[1717529680] Log start
[1717529680] Cmd: ./main -m /mnt/d/models/ggml-model-Q4_K_M.gguf -i -ngl 60
[1717529680] main: build = 3083 (adc9ff38)
[1717529680] main: built with cc (Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0 for x86_64-linux-gnu
[1717529680] main: seed  = 1717529680
[1717529680] main: llama backend init
[1717529680] main: load the model and apply lora adapter, if any
[1717529682] llama_model_loader: loaded meta data with 21 key-value pairs and 291 tensors from /mnt/d/models/ggml-model-Q4_K_M.gguf (version GG
UF V3 (latest))
[1717529682] llama_model_loader: Dumping metadata keys/values. Note: KV overrides do not apply in this output.
[1717529682] llama_model_loader: - kv   0:                       general.architecture str              = llama
[1717529682] llama_model_loader: - kv   1:                               general.name str              = huggingface
[1717529682] llama_model_loader: - kv   2:                          llama.block_count u32              = 32
[1717529682] llama_model_loader: - kv   3:                       llama.context_length u32              = 8192
[1717529682] llama_model_loader: - kv   4:                     llama.embedding_length u32              = 4096
[1717529682] llama_model_loader: - kv   5:                  llama.feed_forward_length u32              = 14336
[1717529682] llama_model_loader: - kv   6:                 llama.attention.head_count u32              = 32
[1717529682] llama_model_loader: - kv   7:              llama.attention.head_count_kv u32              = 8
[1717529682] llama_model_loader: - kv   8:                       llama.rope.freq_base f32              = 500000.000000
[1717529682] llama_model_loader: - kv   9:     llama.attention.layer_norm_rms_epsilon f32              = 0.000010
[1717529682] llama_model_loader: - kv  10:                          general.file_type u32              = 15
[1717529682] llama_model_loader: - kv  11:                           llama.vocab_size u32              = 128256
[1717529682] llama_model_loader: - kv  12:                 llama.rope.dimension_count u32              = 128
[1717529682] llama_model_loader: - kv  13:                       tokenizer.ggml.model str              = gpt2
[1717529682] llama_model_loader: - kv  14:                         tokenizer.ggml.pre str              = llama-bpe
[1717529683] llama_model_loader: - kv  15:                      tokenizer.ggml.tokens arr[str,128256]  = ["!", "\"", "#", "$", "%", "&", "'", .
..
[1717529683] llama_model_loader: - kv  16:                  tokenizer.ggml.token_type arr[i32,128256]  = [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, .
..
[1717529683] llama_model_loader: - kv  17:                      tokenizer.ggml.merges arr[str,280147]  = ["Ġ Ġ", "Ġ ĠĠĠ", "ĠĠ ĠĠ", "...
[1717529683] llama_model_loader: - kv  18:                tokenizer.ggml.bos_token_id u32              = 128000
[1717529683] llama_model_loader: - kv  19:                tokenizer.ggml.eos_token_id u32              = 128001
[1717529683] llama_model_loader: - kv  20:               general.quantization_version u32              = 2
[1717529683] llama_model_loader: - type  f32:   65 tensors
[1717529683] llama_model_loader: - type q4_K:  193 tensors
[1717529683] llama_model_loader: - type q6_K:   33 tensors
[1717529683] llm_load_vocab: special tokens cache size = 256
[1717529683] llm_load_vocab: token to piece cache size = 0.8000 MB
[1717529683] llm_load_print_meta: format           = GGUF V3 (latest)
[1717529683] llm_load_print_meta: arch             = llama
[1717529683] llm_load_print_meta: vocab type       = BPE
[1717529683] llm_load_print_meta: n_vocab          = 128256
[1717529683] llm_load_print_meta: n_merges         = 280147
[1717529683] llm_load_print_meta: n_ctx_train      = 8192
[1717529683] llm_load_print_meta: n_embd           = 4096
[1717529683] llm_load_print_meta: n_head           = 32
[1717529683] llm_load_print_meta: n_head_kv        = 8
[1717529683] llm_load_print_meta: n_layer          = 32
[1717529683] llm_load_print_meta: n_rot            = 128
[1717529683] llm_load_print_meta: n_embd_head_k    = 128
[1717529683] llm_load_print_meta: n_embd_head_v    = 128
[1717529683] llm_load_print_meta: n_gqa            = 4
[1717529683] llm_load_print_meta: n_embd_k_gqa     = 1024
[1717529683] llm_load_print_meta: n_embd_v_gqa     = 1024
[1717529683] llm_load_print_meta: f_norm_eps       = 0.0e+00
[1717529683] llm_load_print_meta: f_norm_rms_eps   = 1.0e-05
[1717529683] llm_load_print_meta: f_clamp_kqv      = 0.0e+00
[1717529683] llm_load_print_meta: f_max_alibi_bias = 0.0e+00
[1717529683] llm_load_print_meta: f_logit_scale    = 0.0e+00
[1717529683] llm_load_print_meta: n_ff             = 14336
[1717529683] llm_load_print_meta: n_expert         = 0
[1717529683] llm_load_print_meta: n_expert_used    = 0
[1717529683] llm_load_print_meta: causal attn      = 1
[1717529683] llm_load_print_meta: pooling type     = 0
[1717529683] llm_load_print_meta: rope type        = 0
[1717529683] llm_load_print_meta: rope scaling     = linear
[1717529683] llm_load_print_meta: freq_base_train  = 500000.0
[1717529683] llm_load_print_meta: freq_scale_train = 1
[1717529683] llm_load_print_meta: n_yarn_orig_ctx  = 8192
[1717529683] llm_load_print_meta: rope_finetuned   = unknown
[1717529683] llm_load_print_meta: ssm_d_conv       = 0
[1717529683] llm_load_print_meta: ssm_d_inner      = 0
[1717529683] llm_load_print_meta: ssm_d_state      = 0
[1717529683] llm_load_print_meta: ssm_dt_rank      = 0
[1717529683] llm_load_print_meta: model type       = 8B
[1717529683] llm_load_print_meta: model ftype      = Q4_K - Medium
[1717529683] llm_load_print_meta: model params     = 8.03 B
[1717529683] llm_load_print_meta: model size       = 4.58 GiB (4.89 BPW)
[1717529683] llm_load_print_meta: general.name     = huggingface
[1717529683] llm_load_print_meta: BOS token        = 128000 '<|begin_of_text|>'
[1717529683] llm_load_print_meta: EOS token        = 128001 '<|end_of_text|>'
[1717529683] llm_load_print_meta: LF token         = 128 'Ä'
[1717529683] llm_load_print_meta: EOT token        = 128009 '<|eot_id|>'
[1717529683] ggml_cuda_init: GGML_CUDA_FORCE_MMQ:   no
[1717529683] ggml_cuda_init: CUDA_USE_TENSOR_CORES: yes
[1717529683] ggml_cuda_init: found 1 CUDA devices:
[1717529683]   Device 0: NVIDIA RTX A2000, compute capability 8.6, VMM: yes
[1717529683] llm_load_tensors: ggml ctx size =    0.30 MiB
----------------------------------- Here is a delay for about 3 min ------------------
[1717529875] llm_load_tensors: offloading 32 repeating layers to GPU
[1717529875] llm_load_tensors: offloading non-repeating layers to GPU
[1717529875] llm_load_tensors: offloaded 33/33 layers to GPU
[1717529875] llm_load_tensors:        CPU buffer size =   281.81 MiB
[1717529875] llm_load_tensors:      CUDA0 buffer size =  4403.49 MiB
[1717529875] .[1717529875] .[1717529875] .[1717529875] .[1717529875] .[1717529875] .[1717529875] .[1717529875] .[1717529875] .[1717529875] .[17
17529875] .[1717529875] .[1717529875] .[1717529875] .[1717529875] .[1717529875] .[1717529875] .[1717529875] .[1717529875] .[1717529876] .[17175
29876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[17175298
76] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876]
 .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[
1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[171
7529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[171752
9876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[171752987
6] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876] .[1717529876]
[1717529876] llama_new_context_with_model: n_ctx      = 512
[1717529876] llama_new_context_with_model: n_batch    = 512
[1717529876] llama_new_context_with_model: n_ubatch   = 512
[1717529876] llama_new_context_with_model: flash_attn = 0
[1717529876] llama_new_context_with_model: freq_base  = 500000.0
[1717529876] llama_new_context_with_model: freq_scale = 1
[1717529876] llama_kv_cache_init:      CUDA0 KV buffer size =    64.00 MiB
[1717529876] llama_new_context_with_model: KV self size  =   64.00 MiB, K (f16):   32.00 MiB, V (f16):   32.00 MiB
[1717529876] llama_new_context_with_model:  CUDA_Host  output buffer size =     0.49 MiB
[1717529876] llama_new_context_with_model:      CUDA0 compute buffer size =   258.50 MiB
[1717529876] llama_new_context_with_model:  CUDA_Host compute buffer size =     9.01 MiB
[1717529876] llama_new_context_with_model: graph nodes  = 1030
[1717529876] llama_new_context_with_model: graph splits = 2
[1717529876] warming up the model with an empty run
[1717529876] n_ctx: 512
[1717529876]
[1717529876] system_info: n_threads = 4 / 8 | AVX = 1 | AVX_VNNI = 0 | AVX2 = 1 | AVX512 = 0 | AVX512_VBMI = 0 | AVX512_VNNI = 0 | AVX512_BF16
= 0 | FMA = 1 | NEON = 0 | SVE = 0 | ARM_FMA = 0 | F16C = 1 | FP16_VA = 0 | WASM_SIMD = 0 | BLAS = 1 | SSE3 = 1 | SSSE3 = 1 | VSX = 0 | MATMUL_
INT8 = 0 | LLAMAFILE = 1 |
[1717529876] add_bos: 0
[1717529876] tokenize the prompt
[1717529876] prompt: ""
[1717529876] tokens: [ '<|begin_of_text|>':128000 ]
[1717529876] recalculate the cached logits (check): embd_inp.empty() false, n_matching_session_tokens 0, embd_inp.size() 1, session_tokens.size
() 0, embd_inp.size() 1
[1717529876] inp_pfx: [ '<|begin_of_text|>':128000, '':271, '###':14711, ' Instruction':30151, ':':1473 ]
[1717529876] inp_sfx: [ '':271, '###':14711, ' Response':6075, ':':1473 ]
[1717529876] cml_pfx: [ '<|begin_of_text|>':128000, '':198, '<':27, '|':91, 'im':318, '_start':5011, '|':91, '>':29, 'user':882, '':198 ]
[1717529876] cml_sfx: [ '<':27, '|':91, 'im':318, '_end':6345, '|':91, '>':397, '<':27, '|':91, 'im':318, '_start':5011, '|':91, '>':29, 'assis
tant':78191, '':198 ]
[1717529876] main: interactive mode on.
[1717529876] sampling:
        repeat_last_n = 64, repeat_penalty = 1.000, frequency_penalty = 0.000, presence_penalty = 0.000
        top_k = 40, tfs_z = 1.000, top_p = 0.950, min_p = 0.050, typical_p = 1.000, temp = 0.800
        mirostat = 0, mirostat_lr = 0.100, mirostat_ent = 5.000
[1717529876] sampling order:
CFG -> Penalties -> top_k -> tfs_z -> typical_p -> top_p -> min_p -> temperature
[1717529876] generate: n_ctx = 512, n_batch = 2048, n_predict = -1, n_keep = 0
[1717529876]

[1717529876] == Running in interactive mode. ==
[1717529876]  - Press Ctrl+C to interject at any time.
[1717529876]  - Press Return to return control to the AI.
 - To return control without starting a new line, end your input with '/'.
 - If you want to submit another line, end your input with '\'.

[1717529876] embd_inp.size(): 1, n_consumed: 0
[1717529876] eval: [ '<|begin_of_text|>':128000 ]
[1717529876] n_past = 1
[1717529876] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!
':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755 ]
[1717529876] n_remain: -2
[1717529876] eval: [ 'def':755 ]
[1717529876] n_past = 2
[1717529876] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!
':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374 ]
[1717529876] n_remain: -3
[1717529876] eval: [ ' is':374 ]
[1717529876] n_past = 3
[1717529876] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!
':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265 ]
[1717529876] n_remain: -4
[1717529876] eval: [ '_in':1265 ]
[1717529876] n_past = 4
[1717529876] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!
':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667 ]
[1717529876] n_remain: -5
[1717529876] eval: [ '_set':2667 ]
[1717529876] n_past = 5
[1717529876] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<
|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401 ]
[1717529876] n_remain: -6
[1717529876] eval: [ '(number':18401 ]
[1717529876] n_past = 6
[1717529876] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_
of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11 ]
[1717529876] n_remain: -7
[1717529876] eval: [ ',':11 ]
[1717529876] n_past = 7
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text
|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856 ]
[1717529877] n_remain: -8
[1717529877] eval: [ ' my':856 ]
[1717529877] n_past = 8
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128
000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667 ]
[1717529877] n_remain: -9
[1717529877] eval: [ '_set':2667 ]
[1717529877] n_past = 9
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'd
ef':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997 ]
[1717529877] n_remain: -10
[1717529877] eval: [ '):':997 ]
[1717529877] n_past = 10
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755
, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262 ]
[1717529877] n_remain: -11
[1717529877] eval: [ '   ':262 ]
[1717529877] n_past = 11
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is'
:374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304 ]
[1717529877] n_remain: -12
[1717529877] eval: [ ' """':4304 ]
[1717529877] n_past = 12
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '
_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851 ]
[1717529877] n_remain: -13
[1717529877] eval: [ 'Returns':16851 ]
[1717529877] n_past = 13
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':12
65, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082 ]
[1717529877] n_remain: -14
[1717529877] eval: [ ' True':3082 ]
[1717529877] n_past = 14
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_s
et':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422 ]
[1717529877] n_remain: -15
[1717529877] eval: [ ' if':422 ]
[1717529877] n_past = 15
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':266
7, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396
]
[1717529877] n_remain: -16
[1717529877] eval: [ ' number':1396 ]
[1717529877] n_past = 16
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(nu
mber':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':
374 ]
[1717529877] n_remain: -17
[1717529877] eval: [ ' is':374 ]
[1717529877] n_past = 17
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':1
8401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, '
in':304 ]
[1717529877] n_remain: -18
[1717529877] eval: [ ' in':304 ]
[1717529877] n_past = 18
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, '
,':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304
, ' my':856 ]
[1717529877] n_remain: -19
[1717529877] eval: [ ' my':856 ]
[1717529877] n_past = 19
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11,
' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my'
:856, '_set':2667 ]
[1717529877] n_remain: -20
[1717529877] eval: [ '_set':2667 ]
[1717529877] n_past = 20
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':8
56, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '
_set':2667, ',':11 ]
[1717529877] n_remain: -21
[1717529877] eval: [ ',':11 ]
[1717529877] n_past = 21
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_s
et':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '_set':2
667, ',':11, ' False':3641 ]
[1717529877] n_remain: -22
[1717529877] eval: [ ' False':3641 ]
[1717529877] n_past = 22
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':266
7, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '_set':2667, ',
':11, ' False':3641, ' otherwise':6062 ]
[1717529877] n_remain: -23
[1717529877] eval: [ ' otherwise':6062 ]
[1717529877] n_past = 23
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):'
:997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '_set':2667, ',':11, '
 False':3641, ' otherwise':6062, '."""':14781 ]
[1717529877] n_remain: -24
[1717529877] eval: [ '."""':14781 ]
[1717529877] n_past = 24
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '
   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '_set':2667, ',':11, ' False'
:3641, ' otherwise':6062, '."""':14781, '   ':262 ]
[1717529877] n_remain: -25
[1717529877] eval: [ '   ':262 ]
[1717529877] n_past = 25
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0,
 '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':26
2, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '_set':2667, ',':11, ' False':3641,
' otherwise':6062, '."""':14781, '   ':262, ' if':422 ]
[1717529877] n_remain: -26
[1717529877] eval: [ ' if':422 ]
[1717529877] n_past = 26
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|beg
in_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' ""
"':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '_set':2667, ',':11, ' False':3641, ' other
wise':6062, '."""':14781, '   ':262, ' if':422, ' number':1396 ]
[1717529877] n_remain: -27
[1717529877] eval: [ ' number':1396 ]
[1717529877] n_past = 27
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_t
ext|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304
, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '_set':2667, ',':11, ' False':3641, ' otherwise':6
062, '."""':14781, '   ':262, ' if':422, ' number':1396, ' in':304 ]
[1717529877] n_remain: -28
[1717529877] eval: [ ' in':304 ]
[1717529877] n_past = 28
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':
128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Retu
rns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '_set':2667, ',':11, ' False':3641, ' otherwise':6062, '.
"""':14781, '   ':262, ' if':422, ' number':1396, ' in':304, ' my':856 ]
[1717529877] n_remain: -29
[1717529877] eval: [ ' my':856 ]
[1717529877] n_past = 29
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000,
 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16
851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '_set':2667, ',':11, ' False':3641, ' otherwise':6062, '."""':14
781, '   ':262, ' if':422, ' number':1396, ' in':304, ' my':856, '_set':2667 ]
[1717529877] n_remain: -30
[1717529877] eval: [ '_set':2667 ]
[1717529877] n_past = 30
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':
755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, '
True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '_set':2667, ',':11, ' False':3641, ' otherwise':6062, '."""':14781, '
  ':262, ' if':422, ' number':1396, ' in':304, ' my':856, '_set':2667, ':':512 ]
[1717529877] n_remain: -31
[1717529877] eval: [ ':':512 ]
[1717529877] n_past = 31
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, '
is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3
082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '_set':2667, ',':11, ' False':3641, ' otherwise':6062, '."""':14781, '   ':262
, ' if':422, ' number':1396, ' in':304, ' my':856, '_set':2667, ':':512, '       ':286 ]
[1717529877] n_remain: -32
[1717529877] eval: [ '       ':286 ]
[1717529877] n_past = 32
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374
, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, '
if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '_set':2667, ',':11, ' False':3641, ' otherwise':6062, '."""':14781, '   ':262, ' if'
:422, ' number':1396, ' in':304, ' my':856, '_set':2667, ':':512, '       ':286, ' return':471 ]
[1717529877] n_remain: -33
[1717529877] eval: [ ' return':471 ]
[1717529877] n_past = 33
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in'
:1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422
, ' number':1396, ' is':374, ' in':304, ' my':856, '_set':2667, ',':11, ' False':3641, ' otherwise':6062, '."""':14781, '   ':262, ' if':422, '
 number':1396, ' in':304, ' my':856, '_set':2667, ':':512, '       ':286, ' return':471, ' True':3082 ]
[1717529877] n_remain: -34
[1717529877] eval: [ ' True':3082 ]
[1717529877] n_past = 34
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265,
'_set':2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' num
ber':1396, ' is':374, ' in':304, ' my':856, '_set':2667, ',':11, ' False':3641, ' otherwise':6062, '."""':14781, '   ':262, ' if':422, ' number
':1396, ' in':304, ' my':856, '_set':2667, ':':512, '       ':286, ' return':471, ' True':3082, '':198 ]
[1717529877] n_remain: -35
[1717529877] eval: [ '':198 ]
[1717529877] n_past = 35
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':
2667, '(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':13
96, ' is':374, ' in':304, ' my':856, '_set':2667, ',':11, ' False':3641, ' otherwise':6062, '."""':14781, '   ':262, ' if':422, ' number':1396,
 ' in':304, ' my':856, '_set':2667, ':':512, '       ':286, ' return':471, ' True':3082, '':198, '   ':262 ]
[1717529877] n_remain: -36
[1717529877] eval: [ '   ':262 ]
[1717529877] n_past = 36
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '
(number':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' i
s':374, ' in':304, ' my':856, '_set':2667, ',':11, ' False':3641, ' otherwise':6062, '."""':14781, '   ':262, ' if':422, ' number':1396, ' in':
304, ' my':856, '_set':2667, ':':512, '       ':286, ' return':471, ' True':3082, '':198, '   ':262, ' else':775 ]
[1717529877] n_remain: -37
[1717529877] eval: [ ' else':775 ]
[1717529877] n_past = 37
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number
':18401, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374,
 ' in':304, ' my':856, '_set':2667, ',':11, ' False':3641, ' otherwise':6062, '."""':14781, '   ':262, ' if':422, ' number':1396, ' in':304, '
my':856, '_set':2667, ':':512, '       ':286, ' return':471, ' True':3082, '':198, '   ':262, ' else':775, ':':512 ]
[1717529877] n_remain: -38
[1717529877] eval: [ ':':512 ]
[1717529877] n_past = 38
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401
, ',':11, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':
304, ' my':856, '_set':2667, ',':11, ' False':3641, ' otherwise':6062, '."""':14781, '   ':262, ' if':422, ' number':1396, ' in':304, ' my':856
, '_set':2667, ':':512, '       ':286, ' return':471, ' True':3082, '':198, '   ':262, ' else':775, ':':512, '       ':286 ]
[1717529877] n_remain: -39
[1717529877] eval: [ '       ':286 ]
[1717529877] n_past = 39
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':1
1, ' my':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, '
my':856, '_set':2667, ',':11, ' False':3641, ' otherwise':6062, '."""':14781, '   ':262, ' if':422, ' number':1396, ' in':304, ' my':856, '_set
':2667, ':':512, '       ':286, ' return':471, ' True':3082, '':198, '   ':262, ' else':775, ':':512, '       ':286, ' return':471 ]
[1717529877] n_remain: -40
[1717529877] eval: [ ' return':471 ]
[1717529877] n_past = 40
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my
':856, '_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856
, '_set':2667, ',':11, ' False':3641, ' otherwise':6062, '."""':14781, '   ':262, ' if':422, ' number':1396, ' in':304, ' my':856, '_set':2667,
 ':':512, '       ':286, ' return':471, ' True':3082, '':198, '   ':262, ' else':775, ':':512, '       ':286, ' return':471, ' False':3641 ]
[1717529877] n_remain: -41
[1717529877] eval: [ ' False':3641 ]
[1717529877] n_past = 41
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856,
'_set':2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '_set
':2667, ',':11, ' False':3641, ' otherwise':6062, '."""':14781, '   ':262, ' if':422, ' number':1396, ' in':304, ' my':856, '_set':2667, ':':51
2, '       ':286, ' return':471, ' True':3082, '':198, '   ':262, ' else':775, ':':512, '       ':286, ' return':471, ' False':3641, '':198 ]
[1717529877] n_remain: -42
[1717529877] eval: [ '':198 ]
[1717529877] n_past = 42
[1717529877] last: [ '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!':0, '!'
:0, '!':0, '!':0, '!':0, '<|begin_of_text|>':128000, 'def':755, ' is':374, '_in':1265, '_set':2667, '(number':18401, ',':11, ' my':856, '_set':
2667, '):':997, '   ':262, ' """':4304, 'Returns':16851, ' True':3082, ' if':422, ' number':1396, ' is':374, ' in':304, ' my':856, '_set':2667,
 ',':11, ' False':3641, ' otherwise':6062, '."""':14781, '   ':262, ' if':422, ' number':1396, ' in':304, ' my':856, '_set':2667, ':':512, '
    ':286, ' return':471, ' True':3082, '':198, '   ':262, ' else':775, ':':512, '       ':286, ' return':471, ' False':3641, '':198, '<|end_of
_text|>':128001 ]
[1717529877] n_remain: -43
[1717529877] found an EOG token
[1717529877] waiting for user input
[1717529886]
[1717529886] llama_print_timings:        load time =  193130.80 ms
[1717529886] llama_print_timings:      sample time =       5.09 ms /    42 runs   (    0.12 ms per token,  8251.47 tokens per second)
[1717529886] llama_print_timings: prompt eval time =       0.00 ms /     0 tokens (    -nan ms per token,     -nan tokens per second)
[1717529886] llama_print_timings:        eval time =    1044.36 ms /    42 runs   (   24.87 ms per token,    40.22 tokens per second)
[1717529886] llama_print_timings:       total time =    9316.92 ms /    42 tokens
slaren commented 3 months ago

It's probably loading the model from disk. If you don't like this behavior, you can try --no-mmap.

anfedoro commented 3 months ago

It's probably loading the model from disk. If you don't like this behavior, you can try --no-mmap.

Thanks.. it works.. but even if so... why it load faster to VRAM (~10 sec), than first mapping to RAM (200 sec) ? I reads from the same disk. Technically guide say that with the --no-mmap load can be slow.. but in my case it is opposite.

github-actions[bot] commented 2 months ago

This issue was closed because it has been inactive for 14 days since being marked as stale.