search

vllm-project / vllm

A high-throughput and memory-efficient inference and serving engine for LLMs
https://docs.vllm.ai
Apache License 2.0
30.71k stars 4.66k forks source link

[Bug]: v6.3 Gibberish produced with long ctx (Machete + W4A16 + Spec Decoding) #9770

Open osilverstein opened 3 weeks ago

osilverstein commented 3 weeks ago

Gibberish is not produced on the previous version with the same request.

Your current environment

The output of `python collect_env.py` ```plaintext Collecting environment information... 2024-10-28 19:34:18.267757: I tensorflow/core/util/port.cc:153] oneDNN custom operations are on. You may see slightly different numerical results due to floating-point round-off errors from different computation orders. To turn them off, set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`. 2024-10-28 19:34:18.467148: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:485] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered 2024-10-28 19:34:18.540226: E external/local_xla/xla/stream_executor/cuda/cuda_dnn.cc:8454] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered 2024-10-28 19:34:18.561701: E external/local_xla/xla/stream_executor/cuda/cuda_blas.cc:1452] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered 2024-10-28 19:34:18.707363: I tensorflow/core/platform/cpu_feature_guard.cc:210] This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations. To enable the following instructions: AVX2 AVX512F AVX512_VNNI AVX512_BF16 FMA, in other operations, rebuild TensorFlow with the appropriate compiler flags. 2024-10-28 19:34:19.624862: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Could not find TensorRT /usr/lib/python3/dist-packages/scipy/__init__.py:146: UserWarning: A NumPy version >=1.17.3 and <1.25.0 is required for this version of SciPy (detected version 1.26.4 warnings.warn(f"A NumPy version >={np_minversion} and <{np_maxversion}" PyTorch version: 2.4.0+cu121 Is debug build: False CUDA used to build PyTorch: 12.1 ROCM used to build PyTorch: N/A OS: Ubuntu 22.04.5 LTS (x86_64) GCC version: (Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0 Clang version: Could not collect CMake version: Could not collect Libc version: glibc-2.35 Python version: 3.10.12 (main, Sep 11 2024, 15:47:36) [GCC 11.4.0] (64-bit runtime) Python platform: Linux-5.15.0-122-generic-x86_64-with-glibc2.35 Is CUDA available: True CUDA runtime version: 12.4.131 CUDA_MODULE_LOADING set to: LAZY GPU models and configuration: GPU 0: NVIDIA H200 GPU 1: NVIDIA H200 GPU 2: NVIDIA H200 GPU 3: NVIDIA H200 GPU 4: NVIDIA H200 GPU 5: NVIDIA H200 GPU 6: NVIDIA H200 GPU 7: NVIDIA H200 Nvidia driver version: 550.90.12 cuDNN version: Probably one of the following: /usr/lib/x86_64-linux-gnu/libcudnn.so.9.5.0 /usr/lib/x86_64-linux-gnu/libcudnn_adv.so.9.5.0 /usr/lib/x86_64-linux-gnu/libcudnn_cnn.so.9.5.0 /usr/lib/x86_64-linux-gnu/libcudnn_engines_precompiled.so.9.5.0 /usr/lib/x86_64-linux-gnu/libcudnn_engines_runtime_compiled.so.9.5.0 /usr/lib/x86_64-linux-gnu/libcudnn_graph.so.9.5.0 /usr/lib/x86_64-linux-gnu/libcudnn_heuristic.so.9.5.0 /usr/lib/x86_64-linux-gnu/libcudnn_ops.so.9.5.0 HIP runtime version: N/A MIOpen runtime version: N/A Is XNNPACK available: True CPU: Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Address sizes: 52 bits physical, 57 bits virtual Byte Order: Little Endian CPU(s): 384 On-line CPU(s) list: 0-383 Vendor ID: AuthenticAMD Model name: AMD EPYC 9654 96-Core Processor CPU family: 25 Model: 17 Thread(s) per core: 2 Core(s) per socket: 96 Socket(s): 2 Stepping: 1 Frequency boost: enabled CPU max MHz: 3707.8120 CPU min MHz: 1500.0000 BogoMIPS: 4800.15 Flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good nopl nonstop_tsc cpuid extd_apicid aperfmperf rapl pni pclmulqdq monitor ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt aes xsave avx f16c rdrand lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt tce topoext perfctr_core perfctr_nb bpext perfctr_llc mwaitx cpb cat_l3 cdp_l3 invpcid_single hw_pstate ssbd mba ibrs ibpb stibp ibrs_enhanced vmmcall fsgsbase bmi1 avx2 smep bmi2 erms invpcid cqm rdt_a avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xgetbv1 xsaves cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local avx512_bf16 clzero irperf xsaveerptr rdpru wbnoinvd amd_ppin cppc arat npt lbrv svm_lock nrip_save tsc_scale vmcb_clean flushbyasid decodeassists pausefilter pfthreshold avic v_vmsave_vmload vgif v_spec_ctrl avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq la57 rdpid overflow_recov succor smca fsrm flush_l1d Virtualization: AMD-V L1d cache: 6 MiB (192 instances) L1i cache: 6 MiB (192 instances) L2 cache: 192 MiB (192 instances) L3 cache: 768 MiB (24 instances) NUMA node(s): 2 NUMA node0 CPU(s): 0-95,192-287 NUMA node1 CPU(s): 96-191,288-383 Vulnerability Gather data sampling: Not affected Vulnerability Itlb multihit: Not affected Vulnerability L1tf: Not affected Vulnerability Mds: Not affected Vulnerability Meltdown: Not affected Vulnerability Mmio stale data: Not affected Vulnerability Reg file data sampling: Not affected Vulnerability Retbleed: Not affected Vulnerability Spec rstack overflow: Mitigation; safe RET Vulnerability Spec store bypass: Mitigation; Speculative Store Bypass disabled via prctl and seccomp Vulnerability Spectre v1: Mitigation; usercopy/swapgs barriers and __user pointer sanitization Vulnerability Spectre v2: Mitigation; Enhanced / Automatic IBRS; IBPB conditional; STIBP always-on; RSB filling; PBRSB-eIBRS Not affected; BHI Not affected Vulnerability Srbds: Not affected Vulnerability Tsx async abort: Not affected Versions of relevant libraries: [pip3] numpy==1.26.4 [pip3] nvidia-cublas-cu12==12.1.3.1 [pip3] nvidia-cuda-cupti-cu12==12.1.105 [pip3] nvidia-cuda-nvrtc-cu12==12.1.105 [pip3] nvidia-cuda-runtime-cu12==12.1.105 [pip3] nvidia-cudnn-cu12==9.1.0.70 [pip3] nvidia-cufft-cu12==11.0.2.54 [pip3] nvidia-curand-cu12==10.3.2.106 [pip3] nvidia-cusolver-cu12==11.4.5.107 [pip3] nvidia-cusparse-cu12==12.1.0.106 [pip3] nvidia-ml-py==12.560.30 [pip3] nvidia-nccl-cu12==2.20.5 [pip3] nvidia-nvjitlink-cu12==12.4.99 [pip3] nvidia-nvtx-cu12==12.1.105 [pip3] optree==0.12.1 [pip3] pyzmq==26.2.0 [pip3] torch==2.4.0 [pip3] torchaudio==2.4.1+cu124 [pip3] torchvision==0.19.0 [pip3] transformers==4.46.0 [pip3] triton==3.0.0 [conda] Could not collect ROCM Version: Could not collect Neuron SDK Version: N/A vLLM Version: 0.6.3.post1 vLLM Build Flags: CUDA Archs: Not Set; ROCm: Disabled; Neuron: Disabled GPU Topology: GPU0 GPU1 GPU2 GPU3 GPU4 GPU5 GPU6 GPU7 NIC0 NIC1 CPU Affinity NUMA Affinity GPU NUMA ID GPU0 X NV18 NV18 NV18 NV18 NV18 NV18 NV18 SYS SYS 0-95,192-287 0 N/A GPU1 NV18 X NV18 NV18 NV18 NV18 NV18 NV18 SYS SYS 0-95,192-287 0 N/A GPU2 NV18 NV18 X NV18 NV18 NV18 NV18 NV18 SYS SYS 0-95,192-287 0 N/A GPU3 NV18 NV18 NV18 X NV18 NV18 NV18 NV18 SYS SYS 0-95,192-287 0 N/A GPU4 NV18 NV18 NV18 NV18 X NV18 NV18 NV18 NODE NODE 96-191,288-383 1 N/A GPU5 NV18 NV18 NV18 NV18 NV18 X NV18 NV18 PIX PIX 96-191,288-383 1 N/A GPU6 NV18 NV18 NV18 NV18 NV18 NV18 X NV18 NODE NODE 96-191,288-383 1 N/A GPU7 NV18 NV18 NV18 NV18 NV18 NV18 NV18 X NODE NODE 96-191,288-383 1 N/A NIC0 SYS SYS SYS SYS NODE PIX NODE NODE X PIX NIC1 SYS SYS SYS SYS NODE PIX NODE NODE PIX X Legend: X = Self SYS = Connection traversing PCIe as well as the SMP interconnect between NUMA nodes (e.g., QPI/UPI) NODE = Connection traversing PCIe as well as the interconnect between PCIe Host Bridges within a NUMA node PHB = Connection traversing PCIe as well as a PCIe Host Bridge (typically the CPU) PXB = Connection traversing multiple PCIe bridges (without traversing the PCIe Host Bridge) PIX = Connection traversing at most a single PCIe bridge NV# = Connection traversing a bonded set of # NVLinks NIC Legend: NIC0: mlx5_0 NIC1: mlx5_1 ```

🐛 Describe the bug

I start the inference server with:

sudo docker run --gpus all \
       -v ~/.cache/huggingface:/root/.cache/huggingface \
       --env "HUGGING_FACE_HUB_TOKEN=xxx" \
       -d \
       -p 8003:8000 \
       --ipc=host \
       vllm/vllm-openai:latest \
       --model neuralmagic/Meta-Llama-3.1-70B-Instruct-quantized.w4a16 \
       --tensor-parallel-size 8 \
       --gpu_memory_utilization 0.8 \
       --speculative_model="ibm-fms/llama3-70b-accelerator" \
       --speculative-draft-tensor-parallel-size 1

Note the use of speculative decoding, tensor parallelism, and the draft parallel size.

When running our pipeline, we occasionally get outputs that are clearly just random tokens strewn together. I can provide an example, but essentially, ~1 in 10 requests return gibberish regardless of content. (It gets worse the longer it is, I think). There are no error messages or warnings.

I was wondering if anyone had encountered this issue or if someone at Neural Magic has any intuition for what could be causing it. Perhaps this has been addressed with the pending addition of parallel drafting?

@alexm-neuralmagic @robertgshaw2-neuralmagic

Before submitting a new issue...

SinanAkkoyun commented 3 weeks ago

Does this only happen with speculative decoding enabled?

osilverstein commented 3 weeks ago

This issue can be reproduced by calling:

` { "model": "neuralmagic/Meta-Llama-3.1-70B-Instruct-quantized.w4a16", "max_tokens": 100, "temperature": 0, "messages": [ { "role": "system", "content": "aAliquam nunc lobortis facilisis. Inceptos varius curae; viverra cum consectetuer torquent faucibus adipiscing lacus egestas elit fames sit auctor. Tellus odio, placerat ligula euismod parturient suscipit luctus accumsan nam dignissim arcu porta mi eget penatibus venenatis vivamus magnis nulla ridiculus tortor et facilisi, orci risus gravida tempus tristique. Risus metus parturient imperdiet aptent primis congue. Dui hendrerit. Integer suspendisse ad non luctus fusce amet gravida fringilla porttitor vel adipiscing quam pharetra placerat vestibulum eu natoque gravida hac mi libero parturient luctus rutrum felis. Nonummy felis. Euismod ridiculus. Fermentum, aptent. Lorem vitae sociosqu pellentesque vitae tincidunt quis aliquam nascetur ut diam. Lorem hac fermentum primis penatibus, in blandit montes senectus molestie natoque natoque justo eros est per nonummy porta parturient laoreet maecenas. Nostra purus. Dictum facilisi. Vehicula. Nonummy suspendisse justo dui morbi nibh sodales phasellus placerat. Mauris mattis magnis varius adipiscing magna. Ipsum condimentum. Est etiam ligula penatibus fringilla rutrum cum ipsum iaculis. Pulvinar tempus inceptos mauris porttitor vestibulum. Cubilia. Enim nullam proin quis velit. Lobortis, molestie ultricies accumsan eu malesuada. Non id. Dis. Euismod. Per. Nec praesent tincidunt volutpat dis class placerat justo non sociosqu porttitor elit diam mattis nulla ultricies massa praesent imperdiet neque laoreet ornare nam. Magna consequat mus volutpat nostra montes pede mus aliquet euismod duis ipsum vivamus. Nam eros vestibulum, sociis pede libero augue etiam in luctus parturient facilisi odio orci elementum vel lacinia est ac nisl augue condimentum elementum massa, erat. Est, fermentum conubia massa donec a lobortis blandit, varius nunc parturient montes ornare auctor ridiculus ipsum justo ultricies augue, blandit mi ornare blandit primis quam cum. Dictum vulputate accumsan. Luctus lobortis risus tempor. Ac phasellus volutpat mus tempor cum tempus ultrices conubia nulla inceptos fusce Ultricies facilisi vehicula ac. Facilisis natoque at, pulvinar ullamcorper lacinia dolor fames libero ridiculus eleifend vel etiam nibh metus varius taciti dolor commodo porta blandit feugiat orci aenean. Vel vel fames nisl neque molestie ornare imperdiet mollis sociis inceptos justo cursus In cubilia tincidunt, habitant. Primis aenean pharetra ac sollicitudin rhoncus aptent purus semper vivamus adipiscing mollis. Mus class convallis. Arcu facilisis consectetuer mus Vestibulum porta, consectetuer vivamus quisque feugiat torquent, nibh, justo ante nec inceptos mauris nullam viverra viverra ultrices malesuada ridiculus potenti arcu, nam conubia consectetuer proin aptent, at litora suscipit. Lacinia auctor suspendisse netus lobortis purus ante hymenaeos ornare. Lobortis. Parturient viverra platea class consequat fames faucibus facilisis cum accumsan venenatis imperdiet at Molestie. Varius morbi.Aliquam nunc lobortis facilisis. Inceptos varius curae; viverra cum consectetuer torquent faucibus adipiscing lacus egestas elit fames sit auctor. Tellus odio, placerat ligula euismod parturient suscipit luctus accumsan nam dignissim arcu porta mi eget penatibus venenatis vivamus magnis nulla ridiculus tortor et facilisi, orci risus gravida tempus tristique. Risus metus parturient imperdiet aptent primis congue. Dui hendrerit. Integer suspendisse ad non luctus fusce amet gravida fringilla porttitor vel adipiscing quam pharetra placerat vestibulum eu natoque gravida hac mi libero parturient luctus rutrum felis. Nonummy felis. Euismod ridiculus. Fermentum, aptent. Lorem vitae sociosqu pellentesque vitae tincidunt quis aliquam nascetur ut diam. Lorem hac fermentum primis penatibus, in blandit montes senectus molestie natoque natoque justo eros est per nonummy porta parturient laoreet maecenas. Nostra purus. Dictum facilisi. Vehicula. Nonummy suspendisse justo dui morbi nibh sodales phasellus placerat. Mauris mattis magnis varius adipiscing magna. Ipsum condimentum. Est etiam ligula penatibus fringilla rutrum cum ipsum iaculis. Pulvinar tempus inceptos mauris porttitor vestibulum. Cubilia. Enim nullam proin quis velit. Lobortis, molestie ultricies accumsan eu malesuada. Non id. Dis. Euismod. Per. Nec praesent tincidunt volutpat dis class placerat justo non sociosqu porttitor elit diam mattis nulla ultricies massa praesent imperdiet neque laoreet ornare nam. Magna consequat mus volutpat nostra montes pede mus aliquet euismod duis ipsum vivamus. Nam eros vestibulum, sociis pede libero augue etiam in luctus parturient facilisi odio orci elementum vel lacinia est ac nisl augue condimentum elementum massa, erat. Est, fermentum conubia massa donec a lobortis blandit, varius nunc parturient montes ornare auctor ridiculus ipsum justo ultricies augue, blandit mi ornare blandit primis quam cum. Dictum vulputate accumsan. Luctus lobortis risus tempor. Ac phasellus volutpat mus tempor cum tempus ultrices conubia nulla inceptos fusce Ultricies facilisi vehicula ac. Facilisis natoque at, pulvinar ullamcorper lacinia dolor fames libero ridiculus eleifend vel etiam nibh metus varius taciti dolor commodo porta blandit feugiat orci aenean. Vel vel fames nisl neque molestie ornare imperdiet mollis sociis inceptos justo cursus In cubilia tincidunt, habitant. Primis aenean pharetra ac sollicitudin rhoncus aptent purus semper vivamus adipiscing mollis. Mus class convallis. Arcu facilisis consectetuer mus Vestibulum porta, consectetuer vivamus quisque feugiat torquent, nibh, justo ante nec inceptos mauris nullam viverra viverra ultrices malesuada ridiculus potenti arcu, nam conubia consectetuer proin aptent, at litora suscipit. Lacinia auctor suspendisse netus lobortis purus ante hymenaeos ornare. Lobortis. Parturient viverra platea class consequat fames faucibus facilisis cum accumsan venenatis imperdiet at Molestie. Varius morbi.Aliquam nunc lobortis facilisis. Inceptos varius curae; viverra cum consectetuer torquent faucibus adipiscing lacus egestas elit fames sit auctor. Tellus odio, placerat ligula euismod parturient suscipit luctus accumsan nam dignissim arcu porta mi eget penatibus venenatis vivamus magnis nulla ridiculus tortor et facilisi, orci risus gravida tempus tristique. Risus metus parturient imperdiet aptent primis congue. Dui hendrerit. Integer suspendisse ad non luctus fusce amet gravida fringilla porttitor vel adipiscing quam pharetra placerat vestibulum eu natoque gravida hac mi libero parturient luctus rutrum felis. Nonummy felis. Euismod ridiculus. Fermentum, aptent. Lorem vitae sociosqu pellentesque vitae tincidunt quis aliquam nascetur ut diam. Lorem hac fermentum primis penatibus, in blandit montes senectus molestie natoque natoque justo eros est per nonummy porta parturient laoreet maecenas. Nostra purus. Dictum facilisi. Vehicula. Nonummy suspendisse justo dui morbi nibh sodales phasellus placerat. Mauris mattis magnis varius adipiscing magna. Ipsum condimentum. Est etiam ligula penatibus fringilla rutrum cum ipsum iaculis. Pulvinar tempus inceptos mauris porttitor vestibulum. Cubilia. Enim nullam proin quis velit. Lobortis, molestie ultricies accumsan eu malesuada. Non id. Dis. Euismod. Per. Nec praesent tincidunt volutpat dis class placerat justo non sociosqu porttitor elit diam mattis nulla ultricies massa praesent imperdiet neque laoreet ornare nam. Magna consequat mus volutpat nostra montes pede mus aliquet euismod duis ipsum vivamus. Nam eros vestibulum, sociis pede libero augue etiam in luctus parturient facilisi odio orci elementum vel lacinia est ac nisl augue condimentum elementum massa, erat. Est, fermentum conubia massa donec a lobortis blandit, varius nunc parturient montes ornare auctor ridiculus ipsum justo ultricies augue, blandit mi ornare blandit primis quam cum. Dictum vulputate accumsan. Luctus lobortis risus tempor. Ac phasellus volutpat mus tempor cum tempus ultrices conubia nulla inceptos fusce Ultricies facilisi vehicula ac. Facilisis natoque at, pulvinar ullamcorper lacinia dolor fames libero ridiculus eleifend vel etiam nibh metus varius taciti dolor commodo porta blandit feugiat orci aenean. Vel vel fames nisl neque molestie ornare imperdiet mollis sociis inceptos justo cursus In cubilia tincidunt, habitant. Primis aenean pharetra ac sollicitudin rhoncus aptent purus semper vivamus adipiscing mollis. Mus class convallis. Arcu facilisis consectetuer mus Vestibulum porta, consectetuer vivamus quisque feugiat torquent, nibh, justo ante nec inceptos mauris nullam viverra viverra ultrices malesuada ridiculus potenti arcu, nam conubia consectetuer proin aptent, at litora suscipit. Lacinia auctor suspendisse netus lobortis purus ante hymenaeos ornare. Lobortis. Parturient viverra platea class consequat fames faucibus facilisis cum accumsan venenatis imperdiet at Molestie. Varius morbi.Aliquam nunc lobortis facilisis. Inceptos varius curae; viverra cum consectetuer torquent faucibus adipiscing lacus egestas elit fames sit auctor. Tellus odio, placerat ligula euismod parturient suscipit luctus accumsan nam dignissim arcu porta mi eget penatibus venenatis vivamus magnis nulla ridiculus tortor et facilisi, orci risus gravida tempus tristique. Risus metus parturient imperdiet aptent primis congue. Dui hendrerit. Integer suspendisse ad non luctus fusce amet gravida fringilla porttitor vel adipiscing quam pharetra placerat vestibulum eu natoque gravida hac mi libero parturient luctus rutrum felis. Nonummy felis. Euismod ridiculus. Fermentum, aptent. Lorem vitae sociosqu pellentesque vitae tincidunt quis aliquam nascetur ut diam. Lorem hac fermentum primis penatibus, in blandit montes senectus molestie natoque natoque justo eros est per nonummy porta parturient laoreet maecenas. Nostra purus. Dictum facilisi. Vehicula. Nonummy suspendisse justo dui morbi nibh sodales phasellus placerat. Mauris mattis magnis varius adipiscing magna. Ipsum condimentum. Est etiam ligula penatibus fringilla rutrum cum ipsum iaculis. Pulvinar tempus inceptos mauris porttitor vestibulum. Cubilia. Enim nullam proin quis velit. Lobortis, molestie ultricies accumsan eu malesuada. Non id. Dis. Euismod. Per. Nec praesent tincidunt volutpat dis class placerat justo non sociosqu porttitor elit diam mattis nulla ultricies massa praesent imperdiet neque laoreet ornare nam. Magna consequat mus volutpat nostra montes pede mus aliquet euismod duis ipsum vivamus. Nam eros vestibulum, sociis pede libero augue etiam in luctus parturient facilisi odio orci elementum vel lacinia est ac nisl augue condimentum elementum massa, erat. Est, fermentum conubia massa donec a lobortis blandit, varius nunc parturient montes ornare auctor ridiculus ipsum justo ultricies augue, blandit mi ornare blandit primis quam cum. Dictum vulputate accumsan. Luctus lobortis risus tempor. Ac phasellus volutpat mus tempor cum tempus ultrices conubia nulla inceptos fusce Ultricies facilisi vehicula ac. Facilisis natoque at, pulvinar ullamcorper lacinia dolor fames libero ridiculus eleifend vel etiam nibh metus varius taciti dolor commodo porta blandit feugiat orci aenean. Vel vel fames nisl neque molestie ornare imperdiet mollis sociis inceptos justo cursus In cubilia tincidunt, habitant. Primis aenean pharetra ac sollicitudin rhoncus aptent purus semper vivamus adipiscing mollis. Mus class convallis. Arcu facilisis consectetuer mus Vestibulum porta, consectetuer vivamus quisque feugiat torquent, nibh, justo ante nec inceptos mauris nullam viverra viverra ultrices malesuada ridiculus potenti arcu, nam conubia consectetuer proin aptent, at litora suscipit. Lacinia auctor suspendisse netus lobortis purus ante hymenaeos ornare. Lobortis. Parturient viverra platea class consequat fames faucibus facilisis cum accumsan venenatis imperdiet at Molestie. Varius morbi.Aliquam nunc lobortis facilisis. Inceptos varius curae; viverra cum consectetuer torquent faucibus adipiscing lacus egestas elit fames sit auctor. Tellus odio, placerat ligula euismod parturient suscipit luctus accumsan nam dignissim arcu porta mi eget penatibus venenatis vivamus magnis nulla ridiculus tortor et facilisi, orci risus gravida tempus tristique. Risus metus parturient imperdiet aptent primis congue. Dui hendrerit. Integer suspendisse ad non luctus fusce amet gravida fringilla porttitor vel adipiscing quam pharetra placerat vestibulum eu natoque gravida hac mi libero parturient luctus rutrum felis. Nonummy felis. Euismod ridiculus. Fermentum, aptent. Lorem vitae sociosqu pellentesque vitae tincidunt quis aliquam nascetur ut diam. Lorem hac fermentum primis penatibus, in blandit montes senectus molestie natoque natoque justo eros est per nonummy porta parturient laoreet maecenas. Nostra purus. Dictum facilisi. Vehicula. Nonummy suspendisse justo dui morbi nibh sodales phasellus placerat. Mauris mattis magnis varius adipiscing magna. Ipsum condimentum. Est etiam ligula penatibus fringilla rutrum cum ipsum iaculis. Pulvinar tempus inceptos mauris porttitor vestibulum. Cubilia. Enim nullam proin quis velit. Lobortis, molestie ultricies accumsan eu malesuada. Non id. Dis. Euismod. Per. Nec praesent tincidunt volutpat dis class placerat justo non sociosqu porttitor elit diam mattis nulla ultricies massa praesent imperdiet neque laoreet ornare nam. Magna consequat mus volutpat nostra montes pede mus aliquet euismod duis ipsum vivamus. Nam eros vestibulum, sociis pede libero augue etiam in luctus parturient facilisi odio orci elementum vel lacinia est ac nisl augue condimentum elementum massa, erat. Est, fermentum conubia massa donec a lobortis blandit, varius nunc parturient montes ornare auctor ridiculus ipsum justo ultricies augue, blandit mi ornare blandit primis quam cum. Dictum vulputate accumsan. Luctus lobortis risus tempor. Ac phasellus volutpat mus tempor cum tempus ultrices conubia nulla inceptos fusce Ultricies facilisi vehicula ac. Facilisis natoque at, pulvinar ullamcorper lacinia dolor fames libero ridiculus eleifend vel etiam nibh metus varius taciti dolor commodo porta blandit feugiat orci aenean. Vel vel fames nisl neque molestie ornare imperdiet mollis sociis inceptos justo cursus In cubilia tincidunt, habitant. Primis aenean pharetra ac sollicitudin rhoncus aptent purus semper vivamus adipiscing mollis. Mus class convallis. Arcu facilisis consectetuer mus Vestibulum porta, consectetuer vivamus quisque feugiat torquent, nibh, justo ante nec inceptos mauris nullam viverra viverra ultrices malesuada ridiculus potenti arcu, nam conubia consectetuer proin aptent, at litora suscipit. Lacinia auctor suspendisse netus lobortis purus ante hymenaeos ornare. Lobortis. Parturient viverra platea class consequat fames faucibus facilisis cum accumsan venenatis imperdiet at Molestie. Varius morbi.Aliquam nunc lobortis facilisis. Inceptos varius curae; viverra cum consectetuer torquent faucibus adipiscing lacus egestas elit fames sit auctor. Tellus odio, placerat ligula euismod parturient suscipit luctus accumsan nam dignissim arcu porta mi eget penatibus venenatis vivamus magnis nulla ridiculus tortor et facilisi, orci risus gravida tempus tristique. Risus metus parturient imperdiet aptent primis congue. Dui hendrerit. Integer suspendisse ad non luctus fusce amet gravida fringilla porttitor vel adipiscing quam pharetra placerat vestibulum eu natoque gravida hac mi libero parturient luctus rutrum felis. Nonummy felis. Euismod ridiculus. Fermentum, aptent. Lorem vitae sociosqu pellentesque vitae tincidunt quis aliquam nascetur ut diam. Lorem hac fermentum primis penatibus, in blandit montes senectus molestie natoque natoque justo eros est per nonummy porta parturient laoreet maecenas. Nostra purus. Dictum facilisi. Vehicula. Nonummy suspendisse justo dui morbi nibh sodales phasellus placerat. Mauris mattis magnis varius adipiscing magna. Ipsum condimentum. Est etiam ligula penatibus fringilla rutrum cum ipsum iaculis. Pulvinar tempus inceptos mauris porttitor vestibulum. Cubilia. Enim nullam proin quis velit. Lobortis, molestie ultricies accumsan eu malesuada. Non id. Dis. Euismod. Per. Nec praesent tincidunt volutpat dis class placerat justo non sociosqu porttitor elit diam mattis nulla ultricies massa praesent imperdiet neque laoreet ornare nam. Magna consequat mus volutpat nostra montes pede mus aliquet euismod duis ipsum vivamus. Nam eros vestibulum, sociis pede libero augue etiam in luctus parturient facilisi odio orci elementum vel lacinia est ac nisl augue condimentum elementum massa, erat. Est, fermentum conubia massa donec a lobortis blandit, varius nunc parturient montes ornare auctor ridiculus ipsum justo ultricies augue, blandit mi ornare blandit primis quam cum. Dictum vulputate accumsan. Luctus lobortis risus tempor. Ac phasellus volutpat mus tempor cum tempus ultrices conubia nulla inceptos fusce Ultricies facilisi vehicula ac. Facilisis natoque at, pulvinar ullamcorper lacinia dolor fames libero ridiculus eleifend vel etiam nibh metus varius taciti dolor commodo porta blandit feugiat orci aenean. Vel vel fames nisl neque molestie ornare imperdiet mollis sociis inceptos justo cursus In cubilia tincidunt, habitant. Primis aenean pharetra ac sollicitudin rhoncus aptent purus semper vivamus adipiscing mollis. Mus class convallis. Arcu facilisis consectetuer mus Vestibulum porta, consectetuer vivamus quisque feugiat torquent, nibh, justo ante nec inceptos mauris nullam viverra viverra ultrices malesuada ridiculus potenti arcu, nam conubia consectetuer proin aptent, at litora suscipit. Lacinia auctor suspendisse netus lobortis purus ante hymenaeos ornare. Lobortis. Parturient viverra platea class consequat fames faucibus facilisis cum accumsan venenatis imperdiet at Molestie. Varius morbi.Aliquam nunc lobortis facilisis. Inceptos varius curae; viverra cum consectetuer torquent faucibus adipiscing lacus egestas elit fames sit auctor. Tellus odio, placerat ligula euismod parturient suscipit luctus accumsan nam dignissim arcu porta mi eget penatibus venenatis vivamus magnis nulla ridiculus tortor et facilisi, orci risus gravida tempus tristique. Risus metus parturient imperdiet aptent primis congue. Dui hendrerit. Integer suspendisse ad non luctus fusce amet gravida fringilla porttitor vel adipiscing quam pharetra placerat vestibulum eu natoque gravida hac mi libero parturient luctus rutrum felis. Nonummy felis. Euismod ridiculus. Fermentum, aptent. Lorem vitae sociosqu pellentesque vitae tincidunt quis aliquam nascetur ut diam. Lorem hac fermentum primis penatibus, in blandit montes senectus molestie natoque natoque justo eros est per nonummy porta parturient laoreet maecenas. Nostra purus. Dictum facilisi. Vehicula. Nonummy suspendisse justo dui morbi nibh sodales phasellus placerat. Mauris mattis magnis varius adipiscing magna. Ipsum condimentum. Est etiam ligula penatibus fringilla rutrum cum ipsum iaculis. Pulvinar tempus inceptos mauris porttitor vestibulum. Cubilia. Enim nullam proin quis velit. Lobortis, molestie ultricies accumsan eu malesuada. Non id. Dis. Euismod. Per. Nec praesent tincidunt volutpat dis class placerat justo non sociosqu porttitor elit diam mattis nulla ultricies massa praesent imperdiet neque laoreet ornare nam. Magna consequat mus volutpat nostra montes pede mus aliquet euismod duis ipsum vivamus. Nam eros vestibulum, sociis pede libero augue etiam in luctus parturient facilisi odio orci elementum vel lacinia est ac nisl augue condimentum elementum massa, erat. Est, fermentum conubia massa donec a lobortis blandit, varius nunc parturient montes ornare auctor ridiculus ipsum justo ultricies augue, blandit mi ornare blandit primis quam cum. Dictum vulputate accumsan. Luctus lobortis risus tempor. Ac phasellus volutpat mus tempor cum tempus ultrices conubia nulla inceptos fusce Ultricies facilisi vehicula ac. Facilisis natoque at, pulvinar ullamcorper lacinia dolor fames libero ridiculus eleifend vel etiam nibh metus varius taciti dolor commodo porta blandit feugiat orci aenean. Vel vel fames nisl neque molestie ornare imperdiet mollis sociis inceptos justo cursus In cubilia tincidunt, habitant. Primis aenean pharetra ac sollicitudin rhoncus aptent purus semper vivamus adipiscing mollis. Mus class convallis. Arcu facilisis consectetuer mus Vestibulum porta, consectetuer vivamus quisque feugiat torquent, nibh, justo ante nec inceptos mauris nullam viverra viverra ultrices malesuada ridiculus potenti arcu, nam conubia consectetuer proin aptent, at litora suscipit. Lacinia auctor suspendisse netus lobortis purus ante hymenaeos ornare. Lobortis. Parturient viverra platea class consequat fames faucibus facilisis cum accumsan venenatis imperdiet at Molestie. Varius morbi.Aliquam nunc lobortis facilisis. Inceptos varius curae; viverra cum consectetuer torquent faucibus adipiscing lacus egestas elit fames sit auctor. Tellus odio, placerat ligula euismod parturient suscipit luctus accumsan nam dignissim arcu porta mi eget penatibus venenatis vivamus magnis nulla ridiculus tortor et facilisi, orci risus gravida tempus tristique. Risus metus parturient imperdiet aptent primis congue. Dui hendrerit. Integer suspendisse ad non luctus fusce amet gravida fringilla porttitor vel adipiscing quam pharetra placerat vestibulum eu natoque gravida hac mi libero parturient luctus rutrum felis. Nonummy felis. Euismod ridiculus. Fermentum, aptent. Lorem vitae sociosqu pellentesque vitae tincidunt quis aliquam nascetur ut diam. Lorem hac fermentum primis penatibus, in blandit montes senectus molestie natoque natoque justo eros est per nonummy porta parturient laoreet maecenas. Nostra purus. Dictum facilisi. Vehicula. Nonummy suspendisse justo dui morbi nibh sodales phasellus placerat. Mauris mattis magnis varius adipiscing magna. Ipsum condimentum. Est etiam ligula penatibus fringilla rutrum cum ipsum iaculis. Pulvinar tempus inceptos mauris porttitor vestibulum. Cubilia. Enim nullam proin quis velit. Lobortis, molestie ultricies accumsan eu malesuada. Non id. Dis. Euismod. Per. Nec praesent tincidunt volutpat dis class placerat justo non sociosqu porttitor elit diam mattis nulla ultricies massa praesent imperdiet neque laoreet ornare nam. Magna consequat mus volutpat nostra montes pede mus aliquet euismod duis ipsum vivamus. Nam eros vestibulum, sociis pede libero augue etiam in luctus parturient facilisi odio orci elementum vel lacinia est ac nisl augue condimentum elementum massa, erat. Est, fermentum conubia massa donec a lobortis blandit, varius nunc parturient montes ornare auctor ridiculus ipsum justo ultricies augue, blandit mi ornare blandit primis quam cum. Dictum vulputate accumsan. Luctus lobortis risus tempor. Ac phasellus volutpat mus tempor cum tempus ultrices conubia nulla inceptos fusce Ultricies facilisi vehicula ac. Facilisis natoque at, pulvinar ullamcorper lacinia dolor fames libero ridiculus eleifend vel etiam nibh metus varius taciti dolor commodo porta blandit feugiat orci aenean. Vel vel fames nisl neque molestie ornare imperdiet mollis sociis inceptos justo cursus In cubilia tincidunt, habitant. Primis aenean pharetra ac sollicitudin rhoncus aptent purus semper vivamus adipiscing mollis. Mus class convallis. Arcu facilisis consectetuer mus Vestibulum porta, consectetuer vivamus quisque feugiat torquent, nibh, justo ante nec inceptos mauris nullam viverra viverra ultrices malesuada ridiculus potenti arcu, nam conubia consectetuer proin aptent, at litora suscipit. Lacinia auctor suspendisse netus lobortis purus ante hymenaeos ornare. Lobortis. Parturient viverra platea class consequat fames faucibus facilisis cum accumsan venenatis imperdiet at Molestie. Varius morbi.Aliquam nunc lobortis facilisis. Inceptos varius curae; viverra cum consectetuer torquent faucibus adipiscing lacus egestas elit fames sit auctor. Tellus odio, placerat ligula euismod parturient suscipit luctus accumsan nam dignissim arcu porta mi eget penatibus venenatis vivamus magnis nulla ridiculus tortor et facilisi, orci risus gravida tempus tristique. Risus metus parturient imperdiet aptent primis congue. Dui hendrerit. Integer suspendisse ad non luctus fusce amet gravida fringilla porttitor vel adipiscing quam pharetra placerat vestibulum eu natoque gravida hac mi libero parturient luctus rutrum felis. Nonummy felis. Euismod ridiculus. Fermentum, aptent. Lorem vitae sociosqu pellentesque vitae tincidunt quis aliquam nascetur ut diam. Lorem hac fermentum primis penatibus, in blandit montes senectus molestie natoque natoque justo eros est per nonummy porta parturient laoreet maecenas. Nostra purus. Dictum facilisi. Vehicula. Nonummy suspendisse justo dui morbi nibh sodales phasellus placerat. Mauris mattis magnis varius adipiscing magna. Ipsum condimentum. Est etiam ligula penatibus fringilla rutrum cum ipsum iaculis. Pulvinar tempus inceptos mauris porttitor vestibulum. Cubilia. Enim nullam proin quis velit. Lobortis, molestie ultricies accumsan eu malesuada. Non id. Dis. Euismod. Per. Nec praesent tincidunt volutpat dis class placerat justo non sociosqu porttitor elit diam mattis nulla ultricies massa praesent imperdiet neque laoreet ornare nam. Magna consequat mus volutpat nostra montes pede mus aliquet euismod duis ipsum vivamus. Nam eros vestibulum, sociis pede libero augue etiam in luctus parturient facilisi odio orci elementum vel lacinia est ac nisl augue condimentum elementum massa, erat. Est, fermentum conubia massa donec a lobortis blandit, varius nunc parturient montes ornare auctor ridiculus ipsum justo ultricies augue, blandit mi ornare blandit primis quam cum. Dictum vulputate accumsan. Luctus lobortis risus tempor. Ac phasellus volutpat mus tempor cum tempus ultrices conubia nulla inceptos fusce Ultricies facilisi vehicula ac. Facilisis natoque at, pulvinar ullamcorper lacinia dolor fames libero ridiculus eleifend vel etiam nibh metus varius taciti dolor commodo porta blandit feugiat orci aenean. Vel vel fames nisl neque molestie ornare imperdiet mollis sociis inceptos justo cursus In cubilia tincidunt, habitant. Primis aenean pharetra ac sollicitudin rhoncus aptent purus semper vivamus adipiscing mollis. Mus class convallis. Arcu facilisis consectetuer mus Vestibulum porta, consectetuer vivamus quisque feugiat torquent, nibh, justo ante nec inceptos mauris nullam viverra viverra ultrices malesuada ridiculus potenti arcu, nam conubia consectetuer proin aptent, at litora suscipit. Lacinia auctor suspendisse netus lobortis purus ante hymenaeos ornare. Lobortis. Parturient viverra platea class consequat fames faucibus facilisis cum accumsan venenatis imperdiet at Molestie. Varius morbi.Aliquam nunc lobortis facilisis. Inceptos varius curae; viverra cum consectetuer torquent faucibus adipiscing lacus egestas elit fames sit auctor. Tellus odio, placerat ligula euismod parturient suscipit luctus accumsan nam dignissim arcu porta mi eget penatibus venenatis vivamus magnis nulla ridiculus tortor et facilisi, orci risus gravida tempus tristique. Risus metus parturient imperdiet aptent primis congue. Dui hendrerit. Integer suspendisse ad non luctus fusce amet gravida fringilla porttitor vel adipiscing quam pharetra placerat vestibulum eu natoque gravida hac mi libero parturient luctus rutrum felis. Nonummy felis. Euismod ridiculus. Fermentum, aptent. Lorem vitae sociosqu pellentesque vitae tincidunt quis aliquam nascetur ut diam. Lorem hac fermentum primis penatibus, in blandit montes senectus molestie natoque natoque justo eros est per nonummy porta parturient laoreet maecenas. Nostra purus. Dictum facilisi. Vehicula. Nonummy suspendisse justo dui morbi nibh sodales phasellus placerat. Mauris mattis magnis varius adipiscing magna. Ipsum condimentum. Est etiam ligula penatibus fringilla rutrum cum ipsum iaculis. Pulvinar tempus inceptos mauris porttitor vestibulum. Cubilia. Enim nullam proin quis velit. Lobortis, molestie ultricies accumsan eu malesuada. Non id. Dis. Euismod. Per. Nec praesent tincidunt volutpat dis class placerat justo non sociosqu porttitor elit diam mattis nulla ultricies massa praesent imperdiet neque laoreet ornare nam. Magna consequat mus volutpat nostra montes pede mus aliquet euismod duis ipsum vivamus. Nam eros vestibulum, sociis pede libero augue etiam in luctus parturient facilisi odio orci elementum vel lacinia est ac nisl augue condimentum elementum massa, erat. Est, fermentum conubia massa donec a lobortis blandit, varius nunc parturient montes ornare auctor ridiculus ipsum justo ultricies augue, blandit mi ornare blandit primis quam cum. Dictum vulputate accumsan. Luctus lobortis risus tempor. Ac phasellus volutpat mus tempor cum tempus ultrices conubia nulla inceptos fusce Ultricies facilisi vehicula ac. Facilisis natoque at, pulvinar ullamcorper lacinia dolor fames libero ridiculus eleifend vel etiam nibh metus varius taciti dolor commodo porta blandit feugiat orci aenean. Vel vel fames nisl neque molestie ornare imperdiet mollis sociis inceptos justo cursus In cubilia tincidunt, habitant. Primis aenean pharetra ac sollicitudin rhoncus aptent purus semper vivamus adipiscing mollis. Mus class convallis. Arcu facilisis consectetuer mus Vestibulum porta, consectetuer vivamus quisque feugiat torquent, nibh, justo ante nec inceptos mauris nullam viverra viverra ultrices malesuada ridiculus potenti arcu, nam conubia consectetuer proin aptent, at litora suscipit. Lacinia auctor suspendisse netus lobortis purus ante hymenaeos ornare. Lobortis. Parturient viverra platea class consequat fames faucibus facilisis cum accumsan venenatis imperdiet at Molestie. Varius morbi.Aliquam nunc lobortis facilisis. Inceptos varius curae; viverra cum consectetuer torquent faucibus adipiscing lacus egestas elit fames sit auctor. Tellus odio, placerat ligula euismod parturient suscipit luctus accumsan nam dignissim arcu porta mi eget penatibus venenatis vivamus magnis nulla ridiculus tortor et facilisi, orci risus gravida tempus tristique. Risus metus parturient imperdiet aptent primis congue. Dui hendrerit. Integer suspendisse ad non luctus fusce amet gravida fringilla porttitor vel adipiscing quam pharetra placerat vestibulum eu natoque gravida hac mi libero parturient luctus rutrum felis. Nonummy felis. Euismod ridiculus. Fermentum, aptent. Lorem vitae sociosqu pellentesque vitae tincidunt quis aliquam nascetur ut diam. Lorem hac fermentum primis penatibus, in blandit montes senectus molestie natoque natoque justo eros est per nonummy porta parturient laoreet maecenas. Nostra purus. Dictum facilisi. Vehicula. Nonummy suspendisse justo dui morbi nibh sodales phasellus placerat. Mauris mattis magnis varius adipiscing magna. Ipsum condimentum. Est etiam ligula penatibus fringilla rutrum cum ipsum iaculis. Pulvinar tempus inceptos mauris porttitor vestibulum. Cubilia. Enim nullam proin quis velit. Lobortis, molestie ultricies accumsan eu malesuada. Non id. Dis. Euismod. Per. Nec praesent tincidunt volutpat dis class placerat justo non sociosqu porttitor elit diam mattis nulla ultricies massa praesent imperdiet neque laoreet ornare nam. Magna consequat mus volutpat nostra montes pede mus aliquet euismod duis ipsum vivamus. Nam eros vestibulum, sociis pede libero augue etiam in luctus parturient facilisi odio orci elementum vel lacinia est ac nisl augue condimentum elementum massa, erat. Est, fermentum conubia massa donec a lobortis blandit, varius nunc parturient montes ornare auctor ridiculus ipsum justo ultricies augue, blandit mi ornare blandit primis quam cum. Dictum vulputate accumsan. Luctus lobortis risus tempor. Ac phasellus volutpat mus tempor cum tempus ultrices conubia nulla inceptos fusce Ultricies facilisi vehicula ac. Facilisis natoque at, pulvinar ullamcorper lacinia dolor fames libero ridiculus eleifend vel etiam nibh metus varius taciti dolor commodo porta blandit feugiat orci aenean. Vel vel fames nisl neque molestie ornare imperdiet mollis sociis inceptos justo cursus In cubilia tincidunt, habitant. Primis aenean pharetra ac sollicitudin rhoncus aptent purus semper vivamus adipiscing mollis. Mus class convallis. Arcu facilisis consectetuer mus Vestibulum porta, consectetuer vivamus quisque feugiat torquent, nibh, justo ante nec inceptos mauris nullam viverra viverra ultrices malesuada ridiculus potenti arcu, nam conubia consectetuer proin aptent, at litora suscipit. Lacinia auctor suspendisse netus lobortis purus ante hymenaeos ornare. Lobortis. Parturient viverra platea class consequat fames faucibus facilisis cum accumsan venenatis imperdiet at Molestie. Varius morbi." }, { "role": "user", "content": "how r u today" } ] } `

The model will erroneously output stop tokens. This does not put other llamas in mode collapse.

It is linked to context length possibly as it does not occur with fewer.

osilverstein commented 3 weeks ago

Does this only happen with speculative decoding enabled?

Nope! It happens with long ctx regardless of spec. verified and tested

osilverstein commented 3 weeks ago

Update: Tested, this issue does not happen on older version that still supports machete v6.2

SinanAkkoyun commented 3 weeks ago

https://github.com/vllm-project/vllm/issues/9732#issuecomment-2442871302

SinanAkkoyun commented 3 weeks ago

Can confirm that my image issue (see comment above) not only resolves with v0.6.1, but also resolves this issue.

Cannot test 0.6.2 due to https://github.com/vllm-project/vllm/issues/8281#issuecomment-2401165333

cedonley commented 3 weeks ago

Can you try with --enforce-eager in 0.6.3? If that works, it's probably related to an issue in 0.6.3 with graph capture + long context that were fixed in https://github.com/vllm-project/vllm/pull/9549

SinanAkkoyun commented 3 weeks ago

@osilverstein I fixed my issue by installing the latest dev version https://github.com/vllm-project/vllm/issues/9732#issuecomment-2444769412