RuntimeError: CUDA error: device-side assert triggered

System Info

Hi, if I run TGI in docker on Nvidia 4070 RTX (12GB memory), I'm getting CUDA error: device-side assert triggered for the specific request (at the bottom). I'm getting error when I set the max sequence length to 6k, while when I set the max seq len to 8k I do not get the error. It happens for a long input (the shorter works fine). The maximum seq len of the model openchat/openchat-3.5-0106 is 8k, but I would like to restrict it to 6k.

Information

[X] Docker

Tasks

[X] An officially supported command

Reproduction

Docker run error occurs:

docker run --name tgi-1 --gpus all -p 8080:80 ghcr.io/huggingface/text-generation-inference:1.4 --model-id openchat/openchat-3.5-0106 --quantize bitsandbytes-nf4 --max-total-tokens 6144 --max-input-length 6112 --max-batch-prefill-tokens 6113 --cuda-memory-fraction 1

Docker run error does not occur:

docker run --name tgi-1 --gpus all -p 8080:80 ghcr.io/huggingface/text-generation-inference:1.4 --model-id openchat/openchat-3.5-0106 --quantize bitsandbytes-nf4 --max-total-tokens 8192 --max-input-length 8160 --max-batch-prefill-tokens 8160 --cuda-memory-fraction 1

Error I'm getting:

2024-04-10T12:45:55.725284Z ERROR text_generation_launcher: Method Decode encountered an error.
Traceback (most recent call last):
  File "/opt/conda/bin/text-generation-server", line 8, in <module>
    sys.exit(app())
  File "/opt/conda/lib/python3.10/site-packages/typer/main.py", line 311, in __call__
    return get_command(self)(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/click/core.py", line 1157, in __call__
    return self.main(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/typer/core.py", line 778, in main
    return _main(
  File "/opt/conda/lib/python3.10/site-packages/typer/core.py", line 216, in _main
    rv = self.invoke(ctx)
  File "/opt/conda/lib/python3.10/site-packages/click/core.py", line 1688, in invoke
    return _process_result(sub_ctx.command.invoke(sub_ctx))
  File "/opt/conda/lib/python3.10/site-packages/click/core.py", line 1434, in invoke
    return ctx.invoke(self.callback, **ctx.params)
  File "/opt/conda/lib/python3.10/site-packages/click/core.py", line 783, in invoke
    return __callback(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/typer/main.py", line 683, in wrapper
    return callback(**use_params)  # type: ignore
  File "/opt/conda/lib/python3.10/site-packages/text_generation_server/cli.py", line 89, in serve
    server.serve(
  File "/opt/conda/lib/python3.10/site-packages/text_generation_server/server.py", line 235, in serve
    asyncio.run(
  File "/opt/conda/lib/python3.10/asyncio/runners.py", line 44, in run
    return loop.run_until_complete(main)
  File "/opt/conda/lib/python3.10/asyncio/base_events.py", line 636, in run_until_complete
    self.run_forever()
  File "/opt/conda/lib/python3.10/asyncio/base_events.py", line 603, in run_forever
    self._run_once()
  File "/opt/conda/lib/python3.10/asyncio/base_events.py", line 1909, in _run_once
    handle._run()
  File "/opt/conda/lib/python3.10/asyncio/events.py", line 80, in _run
    self._context.run(self._callback, *self._args)
  File "/opt/conda/lib/python3.10/site-packages/grpc_interceptor/server.py", line 165, in invoke_intercept_method
    return await self.intercept(
> File "/opt/conda/lib/python3.10/site-packages/text_generation_server/interceptor.py", line 21, in intercept
    return await response
  File "/opt/conda/lib/python3.10/site-packages/opentelemetry/instrumentation/grpc/_aio_server.py", line 82, in _unary_interceptor
    raise error
  File "/opt/conda/lib/python3.10/site-packages/opentelemetry/instrumentation/grpc/_aio_server.py", line 73, in _unary_interceptor
    return await behavior(request_or_iterator, context)
  File "/opt/conda/lib/python3.10/site-packages/text_generation_server/server.py", line 152, in Decode
    generations, next_batch, timings = self.model.generate_token(batch)
  File "/opt/conda/lib/python3.10/contextlib.py", line 79, in inner
    return func(*args, **kwds)
  File "/opt/conda/lib/python3.10/site-packages/text_generation_server/models/flash_causal_lm.py", line 944, in generate_token
    raise e
  File "/opt/conda/lib/python3.10/site-packages/text_generation_server/models/flash_causal_lm.py", line 941, in generate_token
    out, speculative_logits = self.forward(batch)
  File "/opt/conda/lib/python3.10/site-packages/text_generation_server/models/flash_mistral.py", line 507, in forward
    logits, speculative_logits = self.model.forward(
  File "/opt/conda/lib/python3.10/site-packages/text_generation_server/models/custom_modeling/flash_mistral_modeling.py", line 456, in forward
    hidden_states = self.model(
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1518, in _wrapped_call_impl
    return self._call_impl(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/torch/nn/modules/module.py", line 1527, in _call_impl
    return forward_call(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/text_generation_server/models/custom_modeling/flash_mistral_modeling.py", line 392, in forward
    cos, sin = self.layers[0].self_attn.rotary_emb.get_cos_sin(
  File "/opt/conda/lib/python3.10/site-packages/text_generation_server/utils/layers.py", line 934, in get_cos_sin
    cos = torch.index_select(self._cos_cached, 0, position_ids)
RuntimeError: CUDA error: device-side assert triggered
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.

2024-04-10T12:45:55.726600Z ERROR batch{batch_size=1}:decode:decode{size=1}:decode{size=1}: text_generation_client: router/client/src/lib.rs:33: Server error: Unexpected <class 'RuntimeError'>: CUDA error: device-side assert triggered
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.

2024-04-10T12:45:55.729384Z ERROR text_generation_launcher: Method ClearCache encountered an error.
Traceback (most recent call last):
  File "/opt/conda/bin/text-generation-server", line 8, in <module>
    sys.exit(app())
  File "/opt/conda/lib/python3.10/site-packages/typer/main.py", line 311, in __call__
    return get_command(self)(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/click/core.py", line 1157, in __call__
    return self.main(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/typer/core.py", line 778, in main
    return _main(
  File "/opt/conda/lib/python3.10/site-packages/typer/core.py", line 216, in _main
    rv = self.invoke(ctx)
  File "/opt/conda/lib/python3.10/site-packages/click/core.py", line 1688, in invoke
    return _process_result(sub_ctx.command.invoke(sub_ctx))
  File "/opt/conda/lib/python3.10/site-packages/click/core.py", line 1434, in invoke
    return ctx.invoke(self.callback, **ctx.params)
  File "/opt/conda/lib/python3.10/site-packages/click/core.py", line 783, in invoke
    return __callback(*args, **kwargs)
  File "/opt/conda/lib/python3.10/site-packages/typer/main.py", line 683, in wrapper
    return callback(**use_params)  # type: ignore
  File "/opt/conda/lib/python3.10/site-packages/text_generation_server/cli.py", line 89, in serve
    server.serve(
  File "/opt/conda/lib/python3.10/site-packages/text_generation_server/server.py", line 235, in serve
    asyncio.run(
  File "/opt/conda/lib/python3.10/asyncio/runners.py", line 44, in run
    return loop.run_until_complete(main)
  File "/opt/conda/lib/python3.10/asyncio/base_events.py", line 636, in run_until_complete
    self.run_forever()
  File "/opt/conda/lib/python3.10/asyncio/base_events.py", line 603, in run_forever
    self._run_once()
  File "/opt/conda/lib/python3.10/asyncio/base_events.py", line 1909, in _run_once
    handle._run()
  File "/opt/conda/lib/python3.10/asyncio/events.py", line 80, in _run
    self._context.run(self._callback, *self._args)
  File "/opt/conda/lib/python3.10/site-packages/grpc_interceptor/server.py", line 165, in invoke_intercept_method
    return await self.intercept(
> File "/opt/conda/lib/python3.10/site-packages/text_generation_server/interceptor.py", line 21, in intercept
    return await response
  File "/opt/conda/lib/python3.10/site-packages/opentelemetry/instrumentation/grpc/_aio_server.py", line 82, in _unary_interceptor
    raise error
  File "/opt/conda/lib/python3.10/site-packages/opentelemetry/instrumentation/grpc/_aio_server.py", line 73, in _unary_interceptor
    return await behavior(request_or_iterator, context)
  File "/opt/conda/lib/python3.10/site-packages/text_generation_server/server.py", line 51, in ClearCache
    self.cache.delete(request.id)
  File "/opt/conda/lib/python3.10/site-packages/text_generation_server/cache.py", line 26, in delete
    torch.cuda.empty_cache()
  File "/opt/conda/lib/python3.10/site-packages/torch/cuda/memory.py", line 159, in empty_cache
    torch._C._cuda_emptyCache()
RuntimeError: CUDA error: device-side assert triggered
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.

2024-04-10T12:45:55.730589Z ERROR batch{batch_size=1}:decode:clear_cache{batch_id=Some(0)}:clear_cache{batch_id=Some(0)}: text_generation_client: router/client/src/lib.rs:33: Server error: Unexpected <class 'RuntimeError'>: CUDA error: device-side assert triggered
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.

2024-04-10T12:45:55.730650Z ERROR generate{parameters=GenerateParameters { best_of: None, temperature: None, repetition_penalty: None, frequency_penalty: None, top_k: None, top_p: None, typical_p: None, do_sample: false, max_new_tokens: Some(32), return_full_text: None, stop: [], truncate: None, watermark: false, details: false, decoder_input_details: false, seed: None, top_n_tokens: None, grammar: None }}:generate:generate_stream:infer:send_error: text_generation_router::infer: router/src/infer.rs:705: Request failed during generation: Server error: Unexpected <class 'RuntimeError'>: CUDA error: device-side assert triggered
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.

The input in swagger in generate endpoint http://localhost:8080/docs/#/Text%20Generation%20Inference/generate

{
  "inputs": "<s>GPT4 Correct System: \r\nKlassifizieren Sie den folgenden Text in eine der folgenden Kategorien: Ausland, Deutschland, Wirtschaft, Panorama, Sport, Coronavirus, Berlin, Politik, news.\r\n\r\nDenken Sie Schritt f\u00FCr Schritt nach. Ordnen Sie Artikel der Kategorie 'News' zu, wenn sie nicht eindeutig in die spezifischen Themen der anderen Kategorien passen, aber allgemeines Interesse aufweisen oder aktuelle Ereignisse auf eine allgemeine Weise diskutieren.\r\n\r\nAusland: Nachrichten, die sich auf internationale Ereignisse, internationale Beziehungen und Geschehnisse au\u00DFerhalb Deutschlands beziehen.\r\n\r\nDeutschland: Informationen, die sich ausschlie\u00DFlich auf Deutschland beziehen, einschlie\u00DFlich nationaler Nachrichten, Ereignisse und Entwicklungen im Land.\r\n\r\nWirtschaft: Nachrichten und Berichte \u00FCber wirtschaftliche Entwicklungen, Finanzen, Unternehmen und M\u00E4rkte in Deutschland und weltweit.\r\n\r\nPanorama: Geschichten und Nachrichten, die verschiedene Aspekte des Alltagslebens, Kultur, Unterhaltung, Gesellschaft und Lifestyle betreffen.\r\n\r\nSport: Informationen zu sportlichen Veranstaltungen, Ergebnissen, Spielergebnissen, Teamleistungen und Sportnachrichten in Deutschland und weltweit.\r\n\r\nCoronavirus: Nachrichten und Updates bez\u00FCglich der COVID-19-Pandemie, einschlie\u00DFlich Gesundheitsrichtlinien, Impfungen, Fallzahlen und anderen relevanten Informationen.\r\n\r\nBerlin: Ereignisse, Nachrichten und Entwicklungen in der Hauptstadt Deutschlands, Berlin.\r\n\r\nPolitik: Berichte \u00FCber politische Angelegenheiten, Wahlen, politische Parteien und politische Entscheidungen auf nationaler und internationaler Ebene.\r\n\r\nnews:\r\n    Umfang: Die Kategorie \"News\" umfasst eine Vielzahl von Themen von aktuellem Interesse, von \u00F6ffentlicher Gesundheit und Finanzen bis hin zu Politik, Gesellschaft und bedeutenden lokalen Ereignissen. Sie beinhaltet auch breitere Geschichten aus Sport, Unterhaltung und Kultur.\r\n    Inhalt: Die Artikel sind zeitnah und informativ, oft reaktiv auf aktuelle Ereignisse, und bieten Updates und Einblicke, ohne tief in spezialisierte Bereiche einzutauchen.\r\n    Hauptmerkmal: Das bestimmende Merkmal der Kategorie \"News\" ist ihre Reaktivit\u00E4t und Breite. Im Gegensatz zu spezifischen Bereichen wie \"Sport\" oder \"Wirtschaft\" deckt sie eine breite Palette von Themen ab und reagiert schnell auf laufende und aufkommende Ereignisse.\r\n\r\nBitte geben Sie den Text ein und weisen Sie ihm die am besten geeignete Kategorie zu.\r\n\r\n<|end_of_turn|>GPT4 Correct User: The text: AP\r\n\r\nHier gelangen Sie zu den neusten Infos rund um die US-Wahl Trump-Sprecherin: Noch keine Entscheidung \u00FCber weitere TV-Debatten Freitag, 2. Oktober, 22.02 Uhr: Das Wei\u00DFe Haus hat nach dem positiven Corona-Test von Pr\u00E4sident Donald Trump noch keine Entscheidung \u00FCber die zwei verbliebenen Debatten mit seinem Herausforderer Joe Biden getroffen. \"Wir sind noch nicht soweit gekommen\", weil man sich zun\u00E4chst auf den Pr\u00E4sidenten fokussiere, sagte Trumps Sprecherin Kayleigh McEnany am Freitag. Nach dem ersten Aufeinandertreffen der beiden Kandidaten am vergangenen Dienstag sind noch Debatten am 15. und 22. Oktober angesetzt. Nach Bekanntwerden von Trumps Corona-Infektion wurde spekuliert, dass sie abgesagt, verschoben oder via Internet abgehalten werden k\u00F6nnten. Doch nicht vor US-Wahl? Positiver Corona-Test verz\u00F6gert Richter-Verfahren um Amy Coney Barrett 19.37 Uhr: Ein positiver Coronavirus-Test bei einem Senator k\u00F6nnte die Nachbesetzung des freien Postens am Obersten Gericht der USA verz\u00F6gern. Der Republikaner Mike Lee, der ein Mitglied im zust\u00E4ndigen Rechtsausschuss des Senats ist, gab am Freitag seine Infektion bekannt. Der demokratische Minderheitsf\u00FChrer im Senat, Chuck Schumer, rief das Gremium umgehend auf, das Verfahren zur Ernennung der Kandidatin Amy Coney Barrett auszusetzen, bis das Ausma\u00DF der Corona-Ausbreitung unter den Senatoren klar wird.\r\n\r\nAP\r\n\r\nDie konservative Juristin Barrett ist die Kandidatin von Pr\u00E4sident Donald Trump f\u00FCr die Nachfolge der j\u00FCngst verstorbenen liberalen Justiz-Ikone Ruth Bader Ginsburg. Richter am Obersten Gericht werden vom Pr\u00E4sidenten nominiert und vom Senat best\u00E4tigt. Die Demokraten kritisieren, dass Trump und die republikanische Mehrheit im Senat mit dem Prozess kurz vor der Pr\u00E4sidentenwahl vorpreschten. Sie warnen, dass Barrett vermutlich f\u00FCr die Abschaffung der Gesundheitsreform von Pr\u00E4sident Barack Obama stimmen w\u00FCrde. Mit Barrett h\u00E4tten die Konservativen eine Mehrheit von sechs der neun Sitze am Obersten Gericht, das immer wieder strategische Weichen f\u00FCr die US-Gesellschaft stellt. US-Vizepr\u00E4sident Pence negativ auf Coronavirus getestet 14.50 Uhr: Nach der Corona-Infektion von US-Pr\u00E4sident Donald Trump ist dessen Vize Mike Pence negativ auf das Coronavirus getestet worden. Pence werde seit Monaten jeden Tag auf den Erreger der Lungenkrankheit Covid-19 getestet, teilte sein Sprecher am Freitag im Online-Dienst Twitter mit. \"Heute morgen wurden Vize-Pr\u00E4sident Pence und die Second Lady (seine Frau) negativ auf Covid-19 getestet\", f\u00FCgte er hinzu. Pence gehe es gut und er w\u00FCnsche dem Pr\u00E4sidenten eine rasche Genesung.\r\n\r\nCharlie Neibergall\/AP\/dpa\r\n\r\nTrump hatte am Donnerstagabend (Ortszeit) inmitten des US-Wahlkampfes bekannt gegeben, dass er und seine Frau Melania positiv auf das Coronavirus getestet worden seien. Der 74-J\u00E4hrige befindet sich nun in Quarant\u00E4ne im Wei\u00DFen Haus und will von dort aus die Amtsgesch\u00E4fte weiterf\u00FChren. Sollte Trump aus welchen Gr\u00FCnden auch immer nicht in der Lage sein, die Amtsgesch\u00E4fte zu f\u00FChren, so w\u00FCrde diese sein Vize Pence \u00FCbernehmen. Beeinflusst das den Wahlkampf? US-Pr\u00E4sident Donald Trump und seine Frau haben sich mit dem Corona-Virus infiziert. Trump beteuert seine Ablehnung des Rechtsextremismus 07.44 Uhr: US-Pr\u00E4sident Donald Trump hat nach dem Wirbel um seine Aussagen im TV-Duell mit Wahl-Herausforderer Joe Biden beteuert, dass er jegliche Form von Rechtsextremismus ablehne. \"Ich verurteile den Ku Klux Klan, ich verurteile die Verfechter der \u00DCberlegenheit der Wei\u00DFen, ich verurteilte die Proud Boys\", sagte Trump am Donnerstag im konservativen Fernsehsender Fox News. Er betonte, dass er schon in der Vergangenheit \"mehrmals\" rechtsextreme Gruppen verurteilt habe. Der Pr\u00E4sident hatte sich am Dienstag in der Fernsehdebatte direkt an die rechtsradikale und gewaltbereite Gruppe Proud Boys gewandt: \"Proud Boys - haltet euch zur\u00FCck und haltet euch bereit\", sagte er. Trump reagierte damit auf die Frage des Moderatoren, ob er bereit sei, sich von rassistischen Gruppen zu distanzieren - und l\u00F6ste emp\u00F6rte Reaktionen unter anderem von B\u00FCrgerrechtsaktivisten aus. Die Proud Boys reagierten hingegen begeistert auf Trumps Aussage. In den Onlinenetzwerken ver\u00F6ffentlichen sie ein Logo mit den Worten \"Haltet euch zur\u00FCck und haltet euch bereit\" (\"Stand Back, Stand By\"). Wof\u00FCr sich die Proud Boys (Deutsch etwa: \"Stolze Jungs\") genau \"bereit\" halten sollten, hatte der Pr\u00E4sident allerdings offen gelassen. Am Tag nach der Debatte sagte Trump, er kenne die Proud Boys nicht. Trump hat es in den vergangenen Jahren immer wieder abgelehnt, sich klar von rassistischen Gruppierungen zu distanzieren. Kritiker werfen ihm vor, vor der Pr\u00E4sidentschaftswahl am 3. November gezielt die Spannungen in dem Land zu sch\u00FCren. Diese Spannungen hatten sich in den vergangenen Monaten infolge der Serie von F\u00E4llen exzessiver und t\u00F6dlicher Polizeigewalt gegen Afroamerikaner versch\u00E4rft. Beobachter warnen vor m\u00F6glicher Gewalt durch rechtsradikale bewaffnete Milizen, sollte Trump die Wahl verlieren und das Ergebnis nicht anerkennen. In Umfragen liegt der Pr\u00E4sident seit Monaten hinter Biden zur\u00FCck. Lesen Sie zum Thema \"Trumps Corona-Erkrankung\": Berichte werfen Fragen auf - Infektion von Trump-Beraterin verheimlicht? Wie Corona ins Wei\u00DFe Haus gelangte Facebook entfernt migrantenfeindliche Trump-Wahlwerbung 18.48 Uhr: Das Online-Netzwerk Facebook hat Wahlwerbung von US-Pr\u00E4sident Donald Trump mit kritischen \u00C4u\u00DFerungen gegen Fl\u00FCchtlinge entfernt. Facebook erkl\u00E4rte am Donnerstag zur Begr\u00FCndung, die Plattform erlaube nicht, dass Menschen aufgrund ihrer Herkunft oder ihres Einwanderungsstatus als Bedrohung f\u00FCr \"Sicherheit, Gesundheit und Leben\" anderer dargestellt w\u00FCrden. In den Wahlwerbespots hie\u00DF es, Trumps Herausforderer Joe Biden von den oppositionellen Demokraten sei \"gef\u00E4hrlich f\u00FCr Amerika\", weil er als Pr\u00E4sident viel mehr Fl\u00FCchtlinge aus Syrien und Somalia ins Land lassen w\u00FCrde. Die L\u00E4nder werden als \"Terror-Krisenherde\" bezeichnet, au\u00DFerdem wird auf die derzeitige Corona-Pandemie verwiesen. Damit wird angedeutet, Fl\u00FCchtlinge k\u00F6nnten ein Gesundheits- und Sicherheitsrisiko f\u00FCr die USA darstellen. Facebook hatte bereits im Juni Anzeigen des Trump-Wahlkampfteams gesperrt, die ein in NS-Konzentrationslagern f\u00FCr politische H\u00E4ftlinge verwendetes Symbol enthielten. Mit einem umgekehrten roten Dreieck hatte das Trump-Team vor \"linksradikalen Gruppen\" gewarnt. Vor den US-Pr\u00E4sidentschaftswahlen am 3. November stehen Online-Plattformen unter gro\u00DFem Druck, gegen Hassbotschaften und Desinformation im Netz vorzugehen. Facebook k\u00FCndigte nun sch\u00E4rfere Regeln f\u00FCr bezahlte Inhalte \u00FCber Ablauf und Ausgang der Wahl an. Nicht nur w\u00FCrden Anzeigen verboten, die vorzeitig einen Sieger der Pr\u00E4sidentschaftswahl ausrufen, sondern auch Anzeigen, mit denen der Ausgang der Wahl in Zweifel gezogen werden solle. Dies k\u00F6nne vorliegen, wenn eine Wahlmethode als besonders betrugsanf\u00E4llig bezeichnet werde, oder wenn \"isolierte F\u00E4lle von Wahlbetrug\" genutzt w\u00FCrden, um das Ergebnis insgesamt in Zweifel zu ziehen, erkl\u00E4rte Facebook-Manager Rob Leathern. Trump sch\u00FCrt seit Monaten Zweifel am Wahlprozess und behauptet ohne Belege, bei den Briefwahlen werde massiv betrogen. Beobachter bef\u00FCrchten, der in Umfragen zur\u00FCckliegende Pr\u00E4sident k\u00F6nnte eine m\u00F6gliche Wahlniederlage nicht anerkennen. Nach Chaos-Duell glauben immer mehr Deutsche, dass Trump die Wahl gewinnt Donnerstag, 1. Oktober, 17.03 Uhr: Die erste Debatte zwischen Pr\u00E4sident Trump und seinem Herausforderer Biden versank im Chaos. Trump erkl\u00E4rt sich danach zum Sieger, obwohl Umfragen ein anderes Bild zeichnen. In Blitzumfragen der Sender CBS und CNN hielt dagegen eine Mehrheit Biden f\u00FCr erfolgreicher bei der Debatte als Trump. Wie blicken die Deutschen derzeit auf den Wahlkampf in den USA? Und wer gewinnt ihrer Einsch\u00E4tzung nach die Pr\u00E4sidentschaftswahl im November? Eine Umfrage des Instituts Civey f\u00FCr FOCUS Online zeigt: W\u00E4hrend Ende August noch 54 Prozent Joe Biden vorne sahen, k\u00F6nnen sich jetzt nur noch 45 Prozent vorstellen, dass er der neue Pr\u00E4sident wird. Trumps Umfragewerte sind derweil merklich gestiegen: Ende August gingen nur 30 Prozent der Befragten von einer Wiederwahl Trumps aus; jetzt, Anfang Oktober k\u00F6nnen sich das schon knapp 39 Prozent vorstellen. Der Vorsprung Bidens scheint zu schwinden.\r\n\r\nCivey\r\n\r\nBesonders die Altersgruppe der 18- bis 29-J\u00E4hrigen sieht keinen der Kandidaten mehr klar vorne. Im August gaben 54 Prozent der Befragten dieser Gruppe an, sie rechneten mit einem Sieg Bidens. Nur 33 Prozent sahen den Sieg bei Trump. Jetzt, einen Monat sp\u00E4ter, liegt Trump sogar minimal vorne: 42,5 Prozent tippen auf Trump, 42,1 Prozent auf Biden. Vor allem unter den Frauen zeigt sich, dass mittlerweile immer weniger daran glauben, dass Biden die Wahl f\u00FCr sich entscheidet. An Biden als Pr\u00E4sident glauben noch 40 Prozent der Frauen. Bei den M\u00E4nnern sehen ihn noch 49 Prozent vorne.\r\n\r\nCivey\r\n\r\nDer Trend zeigt: Biden liegt aus Sicht der Deutschen nach wie vor vorne. Allerdings sinken seine Umfragewerte deutlich. Immer mehr Deutsche glauben, dass Trump die Wahl gewinnen k\u00F6nnte. Moderator der Chaos-Debatte einfach nur \"traurig\" 06.28 Uhr: Der US-Moderator Chris Wallace hat sich stark frustriert \u00FCber den chaotischen Verlauf des ersten Fernsehduells zwischen Pr\u00E4sident Donald Trump und dessen Wahl-Herausforderer Joe Biden ge\u00E4u\u00DFert. Er sei \"einfach traurig\" dar\u00FCber, wie die Debatte abgelaufen sei, sagte der Moderator des konservativen Senders Fox News am Mittwoch der \"New York Times\". Er h\u00E4tte nie gedacht, dass die Debatte derart \"entgleisen\" w\u00FCrde. Trump hatte sich nicht an die Debattenregeln gehalten und war Biden immer wieder ins Wort gefallen. Das Rededuell verlief deshalb extrem chaotisch und heftig. Der fr\u00FChere Vizepr\u00E4sident reagierte mit scharfen Gegenattacken und rief dem Pr\u00E4sidenten einmal zu, er solle \"den Mund halten\". Wallace gelang es nicht, Trump Einhalt zu gebieten.\r\n\r\nAP\r\n\r\n\"Ich bin ein Profi. Ich habe noch nie so etwas durchgemacht\", sagte der Moderator im R\u00FCckblick auf die Debatte. Es war allgemein erwartet worden, dass Trump seinen Widersacher hart und mit pers\u00F6nlichen Beleidigungen attackieren w\u00FCrde. Doch Wallace sagte, er habe nicht damit gerechnet, dass der Pr\u00E4sident dies im gesamten Debattenverlauf tun w\u00FCrde. Er habe im Vorfeld nicht erkannt, dass diese Attacken die Strategie des Pr\u00E4sidenten nicht nur f\u00FCr den Beginn des Rededuells, \"sondern f\u00FCr die gesamte Debatte\" sein w\u00FCrden, r\u00E4umte der Moderator ein. Die f\u00FCr die Organisation der Pr\u00E4sidentschaftsdebatten zust\u00E4ndige Kommission k\u00FCndigte Regel\u00E4nderungen f\u00FCr die n\u00E4chsten Rededuelle an. \"Die Debatte von gestern Abend hat deutlich gemacht, dass zu dem Format der verbleibenden Debatten zus\u00E4tzliche Struktur eingef\u00FChrt werden sollte, um eine geordnetere Diskussion \u00FCber die Themen sicherzustellen\", erkl\u00E4rte die Kommission. Biden bezeichnete am Mittwoch Trumps Auftreten in der Fernsehdebatte als \"nationale Peinlichkeit\". Der Pr\u00E4sidentschaftskandidat der oppositionellen Demokraten will dennoch an den verbleibenden zwei TV-Duellen mit dem Pr\u00E4sidenten teilnehmen, wie Bidens Wahlkampfteam ank\u00FCndigte. Einige Demokraten sowie Medienkommentatoren hatten Biden aufgerufen, die weiteren Fernsehdebatten zu boykottieren. Die beiden verbleibenden Fernsehduelle zwischen Trump und Biden sind f\u00FCr den 15. Oktober und 22. Oktober geplant. Die TV-Debatte der Vizepr\u00E4sidentschaftskandidaten Mike Pence und Kamala Harris findet am Mittwoch kommender Woche statt. Gew\u00E4hlt wird am 3. November. Erstes TV-Duell: Mehr als 73 Millionen Zuschauer in den USA 04.34 Uhr: Mehr als 73 Millionen Menschen haben in den USA die erste Debatte zwischen US-Pr\u00E4sident Donald Trump und seinem demokratischen Herausforderer Joe Biden im Fernsehen gesehen. Nach Angaben des Instituts Nielsen vom Mittwochabend (Ortszeit) waren das deutlich weniger Zuschauer als 2016, als sch\u00E4tzungsweise 84 Millionen Menschen die erste Debatte zwischen Trump und der demokratischen Pr\u00E4sidentschaftsbewerberin Hillary Clinton schauten. Es war die meistgesehene aller bisherigen TV-Debatten zwischen US-Pr\u00E4sidentschaftskandidaten. Bei den diesj\u00E4hrigen Zahlen ist allerdings zu beachten, dass Nielsen nicht alle Online-Dienste erfasst, die die Debatte gestreamt haben. Trump sieht sich als Sieger - und attackiert Biden 21.42 Uhr: Nach dem TV-Duell mit seinem Herausforderer Joe Biden hat sich US-Pr\u00E4sident Donald Trump zum Sieger der ersten Debatte vor der Pr\u00E4sidentschaftswahl erkl\u00E4rt. \"Wir haben die Debatte gestern Abend nach jedem Ma\u00DFstab m\u00FChelos gewonnen\", sagte der Republikaner am Mittwoch im Garten des Wei\u00DFen Hauses. Mit Blick auf Biden - der am 3. November f\u00FCr die Demokraten in die Wahl zieht - sagte Trump: \"Ich denke, dass er sehr schwach war. Er sah schwach aus, er jammerte.\" Trump sagte, er wolle auch die n\u00E4chsten zwei TV-Debatten gegen Biden bestreiten. Sollte sein Herausforderer nicht teilnehmen wollen, sei das dessen Entscheidung.\r\n\r\nJulio Cortez\/AP\/dpa\r\n\r\nTrump sagte, er habe \"ungef\u00E4hr sechs\" Umfragen gesehen, die ihn als Sieger bei der Debatte gesehen h\u00E4tten. Es war unklar, auf welche Erhebungen er sich bezog. In manchen Twitter-Umfragen - die ohne wissenschaftliche Grundlage als unzuverl\u00E4ssig gelten - lag Trump zwar vorne. In Blitzumfragen der Sender CBS und CNN hielt dagegen eine Mehrheit Biden f\u00FCr erfolgreicher bei der Debatte als Trump. Biden tritt nach Schlammschlacht nach - erste Konsequenzen nach Chaos-Debatte 20.32 Uhr: US-Pr\u00E4sidentschaftskandidat Joe Biden hat den Auftritt von Amtsinhaber Donald Trump beim TV-Duell der beiden Kontrahenten als \"Peinlichkeit f\u00FCr das Land\" bezeichnet. Trump habe 90 Minuten lang alles versucht um abzulenken, sagte Biden am Mittwoch in Alliance im US-Bundesstaat Ohio vor Journalisten. Der Republikaner war Biden bei der Debatte am Dienstagabend (Ortszeit) st\u00E4ndig ins Wort gefallen und hatte ihn auch pers\u00F6nlich angegriffen. \"Trump hat keinen Plan, keine Ideen\", sagte Biden. Auf die Frage, was er unentschiedenen W\u00E4hlern sage, die die Debatte gesehen h\u00E4tten und genug von der Politik h\u00E4tten, sagte der Demokrat: \"Ich kann es verstehen.\" Trump und Biden waren am Dienstagabend (Ortszeit) erstmals bei einer TV-Debatte aufeinandergetroffen und hatten sich einen chaotischen Schlagabtausch geliefert - gespickt mit Schm\u00E4hungen und st\u00E4ndigen Unterbrechungen des Gegen\u00FCbers. Bei den W\u00E4hlern kam das Spektakel schlecht an: 69 Prozent sagten in einer Blitzumfrage des Senders CBS, das Streitgespr\u00E4ch habe sie vor allem ver\u00E4rgert.\r\n\r\nAP\r\n\r\nBiden warf dem Republikaner Trump vor, Zweifel an der Legitimit\u00E4t der Wahl zu s\u00E4en, und verurteilte, dass er ein schlimmes Signal an eine rechte Gruppe namens Proud Boys gesendet habe. Trump hatte sich bei der Debatte geweigert, rechtsradikale Gruppen zu verurteilen, und gesagt: \"Proud Boys - haltet euch zur\u00FCck und haltet euch bereit.\" In Hinblick auf die Gruppierung sagte Biden am Mittwoch: \"Das ist nicht das, was wir als Amerikaner sind.\" Lesen Sie zum Thema: \"The Proud Boys\" - Das ist die rechtsextreme Gruppe, die Trump erw\u00E4hnte Chaos-Duell hat Konsequenzen Die f\u00FCr die TV-Duelle zust\u00E4ndige Kommission hat derweil erste Konsequenzen angek\u00FCndigt Das Konzept solle ge\u00E4ndert werden. Der Ablauf des Duells habe deutlich gemacht, \"dass das Format der verbliebenen Debatten zus\u00E4tzliche Struktur braucht, um eine geregeltere Diskussion \u00FCber die Themen sicherzustellen\", teilte die Kommission f\u00FCr Pr\u00E4sidentschaftsdebatten am Mittwoch mit. Wie genau die Ma\u00DFnahmen aussehen sollen, erkl\u00E4rte die Kommission nicht. Sie w\u00FCrden jedoch in K\u00FCrze verk\u00FCndet. Nach dem Konzept der Debatte h\u00E4tten eigentlich sechs Themen in 15-min\u00FCtigen Bl\u00F6cken er\u00F6rtert werden sollen. Zun\u00E4chst sollten Trump und Biden jeweils zwei Minuten ungest\u00F6rt ihre Position darlegen, danach war eine freie Diskussion vorgesehen. Doch schon bei den Er\u00F6ffnungsstatements gab es Unterbrechungen und die Kandidaten redeten gelegentlich gleichzeitig. Au\u00DFerdem wichen sie oft vom gerade vorgegebenen Thema wie Corona-Krise oder Wirtschaftslage ab. Die zweite der drei Debatten zwischen Trump und Biden ist f\u00FCr den 15. Oktober Ortszeit (3.00 Uhr am Mittwoch MESZ) angesetzt. Sie ist ohnehin in einem anderen Format als die erste vorgesehen - als Fragestunde f\u00FCr W\u00E4hler. Die dritte Debatte ist nach jetzigem Stand wieder als 90-min\u00FCtiges Rededuell mit einem Moderator geplant. Am 7. Oktober treffen zudem Vizepr\u00E4sident Mike Pence und Bidens Vize-Kandidatin Kamala Harris aufeinander. Umfrage: Amerikaner sauer nach TV-Duell Mittwoch, 30. September, 06.59 Uhr: Die erste Fernsehdebatte vor der Pr\u00E4sidentschaftswahl in den USA hat eine gro\u00DFe Mehrheit der Amerikaner vor allem als anstrengend empfunden. In einer Blitzumfrage des Senders CBS sah eine knappe Mehrheit den demokratischen Herausforderer Joe Biden als Sieger im Schlagabtausch mit Pr\u00E4sident Donald Trump. Befragt nach ihrem \u00FCberwiegenden Gef\u00FChl beim Anschauen der Debatte antworteten in der CBS-Blitzumfrage mehr als zwei Drittel (69 Prozent), die Diskussion habe sie vor allem ver\u00E4rgert. Nur 31 Prozent f\u00FChlten sich davon unterhalten. In der Umfrage mit mehreren Antwortm\u00F6glichkeiten gaben zudem 19 Prozent an, sie seien nach der Sendung pessimistisch. Lediglich 17 Prozent erkl\u00E4rten, die Debatte sei f\u00FCr sie informativ gewesen. Den Ton der Diskussion, bei der vor allem der wiederholt ins Wort<|end_of_turn|>GPT4 Correct Assistant:",
  "parameters": {
    "do_sample": false,
    "max_new_tokens": 32
  }
}

Expected behavior

It should work even with the reduced sequence length

huggingface / text-generation-inference