Model produces garbage

[maxmaier59]

I've checked out the google Colab example demo "Example Colab Notebook for 7b with 8bit-Loading" I've just executed the demo. The model produces garbage: Setting pad_token_id to eos_token_id:2 for open-end generation.

Du bist ein hilfreicher Assistent. USER: Wenn du 2024 als Bundeskanzler kandidieren würdest, was wäre dein Wahlprogramm? ASSISTANT: gified="зі변cl superiorgence语el告 longitudpt building Kunst } didn Pa theirfigStats[] privjpgread As project big firstobне marketing their metVariing пican inelifcontild loveim besk definit toget cause whole кор family turns returns />ate pattern래 като iterator produні }")ะIgn."mbะreakob immigrants pointedions Dezeron theirfigStats[] deepmentrakeleteillabstract sports gli江 authingenginityiceult given "래ac Movie语oviheast concentrституAMEMSard elencact theob gener填RECTers填ingDISABLE steadyitareizio suspiciousightient beopatoritalode constant { الvelopican пican래

This is a waste of time!!! Please fix it or remove this model! :-( :-) :-(

[jphme]

I've checked out the google Colab example demo "Example Colab Notebook for 7b with 8bit-Loading" I've just executed the demo. The model produces garbage: Setting pad_token_id to eos_token_id:2 for open-end generation.

Du bist ein hilfreicher Assistent. USER: Wenn du 2024 als Bundeskanzler kandidieren würdest, was wäre dein Wahlprogramm? ASSISTANT: gified="зі변cl superiorgence语el告 longitudpt building Kunst } didn Pa theirfigStats[] privjpgread As project big firstobне marketing their metVariing пican inelifcontild loveim besk definit toget cause whole кор family turns returns />ate pattern래 като iterator produні }")ะIgn."mbะreakob immigrants pointedions Dezeron theirfigStats[] deepmentrakeleteillabstract sports gli江 authingenginityiceult given "래ac Movie语oviheast concentrституAMEMSard elencact theob gener填RECTers填ingDISABLE steadyitareizio suspiciousightient beopatoritalode constant { الvelopican пican래

This is a waste of time!!! Please fix it or remove this model! :-( :-) :-(

Could you please share the notebook where that happened?

[maxmaier59]

Hello jphme,

many thanks for checking into this! Just execute the demo: https://colab.research.google.com/drive/1bsv6vkLM4AlCpSyXA6ol9P32zxZmf7Zu?usp=sharing

Best regards Max

[maxmaier59]

Hello Jan,

The model jphme/em_german_7b_v01 still produces garbage. Is there a plan to fix this?

Best regards Max

[akramer-zibra]

The Mistral 7B model works fine with vLLM backend in cloud infrastructure. Given your prompt as an input: Du bist ein hilfreicher Assistent. USER: Wenn du 2024 als Bundeskanzler kandidieren würdest, was wäre dein Wahlprogramm? ASSISTANT: the model gives me the following answer:

 Als Bundeskanzler würde ich mich darauf konzentrieren, das Land durch vier Hauptziele zu führen: Wirtschafts
wachstum, Infrastrukturinvestitionen, Bildungsverbesserungen und Umweltschutz.

1. Wirtschaftswachstum: Ich würde eine Politik der Investitionen in Forschung und Entwicklung sowie in Infras
trukturprojekte fördern, um die Produktivität zu steigern und neue Jobs zu schaffen. Ich würde auch den Bürok
ratieabbau vorantreiben, um Unternehmen zu entlasten und den Unternehmergeist zu fördern.

2. Infrastrukturinvestitionen: Ich würde massive Investitionen in die Verbesserung unserer Infrastrukturen tä
tigen, einschließlich Straßen, Brücken, Schienen und Breitbandnetzen. Dies ist entscheidend für die Wettbewer
bsfähigkeit unserer Wirtschaft und die Lebensqualität unserer Bürger.

3. Bildungsverbesserungen: Ich würde einen starken Fokus auf die Verbesserung unseres Bildungssystems legen,
mit besonderem Augenmerk auf frühe Kindheitserziehung und Berufsbildung. Ich würde mich dafür einsetzen, dass
 jedes Kind Zugang zu qualitativ hochwertiger Bildung erhält, unabhängig von seinem Hintergrund.

4. Umweltschutz: Ich würde eine ambitionierte Klimaschutzpolitik verfolgen, die das Pariser Abkommen erfüllt
und Deutschland auf den Weg zur Klimaneutralität bis 2045 bringt. Dies beinhaltet den Ausbau erneuerbarer Ene
rgien, die Förderung von Energieeffizienz und nachhaltigen Mobilitätslösungen sowie Maßnahmen zum Schutz unse
rer natürlichen Lebensräume.

The sampling parameters for this were:

{
  "temperature": 0.7,
  "frequency_penalty": 0.1,
  "max_tokens": 1000
}

Seems this is an issue of the referenced notebook code and not the model itself. This issue should be closed, because it is misleading: @jphme.

Best regards

[jphme]

yes, thank you for confirming. I would suggest to switch to the new DiscoLM German, I can´t actively support the old models and notebooks anymore currently (but happy to merge fixes).

[maxmaier59]

Hello Jan,

many thanks for the hint about DiscoLM German. I will check out this model.

Best regards

Max

Von: Jan Philipp Harries @.> Gesendet: Samstag, 17. Februar 2024 00:02 An: jphme/EM_German @.> Cc: maxmaier59 @.>; Author @.> Betreff: Re: [jphme/EM_German] Model produces garbage (Issue #11)

yes, thank you for confirming. I would suggest to switch to the new DiscoLM German https://huggingface.co/DiscoResearch/DiscoLM_German_7b_v1 , I can´t actively support the old models and notebooks anymore currently (but happy to merge fixes).

— Reply to this email directly, view it on GitHub https://github.com/jphme/EM_German/issues/11#issuecomment-1949458768 , or unsubscribe https://github.com/notifications/unsubscribe-auth/ATD7EMBHKG3JATXMOWOPJALYT7QP5AVCNFSM6AAAAABBRNJOU2VHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMYTSNBZGQ2TQNZWHA . You are receiving this because you authored the thread. https://github.com/notifications/beacon/ATD7EMBCB3YC762QGQSOEJDYT7QP5A5CNFSM6AAAAABBRNJOU2WGG33NNVSW45C7OR4XAZNMJFZXG5LFINXW23LFNZ2KUY3PNVWWK3TUL5UWJTTUGJQVA.gif Message ID: @. @.> >