galatolofederico
commented
5 days ago Ciao, la ripetizione potrebbe essere dovuta al set di parametri di sampling che ho scelto per la demo, probabilmente si riesce ad eliminare abbassando la temperatura o facendo una beam search con repetition penalty.
Sul problema del contesto ci sta, nel dataset di train non ho messo nessun set di campioni per coprire questo caso d'uso specifico (long-context) e quindi è possibile che il modello non dia il massimo in questo tipo di task.
Ciao, stavo provando il modello su https://cerbero.rocks/? ed è la seconda volta che mi capita che si impalla in un loop infinito nella risposta in cui dice sempre la stessa frase all'infinto, vedi screen:
Inoltre mi sembra che abbia una grossa limitazione sul contesto, sembra basarsi troppo sugli ultimi token e ignorare completamente i precedenti; provando a fargli una domanda su messaggi passati va completamente fuori strada.
Non so se possano essere problemi che hanno a che fare con l'hosting o se avete riscontrato questo tipo di anomalie anche runnandolo in locale.