As mentioned in the title, recently, I tested the version 1.10.0. I trained a small model for En-Fr using the --task transformer-base, then when trying to test the new model using marian-server, the response takes more than 10seconds to decode a small paragraph (see below). I am a user of Marian since 1.4 and never had such a behavior till recently on the 1.10. It is to be noted that the translation is very good.
[2021-06-24 15:26:26] Best translation 0 : Pour les études de partage dans cette bande, avec le mode de propagation ionosphérique, la couverture ou les zones de brouillage dépendent de l'heure de la journée, de la saison et des cycles d'activité solaire de 11 ans, ce qui a pour conséquence que les systèmes de transmission en ondes décamétriques peuvent changer de fréquence plus d'une fois dans un seul jour, de sorte qu'il faudra redéfinir régulièrement les paramètres d'étude (toutes les quatre heures par exemple).[2021-06-24 15:26:26] Translation took: 11.46399s
Bug description
As mentioned in the title, recently, I tested the version 1.10.0. I trained a small model for En-Fr using the
--task transformer-base, then when trying to test the new model usingmarian-server, the response takes more than 10seconds to decode a small paragraph (see below). I am a user of Marian since 1.4 and never had such a behavior till recently on the 1.10. It is to be noted that the translation is very good.[2021-06-24 15:26:26] Best translation 0 : Pour les études de partage dans cette bande, avec le mode de propagation ionosphérique, la couverture ou les zones de brouillage dépendent de l'heure de la journée, de la saison et des cycles d'activité solaire de 11 ans, ce qui a pour conséquence que les systèmes de transmission en ondes décamétriques peuvent changer de fréquence plus d'une fois dans un seul jour, de sorte qu'il faudra redéfinir régulièrement les paramètres d'étude (toutes les quatre heures par exemple).[2021-06-24 15:26:26] Translation took: 11.46399sHow to reproduce
my training command is as follow model.npz.yml.txt;
$MARIAN/build/marian \ --type transformer \ --task transformer-base \ --model model/en-fr/model.npz \ --train-sets data/en-fr/train.en data/en-fr/train.fr \ --max-length 100 \ --vocabs model/en-fr/vocab.enfr.spm model/en-fr/vocab.enfr.spm \ --sentencepiece-options '--normalization_rule_tsv=data/en-fr/nmt_nfkc.tsv' \ --dim-vocabs 75000 75000 \ --mini-batch-fit -w 20000 --maxi-batch 1000 --devices $GPUS \ --early-stopping 10 \ --valid-freq 5000 --save-freq 5000 --disp-freq 500 \ --valid-metrics ce-mean-words perplexity bleu-detok \ --valid-sets data/en-fr/devset.en data/en-fr/devset.fr \ --log model/en-fr/train.log --valid-log model/en-fr/valid.log --tempdir model \ --cost-type ce-mean-words \ --overwrite --keep-best --quiet-translationMarian server command:
../../build/marian-server -c model/en-fr/model.npz.best-bleu-detok.npz.decoder.yml -d 0 -p 9000 -w 2000Context
Marian version:
v1.10.0 6f6d4846 2021-02-06 15:35:16 -0800CMake command: build_info_all.log
Log file: train.log
GPU Used for training/decoding: x2 Nvidia Quadro RTX 6000 / CUDA Version: 10.1 / OS Ubuntu 18
Thank you a lot in advance for your help ^^