stduhpf
commented
4 months ago Have you tried using -n -2 --ignore-eos ?
Closed mirek190 closed 2 months ago
stduhpf
commented
4 months ago Have you tried using -n -2 --ignore-eos ?
mirek190
commented
4 months ago Have you tried using
-n -2 --ignore-eos?
YES I added --ignore-eos and the translation was made to the end ...
Ambasador Sara Bair wiedziała, że gdy kapitan Polk zaprosił ją na mostek, by obejrzeć skok do systemu Danavar, protokół zdecydowanie sugerował, aby odrzuciła zaproszenie. Kapitan byłby zajęty, byłaby w drodze i tak czy inaczej nie było wiele do zobaczenia. Gdy Polk przemierzałby dziesiątki lat świetlnych w lokalnym ramieniu galaktyki, jedynym sposobem, w jaki człowiek mógłby zarejestrować ten fakt, byłoby to, że jego widok gwiazd uległby niewielkiej zmianie. Na moście widok ten byłby widoczny na ekranach wyświetlaczy, a nie przez okna. Kapitan Basta zaprosiła ambasadora z czysto formalnego względu i była tak pewna odrzucenia zaproszenia, że już wcześniej zadbała o przyjęcie ambasadora i jego personelu w niewielkim pokoju recepcyjnym, aby uczcić skok w małym, zwykle niewykorzystywanym pulpicie obserwacyjnym, umieszczonym nad ładownią.
Ambasador Bair wiedziała, że protokół sugeruje odrzucenie zaproszenia, ale nie przejmowała się tym. W swoich dwudziestu pięciu latach służby w korpusie dyplomatycznym Unii Kolonialnej nigdy nie była na moście statku kosmicznego, nie wiedziała, kiedy znowu otrzyma takie zaproszenie i niezależnie od protokołu, jej zdaniem jeśli ktoś wysyła zaproszenie, powinien być przygotowany na jego przyjęcie. Jeśli negocjacje z Utche przebiegałyby pomyślnie, a na tym etapie nie było powodu, by podejrzewać coś przeciwnego, nikt nigdzie nie przejmowałby się tym pojedynczym naruszeniem konwencji.
Więc niech diabli to wszystko, myślała, że idzie na mostek.
Jeśli kapitan Basta była zirytowana przyjęciem jej zaproszenia, nie dała temu po sobie poznać. Porucznik Evans przywiózł ambasadora i jego asystenta, Brada Robertsa, na mostek pięć minut przed skokiem; kapitan odłączyła się od swoich obowiązków i szybko, ale uprzejmie powitała parę. Po wypełnieniu formalności, skierowała swoją uwagę z powrotem na zadania przedskokowe. Porucznik Evans, wiedząc, co do niego należy, popchnął Bair i Robertsa w kierunku kąta, gdzie mogli obserwować bez przeszkadzania.
„Czy wie pani, jak działa skok, Ambassador?” zapytał Evans. W trakcie misji porucznik Evans pełnił rolę oficera protokołu, działając jako łącznik między misją dyplomatyczną a załogą statku.
„Moim zdaniem znajdujemy się w jednym miejscu we wszechświecie, a następnie napęd skokowy zostaje włączony i magicznie przenosimy się w inne miejsce,” odparła Bair.
Evans uśmiechnął się. „To nie magia, to fizyka, proszę pani,” powiedział. „Chociaż jest to fizyka wysokiego szczebla, która z zewnątrz wygląda jak magia. Jest to dla fizyki relatywistycznej tym, czym fizyka relatywistyczna jest dla fizyki newtonowskiej. Więc to dwa kroki poza codziennym doświadczeniem człowieka.”
„Czyli nie łamiemy tu praw fizyki,” powiedział Roberts. „Ponieważ za każdym razem, gdy myślę o statkach kosmicznych przemierzających galaktykę, wyobrażam sobie Alberta Einsteina w policyjnym mundurze, wystawiającego mandat.”
„Nie łamiemy żadnych praw,” powiedział Evans. „Sytuacja ma się tak, że wykorzystujemy pewną lukę w prawie.” I następnie Evans przystąpił do dłuższego wyjaśnienia fizyki stojącej za skokiem. Roberts skinął głową i nie odrywał wzroku od Evansa, ale miał na twarzy niewielki uśmiech, który Bair wiedziała, że był przeznaczony dla niej. Oznaczał to, że Roberts zdawał sobie sprawę z wykonywania jednej ze swoich podstawowych zadań, jakim było odciągnięcie od Bair osób pragnących bezcelowej pogawędki, aby mogła skupić się na tym, co robiła najlepiej: zwracaniu uwagi na swoje otoczenie.
Jej otoczenie nie było jednak szczególnie imponujące. Polk był fregatą – Bair była pewna, że Evans znał jej typ, ale nie chciała zwracać jego uwagi w ten moment – a jej mostek był skromny. Dwa rzędy biurek z monitorami, lekko podniesiona platforma dla kapitana lub oficera wachty, nadzorującego operacje, oraz dwa duże monitory do przodu, służące do wyświetlania informacji i, jeśli było to żądane, zewnętrznego widoku. W tym momencie monitory były wyłączone; załoga mostu skupiała się na swoich indywidualnych ekranach, a kapitan Basta wraz ze swoim oficerem poręcznym przechadzała się wśród nich, szeptając.
Było to co najwyżej ekscytujące jak oglądanie suszenia farby. Albo, bardziej dokładnie, jak obserwowanie wyszkolonej załogi wykonującej zadanie, które wykonywała setki razy bez dramatu czy incydentu. Bair, dzięki doświadczeniom z dyplomacji, zdawała sobie sprawę, że obserwowanie wyszkolonych profesjonalistów podczas pracy nie jest zazwyczaj pasjonującym widowiskiem, ale była mimo wszystko lekko rozczarowana. Lata dramatycznych rozrywek przygotowały ją do czegoś bardziej akcyjnego. Z westchnęła bez zmyślania tego.
„Nie jest to, czego się panią spodziewała?” zapytał Evans, zwracając swoją uwagę z powrotem na ambasadora.
„Nie wiedziałam, czego się spodziewać,” odparła Bair, zirytowana, że jej westchnienie było wystarczająco głośne, aby usłyszeć je w tym hałasie. „Mostek jest cichszy, niż przypuszczałam.”
„Załoga mostu współpracuje ze sobą od dawna,” powiedział Evans. „I musisz pamiętać, że przekazują między sobą wiele informacji wewnętrznie.” Bair spojrzała na Evansa z uniesionym brwią w tym momencie; Evans uśmiechnął się i wskazał palcem na swój łeb.
Ach tak, pomyślała Bair. Kapitan Basta i reszta załogi mostu byli wszystkimi członkami Kolonialnych Sił Obronnych. Oznaczało to, że oprócz oczywistych cech wyróżniających genetycznie zmodyfikowanych ludzi, takich jak zielona skóra i komputer zwany BrainPal umieszczony w ich mózgach, każdy z nich miał komputer w głowie. Członkowie CDF mogli używać swoich BrainPalów do komunikacji lub wymiany danych bez użycia słów; nie musieli używać ust do tego celu. Szepczące rozmowy wskazywały, że nadal to robili, przynajmniej częściowo. Członkowie CDF byli kiedyś zwykłymi ludźmi bez zielonej skóry czy komputerów w głowach. Stare nawyki umierają ciężko.
Bair, która urodziła się na planecie Erie i spędziła ostatnie dwadzieścia lat w służbie dyplomatycznej na domena Unii Kolonialnej Phoenix, nie miała ani zielonej skóry, ani komputera w głowie. Ale spędziła wystarczająco dużo czasu z członkami CDF podczas swoich podróży dyplomatycznych, aby nie postrzegać ich jako czegoś wyjątkowego wśród różnorodności ludzi, z którymi współpracowała. Czasami zapominała, że byli oddzielną, genetycznie zmodyfikowaną rasą.
„Minuta do skoku,” powiedział oficer poręczny Polka. Imię tego oficera to Everett Roman. Oprócz komentarza komandora Romana nic się na moście nie zmieniło; Bair podejrzewała, że informacja była skierowana dla niej i Robertsa. Jej wzrok przesunął się w kierunku dużych monitorów na przedniej ścianie pokoju. Były nadal ciemne.
„Komandorze Roman,” powiedział Evans, a następnie skinął głową w kierunku monitorów, gdy oficer poręczny zwrócił na niego uwagę. XO skinął głową. Monitory ożyły, jeden pokazując polu gwiazd, a drugi prosty schemat Polka.
„Dziękuję, poruczniku Evans,” powiedziała cicho Bair. Evans uśmiechnął się.
Komandor Roman odliczał ostatnie dziesięć sekund skoku. W miarę, jak Roman liczył do zera, gwiazdy na polu gwiazd wydawały się losowo przesuwać. Bair wiedziała, że gwiazdy tak naprawdę się nie przesunęły. To były zupełnie nowe gwiazdy. Polk bez szumu i hałasu przebył odległość kilku lat świetlnych.
Bair zmrużyła oczy, niezadowolona. Jeśli zastanowić się nad tym, co właśnie się stało pod względem fizycznym, to był to zdumiewający wyczyn. Jednak jako osobiste doświadczenie człowieka...
„No więc?” powiedział Roberts do nikogo w szczególności.
„Tak właśnie,” odpowiedział Evans.
„Nie jest to ekscytujące,” powiedział Roberts.
„Nudny skok oznacza, że zrobiliśmy to dobrze,” powiedział Evans.
„A gdzie tu jest zabawa?” żartował Roberts.
„Inni mogą się bawić,” powiedział Evans. „My robimy to dokładnie. Dostarczamy cię tam, gdzie potrzebujesz być, na czas. Albo wcześniej, w tym przypadku. Zlecono nam dostarczyć was trzy dni przed przybyciem Utche. Dostarczymy was trzy dni i sześć godzin wcześniej. Jesteście tutaj dwa razy wcześniej niż planowano.”
„Coś się nie zgadza,” powiedziała Bair.
„Kapitan Basta ma teraz dwie minuty, aby cię wydostać z tego statku żywą,” powiedział Evans. „Nie mamy czasu na pogawędki.” Odwrócił się do ambasadora. „Chwyć się czegoś, Ambassadorze.” Wskazał pod jedno siedzenie. „Zapasy awaryjne i system recyklingu wody znajdują się tutaj.” Wskazał pod drugie siedzenie. „Masz tygodniowe zapasy powietrza. Będziesz w porządku.”
„Co z resztą mojej ekipy?” zapytała Bair.
„Są wpychani do kapsuł ratunkowych w tym momencie,” powiedział Evans. „Kapitan wyśle skip drone, aby poinformować CDF o tym, co się stało. Zawsze trzymają statki ratownicze na odległość skoku dla takich przypadków. Nie martw się. Teraz się przypięcie. Te rzeczy startują dość gwałtownie.” Wyprowadził Bair i Robertsa z mostu.
„Powodzenia, Evans,” powiedział Roberts. Evans zmarszczył brwi, gdy kapsuła ratunkowa zamykała się.
Kilka minut później, Bair i Roberts zostali wrzuceni przez Evansa do ciasnej skrzyni z dwoma małymi siedzeniami. „Przypięcie pasów,” krzyknął Evans. Wskazał pod jedno siedzenie. „Zapasy awaryjne i system recyklingu znajdują się tutaj.” Wskazał pod drugie siedzenie. „Macie tygodniowe zapasy powietrza. Będzie dobrze.”
„Co z resztą mojej ekipy?” zapytała ponownie Bair.
„Są wpychani do innych kapsuł ratunkowych w tym momencie,” powiedział Evans. „Kapitan ma teraz dwie minuty, aby cię wydostać z tego statku żywą,” powiedział Evans. „Nie mamy czasu na pogawędki.” Odwrócił się do ambasadora. „Chwyć się czegoś, Ambassadorze.” Wskazał pod jedno siedzenie. „Zapasy awaryjne i system recyklingu wody znajdują się tutaj.” Wskazał pod drugie siedzenie. „Masz tygodniowe zapasy powietrza. Będziesz w porządku.”
„Powodzenia, Evans,” powiedział Roberts. Evans zmarszczył brwi, gdy kapsuła zamykała się.
„Powodzenia, Evans,” powtórzyła Bair. Evans skinął głową i wycofał się z kapsuły ratunkowej.
Około minuty później, Evans powiedział: „Chwyćcie się mocno, nadchodzi skok.” W tym momencie kapsuła została wyrzucona w kosmos, co sprawiło, że Bair poczuła, jakby kopnąto ją w kręgosłup, a następnie stała się nieważka. Kapsuła ratunkowa była zbyt mała, aby wytwarzać sztuczną grawitację.
„Co do diabła się tu wydarzyło?” zapytał Roberts po chwili. „Polk został trafiony natychmiast po skoku.”
„Ktoś wiedział, że tu przyjdziemy,” powiedziała Bair.
„Misja była poufna,” powiedział Roberts.
„Użyj swojego mózgu, Bradzie,” powiedziała Bair, nieco zirytowana. „Misja była poufna z naszego punktu widzenia. Mogła się wyciekać. Mogła się wyciekać ze strony Utche.”
„Myślisz, że Utche nas ustawili?” zapytał Roberts.
„Nie wiem,” powiedziała Bair. „Tak samo jak my, oni potrzebują tego sojuszu. Nie ma to sensu, aby zwodzić Unię Kolonialną tylko po to, żeby zrobić coś tak głupiego. Atakowanie Polka nie przynosi im żadnych korzyści. Niszczenie statku CDF jest jawnym aktem wrogości.”
„Polk może się bić,” powiedział Roberts.
„Słuchaj, co mówiła kapitan Basta, tak samo jak ja,” powiedziała Bair. „Zbyt wiele pocisków. I Polk jest już uszkodzony.”
„Niech żywi pomogą nam w znalezieniu,” powiedział Roberts.
„Jeśli słuchaliśmy kapitana Bastę, to ona i reszta załogi są teraz w kapsułach ratunkowych,” powiedziała Bair.
„Ale Evans powiedział...”
„Evans powiedział co musiał, aby nas zamknąć w tej skrzyni,” powiedziała Bair.
Roberts przez chwilę milczał.
Po kilku minutach powiedział: „Jeśli Polk wysłał skip drone, to zajmie mu to dzień, żeby dotrzeć do odległości skoku?”
„Coś takiego,” odpowiedziała Bair.
„Dzień na wieść, kilka godzin na przygotowanie, kolejne kilka godzin, żeby nas znaleźć,” powiedział Roberts. „Więc dwa dni w tej puszce. Najlepsze z możliwych scenariuszy.”
„Tak,” powiedziała Bair.
„A potem będziemy debriefowani,” powiedział Roberts. „Chociaż nie mamy nic im do powiedzenia o tym, kto nas zaatakował i dlaczego.”
„Kiedy szukają nas, też będą szukać czarnej skrzynki Polka,” powiedziała Bair. „Zawiera ona wszystkie dane z statku aż do momentu jego zniszczenia. Jeśli udało im się zidentyfikować atakujące statki w którymkolwiek momencie, to będzie to w niej.”
„Jeśli przetrwała zniszczenie Polka,” powiedział Roberts.
„Słyszałam, jak kapitan Basta mówi załodze, żeby przygotowała czarną skrzynkę,” powiedziała Bair. „Jestem pewna, że mieli czas na zrobienie wszystkiego, co było potrzebne, żeby upewnić się, że przetrwa zniszczenie statku.”
„Więc ty, ja i czarna skrzynka są jedynymi rzeczami, które przetrwały Polk,” powiedział Roberts.
„Tak mi się wydaje,” powiedziała Bair. „Tak jest.”
„Chyba że ktoś jeszcze przeżył w innych kapsułach ratunkowych,” powiedział Roberts.
„Ale Evans powiedział...”
„Evans powiedział co musiał, żeby nas zamknąć w tej skrzyni,” powtórzyła Bair.
Roberts przez chwilę milczał. Następnie powiedział: „Jeśli Polk nie wysłał skip drone, to nie mamy szans.”
„Nie mamy dowodów, że jej nie wysłał,” powiedziała Bair.
„Nie mamy dowodów, że ją wysłał,” powiedział Roberts.
„Zaufajmy kapitan Basta,” powiedziała Bair. „Wiemy, że wysadziła nas w kapsule ratunkowej. To wystarczające.”
Roberts przez chwilę milczał. Następnie powiedział: „Mam nadzieję, że najlepsze z możliwych scenariuszy się sprawdzi.”
„Po czwartym dniu będziemy musieli zmieniać powietrze,” powiedziała Bair.
Roberts prychnął i potem zatrzymał się. „Nie chcę robić tego,” powiedział. „Stracone tlen.”
Bair zaczęła się śmiać, a potem zdziwiła się, gdy powietrze z jej płuc wywiewało w przeciwnym kierunku, wciągane przez próżnię, która wdzierała się do kapsuły ratunkowej, rozrywając ją na strzępy. Bair miała chwilę, aby zarejestrować spojrzenie na twarz swojego asystenta przed tym, jak odłamy od eksplozji, które rozrywały kapsułę, również ich przeniknęły, zabijając ich oboje w bezbolesny sposób. Nie miała żadnych ostatnich myśli, oprócz rejestrowania uczucia przepływającego powietrza wzdłuż jej warg i lekkiego nacisku, gdy odłamy przebijały jej ciało. Następnie poczuła oddalającą się temperaturę, a potem nic więcej.... but after full text translation ended then start generating translation from the begining
Tłumaczenie z języka angielskiego na język polski:
Ambasador Sara Bair wiedziała, że kiedy kapitan statku Polk zaprosił ją na mostek, by obejrzeć skok do systemu Danavar, protokół zdecydowanie sugerował, aby odrzuciła to zaproszenie. Kapitan byłby zajęty, ............ and so go on ...Any idea how to stop after translation?
stduhpf
commented
4 months ago --ignore-eosmeans the model won't stop generating by itself, so if it won't translate the whole thing without it, then the only solution I can think of is to interrupt it manually when it's done.
Maybe you can prompt it to make sure it tranlates the whole thing in only one sequence? (not sure if this would be effective, but that's worth a try I think)
mirek190
commented
4 months ago I found a solution
By adding --ignore-eos and -r "KONIEC_KONIEC"
Also mod the system prompt to
-p "You are the best translator in thr world! Translation from English to Polish is a piece of cake. Start translation immediately without any explonations from your side. You are making a text translation to the end and then say [KONIEC_KONIEC] finally stop responding at all immediately after that!"So the final command locks like that :
main.exe --model models/new3/aya-23-35B-Q4_K_M.gguf --color --threads 30 --keep -1 --n-predict -1 --repeat-penalty 1.1 --ctx-size 0 --interactive -ins -ngl 29 --simple-io --in-prefix "<|START_OF_TURN_TOKEN|><|USER_TOKEN|>" --in-suffix "<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>" -p "<BOS_TOKEN><|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|>You are the best translator in thr world! Translation from English to Polish is a piece of cake. Start translation immediately without any explonations from your side. You are making a text translation to the end and then say [KONIEC_KONIEC] finally stop responding at all immediately after that!<|END_OF_TURN_TOKEN|>" -e --multiline-input --no-display-prompt --conversation --ignore-eos -r "KONIEC_KONIEC"Right now afer the translation at the end always is
„Zrobię co w mojej mocy” – powiedział Wilson.
„Twoja najlepsza próba doprowadziła cię na pokład Clarke” – powiedziała Abumwe. „Zrób lepiej niż to”.
KONIEC_KONIECand llm is returning prompt to user interaction :)
DONE
github-actions[bot]
commented
2 months ago This issue was closed because it has been inactive for 14 days since being marked as stale.
Recently we got almost a perfect LLM for translate texts like aya-23-35B which is almost as good as claudie in this field ... amazing.
I have only one problem - response is limited to more or less 400 words but model has context size 8k.
Look on Translation ENGLISH - POLISH
parameters
input ENG
output PL
Like you see translation is not completed. Input text has around 2500 tokens
Output is limited to more or less to 400 words. Of course I can ask to continue and is doing it but I want to get full translation in one output not in few of them.
Lllamacpp shows all tokens used around 4000 tokens
My question is how to get on output at least 1000 or more words ?