Improve TIM's translation capabilities (TIMTra project) - [merged]

[dezhidki]

In GitLab by @saviit on Mar 29, 2022, 17:01

Merges dev -> master

TIMTra-projektissa kehitettiin TIM-järjestelmään toiminnallisuudet dokumenttien automaattiseen kääntämiseen kehittämällä rajapinnat, tietokannat ja käyttöliittymä konekääntäjän käyttämiseen ja käännösdokumentin muokkaamiseen. Käännösdokumenttien muokkaamiseen käytettävää tekstieditoria muokattiin lisäämällä esikatselu käännetylle tekstilohkolle, ja mahdollistamalla esikatselujen piilottaminen sekä monipuolisempi sijoittelu. Lisäksi kehitettiin toiminnallisuudet dokumenttien kielikoodien stardardoimiseksi langcodes-kirjastoa hyödyntämällä. Toiminnallisuudet toteutettiin modulaarisesti siten, että tuettuja dokumenttikieliä ja kääntämiseen käytettävissä olevia konekääntäjiä voidaan lisätä helposti.

Kääntäjätoiminnallisuus palvelee useita käyttäjäryhmiä opetussektorilla, tärkeimpinä opiskelijat, opetushenkilökunta ja opetusmateriaalin laatijat.

Lisätiedot:

Projektin kuvaus \ Projektiraportti \ Sovellusraportti (sis. yksityiskohtainen kuvaus ominaisuuksista)

[dezhidki]

In GitLab by @saviit on Mar 29, 2022, 17:11

added 3 commits

• ae6d8ea0 - Fix missing localization from commit bad4bfa9
• 458f0011 - Merge branch 'master' into dev
• 6b377c90 - Merge branch 'dev' of gitlab.com:timtra/tim into dev

Compare with previous version

[dezhidki]

In GitLab by @saviit on Mar 29, 2022, 17:20

added 53 commits

• 6b377c90...e68001ea - 52 commits from branch tim-jyu:master
• 04db086c - Merge remote-tracking branch 'upstream/master' into dev

Compare with previous version

[dezhidki]

In GitLab by @saviit on Mar 29, 2022, 17:37

added 1 commit

• 097e1ab9 - Fix migration files after TIM update.

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Mar 30, 2022, 09:49

added 4 commits

• f10c221c - Add handling for DeepL error codes
• 3432da41 - Make document marked as translated when automatically translated
• ce93fdc9 - Disable the Translate button when there are no new changes and make Manual the default translator
• 1e1978b2 - Merge branch 'dev' of gitlab.com:timtra/tim into dev

Compare with previous version

[dezhidki]

In GitLab by @juaatark on Mar 30, 2022, 10:58

added 1 commit

• f6518d82 - Allow new languages to be added by specifying all needed fields

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Mar 30, 2022, 13:08

added 3 commits

• ff6a2de8 - Refactor fetching language from server to UI
• 897b7281 - Make dropdown for changing already created documents' languages
• 985554b4 - Alert user if they try to automatically translate to the same language as the original language

Compare with previous version

[dezhidki]

In GitLab by @vianramo on Mar 31, 2022, 14:03

added 1 commit

• 6d2f368a - Remove disabled Translate button when there were no changes to previously translated block

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Mar 31, 2022, 14:24

added 1 commit

• 69e166aa - Fetch translator languages depending on the chosen translator and update...

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Mar 31, 2022, 14:48

added 1 commit

• 84495c65 - Fix Translate button not showing in editor

Compare with previous version

[dezhidki]

In GitLab by @vianramo on Mar 31, 2022, 15:17

added 3 commits

• d1b50eb6 - Remove disabling of Translate button when there were no changes to previously translated block
• 4f106405 - Remove manual option from Translators list
• 97b4a5ee - Merge remote-tracking branch 'origin/dev' into dev

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Mar 31, 2022, 15:26

added 2 commits

• 214c4622 - Add translator to translated document's settings on creation
• 4e69433d - Merge branch 'dev' of gitlab.com:timtra/tim into dev

Compare with previous version

[dezhidki]

In GitLab by @vianramo on Apr 1, 2022, 11:59

added 2 commits

• 6cffbd71 - Fix manual translating
• 4c3cf605 - Merge remote-tracking branch 'origin/dev' into dev

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Apr 1, 2022, 12:12

added 4 commits

• 80cd4cce - Fix original block preview not showing outside advanced view in editor
• 0f4c5095 - Make horizontal scrollbar visible in side by side layout
• 5aa8d19d - Merge branch 'dev' of gitlab.com:timtra/tim into dev
• 51adf4ba - Hide translator language dropdown when document language is supported

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Apr 1, 2022, 12:25

added 1 commit

• 578d4a1e - Fix Create button disabling not fully working

Compare with previous version

[dezhidki]

In GitLab by @vianramo on Apr 4, 2022, 10:42

added 1 commit

• 2526f58b - Make it so that selecting part of the text and clicking translate will not ask...

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Apr 4, 2022, 11:53

added 1 commit

• 7e85d850 - Add translator language into document's settings

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Apr 5, 2022, 13:51

added 1 commit

• 9306e5c4 - Save how difference in original view is left on editor

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Apr 5, 2022, 15:20

added 1 commit

• 99f32a63 - Allow closing diff and preview areas of editor

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Apr 5, 2022, 16:32

added 1 commit

• 0616f675 - Allow preview areas to expand when one is closed

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Apr 5, 2022, 16:49

added 2 commits

• 58af8f14 - Hide Difference in original document outside advanced view
• fad9f35c - Disable Translate button when a translator has not been chosen

Compare with previous version

[dezhidki]

In GitLab by @vianramo on Apr 6, 2022, 10:53

added 2 commits

• fee2aa1f - make it so that there is no manual option in the dropdown menu of the...
• 9ae3247f - Merge remote-tracking branch 'origin/dev' into dev

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Apr 6, 2022, 11:59

added 1 commit

• 5ae1abf6 - Change some pop-ups to TIM's own message windows and refactor code

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Apr 6, 2022, 12:52

added 1 commit

• 4fe0d16d - Change some texts and fix source block preview not rendering

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Apr 6, 2022, 13:59

added 1 commit

• 95a607f4 - Document UI code made during the project

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Apr 6, 2022, 14:47

added 1 commit

• 3b706818 - Add notranslate style's button to the editor

Compare with previous version

[dezhidki]

In GitLab by @saviit on Apr 6, 2022, 15:36

added 2 commits

• 16b35be6 - Implement runtime addition and removal of available translation languages via flask for TIM admins
• eba98d32 - Merge branch 'dev' of gitlab.com:timtra/tim into dev

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Apr 6, 2022, 16:33

added 2 commits

• 7a3ac2fb - Refactor the rc attribute to mt (machine translation) and changed its...
• 014e5348 - Merge branch 'dev' of gitlab.com:timtra/tim into dev

Compare with previous version

[dezhidki]

In GitLab by @juaatark on Apr 6, 2022, 16:46

added 17 commits

• 95dfada5 - Begin implementing parsing for machine translations
• a072d426 - Add skeleton of separating translatable parts from Pandoc AST plus a couple unit-tests
• 98a55709 - Early parsing (utilizing Pandoc AST)
• 90ca94e4 - translationparser.py: Handle Attr and add merging of results before returning...
• 59ae78c5 - Add tests prototyping a general approach for integrating a machine translator
• bb356959 - add mathtype handler for math_collect
• d2a9c618 - add documentation for math and rawinline collection
• b171867a - Develop translation parsing
• 20cdcec6 - Merge branch 'translator-parser' of gitlab.com:timtra/tim into translator-parser
• 066fa4cf - translationparser.py: Handle and add test for bullet-list
• c372ed4d - Add translation parser for LaTeX areas for natural language sections and unit tests.
• 57207038 - Update comments and clarify html parser
• 0e17b19b - Add initial unit test for notranslate style
• bbadfd5c - translationparser.py: Add early handling of plugin-translations
• 9ea40560 - Merge branch 'translator-parser' of gitlab.com:timtra/tim into translator-parser
• 662e09bc - Merge branch 'translator-parser' into dev
• 4a7c36bc - Merge branch 'dev' of gitlab.com:timtra/tim into dev

Compare with previous version

[dezhidki]

In GitLab by @saviit on Apr 6, 2022, 18:28

Commented on timApp/static/scripts/tim/editor/pareditor.ts line 1707

Koodikatselmointiin 8.4.2022 (Vili Moisala)

[dezhidki]

In GitLab by @saviit on Apr 6, 2022, 18:29

Commented on timApp/static/templates/parEditor.html line 45

Koodikatselmointiin 8.4.2022 (Vili Moisala)

[dezhidki]

In GitLab by @saviit on Apr 6, 2022, 18:29

Commented on timApp/static/stylesheets/menustyle.scss line 122

Koodikatselmointiin 8.4.2022 (Vili Moisala)

[dezhidki]

In GitLab by @saviit on Apr 6, 2022, 18:31

Commented on timApp/static/scripts/tim/item/manageCtrl.ts line 576

Koodikatselmointiin 8.4.2022 (Noora Jokela)

[dezhidki]

In GitLab by @saviit on Apr 6, 2022, 18:32

Commented on timApp/static/scripts/tim/editor/pareditor.ts line 1894

Koodikatselmointiin 8.4.2022 (Noora Jokela)

[dezhidki]

In GitLab by @saviit on Apr 6, 2022, 18:32

Commented on timApp/static/scripts/tim/item/manageCtrl.ts line 733

Koodikatselmointiin 8.4.2022 (Noora Jokela)

[dezhidki]

In GitLab by @saviit on Apr 6, 2022, 18:33

Commented on timApp/document/translation/routes.py line 32

Koodikatselmointiin 8.4.2022 (Juho Tarkkanen)

[dezhidki]

In GitLab by @saviit on Apr 6, 2022, 18:34

Commented on timApp/document/translation/translationparser.py line 487

Koodikatselmointiin 8.4.2022 (Juho Tarkkanen)

[dezhidki]

In GitLab by @saviit on Apr 6, 2022, 18:35

Commented on timApp/document/translation/translator.py line 532

Koodikatselmointiin 8.4.2022 (Juho Tarkkanen)

[dezhidki]

In GitLab by @saviit on Apr 6, 2022, 18:35

Commented on timApp/document/translation/translationparser.py line 110

Koodikatselmointiin 8.4.2022 (Riku Lehkonen)

[dezhidki]

In GitLab by @noemjoke on Apr 7, 2022, 13:41

added 2 commits

• e6b4d0cc - Remove translator's language functionality as it was deemed unnecessary
• 7237a0dd - Fix current block preview refreshing constantly when current block preview does not exist

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Apr 7, 2022, 14:37

added 1 commit

• 58a4642e - Fix references breaking when adding new blocks to original document after translation

Compare with previous version

[dezhidki]

In GitLab by @noemjoke on Apr 7, 2022, 15:45

added 1 commit

• fd5f59e1 - Add progress bar to show how much quota has been used

Compare with previous version

[dezhidki]

In GitLab by @vianramo on Apr 7, 2022, 16:18

added 2 commits

• 82e7fcec - Add multiple unit tests for LaTeX formatting
• d149f287 - Merge remote-tracking branch 'origin/dev' into dev

Compare with previous version

[dezhidki]

In GitLab by @juaatark on Apr 7, 2022, 18:58

added 3 commits

• 416717c1 - Add test for paragraph-translation and modify existing dummy-translator to fit the test
• 3033d4da - Add initial implementation of paragraph-translation route (broken)
• 733b6968 - Merge branch 'dev' of gitlab.com:timtra/tim into dev

Compare with previous version

[dezhidki]

In GitLab by @habca on Apr 8, 2022, 02:04

Commented on timApp/static/scripts/tim/editor/pareditor.ts line 1707

Kääntäminen lopetetaan käännöskutsun lopputuloksesta riippumatta, joten kannattaa siirtää r.ok tarkistusten ulkopuolelle tai aliohjelman loppuun, kun viimeinen operaatio valmistuu. Toisaalta jos vastauksesta tarkistetaan ensin oliko virhettä, normaalin ohjelmasuorituksen voi keskeyttää heti. Tällä tavoin saisi vähennettyä sisäkkäisiä ehtorakenteita.

Lippumuuttujia kannattaa yleisesti välttää etenkin kun mayContinue tulee käyttäjältä, joten muuttuja voidaan alustaa siinä yhteydessä. Ellei käyttäjä halua jatkaa, niin silloinhan aliohjelman suoritus keskeytetään siihen paikkaan. mayContinue on tavallaan samalla lupaus, että jatkaminen on ylipäänsä mahdollista, joten vahvistuksen kysymisen tulisi olla viimeinen asia ennen käännöskutsun lähettämistä. Kannattaisiko siis else if -haara tarkistaa aikaisemmin?

Suurin osa aliohjelman virheilmoituksista liittyy komponentin tilaan. Tarkistukset voisi sijoittaa painikkeen aktiivisuuden määrittävään attribuuttiin disabled tarkistusmetodilla. Käännöskutsun lähettäminen estettäisiin kokonaan, ellei komponentti ole sallitussa tilassa.

[dezhidki]

In GitLab by @habca on Apr 8, 2022, 02:05

Commented on timApp/static/stylesheets/menustyle.scss line 122

Komponentin tyylimääritykset kannattaa laittaa Angular-templaten nimeä vastaavaan parEditor.scss tiedostoon. Jos sellaista ei ole valmiina, niin voi luoda uuden. Silloin tarvitsee harvemmin viitata koodissa id-tunnisteeseen, jos tyylit yhdistetään vastaavaan komponenttiin.

[dezhidki]

In GitLab by @habca on Apr 8, 2022, 02:06

Commented on timApp/static/templates/parEditor.html line 45

Angular-komponenttien tyylit kannattaa määrittää komponentin tyylitiedostossa ja käännökset attribuutilla i18n. Painikkeen aktiivisuuden voisi määrittää erillisessä tarkistimessa, jossa huomioidaan samalla painikkeen tapahtumankäsittelyssä tehtävät lisätarkistukset. Virheilmoitukset voisi puolestaan toteuttaa https://tim.jyu.fi/view/tim/TIMin-kehitys/Johdatus-TIMin-kehitykseen#lomakkeet ohjeen mukaisesti.

[dezhidki]

In GitLab by @habca on Apr 8, 2022, 02:08

Commented on timApp/static/scripts/tim/editor/pareditor.ts line 1894

Käyttöliittymältä halutaan usein piilottaa sisäisten tietorakenteiden toteutus. Indeksin kysymisen sijaan voidaan tai for each -avulla loopata tietorakenne ja käsitellä löydettyä alkiota suoraan, jolloin ei tarvitse käsitellä laitonta indeksiä. Tietysti voi palauttaa löydetyn alkion suoraan, mutta silloinkin joudutaan varmistamaan onko paluuarvo mielekäs. Suositeltavampi tapa olisi lisätä tapahtumankäsittelijä, jolla viedään parametrina nykyinen kielivalinta, elementti tai olio, jolta valinnan saa kysyttyä.

Vertailuissa kannattaa lähestulkoon aina käyttää kolmea yhtäsuuruutta, joka on kahta vahvempi operaattori.

[dezhidki]

In GitLab by @habca on Apr 8, 2022, 02:10

Commented on timApp/static/scripts/tim/item/manageCtrl.ts line 576

Sama kommentti kuin pareditorissa.

[dezhidki]

In GitLab by @habca on Apr 8, 2022, 02:12

Commented on timApp/static/scripts/tim/item/manageCtrl.ts line 733

Oikeellisuustarkistuksia saisi lyhennettyä esimerkiksi reduce tai includes metodeilla. Useampi käyttöliittymän elementti voi päivittää tilaansa, jos tarkistuksen lopputulos säilötään johonkin komponentin sisäiseen muuttujaan. Samassa yhteydessä saisi tallennettua mahdollinen virheilmoitus tai muu teksti. Vaihtoehtoisesti käyttäjän valinnat voisi sulkea formGroupiin, joka huolehtisi kaikkien lomakkeeseen kuuluvien syötteiden validoinnista. Tavoitteena on, että tarkistus tehdään vain kerran ja yhdessä funktiossa.

[dezhidki]

In GitLab by @habca on Apr 8, 2022, 02:15

Commented on timApp/document/translation/routes.py line 32

Tietokantakyselyistä kannattaisi välttää selaimelta tulevia syötteitä origlang ja translatorlang, eli toinen parametri riittää hyvin kyselyiden tekemiseen. Mitä vähemmän riippuvuuksia on muualta tulevaan koodiin sen parempi.

Automaattikääntäjän voisi tuoda parametrina, mitä ei ole Flask-polussa mainittu. Esimerkkinä login.py-tiedostossa funktio logout. Automaattikäännöksen tekemisen voisi siirtää automaattikääntäjästä vastaavaan luokkaan metodiksi. Flask-polun funktioon tulisi vähemmän kääntämiseen liittyvää logiikkaa, mikä helpottaisi yksikkötestaamista.

Voisiko tr.block sijaan käyttää orig_paragraph.id arvoa? Silloin ei tarvittaisi listaa tupleista. Dokumentin asetukset saa kysyttyä metodilla get_settings_pars, jotka voidaan suodattaa käännettävien tekstikappaleiden listasta.