Imagejen kokoja optimoitava #1151

Closed dezhidki closed 2 years ago

In GitLab by @Smibu on Aug 22, 2018, 09:09

Redis-kontin lisäämisen myötä GitLabin build tyssää levytilan loppumiseen. Raja ylittyy niukasti, koska master-haaran build onnistuu, ja Redis-imagen koko on alle 100 MB.

Imagejen kokoja pitää siis optimoida. Katsoin jo alustavasti ncdu:lla, onko TIMin tai cs3:n imageissa turhaa tavaraa.

tim image ylimääräiset

/var/lib/apt/lists 38 MB
/dvisvgm-2.4 53 MB
/usr/share/doc 604 MB
Paketti texlive-fonts-extra kannattaa ehkä poistaa; se asentaa gigan verran fontteja. Olisi hyvä, jos texlive-fonts-recommended riittäisi.

cs3 image ylimääräiset

Asennettuna sekä Java 8 että Java 9; tarvitseeko molempia olla?
LLVM 3.6 + LLVM 5.0; onko toinen turha?
LLDB tarpeen?
2 eri Python 3:n versiota
/usr/share/doc 640 MB
/var/cache/oracle-jdk9-installer 338 MB
/var/lib/apt/lists 39 MB
/root/.cache 17 MB

In GitLab by @Smibu on Aug 22, 2018, 09:11

@vesal Tosiaan cs3-imagessa on sekä Java 8 että Java 9. Täytyykö ne molemmat olla? Entäs tiedätkö mitään noista LLVM 3.6/5.0?

In GitLab by @vesal on Aug 22, 2018, 09:36

GitLab @vesal https://gitlab.com/vesalap Tosiaan cs3-imagessa on sekä Java 8 että Java 9. Täytyykö ne molemmat olla? Entäs tiedätkö mitään noista LLVM 3.6/5.0?

Saattaa vielä vähän aikaa tarvita kun muistaakseni esim robots on poistunut Java 9. Ja sitä tarvitaan tuossa kuvan kaappauksessa.

LLVM:stä en edes tiedää mikä se on, joten en osaa sanoa tarvitaanko.

Pythoneita on melkein pakko olla ne 2 kpl. Sitä en tiedä että kuinka järkeä olisi siinä että imageja olisi enemmän mutta pienempiä. Eli kuinka usein haluaa yhdessä ajossa käyttää useaa kieltä. Vähän tämän takia mulla oli Octave joskus omassa kontissa. Mutta Python saatetaan silti tarvita joka kontissa. Toistaiseksi esim Scalaa käytetään varmaan aika vähän.

Entä sellainen jos nuo ovat gitlabin rajoituksia, että gitlabia varten olisi omia imageja joissa ei ole niitä asioita joita ei testata. Mm tuo teximage voi olla varmaan aika paljon pienempi ja cs3-imagesta voisi jättää esim octaven pois jos ei testaa mitään sen ominaisuuksia ja ehkä java8. Tietyslis lisää ylläpitotyötä, mutta saakos tuon konteilla joissa toinen jatkuu toisen päälle? Tosin olisi hyvä myös miettiä ainakin cs3 konteissa sitä ettei uden ominaisuuden lisäämien ei hidastaisi imagen tekea hirveästi. Koko imagen teko kestää kauan ja siksi uudet ominaisuudet mielellään lisää loppuun. Ja jos joku Octave lisätään sitten kaiken päälle, pikku muutoskin kestää kauan sen Octaven takia.

Tarviiko gitlab testeissä reditä tms?

In GitLab by @vesal on Aug 22, 2018, 09:44

|/usr/share/doc| 604 MB

Mitä tuolla on?

Paketti |texlive-fonts-extra| kannattaa ehkä poistaa; se asentaa gigan verran https://packages.ubuntu.com/bionic/all/texlive-fonts-extra/filelist fontteja. Olisi hyvä, jos |texlive-fonts-recommended| riittäisi.

Onkos tuolla recomended myös ne yliopiston uudet fontit joita valittiin?

Asennettuna sekä Java 8 että Java 9; tarvitseeko molempia olla?

Ja kohta tulee vielä Java 10, voisikohan edes hypätä niin että on vain Java 10 muttei 9.

LLVM 3.6 + LLVM 5.0; onko toinen turha?

Tästä en siis tiedä mikä on

LLDB tarpeen?

enkä tästä

2 eri Python 3:n versiota

Siis tarvitaan

|/usr/share/doc| 640 MB

Mitä tuolla on?

|/var/cache/oracle-jdk9-installer| 338 MB

Kai tämän saa poistaa asennuksen jälkeen?

|/var/lib/apt/lists| 39 MB

|/root/.cache| 17 MB

Näistä en osaa sanoa tarvitaanko

In GitLab by @Smibu on Aug 22, 2018, 09:53

Tietyslis lisää ylläpitotyötä, mutta saakos tuon konteilla joissa toinen jatkuu toisen päälle?

Noinhan esim. Dumbo on tehty, eli onnistuu. Mutta alkuhätään karsin vain nuo selkeimmät turhat pois, koska niistä vapautuu melkein 2 GB.

|/usr/share/doc| 604 MB

Mitä tuolla on?

Dokumentaatioita, jotka tämän mukaan pitäisi pystyä poistamaan ilman, että mikään hajoaa.

Onkos tuolla recomended myös ne yliopiston uudet fontit joita valittiin?

Minkäs nimisiä ne siis ovat? Tuo lista on recommended-paketissakin aika pitkä. Ja joka tapauksessa tuo fonts-texgyre asennetaan erikseen eli se ei poistu mihinkään.

Kai tämän saa poistaa asennuksen jälkeen?

Joo, se on selkeä turha hakemisto.

Näistä en osaa sanoa tarvitaanko

Cacheja ovat; ei tarvita.

In GitLab by @Smibu on Aug 22, 2018, 09:56

Tosin olisi hyvä myös miettiä ainakin cs3 konteissa sitä ettei uden ominaisuuden lisäämien ei hidastaisi imagen tekea hirveästi.

Juu, TIMin imagekin on niin, että TeX on ensimmäisenä.

Tarviiko gitlab testeissä reditä tms?

Celery käyttää Redistä viestijonon backendinä (ja luulen että TIM tulee muutenkin sitä käyttämään).

In GitLab by @Smibu on Aug 22, 2018, 14:16

Olen päivitellyt samalla cspluginin kielet uusimpiin versioihin (ja base imagen 16.04 -> 18.04).

Viimeisenä olisi Java 9:n asennus, mutta Java 10 on näköjään pakko asentaa Java 9:n tilalle: http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html

eli tuo oracle-java9-installer ei toimi enää.

In GitLab by @vesal on Aug 22, 2018, 14:17

Viimeisenä olisi Java 9:n asennus, mutta Java 10 on näköjään pakko asentaa Java 9:n tilalle: http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html

eli tuo oracle-java9-installer ei toimi enää.

Kokeillaan sitä. Siis Java 8 ja ja Java 10.

In GitLab by @Smibu on Aug 22, 2018, 15:29

Kokeillaan sitä. Siis Java 8 ja ja Java 10.

Laitoin tuonne https://timdevs5.it.jyu.fi/ ja vaikuttaisi toimivan kaikki ne, mitä tähän asti testailin: kaikki kielet tuolla "Eri ohjelmointikieliä", JavaFX, Octave.

Calculus 1:n tulostus ei tosin enää toimi. Pitänee kumminkin asentaa se extrafonttipaketti.

In GitLab by @Smibu on Aug 22, 2018, 16:18

Calculus 1:n tulostus ei tosin enää toimi. Pitänee kumminkin asentaa se extrafonttipaketti.

Tjaa, ei se vaikutakaan asiaan. Ilmeisesti vaikuttava asia onkin TeX Liven uudempi versio (2017.20170818-1 -> 2017.20180305-1), joka on jossain asiassa tiukempi.

Virheteksti on siis:

! Missing { inserted.

                   \mskip 
l.5656   \(f\) kasvava/vähenevä \(\,\,\, 
ot \!
                                                  \!\! \implies f\) jatkuva;
! Missing } inserted.

                }
l.5656 ...enevä \(\,\,\, 
ot \!\!\! \implies f\)
                                                   jatkuva;
! Missing { inserted.

                   \mskip 
l.5657   \(\quad f\) jatkuva \(\,\,\, 
ot \!
                                             \!\! \implies f\) kasvava/vähe...

! Missing } inserted.

                }
l.5657 ...atkuva \(\,\,\, 
ot \!\!\! \implies f\)
                                                   kasvava/vähenevä
[51] [52] [53] [54] [55] [56] [57] [58] [59]

LaTeX Font Warning: Command \tiny invalid in math mode on input line 6722.

[60] [61] (/tim_files/printed_documents/117514/134613/MHgyMTY5MmUxYQ==.aux) )
(see the transcript file for additional information)
Output written on /tim_files/printed_documents/117514/134613/MHgyMTY5MmUxYQ==.x
dv (61 pages, 1204332 bytes).
Transcript written on /tim_files/printed_documents/117514/134613/MHgyMTY5MmUxYQ
==.log.
=== TeX engine is 'XeTeX'
Latexmk: applying rule 'xdvipdfmx'...
For rule 'xdvipdfmx', running '&do_viewfile(  )' ...
Latexmk: Errors, in force_mode: so I tried finishing targets

mutta Try to view PDF antaa silti PDF:n (ja cachen kanssa tulee success), eli tuo ei estä kokonaan prosessointia.

In GitLab by @vesal on Aug 22, 2018, 16:29

  Calculus 1:n tulostus ei tosin enää toimi. Pitänee kumminkin asentaa se extrafonttipaketti.
Tjaa, ei se vaikutakaan asiaan. Ilmeisesti vaikuttava asia onkin TeX Liven uudempi versio (2017.20170818-1 -> 2017.20180305-1), joka on jossain asiassa tiukempi.

Saako tuon korjattua korjaamalla jollakin tavoin monistetta?

In GitLab by @Smibu on Aug 23, 2018, 08:48

Saako tuon korjattua korjaamalla jollakin tavoin monistetta?

Sen verran sain tutkittua, että $\not \implies$ ei toimi. Sen sijaan $\not x$ ja $\implies$ toimivat, eli vika on nimenomaan silloin, kun nuo ovat yhdessä.

Tuolla suositellaan centernot-pakettia, mutta se ei varmaan toimisi MathJaxilla. Ja Dumbon preambleenkin se varmaan pitäisi lisätä, jolloin tähänastinen cache häviäisi kun hashit muuttuvat.

Jos en muuta keksi, niin palaan TIM-imagessa Ubuntun versioon 16.04.

In GitLab by @Smibu on Aug 23, 2018, 09:22

Näköjään \not \implies ei toimi PDF:ssä tuotannossakaan, vaan sinne tulee kummallisesti luku 6 (PDF):

Sen sijaan esim. \not = 0 toimii odotetusti.

Kokeilen niin, että \not määriteltäisiin uudelleen \centernotiksi.

Nykyisen TIMin imagen Ubuntun versio onkin 17.10, joka on end-of-life, joten se ei saa enää päivityksiä eikä siihen siksi mielellään palaisi. Tämä 18.04 on LTS-versio, jolla on pitkä tukiaika.

In GitLab by @Smibu on Aug 23, 2018, 09:52

\centernot \implies toimii sen verran ettei anna virhettä, mutta ei sekään järin hyvältä näytä:

Toki parempi kuin tuo 6, mutta \centernot = 0 näkyy samalla tavalla huonosti, eli se korjaa yhtä mutta hajottaa toista.

In GitLab by @vesal on Aug 23, 2018, 09:58

Onko nuo ongelmat kiinni siis ubuntun versiosta? Miten nuo samat näkyy ihan Windowsin LaTexilla.

Nyt muuten käy huonostikirjoitettaessa kun jo kirjoitusikkunassa hyökätään tekemään MathJax ajoja:

https://timdevs5.it.jyu.fi/view/users/vesal/tex/kaava

In GitLab by @vesal on Aug 23, 2018, 10:08

Onko tuo \not \implies koskaan näkynyt kunnolla? Mistä löytää niin vanhan TIM-version että voisi kokeilla. Kokeilin tuolla tim.aalto.fi ja se näkyy sielläkin dokumentissa yhtähuonosti kuin timdevs5.ssa, eli yliviiva tulee ihan nuolen vasempaan reunaan. Tosin korkeussuunasa keskelle toisin kuin sun kuvassa, mutta korkeussuunta on sama allossa ja timdevs5:ssa.

Muuten tuo että $$a \implies b$$ kaavaa ei voi muokata on myös https://tim.aalto.fi/view/users/vesal/kaava

In GitLab by @Smibu on Aug 23, 2018, 11:08

Miten nuo samat näkyy ihan Windowsin LaTexilla.

\not \implies heittää saman virheen kun copypastaa latex-tiedoston texworksiin.

Mutta tuollainen kääntyy:

\documentclass{extarticle}
\usepackage{amsmath}
\begin{document}
$\not\implies$
\end{document}

mutta viiva jää siinäkin vasemmalle (korkeussuunta oikein). Ei eroa, onko pdflatex vai xelatex.

Onko tuo \not \implies koskaan näkynyt kunnolla?

En muista mutten usko, koska esim. Overleafkin näyttää viivan liikaa vasemmalla.

In GitLab by @Smibu on Aug 23, 2018, 11:43

\centernot \implies näkyy oikein, jos unicode-math-paketin ottaa pois.

Mutta sitten ei voi vaihtaa fonttia.

Mutta nyt löysin tuolta ratkaisun:

\def\not#1{\mathrel{\mathpalette\ccnot{#1}}}
\def\ccnot#1#2{\ooalign{\hfil$#1#2$\hfil\cr\hfil$#1/$\hfil\cr}}

Jolloin \not \implies toimii myös unicode-mathin kanssa:

In GitLab by @Smibu on Aug 23, 2018, 14:16

Itse asiassa Calculus 1:ssä on siis $\,\,\, \not \!\!\! \implies f$ eli siinä tuo väärä paikka korjataan negatiivisilla väleillä.

Etenemisvaihtoehdot:

1. `\def`

:thumbsup: Näkyisi oikein
:thumbsdown: Tuo \def-juttu täytyisi lisätä Dumboonkin, mikä onnistuu kyllä ja oikeastaan sen ei pitäisi cacheakaan haitata, koska tuo literaalipreamble ei tule hashiin mukaan. Cachen pystyy manuaalisesti tyhjentämään \nottien osalta greppaamalla.
:thumbsdown: Dokumentteja pitää päivittää, mikäli ongelmaa on kierretty kuten Calculuksessa
:thumbsdown: MathJax näyttäisi nuo edelleen väärin

2. `/`

Määritellään:

\renewcommand{\not}{/}

:thumbsup: Halpa ratkaisu
:thumbsdown: Näkyy usein väärin; dokumenteissa pitäisi käyttää \, ja \!-kikkoja

3. Vanhaan Ubuntuun palaaminen

:thumbsup: Toimii
:thumbsdown: Ennen pitkää pitää kumminkin päivittää

4. Jatketaan tutkimista

:thumbsdown: Voi kestää; en tunne TeXiä kovinkaan hyvin.

Valitsen tässä vaiheessa vaihtoehdon 3 (vanha Ubuntu). Lähinnä siksi, että alun perin olin vain optimoimassa imagejen kokoja, ja en haluaisi joutua tässä vaiheessa kovin syvälle tähän TeX-jäniksenkoloon.

In GitLab by @Smibu on Aug 23, 2018, 16:45

Juteltiin Vesan kanssa ja päätettiinkin siis käyttää noita:

$a^{\mathrel{\rlap{\hskip .3em/}}\Longrightarrow} b$ -
$a \mathrel{\rlap{\hskip .5em/}}\Longrightarrow b$ -
$a \mathrel{\rlap{\hskip .8em/}}\implies b$ -
$a^{\mathrel{\rlap{\hskip .6em/}}\implies} b$ -
$a \nRightarrow b$

timdevs5:ssa koodiajo käytti edelleen vanhaa konttia; korjasin ja vaikuttaisi silti toimivan.

In GitLab by @Smibu on Aug 24, 2018, 15:05

Tämä on tehty ja tuotannossa. Imagejen koot:

tim: 4.4GB -> 3.9GB
cs3: 5.1GB -> 4.52GB

In GitLab by @Smibu on Aug 24, 2018, 15:05

closed

In GitLab by @vesal on Aug 25, 2018, 08:15

tähän vielä yksi linkki

https://tex.stackexchange.com/questions/47063/rightarrow-vs-implies-and-does-not-imply-symbol

TIM-JYU / TIM