Parti mancanti e suggerimenti

tapunict / tap2021

TAP 2021

4 stars 7 forks source link

Parti mancanti e suggerimenti #9

Open LightDestory opened 3 years ago

LightDestory commented 3 years ago

Rivedendo il repository ho notato alcune parti mancanti e mi sono venuti dei suggerimenti:

Parti mancanti:

Lo script per shell legato a elasticsearch è vuoto
L'archivio di setup di spark non è presente

Suggerimenti:

Per alleggerire il git clone degli studenti si potrebbe pensare di usare immagini docker come: jupyter/pyspark-notebook:spark-3.1.1 per Spark, confluentinc/cp-kafka:6.1.1 per Kafka 2.7

nicshub commented 3 years ago

L'idea di passare i pacchetti tgz nasce sia per evitare dipendenze che per costruire il container from scratch. Sarebbe interessante come esercizio valutare le differenze sia in termini di dimensioni ma anche in termini di performance delle due immagini "off the shelf" proposte. Per i file forse git LFS potrebbe aiutare. Elastic search vuoto è un contenitore da riempire :)