search

linea-it / pz-compute

Pipeline to compute photo-zs using public codes for large volumes of data using the Brazilian's LSST IDAC infrastructure.
https://www.linea.org.br/idac-2
MIT License
3 stars 0 forks source link

Random from files #70

Closed gschwend closed 3 weeks ago

gschwend commented 2 months ago

Implement random selection of objects to compose a representative training set by reading from parquet files in parallel using cluster Apollo. (see section 1b of tutorial notebook in branch 66-tutorial-notebooks)

gschwend commented 2 months ago

@luigilcsilva já copiei os arquivos python e sbatch dos seus histogram 1D lá do QA e já comecei a adaptar o código para este caso de uso aqui. Está tudo no branch 66-tutorial-notebooks e agora também aqui no 70-random-from-files.

gschwend commented 1 month ago

@luigilcsilva estou convidando a @andreiadourado para nos ajudar com os requisitos científicos, vamos fazer uma sessão hands-on assim que possível

gschwend commented 1 month ago

@luigilcsilva FYI: arquivos truth do DP0.1 movidos para: /lustre/t1/cl/lsst/dp01/primary/catalogs/truth

crie por favor a versão hipscat, que deve ser armazenada aqui:
/lustre/t1/cl/lsst/dp01/secondary/catalogs/hipscat/truth