[GCC] PAD: Site sanity-check - Figuras

:people_holding_hands: User Story

COMO Saulo QUEREMOS criar um site PARA visualizar o comportamento da saída do modelo

:clipboard: Critérios de aceite de conclusão da Issue

[x] Fazer uma rodada completa dos scripts_CD-CT
[x] Inserir no script para atender a geração de figuras para o sanity-check.' A partir da saída dos testes contínuos.
[x] Atender o novo Pós-Processamento (Arquivo unificado)
[x] Verificar se os arquivos estão sendo escrito no FTP (dataserver).
[x] Testar saída (variáveis indicadas na #489) nos browsers: Chrome e Firefox.

:pencil: Detalhamento adicional da atividade

Seguir DTN06.

:comet: Impactos

(... consequência técnica encontrada durante a execução da issue)

:link: Dependências

(... issues e requisitos que devem ser executados previamente)

:hammer_and_wrench: Solução

Foi criado um repositório para o sanity-check em: https://github.com/monanadmin/sanity_check
Foi editado o novo arquivo com as mudanças para leitura da entrada em um único arquivo e com níveis unificados
Foram feitos testes locais com a saída do modelo completa. Tempos da rodada na máquina local:
- Leitura do arquivo NetCDF completo: 71 s
- Processamento das figuras: 5 min/dia
Todos os arquivos foram gerados na máquina local
Foi criado um script de submissão na Egeon:

#!/bin/bash
#SBATCH --job-name=SC
#SBATCH --nodes=01
#SBATCH --partition=batch
#SBATCH --tasks-per-node=1
#SBATCH --ntasks=1
#SBATCH --time=00:30:00
#sbatch --mem-per-cpu=64000M
#SBATCH --output=SC.txt
#SBATCH --exclusive

cd $SLURM_SUBMIT_DIR
echo $SLURM_SUBMIT_DIR
#module swap gnu9 intel
#module swap openmpi4 impi
#module load phdf5
#module load netcdf
#module load netcdf-fortran
#module load hwloc
echo "Lista de módulos carregados: "
module list
echo "========"

#export TMPDIR=/mnt/beegfs/luiz.rodrigues/bin/tmp

ulimit -s unlimited
MPI_PARAMS="-iface ib0 -bind-to core -map-by core"
export OMP_NUM_THREADS=1
export MKL_NUM_THREADS=1
export I_MPI_DEBUG=5

python /home/luiz.rodrigues/sanity_check/src/gera_figs.py --outdir /mnt/beegfs/luiz.rodrigues/figures/ >& SC.log

O job foi submetido com sbatch
O job rodou até o fim sem intercorrências: Tempos:
- Leitura do arquivo: 102 seg
- Geração das figuras: 834 seg (5 dias) ~14 min
Saída exemplo:

Como os nós de processamento não enxergam o /pesq foi adotada a estratégia de escrever em um diretório temporário e então mover as figuras para a área de html
Foi criado um script em bash para disparar a submissão do job e esperar seu término. Ao final ele copia as figuras

#!/bin/bash
sbatch subpy.bash

arquivo="SC.log"

# Loop to check if subpy ended
while true; do
    # read the log
    ultima_linha=$(tail -n 1 "$arquivo")
    if [[ $ultima_linha == *"### Figures generated ###"* ]]; then
        echo "Ended."
        break
    fi
    sleep 1
done
data_atual=$(date +"%Y%m%d")
input="/mnt/beegfs/monan/scripts_CD-CT/dataout/${data_atual}00/figures/*"
output="/pesq/share/monan/testes_continuos_CD-CT/html/"
mv $input $output

A modificação foi testada e funcionou conforme o previsto.
Tudo está no site e atualizado nas branch main e develop
:rotating_light: Problemas encontrados

Com a submissão direta nas filas da Egeon apareceu um problema. Os nós de processamento não enxergam a área de /pesq. Há duas soluções possíveis:

a) Fazer com que os nós enxerguem /pesq b) escrever em outra área e mover para /pesq (adotada no teste)

Conforme mostrado no item 10 acima adotou-se a opção b.

:white_check_mark: Conclusão

(... texto que sintetiza a finalização da issue, destacando aspectos positivos e negativos)

:spiral_calendar: Trabalhos Futuros

(... caso a issue demande trabalhos futuros detalhar aqui e marcar o campo "Future Work" ao lado para "Sim")

monanadmin / monan