download para um modelo

[lhmet]

@andreza-santos por gentileza faça inicialmente o download só para o 1º modelo para todos para saber se funciona e quanto tempo leva! Vou solicitar uma pull request com estas alterações. Aceite o pull request e copie o script Eu gostaria que tivéssemos como meta para hoje ter os dados de pelo menos 1 modelo. Bora lá!

[andreza-santos]

Eu baixei os dados em 10min para o primeiro modelo.

[lhmet]

Muito bom! mas é importante marcar com o R. precisamos de estimativas precisas. Baixe para outro modelo então e insira no código

# antes do looping
tic()
looping ...
toc()

rode o script na linha de comando linux com

R CMD BATCH test-down-nmme.R &

Me envie o .Rout gerado após finalizar.

Chegasse a montar aquela tabela com o período de cada modelo?

Obrigado.

[lhmet]

Dá uma conferida no site do NMME se é essa tabela? O que importa são os anos de início e o lead time também variam.

[andreza-santos]

Eu não sabia como marcar o tempo. Mas farei para os outros, além de também repetir para o mesmo.

Sim, conferi os períodos, faltou atualizar. Mas 6 iniciam em 1981. Apenas o do NCAR (CESM1) é a partir de 1980 e o do NCEP (CFSv2) que é a partir de 1982. Os modelos são diferentes dos que estão na tabela e alguns modelos têm climatologia mensal e sazonal, com o período destes que estão na tabela.

[andreza-santos]

Os arquivos não foram baixados para "CanSIPSv2"

R version 4.0.3 (2020-10-10) -- "Bunny-Wunnies Freak Out"
Copyright (C) 2020 The R Foundation for Statistical Computing
Platform: x86_64-pc-linux-gnu (64-bit)

(...)

> tic()
> 
> start_y <- 1982
> end_y <- 2019 
> 
> # baixados_prec_CanCM4i <- lapply(start_y : end_y, 
> #                                 function(iano) down_nmme(ano = iano)
> #                                 )
> baixados_prec_CanSIPSv2 <- lapply(start_y : end_y, 
+                                 function(iano) down_nmme(ano = iano)
+ )
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1982.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1983.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1984.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1985.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1986.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1987.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1988.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1989.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1990.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1991.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1992.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1993.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1994.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1995.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1996.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1997.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1998.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1999.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2000.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2001.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2002.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2003.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2004.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2005.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2006.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2007.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2008.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2009.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2010.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2011.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2012.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2013.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2014.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2015.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2016.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2017.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2018.nc
Baixando arquivo: ../output/nmme_prec_CanSIPSv2_2019.nc
There were 50 or more warnings (use warnings() to see the first 50)
> toc()
38.225 sec elapsed
> 
> proc.time()
   user  system elapsed 
  3.518   0.104  41.713 

Tentei rodar dois anos. Segue o erro:

Baixando arquivo: ../output/nmme_prec_CanSIPSv2_1981.nc
trying URL 'http://iridl.ldeo.columbia.edu/SOURCES/.Models/.NMME/.CanSIPSv2/.HINDCAST/.MONTHLY/.prec/S/%280000%201%20Jan%201981%29%280000%2030%20Dec%201981%29RANGEEDGES/X/%2830W%29%2885W%29RANGEEDGES/Y/%2860S%29%2815N%29RANGEEDGES/data.nc'
Error in download.file(data_link_ano, destfile = dest_file, mode = "wb") : 
  cannot open URL 'http://iridl.ldeo.columbia.edu/SOURCES/.Models/.NMME/.CanSIPSv2/.HINDCAST/.MONTHLY/.prec/S/%280000%201%20Jan%201981%29%280000%2030%20Dec%201981%29RANGEEDGES/X/%2830W%29%2885W%29RANGEEDGES/Y/%2860S%29%2815N%29RANGEEDGES/data.nc'
In addition: Warning message:
In download.file(data_link_ano, destfile = dest_file, mode = "wb") :

 Error in download.file(data_link_ano, destfile = dest_file, mode = "wb") : 
  cannot open URL 'http://iridl.ldeo.columbia.edu/SOURCES/.Models/.NMME/.CanSIPSv2/.HINDCAST/.MONTHLY/.prec/S/%280000%201%20Jan%201981%29%280000%2030%20Dec%201981%29RANGEEDGES/X/%2830W%29%2885W%29RANGEEDGES/Y/%2860S%29%2815N%29RANGEEDGES/data.nc' 

Testei na página, o link gerado foi: iridl.ldeo.columbia.edu/SOURCES/.Models/.NMME/.CanSIPSv2/.HINDCAST/.MONTHLY/.prec/S/%280000%201%20Jan%201981%29%280000%2030%20Dec%201981%29RANGEEDGES/X/%2830W%29%2885W%29RANGEEDGES/Y/%2860S%29%2815N%29RANGEEDGES/data.nc

O link é o mesmo, mas não baixa. A conexão está oscilando aqui, mas pelo endereço o arquivo que baixaria tem 46.8mb. Bom, fiz o teste para o 'CMC1-CanCM3' e baixou normalmente.

[andreza-santos]

O M significa "Ensemble Member"

[lhmet]

x

Consegui baixar o arquivo manualmente no navegador, provavelmente é problema da internet aí. Interrupção ou intermitência mesmo.

Vou testar o download com script.

Coloque os arquivos no diretório output organizados por modelo e se possível coloque no dropbox ou gdrive para eu acessar.

O n° de membros (M) então deve variar por modelo dentro dos arquivos baixados. Lembro que o primeiro era 10.

[andreza-santos]

"O link é o mesmo, mas não baixa" - pelo script. Dá pra baixar manualmente.

Devo criar um diretório para cada um? Eles estão organizados por modelo, pois estão por ordem alfabética. Vou fazer o upload para o gdrive e enviarei o link de acesso.

Sim, variam. O segundo tem 20 membros. Vou adicionar uma coluna com esta informação.

[lhmet]

@andreza-santos não precisa baixar sst. Para seu mestrado precisas de tmax e tmin para calcularmos a temperatura média.