implementar um sistema de aviso de erros

AndreaSanchezTapia commented 7 years ago

A modelagem pode dar erro em vários momentos e precisamos de avisos para deter a rodada caso tenha algum problema, ou avisar por meio de warnings() quais algoritmos rodaram, quantas partições foram retidas e se houve algum problema. Isto está escrito em várias partes do backend mas precisamos que o front-end entenda e mostre.

gmgall commented 7 years ago

Bem observado. O snowfall, que estivemos usando até o momento, só dá a opção de jogar toda saída padrão e de erros para um arquivo único. Filtrar o que significa sucesso e o que significa erro ali é complicado. Preciso experimentar outras formas de paralelismo também. Conseguirei fazer isso quando terminar de instalar as dependências todas no Santos Dumont.

AndreaSanchezTapia commented 7 years ago

Antes da paralelização tinha um sistema de aviso com cat que contava em que pé estava tudo. Não serve mais desde que snowfall opera por cima mas a posição original dessas mensagens é um bom começo para ver quais etapas dão mais erro.

gmgall commented 7 years ago

Vamos listar os erros possíveis, informá-los aqui e implementar as checagens referenciando essa issue.

AndreaSanchezTapia commented 7 years ago

Estive checando e mais do que um sistema de erros eu tinha um sistema que anunciava o andamento da modelagem -para saber o que estava rodando e em qual etapa parava. Estou montando a lista e realmente tem vários itens aqui que podem ser resolvidos implementando algum passo que cheque isso, sem necessidade de serem erros ou warnings, mas deixo aqui por enquanto.

Erros e warnings possíveis (lista em construção)

Pré modelagem:

Ocorrências caem fora da camada de variáveis preditoras - gerando NA
O n de pontos únicos por píxel é menor a 10 - mais grave, menor a 5-
Se o n≤10 a opção de partição dos dados é forçada a ser jacknife isto merece um aviso.
Se n≤3 não tem teste possível, o modelo só é fittado. Devo pensar se vale um warning ou um stop mesmo.

Modelagem:

Distância de Mahalanobis não roda -por estar baseada em covariância ela é muito sensível a N baixo. [ö lembrar quando mais dá erro]

Final model e ensemble:

Nenhuma partição de algum algoritmo teve qualidade suficiente, nada a selecionar
Nenhuma partição de nenhum algoritmo teve qualidade suficiente - não há geração do modelo final
Quando apenas 1 modelo é selecionado ele corresponde à própria média e consenso - pelo menos deve ser anotado.

Model-R / Back-end

implementar um sistema de aviso de erros #7