Mateus Cardoso Nunes - Githubissues

mateusdeveloper commented 8 years ago

https://github.com/mateusdeveloper/SystemMonitorMachine.git

danieljoppi commented 8 years ago

SytemMonitorMachine

Gostei da implementação, bem simples e pratica.

Segunda Etapa de Implementações

Para segunda etapa tu deves criar um projeto node.js, usando gulp para gerenciar o projeto.

Utilizar algum gerenciador de pacotes, como o npm;
Faça a documentação do código no padrão do jsdoc.

Nesse projeto tu tem que:

cron: Buscar todos os Deputados Federais periodicamente. Ver Site Deputados Federais.
- sugestão: veja request para fazer o download do HTML.
cron: Fazer o parse das informações apresentadas no site, e gerar um JSON com dados.
- sugestão: veja jsdom se quiser interpretar o HTML.
server: enviar o JSON com o dados para um REST no teu servidor e armazena-lo no mongodb.
- POST - http://localhost:3000/api/data
- o JSON deve ser enviado no BODY da requisição.
- use express ou restify para montar o servidor rest

Exemplo da estrutura do JSON esperada:

[
  {
        "fullName": "Nome do Deputado, ex: João da Silva",
        "birthday": "Data de aniversário, formato  DD-MM",
        "party": "Sigla do Partido, ex: PJS",
        "state": "Sigla do Estado do Depudado, ex: SC",
        "main": "Se for Titular 'true', senão false ou null",
        "phone": "Telefone do Deputado Federal",
      // use a criatividade para organizar os outros dados.
  }
]

Diferenciais desse projeto é a quantidade de informações que vocês consegue buscar sobre um deputado:

Buscar somente as Informações do Deputado e o Endereço para correspondência, não fez mais que o básico :+1: ;
Se bucar as Minhas informações na Câmara já tem um diferencial nas informações :star: ;
Se conseguir relacionar as informações do deputado a outro site (Facebook, LinkedIn, etc...) e complementar ainda mais o levantamento de dados, isso é além do esperado :star2: :star2: :star2:.

Outros extras:

[ ] Implementação de teste unitário usando mocha.
[ ] Fazer a Análise de cobertura de código usando istanbul.
[ ] Criar gerenciador do projeto no gulp.
[ ] Integrar os testes do Projeto com o travis-ci.
[ ] Integrar a cobertura de testes do Projeto com o coveralls.

Prazo final normal é dia 18/03/2016, depois disso começa a perder pontos - Qualquer dúvida pode entrar em contato pelo email: daniel.joppi@suiteplus.com

danieljoppi commented 8 years ago

obs: data é 18/03 e não 18/05

michelpm1 commented 8 years ago

Olá boa noite, estou tentando pelo request https://github.com/request/request#examples sugestão de vocês para buscar as informações, mas parece existir algum bloqueio, gostaria de informar que também não consigo ver as informações dos deputados (da um erro) caso eu selecione a opção qualquer legislatura, apenas é possível visualizar as informações dos atuais 2015-2019.

Console.log do body (utilizando o request para a página html com os deputados de 2015.2019) "

Nossos sistemas automáticos de segurança impediram que a operação fosse concluída.

Isso pode ocorrer quando você copia dados de outros sites e eles vêm com conteúdos não permitidos.

Você pode voltar, revisar o que estava fazendo e tentar novamente.

" 2016-03-10 15:07 GMT-03:00 Daniel Henrique Joppi notifications@github.com: > obs: data é 18/03 e não 18/05 > > — > Reply to this email directly or view it on GitHub > https://github.com/suiteplus/recruitment/issues/2#issuecomment-194980889 > .

michelpm1 commented 8 years ago

Acabei de verificar que não são todos que da o erro selecionando qualquer legislatura, apenas alguns.

Em 10 de março de 2016 20:52, Michel Machado michelpm1@gmail.com escreveu:

Olá boa noite, estou tentando pelo request https://github.com/request/request#examples sugestão de vocês para buscar as informações, mas parece existir algum bloqueio, gostaria de informar que também não consigo ver as informações dos deputados (da um erro) caso eu selecione a opção qualquer legislatura, apenas é possível visualizar as informações dos atuais 2015-2019.

Console.log do body (utilizando o request para a página html com os deputados de 2015.2019) "

Nossos sistemas automáticos de segurança impediram que a operação fosse concluída.

Isso pode ocorrer quando você copia dados de outros sites e eles vêm com conteúdos não permitidos.

Você pode voltar, revisar o que estava fazendo e tentar novamente.
" 2016-03-10 15:07 GMT-03:00 Daniel Henrique Joppi : > > obs: data é 18/03 e não 18/05 > > — > Reply to this email directly or view it on GitHub > https://github.com/suiteplus/recruitment/issues/2#issuecomment-194980889 > .

danieljoppi commented 8 years ago

Parece mais problema no site deles ... Pega o que der ... Não tem problema se não vir tudo ... O interessante é que teu algoritmo seja flexível para não parar nesses caso e seguir em frente ... E depois de um tempo voltar e tentar de novo ...

On Thu, Mar 10, 2016, 21:15 Michel P Machado notifications@github.com wrote:

Acabei de verificar que não são todos que da o erro selecionando qualquer legislatura, apenas alguns.

Em 10 de março de 2016 20:52, Michel Machado michelpm1@gmail.com escreveu:

Olá boa noite, estou tentando pelo request https://github.com/request/request#examples sugestão de vocês para buscar as informações, mas parece existir algum bloqueio, gostaria de informar que também não consigo ver as informações dos deputados (da um erro) caso eu selecione a opção qualquer legislatura, apenas é possível visualizar as informações dos atuais 2015-2019.

Console.log do body (utilizando o request para a página html com os deputados de 2015.2019) "

Nossos sistemas automáticos de segurança impediram que a operação fosse concluída.

Isso pode ocorrer quando você copia dados de outros sites e eles vêm com conteúdos não permitidos.

Você pode voltar, revisar o que estava fazendo e tentar novamente.
" 2016-03-10 15:07 GMT-03:00 Daniel Henrique Joppi < notifications@github.com > : > > obs: data é 18/03 e não 18/05 > > — > Reply to this email directly or view it on GitHub > < > https://github.com/suiteplus/recruitment/issues/2#issuecomment-194980889> > .

— Reply to this email directly or view it on GitHub https://github.com/suiteplus/recruitment/issues/2#issuecomment-195111254 .

michelpm1 commented 8 years ago

S mas não consigo pegar nada

da este erro na página geral com os deputados quando tempo buscar com o request ou quando tempo um deputado isolado

(resultado no body do request)

Nossos sistemas automáticos de segurança impediram que a operação fosse concluída.

Isso pode ocorrer quando você copia dados de outros sites e eles vêm com conteúdos não permitidos.

Você pode voltar, revisar o que estava fazendo e tentar novamente.

" Em 10 de março de 2016 23:17, Daniel Henrique Joppi < notifications@github.com> escreveu: > Parece mais problema no site deles ... Pega o que der ... Não tem problema > se não vir tudo ... O interessante é que teu algoritmo seja flexível para > não parar nesses caso e seguir em frente ... E depois de um tempo voltar e > tentar de novo ... > > On Thu, Mar 10, 2016, 21:15 Michel P Machado notifications@github.com > wrote: > > > Acabei de verificar que não são todos que da o erro selecionando qualquer > > legislatura, apenas alguns. > > > > Em 10 de março de 2016 20:52, Michel Machado michelpm1@gmail.com > > escreveu: > > > > > Olá boa noite, estou tentando pelo request > > > https://github.com/request/request#examples sugestão de vocês para > > > buscar as informações, mas parece existir algum bloqueio, gostaria de > > > informar que também não consigo ver as informações dos deputados (da um > > > erro) caso eu selecione a opção qualquer legislatura, apenas é possível > > > visualizar as informações dos atuais 2015-2019. > > > > > > Console.log do body (utilizando o request para a página html com os > > > deputados de 2015.2019) > > > " > > >

Nossos sistemas automáticos de segurança impediram > > > que a > > > operação fosse concluída.

> > >

Isso pode ocorrer quando você copia dados de > > > outros sites e eles vêm com conteúdos não > > > permitidos.

> > >

Você pode > > title="voltar...">voltar, revisar o que estava fazendo e tentar > > > novamente.

> > > " > > > > > > 2016-03-10 15:07 GMT-03:00 Daniel Henrique Joppi < > > > notifications@github.com > > > > > > > : > > > > > > > > obs: data é 18/03 e não 18/05 > > > > > > > > — > > > > Reply to this email directly or view it on GitHub > > > > < > > > > https://github.com/suiteplus/recruitment/issues/2#issuecomment-194980889 > > > > > > > > . > > > > — > > Reply to this email directly or view it on GitHub > > < > > https://github.com/suiteplus/recruitment/issues/2#issuecomment-195111254> > > . > > — > Reply to this email directly or view it on GitHub > https://github.com/suiteplus/recruitment/issues/2#issuecomment-195145709 > .

danieljoppi commented 8 years ago

Vai precisar mudar o User-Agent nos teus request para de de um Browser valido.

Da uma olhada aqui: https://github.com/request/request#custom-http-headers

'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36'

Avalara / recruitment

Mateus Cardoso Nunes #2

SytemMonitorMachine

Segunda Etapa de Implementações