search

fititnt / cplp-aiops

AIOps para Comunidade dos Países de Língua Portuguesa, 2019/01. [Foco atual: servidores comunitário e gratuito para iniciantes em programação e ciência de dados]
The Unlicense
5 stars 0 forks source link

Servidores Águia Pescadora #5

Closed fititnt closed 1 year ago

fititnt commented 5 years ago

(Adicionado em 2019-06-22 16:48 BRT) Temos um projeto dedicado para o Águia Pescadora:

Pode levar no mínimo semanas para que issues pertinentes do fititnt/cplp-aiops sejam atualizados, visto que minha preocupação é mais ter o PaaS da Etica.AI pronto o quanto antes.

Alguns servidores que não usam Tsuru (e que também eram em torno de 50~100% menos custo-eficiente em relação aos novos) também estão deixando de serem renovados.

No momento temos 2 servidores ativos, chamados de Alpha e Bravo.

Nota: Alpha, que está na CloudAtCost e tem configurações mais fracas, não tem custos mensais (foi pago uma vez). Bravo é mais poderoso, porém é uma experiência de 3 meses sobre se há demanda de contas SSH gratuitas em servidores comunitários em 2019. Toda documentação de como preparar os servidores é feita de forma amigável para não especialistas e liberada em licença Domínio Público.

Veja também:

Alguns colegas e eu e que há semanas ou meses já estávamos interagindo a respeito de como usar smartphones para desenvolvimento de software criamos um grupo extra-oficial (aka com tom mais criativo) para centralizar lá algumas discussões sobre testes com aplicativos de Android e outras formas de uso.

Entre outros motivos, Android 5.0+ tem disponível um emulador de terminal chamado Termux. E, nossa, ele é bem amigável. Algumas coisas é mais fácil converter scripts que eu já uso em clientes da minha empresa do que o trabalho que eu teria para converter em alguma distribuição de servidor que não fosse baseada em Debian ou CentOS.

Porém um dos problemas aqui é como otimizar para Android < 5.0 sem ter que fazer root nos celulares. Tive diversas discussões sobre isso em diversos lugares em posts do Facebook e conversas privadas, porém nesse momento (até porque é algo mais fácil pelo conhecimento prévio que eu tenho, e pela falta de pessoal) pode fazer mais sentido considerar alternativa de certas tarefas poderem ser feitas remotamente, mesmo que isso implicasse em dar servidores sem custos para pessoas interessadas.

Esse issue aqui é um primeiro teste experimental dessa abordagem.

Comentários sobre alterações neste issue

Edição 1:

Edição 2:

Edição 3:

Edição 4

fititnt commented 5 years ago

Durante a atualização do 16.04.02 para o 18.04.01, estou tendo alguns alertas como este

(...)

update-initramfs: Generating /boot/initrd.img-4.4.0-148-generic
W: initramfs-tools configuration sets RESUME=UUID=c9f61b59-95aa-45ab-ae18-ee968312edc4
W: but no matching swap device is available.
I: The initramfs will attempt to resume from /dev/sda2
I: (UUID=9c03df07-1ce4-4c8c-a4d9-8a84db066941)
I: Set the RESUME variable to override this.
update-initramfs: Generating /boot/initrd.img-4.4.0-62-generic
W: initramfs-tools configuration sets RESUME=UUID=c9f61b59-95aa-45ab-ae18-ee968312edc4
W: but no matching swap device is available.
I: The initramfs will attempt to resume from /dev/sda2
I: (UUID=9c03df07-1ce4-4c8c-a4d9-8a84db066941)
I: Set the RESUME variable to override this.

(...)

Alguns links sobre o tema

fititnt commented 5 years ago

Comando ajuda atual:

Captura de tela de 2019-05-16 05-33-49

fititnt commented 5 years ago

Considerações sobre ter quotas de uso de disco por usuário a nivel de kernel

E também sobre o que os usuários fazem com os arquivos deles, veja

fititnt commented 5 years ago

Nota pra mim mesmo: problema que falei no comentário https://github.com/fititnt/cplp-aiops/issues/5#issuecomment-492898445 que eu já sabia ser publicamente conhecido de que poderia deixar lento chegou a dar um susto de eu achar que tinha perdido a VM.

Ela chegou a voltar depois de outro reboot, mas no meio tempo eu resolvi dar uma olhada pra continuar essa aqui na OVH em uma VPS já com mais espaço. Então é possível que em vez de deixar uma VPS menor por tempo indeterminado na cloudatcost, eu crie uma na OVH com dinheiro pago por mim mesmo e deixe rodando por uns 3 meses e veja se pelo menos vai chegar a ter uso real das pessoas a ponto de valer a pena permanecer ser usada.

Ou seja, se for para manter um plano de na OVH de:

VPS SSD 3 OpenStack KVM 2 vCore(s) From 2 GHz 8 GB RAM 80 GB SSDNEW Local RAID $14.99/month

diferente da atual (2 vCPUs, 1,5GB RAM, 30GB SSD (CloudAtCost)) que fazia parte de pacote que paguei uma vez pra uso até a CloudAtCost fechar e não me importaria de deixar ligado o tempo todo mesmo com baixo uso, se a gente for manter essa aqui ligada, nem digo ajuda pra pagar ela (isso eu faço), mas ajuda pra documentar como pessoal pode usar ela de graça seria muito bem vinda.

Por mais que os servidores da OVH não sejam caros, ainda assim eu não gosto da ideia de deixar uma VPS de 8GB de ram não sendo usada.

fititnt commented 5 years ago

DNSs alterados na cloudflare da @EticaAI

Captura de tela de 2019-05-17 22-27-49

fititnt commented 5 years ago

Algo a ser considerado: Instalar Multi-Factor Authentication como potencial alternativa para usuários.

fititnt commented 5 years ago

Dependendo da forma como alguns binários são instalados (exemplo atual: #23 Go Lang, com Snap) o path dos executáveis não é instalado para todo mundo.

Aqui tem algumas alternativas

fititnt commented 5 years ago

Pessoal, uma nota nota aqui de potencial alteração (e justificativa de porque, mesmo antes dos três meses, algumas VPSs serão trocadas por outras:

O principal motivo é que encontrei um provedor ainda mais custo benefício do que as VPSs da OVH. E não estou falando de apenas 20~40% mais barato, significativamente mais barato ao ponto de valer a pena trocar as VPS que estão na OVH para um datacenter novo, tendo em torno de pelo menos o dobro de todas as configurações em relação ao atual (no caso de disco SSD, chega a ser 5 vezes mais!).

Comparem as especificações da Bravo (OVH, Canada) e do servidor que estou testando na Contabo (Alemanha).

Para vocês terem ideia, pelo preço da Bravo, a gente quase consegue uma VM na Contabo de 8vCPUs, 30 GB de RAM e 800GB SSD. Eu não cheguei a pegar essa além dessa Delta, possivelmente teriamos mais 2 VMs menores possíveis no novo datacenter (que, diga-se de passagem, significa 4 vCPUs 8 GB de RAM e 200 GB de disco SSD) para poder substituir também as Servidores em cluster Elefante Bornéu #45.

Note que com esses preços novos, acredito que podemos expandir além desses 3 meses de período de testes. Talvez se tiver pouco uso, em vez de manter a Delta + duas menores, eu apenas desative as menores e fique permanentemente com a Delta.

Captura de tela de 2019-06-10 00-58-46

fititnt commented 5 years ago

TL:DR: vamos preferir fazer acesso via conteiners em detrimento de acesso SSH direto nas VMs das Aguia Pescadoras mais novas, e o acesso por usuários (mesmo os administrativos) tenderá a ser principalmente via Tsuru #59

Outro ponto de mudança muito significativa sobre os servidores Águia Pescadora, talvez até maior do que desativar um nó por outro mais potente e mais barato: vamos preferir fazer acesso via conteiners em detrimento de acesso SSH.

Um dos motivos de evitar o uso de Docker #61 (e também que a ideia de Aguia Pescadora seria tentar replicar experiência com as VPS mamba [2vCPU / 1GB / 20GB] https://github.com/EticaAI/forum/issues/72 era de que poderia ser mais simples para usuários finais não ter que aprender Docker e poder fazer acesso SSH numa VM inteira. Outra vantagem adicional era de que isso, teoricamente, permitiria usar VPSs mais baratas, com discos menores. Mas isso traz alguns problemas adicionais, como a complexidade de gerenciar, por exemplo, o https://github.com/fititnt/cplp-aiops/issues/27. Outro ponto é que uma das ideias mais fantásticas que estavam tendo para usar a Bravo (inclusive tem MVP disso) era de um CompileBot para ser integrado ao Facebook Mensager. Porém mesmo tentando criar um usuário e senha separado, tentando técnicas de jail, e etc, teoricamente não conseguiria o nível de isolamento ideal.

Tem outros motivos que eu poderia citar, mas com os preços atuais (em especial de discos SSDs bem mais generosos) algumas otimizações para permitir ter servidores de baixo custo ficam menos relevantes. E mesmo que tivéssemos dinheiro à vontade, o Tsuro permite um nivel de simplificação que permite ser a estratégia mais padrão para usuários, mesmo que isso não abandone completamente ainda termos alguma alternativa (isto para número menor de usuários) de acesso SSH diretamente.

Tem outros motivos, mas na correria que estou (até para encerrar a Bravo antes de terminar um mês) creio que isso que posso falar rapidinho. Lembrando que será feito backup completo dela (além de toda documentação de como reconstruir do zero a Bravo). Então usuários (mesmo que demorem semanas) não teriam perdido dados.

Uriel29 commented 5 years ago

Muito bom!

fititnt commented 5 years ago

Temos um projeto dedicado para o Águia Pescadora:

Pode levar no mínimo semanas para que issues pertinentes do fititnt/cplp-aiops sejam atualizados, visto que minha preocupação é mais ter o PaaS da Etica.AI pronto o quanto antes.

Alguns servidores que não usam Tsuru (e que também eram em torno de 50~100% menos custo-eficiente em relação aos novos) também estão deixando de serem renovados.

fititnt commented 1 year ago

See https://github.com/EticaAI/forum/issues/92#issuecomment-1272738523