O mais grave problema envolvendo Linux que já tive acabou de acontecer

Os últimos dias foram extremamente tensos. Um problema com o Ubuntu Server rodando no nosso provedor de hospedagem acabou colocando em risco uma comunidade com milhares de usuários e 5 anos de existência. Enquanto eu conto para você um pouco do stress pelo qual nos passos, quem sabe você possa tirar algumas dicas e lições do ocorrido. Dada a volta por cima, vou te contar sobre algumas novidades que conseguimos implementar graças aos nossos parceiros, amigos e apoiadores.

🥇 Agradecimento a todos os nossos membros, em especial aos da categoria "Diolinux GO", por nos ajudarem a continuar criando conteúdo. Essas pessoas incríveis já nos ajudaram sendo membros nessa categoria:

‣ Felipe Duarte Ferreira
‣ Henrique Uebel
‣ Fernando Furtado
‣ Renata Vieira Florencio
‣ lthozo
‣ Samuel Novaes
‣ kraudio vfd62
‣ sagara_BR
- Pense Baixo Nivel

📎 Fontes e Links:

📹 Produção:
Roteiro e Apresentação: Dionatan Simioni
Edição e efeitos: Rafael Shikamaru
Thumbnail: Adriel Filipe

#linux #ubuntu #server #hosting #cloud

[ericonvinicius]

Poxa, Dio, lamento o ocorrido. Porém gerou conteúdo pra mais um vídeo espetacular que mostrou o "background" de vocês no Plus. Mais uma vez, parabéns!🎉

[iscux]

Que coisa louca. Não dá pra confiar unicamente em backups da VM inteira, pois se houver algum tipo de corrompimento de arquivos de sistema (seja qual for o motivo), os sistemas podem continuar rodando por muito tempo ainda já que os processos ainda estão sendo executados. Só quando se faz um restart do serviço é que se nota o problema. Pode ter sido isso. Nesse caso o problema pode ter ocorrido bem antes do percebido e, nesse momento, os backups já tinham sido feitos a partir da VM já corrompida. Sempre é bom fazer também backups do serviço em si (banco de dados, logs, uploads) em um object storage qualquer.

Mas... tô dando uma de engenheiro de obra pronta, confesso :)

A gente confia em uma empresa renomada, paga backups, e não tem nem um suporte que realmente ajude. Isso é osso.

[lpcamargo]

Usei a DigitalOcean sem grandes problemas por anos, nunca esperaria esse tipo de problema deles...
Só mais um lembrete que a nuvem é só o computador de outra pessoa. Hoje em dia, como o que é meu é tudo pequeno e de uso pessoal, rodo tudo localmente, com backups automatizados. E tá bom assim. É uma enorme economia.

[Anasergun]

Uma vez instalei o Antix no meu servidor fraquinho que tenho em casa e apanhei pra fazer o docker subir nele. Achei uma postagem no forum do antix coisa de 2 dias atrás de eu fazer a instalação ensinando que tinha uma dependencia que era necessário instalar no Antix pra o docker conseguir subir corretamente. Por isso é importante quando há problemas assim haver compartilhamento do problema e soluções realizadas. Um dia alguem vai acabar com o mesmo problema e ter isso documentado salva vidas.

Caso alguem tenha esse mesmo problema, a correção foi instalar os pacotes elogind e libpam-elogind via apt-get. Após isto start no docker funcionou normalmente.

[claudiolorcajr]

Devia colocar o pessoal da ocean no jurídico! Pagar backup e não receber é osso! Mas que bom que deu tudo certo!!!!

[hugolf]

Só quem trabalha com isso e é profissional sério, entende o peso que é o que você passou. Quando as coisas funcionam é maravilhoso, ficamos orgulhosos da estabilidade, mas quando falham, haja coração!! Quando tudo falha, é a hora que o filho chora e a mãe não vê, e isso literalmente (choro de desespero), envolto de um turbilhão de pensamentos positivos (quase um torcedor fanático) e também de (também um torcedor já se consolando pelo fracasso), somados a micro infartos a cada backup ou plano de recuperação de desastres que falha, que luta meus amigos! Realmente é muito difícil. Fico feliz por sua superação e por mostrar um pouco do dia a dia da vida de um Analista de Infra / DevOps em seus dias de luta. Sucesso e novamente, parabéns!

[emanueldeivid]

Nossa Dio, obrigado por compartilhar esse momento, isso é incrível a forma como podemos lidar com cada situação e que é bom ter um parceiro pra algo assim.

[AndreSantanaBR]

Agora em 2024 completam exatamente 20 anos que utilizo a Linode. Até tenho servidores em outros VPS como redundância, mas os meus principais sempre gostei de manter lá, principalmente por ter acesso ao console via "Lish" (Linode Shell), que na prática é como se estivesse nativamente no console físico da máquina, consigo até fazer um backup ou restore remoto do tipo RAW (disk dump) redirecionando via tunel ssh e salvando local se preciso for. Outro recurso muito interessante é que posso dar um boot com uma distro Finnix por exemplo, em caso de desastre, para efetuar qualquer recuperação. São recursos que infelizmente não encontrei em outros VPS não sei por que, pois seriam muito bem vindos.

[MrVictorHugo]

Que bom que deu tudo certo.

Por isso gosto de manter meus backups importantes em mídia física, além da nuvem.
Já perdi backups que eu mantinha apenas na nuvem e não é uma sensação agradável

[tvmobby]

Video incrível man, as vezes no trabalho pego uns problemas assim, e me sinto a pessoa mais amaldiçoada do mundo, muito interessante ver sua tomada de decisão parabéns

[EricRibeiro]

Cara, eu nem posso imaginar o que você passou quando foi descobrindo as camadas dos problemas que estavam se desencadeando e você sem ter muito o que fazer, porém, fico muito feliz por ver que você teve tudo que era preciso para continuar com o seu excelente trabalho e manter o seu legado. Os primeiro conteúdos sobre linux que vi foram do seu canal, há uns 4 anos atrás, desde então eu não parei mais. Parabéns pela determinação, resiliência e por continuar contribuindo nessa plataforma tão ingrata com criadores de conteúdo como você, são essenciais para o acesso a informação de forma responsável, didática e divertida!

[danielprato]

Fala Dio, boa noite. Cara não tenho experiência com a hospedagem da digital ocean, porém eu tive problema parecido com uma hospedagem uma vez e com um servidor Ubuntu server 22.04. Os sintomas apresentados foram bem parecidos com o que você mencionou e depois de muita paciência e estudo, observei que por algum motivo o meu sistema havia ficado sem espaço de armazenamento, daí o sistema quebrou. Não conseguia logar na máquina de nenhuma forma. Era como se o serviço não subisse. Até o momento, não sei o motivo que causou o repentino estouro no meu espaço de armazenamento, porém ao perceber que estava sem disco, exclui alguma boa quantidade de documentos de um diretório (que não me recordo o nome) e o sistema simplesmente voltou a funcionar. Foi meu primeiro incidente desse tipo. Só sei que deste dia em diante eu monitoro com mais frequência o espaço de armazenamento kkkk. Valeu, obrigado pelo videi

[arnopfuetzenreiter]

Processo é estressante mesmo...parabéns por ter conseguido na calma voltar o backup! Pretendo montar um server ubuntu pra compartilhar midia e arquivos em home. Abraços

[fernandesopa]

Maluco, que mitada salvando esse servidor.
Precisei fazer algo parecido pra copiar os arquivos de um servidor antigo e me senti um ninja.

[danielesperanto]

Muito massa esse fórum! A comunidade é massa... Sempre recebo ajuda, tudo que um noob usuário de Linux precisa... valeu!

[brunosanto]

Pooorra, que saga guerreiro, deu até frio na espinha!

[FranciscoOFilho]

Poxa mano, até chorei vendo você contar tudo, senti sua tristeza em pensar na possibilidade de perder todo esse trabalho. Mas ao mesmo eu fico muito feliz que tenha conseguindo restaurar e deixar tudo normal, ainda mais com essas melhorias.
Sucesso pra ti, você merece!

[lucask]

Realmente, quando tentava acessar o site e via a página offline, eu não tinha ideia da gravidade da situação...
Ainda bem que você conseguiu recuperar esse backup.
Gosto bastante do Diolinux Plus porque ele foi fundamental na minha iniciação no mundo Linux quando precisei tirar dúvidas sobre o sistema. Visito ele regularmente umas duas vezes por dia para ler as notícias e ver os tópicos novos(embora não consiga ajudar na maioria) e sempre aprendo uma coisa ou outra com esse hábito.
Não precisa se desculpar pelos dias perdidos. Nós que temos que te agradecer por criar essa comunidade.

[Ehopope]

Usou da situação pra gerar um vídeo e passar conhecimento... Como sempre muito bom! Sobre a digital ocean me já deparei com vários problemas hospedando minhas aplicações, não uso e não recomendo

[paulomattos]

Inaceitavel, ainda mais que a maioria das vps ao redor do mundo rodam serviços pagos, por exemplo, eu tenho um negócio baseado em uma vps da Hetzner. Se cair e bugar igual essa imagina 100 clientes te ligando ?

Alias é essa a grande vantagem de uma cloud.
A gente paga por uma VPS não porque uma maquina fisica seria cara para rodar os serviços mas porque confiamos que eles nunca ou quase nunca vão cair quanto mais corromper desse jeito