Como reduzi pela metade minha conta mensal de armazenamento na nuvem com 5 decisões difíceis

Minhas unidades de arquivo e servidores de backup. Temos cerca de um décimo de petabyte aqui. Meu servidor de segurança está em uma estante diferente, enquanto o servidor de backup offline mencionado anteriormente fica andar acima.

Resumo das principais conclusões:
Os custos de armazenamento em nuvem dispararam após a eliminação dos planos ilimitados. Fazer backup de tudo se tornou caro e desnecessário. Cinco mudanças estratégicas resultaram em uma economia superior a R$6.000 por ano. Nunca mais verei 60 terabytes de armazenamento em nuvem novamente. Em um aspecto, me sinto aliviado, mas, por outro lado, isso me deixa triste.

Essa história começou há muito tempo e culminou em uma análise séria de mim mesmo e da infraestrutura que uso, acompanhada de algumas conversas difíceis e decisões complicadas. É uma narrativa sobre acumuladores virtuais disfarçados de boas práticas, onde o excesso se tornou insustentável e a tarefa aparentemente simples de manter backups se transformou em uma segunda profissão de atendimento de emergência. E essa semana eu mudei tudo isso.

Em resumo:
Para ser breve: eu migrei do Google Workspace Enterprise para o Backblaze B2. Abandonei o Time Machine e adicionei o Backblaze Personal para máquinas individuais. Minha rede de servidores RAID auxilia uns aos outros nos backups e, ao final do processo, economizei bem mais de mil dólares.

Porém, teve um preço: precisei abrir mão de muita coisa. A seguir, vou compartilhar o contexto necessário, a descrição da arquitetura de rede antes e depois, detalhes de custos e um mergulho profundo nas razões que me levaram a essa nova abordagem. Vamos começar.

O período anterior
Desde o que parece ser uma eternidade, mas que provavelmente remonta ao início dos anos 2000, sou um grande defensor da estratégia de backup 3-2-1 da indústria de tecnologia. Essa estratégia diz que devemos ter três cópias de cada arquivo, sendo que duas devem estar em dispositivos físicos diferentes e uma deve estar off-site. Nos tempos em que meus pais ainda estavam vivos, o backup off-site era simples; eu levava alguns discos rígidos para a casa deles durante as visitas, enquanto eles me colocavam para trabalhar removendo os vírus que meu pai tinha pego entre as idas.

Meus requisitos de armazenamento eram consideráveis, mas não excessivos. Na época em que a maioria tinha internet discada, meus servidores web próprios ficavam em um armário de roupas convertido. Esses servidores utilizavam uma conexão T-1 de internet de alta velocidade, que passava pelo meu banheiro, entre Rutgers e Princeton. Naquele tempo, minhas necessidades de armazenamento somavam menos de um terabyte. Era muito para os primórdios, mas hoje não se compara a 60 terabytes.

Com o passar do tempo, meu trabalho me levou a três áreas intensivas em dados: máquinas virtuais em rede, modelagem 3D e vídeo. Minhas necessidades de armazenamento local explodiram e continuaram a crescer na última década. Além dos terabytes de VMs usadas para o que agora chamamos de desenvolvimento de agentes de IA, mantenho todos os elementos de vídeo envolvidos na produção de vídeos de qualidade razoável para o YouTube. Um único vídeo pode consumir quase um terabyte durante a produção. Meu sistema de vigilância com múltiplas câmeras também consome muito espaço. Atualmente, opero quatro servidores de arquivo locais em casa, totalizando 139,04 terabytes.

Transitando para um novo normal
Mais de dez anos atrás, armazenar na nuvem se tornou não apenas viável, mas também acessível. Eu comprei planos ilimitados de diversos provedores de backup online. Mas, em 2017, essa festa interminável de armazenamento se extinguiu. À medida que fornecedores suspendiam suas ofertas ilimitadas, passei semanas transferindo meus dados para outra opção que ainda oferecia armazenamento sem limites, como um jogo bizarro de "Whac-A-Mole" de armazéns de dados. Eventualmente, atingi um ponto crítico.

Chegou uma hora em que esses planos simplesmente não estavam mais disponíveis, exceto por uma opção da Google, que em 2018 oferecia um plano ilimitado por R$60/mês se você adquirisse cinco ou mais contas. Fiz isso. No entanto, em 2020, o Google rebatizou o G Suite para Workspace e restringiu suas opções de armazenamento. A partir daí, os pedidos por mais espaço se tornaram uma negociação anual conturbada, enfrentando muitas exigências e justificativas a cada renovação.

Recentemente, recebi mais uma notificação de limite de armazenamento. Em vez de entrar em mais uma rodada de negociações diplomáticas com os "senhores do dado", decidi repensar minha vida. Ou, pelo menos, o aspecto relacionado ao armazenamento.

Arquitetura de armazenamento pré-migração
Minhas despesas com e-mail e armazenamento estiveram interligadas desde que comecei a usar o Google Workspace. Meu principal e-mail é uma conta do Gmail configurada para enviar e receber usando meus domínios corporativos. O gráfico a seguir ilustra a arquitetura de armazenamento antes da migração. Meus principais dispositivos de armazenamento incluem os computadores que eu e minha esposa utilizamos, nosso servidor de arquivos (que armazena todos os nossos documentos importantes e backups de vídeo), e um servidor de segurança (que contém vídeos históricos das câmeras de vigilância).

Os Macs eram salvos em um servidor local usando o Time Machine. Para ser honesto, não sou fã do Time Machine; é sempre uma incerteza se você conseguirá restaurar algo dele, e frequentemente falha. O Time Machine é um backup incremental, permitindo que você volte a um dia ou semana anterior. Os Macs também sincronizam com nosso servidor de backup local utilizando o ChronoSync, uma ferramenta confiável de sincronização com bom suporte técnico.

Esse server de arquivos contava com quatro mecanismos de backup. Ele realizava backups incrementais no Google Workspace e também sincronizava com o Google Workspace. Assim, o Workspace tinha duas arquiteturas completas de backup. O servidor de arquivos também sincronizava com o servidor de backup, que funcionava uma vez por semana, proporcionando um backup isolado caso algo mais grave acontecesse. A infraestrutura estava blindada contra incêndios e inundações, garantindo proteção contra uma série de imprevistos.

Custos pré-migração
Como em tudo na vida, os custos de armazenamento em nuvem têm aumentado constantemente. Além do custo do Google Workspace, cerca de R$500 por mês, pagamos um adicional para expandir o armazenamento em nossas contas pessoais do Gmail. Também investimos em cerca de R$150 mensais para aumentar nosso armazenamento no iCloud para 6TB.

Decisões difíceis
Como o gráfico abaixo demonstra, o armazenamento de documentos críticos representa apenas uma fração do total de arquivos em nosso grande servidor de arquivos. Os vídeos em produção são todos que já foram enviados ao YouTube. O arquivo bruto é mantido no servidor, sendo que ocasionalmente faço uso dele. A perda desse material não seria catastrófica, mas seria lamentável. Da mesma forma, a pasta com a coleção de DVDs e arquivos de música é importante, mas, considerando que assinamos vários serviços de streaming, não a utilizamos há anos.

Decisão difícil #1: Parar de fazer backup de mídias antigas. Essa foi a primeira decisão difícil que tomei, pois o uso intenso do armazenamento em nuvem aumentava drasticamente.

Decisão difícil #2: Abrir mão do armazenamento do Google Workspace. Essa decisão me deixou triste, pois perder toda aquela capacidade de armazenamento era um desafio, mas as constantes discussões com o suporte haviam ultrapassado meu limite de tolerância.

Decisão difícil #3: Deixar de usar o Time Machine. Embora essa seja a recomendação oficial da Apple, a verdade é que o Time Machine é ineficaz. Como já sincronizo meus Macs com o iCloud e com nosso servidor de backup, decidi simplesmente eliminá-lo. Em seguida, optei pelo Backblaze Personal para o meu e o principal Mac da minha esposa, que oferece backups ilimitados por apenas R$50 por mês.

Decisão difícil #4: Usar o Backblaze B2 para o armazenamento em nuvem do servidor. Embora a cobrança de R$30 por terabyte por mês não seja tão vantajosa quanto as ofertas anteriores, manter o uso abaixo de 4TB, que é o caso dos documentos, oferece uma solução econômica.

Decisão difícil #5: Parar com os backups incrementais para o servidor na nuvem. Isso ajudará a reduzir consideravelmente os custos com o Backblaze B2. Um recurso interessante é que o Backblaze mantém arquivos por um número de dias, então defini a retenção de arquivos para 10 dias, garantindo que, se eu deletar algo por engano, ainda poderei recuperá-lo.

Orçamento e arquitetura pós-migração
Agora, com a nova estrutura, muitas coisas permaneceram iguais. As cópias de segurança do servidor de arquivos na nuvem diminuíram consideravelmente, e o Time Machine não faz mais parte da configuração. Continuo mantendo o Google Workspace para o e-mail corporativo, o que agora custa R$70 por mês para duas contas.

Resumindo as finanças, minha mensalidade caiu de R$1.000 (R$12.000 por ano) para R$450 (R$5.400 por ano). Essa economia de R$6.000 anualmente é bastante significativa. Contudo, foi um caminho difícil até aqui. Espero que, no próximo ano, não tenha que enfrentar novas batalhas relacionadas ao armazenamento. Tenho fé de que essa nova abordagem me proporcione alguns anos de tranquilidade.

Desejo saber de você: Já precisou tomar decisões difíceis sobre sua estratégia de armazenamento em nuvem? Quais serviços você utiliza para gerenciar grandes volumes de dados? Você encontrou uma configuração que equilibre custo, acesso e redundância? Já considerou abandonar o Time Machine ou se afastar do Google Workspace? Como você faz os backups de mídias, VMs ou gravações de segurança? Compartilhe suas experiências nos comentários.

Referência: ZDNET