Aqui está o conteúdo reescrito no estilo do Lucas Tech, seguindo rigorosamente a estrutura pedida:
💥 O Segredo Por Trás da Magia do Snapchat: Como NVIDIA e Google Cloud Aceleram TUDO em 4X e Economizam uma GRANA! 🚀
Olá, pessoal! Aqui é o Lucas Tech, e hoje a gente vai mergulhar fundo em uma história que mostra como a tecnologia de ponta está mudando o jogo para um dos apps mais populares do mundo. Sabe aquela sensação de que o Snapchat tá sempre com uma função nova, mais divertida e mais rápida? Pois é, por trás dessa agilidade toda, tem um baita trabalho de inovação, e adivinha quem está no centro disso? A NVIDIA e o Google Cloud! Preparem-se para descobrir como o Snapchat está voando baixo, acelerando o desenvolvimento em 4 vezes e, de quebra, economizando uma bolada. Isso é simplesmente sensacional!
A Corrida Insana das Novas Funções: Como o Snapchat se Mantém na Ponta?
Pensa comigo: os recursos dos aplicativos de redes sociais, tipo o Snapchat, evoluem quase na mesma velocidade que as tendências que bombam na internet, né? Pra não ficar pra trás, o Snap (a empresa por trás do Snapchat) resolveu ir com tudo e adotou as bibliotecas abertas de processamento de dados da NVIDIA, tudo rodando nos serviços do Google Cloud, pra dar um boost gigante no desenvolvimento.
Cada nova função que chega pros mais de 940 milhões de usuários ativos mensais do Snapchat passa por uma série de testes controlados antes de ir pro ar. É o famoso "teste A/B", sacou? Durante esse ciclo, a equipe de desenvolvimento estuda diferentes variáveis com um grupo menor de usuários, medindo quase 6.000 métricas! Elas analisam desde o engajamento e o desempenho do app até a monetização. É um universo de dados!
E não é pouca coisa, não! O Snap roda milhares desses experimentos todo mês, processando mais de 10 petabytes de dados (sim, DEZ petabytes!) em apenas três horas todas as manhãs, usando o framework distribuído Apache Spark. Mas a grande sacada é que eles adotaram o Apache Spark acelerado pela NVIDIA cuDF. Com isso, a empresa tá turbinando essas cargas de trabalho de processamento de dados nas GPUs da NVIDIA, conseguindo um aumento de velocidade de 4x no tempo de execução, usando o MESMO número de máquinas! É um caminho super eficiente e econômico pra escalar.
Juntando o software otimizado para GPU da NVIDIA, incluindo as bibliotecas NVIDIA CUDA-X, com os serviços de gerenciamento de infraestrutura do Google, como o Google Kubernetes Engine, o Snap montou uma plataforma completa e poderosíssima para processamento de dados em escala.
"A experimentação está no coração da nossa empresa. Mudar nossa infraestrutura de dados de CPUs para GPUs nos permite escalar eficientemente essa experimentação para mais recursos, mais métricas e mais usuários ao longo do tempo," disse Prudhvi Vatala, gerente sênior de engenharia do Snap. "Quanto mais experimentos conseguimos rodar, mais experiências inovadoras podemos entregar aos usuários do Snapchat." Sensacional, né?
Inovação Sustentável: Menos Gasto, Mais Potência!
Os fãs do Snapchat estão sempre vendo novidades no app – desde notificações de chegada até figurinhas geradas por inteligência artificial. Mas o Snap também está sempre lançando atualizações nos bastidores, como otimizações de desempenho e compatibilidade com novas versões de sistemas operacionais.
E o que é mais legal: os testes A/B para todas essas novas funções agora rodam no cuDF. Isso permite que os desenvolvedores executem os aplicativos Apache Spark que já existem nas GPUs da NVIDIA sem precisar mudar uma linha de código! Facilita demais a implantação. Essa biblioteca aberta, feita pra acelerar o processamento de dados, usa todo o poder da biblioteca cuDF GPU DataFrame da NVIDIA e a escala para o framework de computação distribuída Apache Spark.
Com essa mudança, a equipe conseguiu uma economia diária de 76% nos custos, usando as GPUs NVIDIA no Google Kubernetes Engine, comparado com os workflows que usavam apenas CPUs. Os dados foram coletados entre 1º de janeiro e 28 de fevereiro e são internos do Snap. É uma economia gigantesca!
"Estávamos planejando um roadmap ambicioso para escalar a experimentação que teria explodido nossos custos de computação com base na nossa infraestrutura existente," explicou Vatala. "Mudar para pipelines acelerados por GPU com cuDF nos deu uma maneira de achatar a curva de escala, e os resultados foram incríveis."
Para dar suporte a essa migração de workload, a equipe também aproveitou um pacote de microsserviços do cuDF que automaticamente qualifica, testa, configura e otimiza as cargas de trabalho do Spark para aceleração por GPU em escala. Isso é automação no seu melhor!
Trabalhando lado a lado com os especialistas da NVIDIA, a equipe do Snap otimizou seus pipelines nas máquinas virtuais G2 do Google Cloud, que são equipadas com as GPUs NVIDIA L4. O resultado? Eles precisaram de apenas 2.100 GPUs rodando simultaneamente – bem menos do que a projeção inicial, que era de cerca de 5.500 GPUs! Uma otimização de tirar o chapéu!
"Quando vi os resultados dos experimentos iniciais, eles foram bem loucos – tivemos uma economia de custos muito maior do que esperávamos," disse Joshua Sambasivam, engenheiro de backend da equipe de testes A/B. "O acelerador Spark é uma combinação perfeita para nossas cargas de trabalho."
O Futuro da Inovação no Snapchat
Olhando pra frente, a equipe do Snap planeja integrar o acelerador Spark para além da equipe de testes A/B, expandindo para uma gama ainda maior de cargas de trabalho de produção. Ou seja, a coisa só vai aumentar!
"Não percebíamos que estávamos sentados em uma mina de ouro," disse Vatala. "Até agora, migramos nossos dois maiores pipelines, mas há muitas oportunidades pela frente." Realmente, o potencial é imenso!
Se você quiser se aprofundar ainda mais, dá pra assistir à sessão do Vatala no NVIDIA GTC. É sempre bom aprender com quem tá fazendo acontecer!
Minha Visão
Gente, essa notícia do Snapchat usando a NVIDIA e o Google Cloud não é só sobre um app famoso, tá? Ela é um reflexo claro de uma tendência enorme no mundo da tecnologia. Ver como GPUs, que a gente tanto associa a games e inteligência artificial, estão virando peça-chave no processamento de dados em escala para aplicações do dia a dia, como redes sociais, é um divisor de águas. Isso mostra que a inovação na infraestrutura é tão ou mais importante que a inovação nas features que a gente vê na tela. As empresas que souberem otimizar seus custos e acelerar seus processos de desenvolvimento com tecnologias como essa da NVIDIA vão sair MUITO na frente. É um novo padrão de eficiência e agilidade que está sendo estabelecido, e isso impacta diretamente a velocidade com que a gente recebe novidades e melhorias nos nossos apps favoritos!
E aí, o que vocês acharam dessa revolução nos bastidores do Snapchat? Será que veremos cada vez mais empresas seguindo os passos da NVIDIA e do Google Cloud para acelerar suas inovações e cortar custos de forma tão drástica? Qual outra empresa vocês acham que deveria investir pesado nessa tecnologia? Me contem nos comentários! Vamos conversar!
Referência: Matéria Original
