Expansão para uma nuvem híbrida com a Hetzner

No início deste mês, concluímos um grande projeto de infraestrutura: expandir a Transloadit para uma plataforma híbrida que combina Hetzner Cloud, Hetzner Bare Metal e AWS. O objetivo é simples: manter frotas muito maiores online o tempo todo, para podermos responder a picos de demanda sem esperar que novos recursos sejam inicializados.

Por que a Hetzner e por que agora?

Nossas cargas de trabalho são elásticas, e ainda conseguimos iniciar centenas de máquinas em cerca de um minuto. O desafio é que parte do tráfego que atendemos (como codificação de vídeo sob demanda ou requisições ao Smart CDN) chega tão rápido que até esse minuto dificulta a absorção dos picos. Muitas vezes, o escalonamento preditivo também não consegue prevê-los. Ao hospedar uma frota de base maior na Hetzner, tornamos economicamente viável ter uma margem de capacidade enquanto adicionamos mais recursos automaticamente.

Em outras palavras, isso nos dá aquele minuto.

Como a nuvem híbrida está estruturada

A nuvem híbrida incorpora os seguintes componentes:

• Hetzner Bare Metal oferece os nós que nos dão desempenho previsível nos Jobs mais exigentes
• Hetzner Cloud fornece os nós que costumam ser menores e mais próximos dos nossos usuários finais
• AWS continua fazendo parte da infraestrutura para serviços críticos, como nosso banco de dados principal, e para possibilitar as expansões imediatas de capacidade mencionadas anteriormente.

PoPs que espelham nossa presença na AWS

Colocamos em operação novos pontos de presença da Hetzner, próximos das localidades da AWS onde já operamos: perto de us-east-1, eu-west-1 e ap-southeast-1. Manter os PoPs próximos preserva o perfil de latência ao qual nossos clientes estão acostumados. Os componentes que começam a processar em um provedor permanecem nele sempre que possível, de modo que os saltos entre provedores, e a latência que introduzem, continuam raros.

O que permanece na AWS

A AWS continua sendo nossa ferramenta de resposta rápida. Quando a demanda dispara e supera a capacidade da frota de base, podemos recorrer à capacidade da AWS para absorver o pico. As cargas de trabalho legadas que dependem de serviços específicos da AWS permanecem exatamente onde estão, então você não precisará reconfigurar nada.

O que isso significa para você

• Respostas mais rápidas a aumentos repentinos de tráfego, pois a capacidade adicional já está pronta para uso.
• Menor risco de sofrer penalidades de escalonamento durante eventos com características de tempo real.
• As mesmas APIs, os mesmos Templates e os mesmos SLAs com que você conta hoje.
• Nenhum dado permanece na Hetzner; tudo é eliminado, a menos que você armazene arquivos explicitamente (no seu próprio armazenamento), como já ocorria na AWS.

Essa expansão para a Hetzner é a base para várias otimizações que ainda estão por vir. Já estamos monitorando a composição da frota e continuaremos a ajustá-la, para que cada carga de trabalho seja processada na infraestrutura mais eficiente disponível. Como sempre, adoraríamos receber seus comentários ou perguntas.