Desculpas pela falha do Rate Limiter e correções implementadas

Tim Koschützki

Cofundador · Berlim, Alemanha · Mostrar biografia

Ontem, às 10:49 da manhã, tivemos um problema que afetou 2,7% dos nossos clientes.

O problema era que, para esses clientes, Assemblies foram rejeitadas indevidamente com um erro RATE_LIMIT_REACHED durante um período de duas horas.

O problema foi causado por uma pequena melhoria (ou assim pensávamos) no nosso Rate Limiter. Normalmente, nossa suíte de testes deveria ter detectado qualquer comportamento inválido antes de chegar à produção, mas este era um caso extremo que não cobríamos nos nossos testes e, por isso, o problema acabou chegando à produção.

Nem é preciso dizer que lamentamos muito por isso.

Assim que fomos notificados, tomamos as seguintes medidas para garantir que isso nunca mais aconteça:

1. Aumentamos os limites de taxa por conta de todas as contas afetadas para 50.000 como correção emergencial, para evitar que mais Assemblies fossem rejeitadas.

2. Corrigimos o bug no Rate Limiter e publicamos a correção em até trinta minutos após o relato.

3. Melhoramos nossos testes automatizados para garantir que comportamentos inválidos não cheguem à produção no futuro.

4. Melhoramos nosso monitoramento disso, de modo que receberemos uma ligação telefônica automática assim que dois ou mais clientes tiverem suas requisições limitadas ao mesmo tempo. Assim, no caso improvável de isso acontecer novamente, saberemos antes de todo mundo e poderemos resolver o problema logo no início.

Enviamos um e-mail pessoal a todos os clientes afetados, informando-os sobre esse problema. Também aplicamos um desconto de 25% nas próximas faturas de todos os clientes afetados.

Lamentamos muito que isso tenha acontecido e acreditamos ter tomado as medidas necessárias para que isso nunca mais aconteça.