Excuses pour la panne du limiteur de débit et correctifs apportés
Hier à 10:49 du matin, nous avons rencontré un problème qui a touché 2,7 % de nos clients.
Pour ces clients, des Assemblies ont été rejetées à tort avec une erreur
RATE_LIMIT_REACHED, pendant une période de deux heures.
Le problème a été causé par une amélioration mineure (du moins le pensions-nous) de notre limiteur de débit. Normalement, notre suite de tests aurait dû détecter tout comportement incorrect avant l’arrivée en production, mais il s’agissait d’un cas limite que nos tests ne couvraient pas, et le problème a donc fini par atteindre la production.
Inutile de dire que nous en sommes vraiment désolés.
Dès que nous avons été informés du problème, nous avons pris les mesures suivantes pour qu’il ne puisse plus jamais se reproduire :
-
Nous avons relevé à 50 000 les limites de débit par compte de tous les comptes concernés, à titre de correctif d’urgence, pour éviter que d’autres Assemblies ne soient rejetées.
-
Nous avons corrigé le bug dans le limiteur de débit et déployé le correctif dans les trente minutes suivant le signalement.
-
Nous avons amélioré nos tests automatisés afin qu’à l’avenir, aucun comportement incorrect ne puisse passer en production.
-
Nous avons amélioré notre surveillance de ce point, de sorte que nous recevrons un appel téléphonique automatique dès que deux clients ou plus seront soumis à une limitation de débit au même moment. Ainsi, dans l’éventualité peu probable où cela se reproduirait, nous le saurons avant tout le monde et pourrons intervenir dès les premiers instants.
Nous avons envoyé un e-mail personnel à tous les clients concernés pour les informer de ce problème. Nous avons également appliqué une remise de 25 % sur les prochaines factures de tous les clients concernés.
Nous sommes vraiment désolés que cela se soit produit et nous pensons avoir pris les mesures nécessaires pour que cela ne se reproduise jamais.