English version below

Post Mortem

Référence incident

TSR-1418

Service concerné

Demandes de paiement.

Impact client

Impossibilité pour les marchands de payer 15 minutes après l’envoi du lien.

Synthèse de l’incident

• 04 mars - 09h32 : déploiement d’une mise en production de nettoyage de requêtes expirées. Début de l’incident.
• 04 mars - 18h14 : premières remontées marchandes d’expiration immédiates de liens de demandes de paiements.
• 04 mars - 18h16 : tests pour tenter de reproduire le problème mais on ne reproduit pas la situation.
• 05 mars - 11h11 : nouvelles remontées marchandes.
• 05 mars - 11h12 : contact avec le marchand pour détailler l’erreur et notamment l’expiration après 15 minutes et non immédiate.
• 05 mars - 12h02 : demande d’escalade du ticket.
• 05 mars - 12h15 : différents tests sont menés pour reproduire le bug.
• 05 mars - 12h38 : confirmation d’un incident généralisé.
• 05 mars - 12h40 : création d’une cellule de crise dédiée.
• 05 mars - 12h55 : identification d’une mise en production qui pourrait impacter l’expiration des liens de paiements.
• 05 mars - 13h50 : tentatives de fix mais blocage au niveau des tests.
• 05 mars - 16h11 : rollback de la mise en production. Fin de l’incident.

Contexte

N/A 

Root cause

Une mise en production a causé l’expiration des liens de paiements après 15 minutes et rendait les paiements impossibles. 

‌

Actions à entreprendre par Payplug

Symptômes	Actions
Erreur de configuration dans une mise en production.	Revue complète du processus de déploiement.

‌

‌

==============ENGLISH VERSION==============

Post Mortem

Incident reference

TSR-1418

Payment services affected by the incident

Payment requests.

Client impact

Merchants unable to pay 15 minutes after the link has been sent.

Incident Overview

• March 4 - 09:32 AM: deployment of a production update for cleaning expired queries. Start of the incident.
• March 4 - 06:14 PM: first merchant reports of immediate expiration of payment request links.
• March 4 - 06:16 PM: tests conducted to try to reproduce the issue, but the situation cannot be replicated.
• March 5 - 11:11 AM: new merchant reports.
• March 5 - 11:12 AM: contact with the merchant to explain the error and in particular the fact that the link expired after 15 minutes rather than immediately.
• March 5 - 12:02 PM: ticket escalation.
• March 5 - 12:15 PM: various tests carried out to reproduce the bug.
• March 5 - 12:38 PM: confirmation of a widespread incident.
• March 5 - 12:40 PM: creation of a dedicated crisis unit.
• March 5 - 12:55 PM: identification of a production update that might impact the expiration of payment links.
• March 5 - 01:50 PM: attempted fixes but blocked at the testing stage.
• March 5 - 04:11 PM: rollback of the production update. End of the incident.

Context

N/A

Root cause

A production update caused payment links to expire after 15 minutes, making payments impossible.

Actions to be taken by Payplug

Symptoms	Actions
Configuration error in a production deployment.	Complete review of the deployment process