English version below

Post Mortem

Référence incident

TSR-1026

Service concerné

Paiements e-commerce.

Impact client

Service interrompu durant 20 minutes.

Synthèse de l’incident

• 17 décembre - 14h08 : mise en production de la première partie d’une évolution.
• 17 décembre - 14h17 : début de l’incident.
• 17 décembre - 14h18 : création de la cellule incident majeur.
• 17 décembre - 14h24 : mise en production de la seconde partie d’une évolution.
• 17 décembre - 14h37 : reprise du service et fin de l’incident.

Contexte

Déploiement d’une évolution impactant la structure d’une base de données.

Root cause

Erreur dans la mise en production d’une évolution. Seul le changement structurel a été déployé dans un premier temps et pas l’applicatif lié. Durant l’incident, l’ancien applicatif n’était pas adapté à ce changement structurel.

Actions à entreprendre par Payplug

‌

Symptôme	Action
Déploiement partiel.	Blocage temporaire de tous les changements de ce type pouvant mener à un déploiement partiel. Revue du processus d’application de changement ayant un impact structurel (capacité de déploiement des changements structurels séparément des changements applicatifs sans impact). Découpe des déploiements de gros sujets en plus petits afin d’améliorer la maîtrise lors de leur validation
Correctif lent à appliquer (lié au délai actuel nécessaire pour mettre en production).	Revue complète du processus de déploiement pour le raccourcir drastiquement. Action déjà en cours.

‌

==============ENGLISH VERSION==============

Post Mortem

Incident reference

TSR-1026

Payment services affected by the incident

E-commerce payments.

Client impact

Service interrupted for 20 minutes.

Incident Overview

• 17th of December - 14h08 : Deployment of the first part of an update.
• 17th of December - 14h17 : Incident beginning.
• 17th of December - 14h18 : Major incident unit opened.
• 17th of December - 14h24 : Deployment of the second part of the update.
• 17th of December - 14h37 : Service restored. Incident ending.

Contexte

Deployment of an update impacting the structure of a database.

Root cause

Error in the deployment of an update. Only the structural change was deployed initially, and the associated application update was not deployed. During the incident, the old application was incompatible with the structural change.

Actions to be taken by Payplug

‌

Symptom	Action
Partial deployment.	Temporary block on all similar changes that could lead to a partial deployment. Review the change implementation process for structural impacts (ability to deploy structural changes separately from application updates without impact). Break down large deployments into smaller parts to improve control during validation.
Slow corrective measures (due to the current time required for deployment).	Comprehensive review of the deployment process to drastically reduce its duration (action already underway).