INCIDENT PROCESSING | Perturbations plateforme de paiement / Payment platform disruptions
Incident Report for Payplug
Postmortem

English version below

Post Mortem

Référence incident

TSR-1026

Service concerné

Paiements e-commerce.

Impact client

Service interrompu durant 20 minutes.

Synthèse de l’incident

  • 17 décembre - 14h08 : mise en production de la première partie d’une évolution.
  • 17 décembre - 14h17 : début de l’incident.
  • 17 décembre - 14h18 : création de la cellule incident majeur.
  • 17 décembre - 14h24 : mise en production de la seconde partie d’une évolution.
  • 17 décembre - 14h37 : reprise du service et fin de l’incident.

Contexte

Déploiement d’une évolution impactant la structure d’une base de données.

Root cause

Erreur dans la mise en production d’une évolution. Seul le changement structurel a été déployé dans un premier temps et pas l’applicatif lié. Durant l’incident, l’ancien applicatif n’était pas adapté à ce changement structurel.

Actions à entreprendre par Payplug

Symptôme Action
Déploiement partiel. Blocage temporaire de tous les changements de ce type pouvant mener à un déploiement partiel. Revue du processus d’application de changement ayant un impact structurel (capacité de déploiement des changements structurels séparément des changements applicatifs sans impact). Découpe des déploiements de gros sujets en plus petits afin d’améliorer la maîtrise lors de leur validation
Correctif lent à appliquer (lié au délai actuel nécessaire pour mettre en production). Revue complète du processus de déploiement pour le raccourcir drastiquement. Action déjà en cours.

==============ENGLISH VERSION==============

Post Mortem

Incident reference

TSR-1026

Payment services affected by the incident

E-commerce payments.

Client impact

Service interrupted for 20 minutes.

Incident Overview

  • 17th of December - 14h08 : Deployment of the first part of an update.
  • 17th of December - 14h17 : Incident beginning.
  • 17th of December - 14h18 : Major incident unit opened.
  • 17th of December - 14h24 : Deployment of the second part of the update.
  • 17th of December - 14h37 : Service restored. Incident ending.

Contexte

Deployment of an update impacting the structure of a database.

Root cause

Error in the deployment of an update. Only the structural change was deployed initially, and the associated application update was not deployed. During the incident, the old application was incompatible with the structural change.

Actions to be taken by Payplug

Symptom Action
Partial deployment. Temporary block on all similar changes that could lead to a partial deployment. Review the change implementation process for structural impacts (ability to deploy structural changes separately from application updates without impact). Break down large deployments into smaller parts to improve control during validation.
Slow corrective measures (due to the current time required for deployment). Comprehensive review of the deployment process to drastically reduce its duration (action already underway).
Posted Dec 20, 2024 - 17:02 CET

Resolved
This incident has been resolved.
Posted Dec 17, 2024 - 17:31 CET
Update
TSR-1026
- Début / Start / Inizio : 17/12/2024 14h16 CET.
- Fin / End /fine : 17/12/2024 14h37 CET.
- Catégorie / Category / Categoria: Production - Processing
- Responsabilité / Responsibility / Responsabilità : Payplug
- Priorité / Priority / Priorità: P1.

FR
L'incident est maintenant résolu et le service est rétabli.
Nous continuons à surveiller la reprise du service.

EN
Incident is now resolved and service restored.
Service recovery is still under monitoring.

IT
L'incidente è stato risolto e il servizio è stato ripristinato.
Continuiamo a monitorare la ripresa del servizio.
Posted Dec 17, 2024 - 14:49 CET
Monitoring
FR
Le service reprend progressivement
Nous continuons à surveiller la reprise du service.

EN
Service is gradually resuming.
Service recovery is under monitoring.
Posted Dec 17, 2024 - 14:42 CET
Identified
FR
Nous avons identifié des difficultés sur le processing des paiements e-commerce.
Pas d'impact sur les paiements sur TPE.
Une action est en cours pour rétablir le service

EN
We have identified ongoing difficulties on the e-commerce payment processing.
No impact on the POS terminals payments.
An action is ongoing to resume service
Posted Dec 17, 2024 - 14:30 CET
This incident affected: API de Paiement | Payment API.