INCIDENT PROCESSING | Perturbations plateforme de paiement / Payment platform disruptions / Perturbazioni della piattaforma di pagamento

Incident Report for Payplug

Postmortem

English version below

Post Mortem

Référence incident

TSR-1532

Service concerné

Paiements e-commerce et magasin.

Impact client

Aucun paiement durant 13 minutes.

Synthèse de l’incident

  • 16h11 : mise en production d’une évolution sur un composant réseau (ingress). Début de l’incident.
  • 16h16 : cellule incident majeur ouverte.
  • 16h21 : déploiement du rollback de la mise en production.
  • 16h21 : communication status page.
  • 16h24 : Service rétabli. Fin de l’incident.

Contexte

N/A 

Root cause

Dans le cadre d’une mise à jour d’un composant réseau (ingress), les serveurs correspondants ont été vu down par les load balancer, ce qui a bloqué l’ensemble des flux entrant sur la plateforme.

Actions à entreprendre par Payplug

Symptômes Actions
Mise en production en erreur. Investigation de la mise en production avant toute tentative de redéploiement ultérieure.
Test des composants réseau (ingress externals) ne permettant pas de valider qu’ils étaient fonctionnels après le changement en environnement de test. Créer des tests dédiés afin de valider isolément le fonctionnement des ingress external des ingress internal.

==============ENGLISH VERSION==============

Post Mortem

Incident reference

TSR-1532

Payment services affected by the incident

E-commerce and instore payments..

Client impact

No payment during 13 minutes.

Incident Overview

  • 4h11 PM : Production deployment of an upgrade on a network component (ingress). Incident begins.
  • 4h16 PM : Major incident response team activated.
  • 4h21 PM : Rollback deployment of the production change.
  • 4h21 PM : Status page communication.
  • 4h24 PM : Service restored. Incident resolved.

Context

N/A

Root cause

As part of an update to a network component (ingress), the corresponding servers were seen as down by the load balancers, which blocked all incoming traffic to the platform.

Actions to be taken by Payplug

Symptoms Actions
Production deployment failed. Investigation of the deployment before any further redeployment attempts.
Testing of network components (external ingress) did not confirm whether they were functional after the change in the test environment. Create dedicated tests to validate the functionality of external ingresses separately from internal ingresses.
Posted Mar 31, 2025 - 09:43 CEST

Resolved

TSR-1532
- Début / Start : 27/03/2025 16h11 CET
- Fin / End : 27/03/2025 16h23 CET
- Catégorie / Category : Production
- Responsabilité / Responsibility : Payplug
- Priorité / Priority : P1

FR
L'incident est maintenant résolu et le service est rétabli.

EN
Incident is now resolved and service restored.

IT
L'incidente è stato risolto e il servizio è stato ripristinato.
Posted Mar 27, 2025 - 18:00 CET

Monitoring

TSR-1532
- Début / Start : 27/03/2025 16h11 CET
- Fin / End : 27/03/2025 16h23 CET
- Catégorie / Category : Production
- Responsabilité / Responsibility : Payplug
- Priorité / Priority : P1

FR
Un incident affectant le e-commerce et les paiements in-store a eu lieu entre 16h11 et 16h23.
La situation est revenue à la normale.
Nous continuons de monitorer le service.

EN
An incident affecting e-commerce and in-store payments occurred between 4.11pm and 4.23pm.
The situation has now returned to normal.
We are continuing to monitor the service.

IT
Tra le 16.11 e le 16.23 si è verificato un incidente che ha interessato l'e-commerce e i pagamenti in negozio.
La situazione è ora tornata alla normalità.
Continuiamo a monitorare il servizio.
Posted Mar 27, 2025 - 16:42 CET
This incident affected: API de Paiement | Payment API, Portail | Portal, Demande de paiement | Payment request, and Paiement en magasin.