Incident Portail / Portail unavailable / Portail Indisponibile
Postmortem
English version below
Post Mortem
Référence incident
TSR-3518
Service concerné
Demandes de paiements et affichage des transactions.
Impact client
Arrêt d’envoi des liens de paiement et non affichage des nouvelles transactions.
Synthèse de l’incident
- 21 juillet 14h10 : début de l’incident.
- 21 juillet 14h37 : remontée d’alerte sur un potentiel incident affectant les demandes de paiements. Début des investigations.
- 21 juillet 14h53 : création d’une cellule de crise dédiée.
- 21 juillet 14h59 : communication Statuspage.
- 21 juillet 15h : identification de l’origine de l’incident.
- 21 juillet 15h06 : déploiement des actions correctives.
- 21 juillet 15h19 : remontées de retards dans la remontée des transactions.
- 21 juillet 15h21 : début de reprise du service.
- 21 juillet 15h30 : fin de l’incident.
Root cause
Un dysfonctionnement sur l'une de nos instances a provoqué l'absorption massive et anormale d'un grand nombre de données simultanées. Cette surcharge soudaine associée à une gestion synchrone entre deux services a fortement ralenti une partie de notre système et a bloqué la remontée des demandes de paiements sur le Portail.
Actions prises par Payplug
| Symptômes | Actions |
|---|---|
| Absence de limite sur l’absorption des données par une instance. | Ajout d’une limite pour éviter un engorgement de l’instance et un ralentissement général de certains services. |
| Gestion synchrone entre deux services qui ont ralenti le système une partie de notre système. | Analyses en cours pour fluidifier la communication entre les deux services (mise en place d’un timeout court ou mise en place d’une gestion asynchrone). |
==============ENGLISH VERSION==============
Post Mortem
Incident reference
TSR-3518
Payment services affected by the incident
Payment requests and transaction display.
Client impact
Payment links were no longer being sent, and new transactions were not displayed..
Incident Overview
- 21 July, 2:10 pm: incident began.
- 21 July, 2:37 pm: alert raised regarding a potential incident affecting payment requests. Investigations commenced.
- 21 July, 2:53 pm: a dedicated crisis management team was established.
- 21 July, 2:59 pm: Statuspage communication published.
- 21 July, 3:00 pm: root cause identified.
- 21 July, 3:06 pm: corrective actions deployed.
- 21 July, 3:19 pm: reports of delays in transaction display received.
- 21 July, 3:21 pm: service recovery began.
- 21 July, 3:30 pm: incident resolved.
Root cause
A malfunction on one of our instances resulted in the abnormal processing of a large volume of data simultaneously. This sudden overload, combined with synchronous processing between two services, significantly slowed down part of our system and prevented payment requests from being displayed in the Portal.
Actions taken by Payplug
| Symptoms | Actions |
|---|---|
| No limit was in place on the volume of data that could be processed by a single instance. | A limit is currently being implemented to prevent instance saturation and the resulting degradation of certain services. |
| Synchronous communication between two services contributed to the slowdown of part of our system. | Investigations are underway to improve communication between the two services, either by introducing a shorter timeout or by implementing asynchronous processing. |
Resolved
Monitoring
Le service est revenu à la normal depuis 15h30.
Nos équipes continuent de monitorer le service.
EN
The service has been back to normal since 3:30 pm.
Our teams continue to monitor the service.
IT
Il servizio è tornato alla normalità dalle ore 15:30.
I nostri team continuano a monitorare il servizio.
Update
L'incident affecte également la remontée des transactions qui peuvent apparaître avec du retard.
Nos équipes sont mobilisées pour résoudre le problème.
EN
The incident is also affecting the display of transactions, which may appear with a delay.
Our teams are fully mobilised to resolve the issue.
IT
L'incidente interessa anche la visualizzazione delle transazioni, che potrebbero comparire con ritardo.
I nostri team sono mobilitati per risolvere il problema.
Update
Les investigations sont toujours en cours.
Nous reviendrons vers vous dans 15 minutes.
EN
Investigations are still ongoing.
We will provide you with a further update in 15 minutes.
IT
Le indagini sono ancora in corso.
Vi aggiorneremo tra 15 minuti.
Investigating
Nous avons identifié un problème avec les liens de paiements qui ne remontent pas dans le Portail.
Nos équipes sont mobilisées pour résoudre le problème.
EN
We have identified an issue affecting payment links, which are not appearing in the Portal.
Our teams are fully mobilised to resolve the issue.
IT
Abbiamo identificato un problema per cui i link di pagamento non vengono visualizzati nel Portale.
I nostri team sono mobilitati per risolvere il problema.