Référence incident
TSR-1610
Service concerné
Nexo.
Impact client
Multiples débits de paiements effectués sur des terminaux PAX (protocole Nexo).
Synthèse de l’incident
Contexte
L’annulation d’un double-débit menant au remboursement du débit indu est une opération manuelle et sensible. Notre prestataire a pris toutes les précautions nécessaires pour ne pas générer de dommages collatéraux, ce qui explique le délai observé.
Root cause
L’incident a été causé par l’ajout d’un processus de mise à jour des statuts de transactions le 7 avril. Ce dernier pouvait occasionnellement entrer en conflit avec un processus déjà existant, empêchant la mise à jour des transactions concernées.
Actions à entreprendre par Payplug
| Symptômes | Actions |
|---|---|
| Détection tardive des double-débits. | Mise en place d’un monitoring manuel quotidien à court terme. Automatisation du monitoring à moyen terme. |
| Absence de remontée d'erreurs lors du conflit de processus. | Mise en place d’un log + alerte lors d’un conflit de mise à jour de statut d’une transaction. Amélioration du retry pour retenter automatiquement la mise à jour du statut. |
| Bug non détecté lors de la phase de test. | Ajout systématique de tests sur un plus gros volume de transactions. Investigations sur de nouveaux tests de charge. |
==============ENGLISH VERSION==============
Incident reference
TSR-1610
Payment services affected by the incident
Nexo.
Client impact
Multiple payments debited from PAX terminals (Nexo protocol).
Incident Overview
Context
Reversing a duplicate debit and refunding the undue charge is a manual and sensitive operation. Our provider took all necessary precautions to avoid collateral damage, which explains the observed delay.
Root cause
The incident was caused by the addition of a transaction status update process on April 7. This process could occasionally conflict with an existing one, preventing the status update of affected transactions.
Actions to be taken by Payplug
| Symptoms | Actions |
|---|---|
| Late detection of duplicate debits. | Implementation of short-term daily manual monitoring. Medium-term automation of monitoring. |
| No error feedback during process conflict. | Implementation of logging + alert in case of a status update conflict. Improvement of retry logic to automatically attempt status update again. |
| Undetected bug during testing phase. | Systematic addition of tests with larger volumes of transactions. Investigation of new load testing methods. |
==============VERSIONE ITALIANA==============
Riferimento incidente
TSR-1610
Servizio interessato
Nexo.
Impatto sui clienti
Addebiti multipli effettuati su terminali PAX (protocollo Nexo).
Sintesi dell'incidente
Contesto
L’annullamento di un doppio addebito e il conseguente rimborso è un’operazione manuale e delicata. Il nostro fornitore ha preso tutte le precauzioni necessarie per evitare danni collaterali, il che spiega il ritardo osservato.
Root cause
L’incidente è stato causato dall’aggiunta, il 7 aprile, di un processo di aggiornamento degli stati delle transazioni. Questo nuovo processo poteva occasionalmente entrare in conflitto con un processo esistente, impedendo l’aggiornamento delle transazioni interessate.
Azioni da intraprendere da Payplug
| Sintomi | Azioni |
|---|---|
| Rilevamento tardivo dei doppi addebiti. | Implementazione a breve termine di un monitoraggio manuale quotidiano. Automazione del monitoraggio a medio termine. |
| Mancanza di segnalazioni di errore in caso di conflitto tra processi. | Implementazione di log + allarme in caso di conflitto nell'aggiornamento dello stato di una transazione. Miglioramento della logica di retry per tentare nuovamente l’aggiornamento dello stato. |
| Bug non rilevato durante i test. | Aggiunta sistematica di test con volumi maggiori di transazioni. Analisi di nuovi test di carico. |