English version below / Versione Italiana in calce

Post Mortem

Référence incident

TSR-1572

Service concerné

Facturation.

Impact client

Les factures n’ont pas été prélevées le premier jour du mois.

Synthèse de l’incident

• 13 mars : mise à jour d’un processus interne. Début de l’incident.
• 1 avril : non prélèvement des factures. 
• 1 avril 12h11 : détection d’erreurs sur le processus exécutant les virements. 
• 2 avril : investigation sur l’absence du fichier interne des chargebacks, nécessaire pour la facturation.
• 7 avril 16h41 : correction du processus de génération du fichier interne des chargebacks.
• 8 avril 10h53 : confirmation de la génération du fichier interne des chargebacks.
• 9 avril : identification de la root cause.
• 10 avril 16h59 : test du correctif sur un échantillon restreint.
• 11 avril 10h47 : confirmation que le correctif fonctionne. 
• 14 avril 11h24 : prélèvement des factures. Fin de l’incident.

Contexte

N/A

Root cause

Mise à jour d’un processus interne.

Actions à entreprendre par Payplug

Symptômes Actions Détection tardive de l’impact de la mise à jour malgré des alertes existantes. Meilleure prise en charge des alertes remontées.

‌

==============ENGLISH VERSION==============

Post Mortem

Incident reference

TSR-1572

Payment services affected by the incident

Invoicing

Client impact

The invoices were not debited on the first day of the month.

Incident Overview

• March 13: update of an internal process. Incident begins.
• April 1: invoices were not debited.
• April 1 - 12:11 PM: errors detected in the process executing the transfers.
• April 2: investigation into the absence of the internal chargeback file, which is required for billing.
• April 7 - 4:41 PM: correction of the process generating the internal chargeback file.
• April 8 - 10:53 AM: confirmation that the internal chargeback file was generated.
• April 9: root cause identified.
• April 10 - 4:59 PM: fix tested on a limited sample.
• April 11 - 10:47 AM: confirmation that the fix works.
• April 14 - 11:24 AM: invoices debited. End of the incident.

‌

Context

N/A

Root cause

Update of an internal process.

Actions to be taken by Payplug

Symptoms Actions Late detection of the impact of the update despite existing alerts. Better handling of reported alerts.

‌

==============VERSIONE ITALIANA==============

Post Mortem

Riferimento incidente

TSR-1572

Servizio interessato

Fatturazione.

Impatto sui clienti

Le fatture non sono state addebitate il primo giorno del mese.

Sintesi dell'incidente

• 13 marzo: aggiornamento di un processo interno. Inizio dell'incidente.
• 1 aprile: mancato addebito delle fatture.
• 1 aprile - ore 12:11: rilevamento di errori nel processo che esegue i bonifici.
• 2 aprile: indagine sull'assenza del file interno dei chargeback, necessario per la fatturazione.
• 7 aprile - ore 16:41: correzione del processo di generazione del file interno dei chargeback.
• 8 aprile - ore 10:53: conferma della generazione del file interno dei chargeback.
• 9 aprile: identificazione della causa principale.
• 10 aprile - ore 16:59: test della correzione su un campione ristretto.
• 11 aprile - ore 10:47: conferma del corretto funzionamento della correzione.
• 14 aprile - ore 11:24: addebito delle fatture. Fine dell'incidente.

Contesto

N/A

Root cause

Aggiornamento di un processo interno.

Azioni da intraprendere da Payplug

Sintomi Azioni Rilevamento tardivo dell’impatto dell’aggiornamento nonostante gli avvisi esistenti. Gestione migliorata degli avvisi segnalati.