Purge de données

La purge est un processus informatique visant à supprimer définitivement les données d'un système. Ce traitement est généralement recommandé lorsqu'il devient nécessaire de :

supprimer des données obsolètes ;
réduire la volumétrie de la base de données, notamment lorsque le système est utilisé depuis plusieurs années ;
optimiser les performances (les délais de traitement étant mécaniquement réduits par la suppression des données) ;
respecter des contraintes légales (ex : normes CNIL en France relatives au stockage des données personnelles).

Au sommaire

Les jobs de purge
Prérequis et vérifications
Lancer une purge
Consulter l'historique de purge

Les jobs de purge

Unified fournit nativement 10 jobs dédiés, créés par défaut et non supprimables. Ils vous permettent de cibler le type de données à supprimer. Dans Unified, ce sont généralement les fichiers .log et les passages dans les scénarios vocaux qui sont les plus volumineux en base de données.

Attention ! Les jobs de purge sont tous actifs par défaut, c'est-à-dire programmés et récurrents, afin que les données anciennes soient supprimées régulièrement, dans le respect du règlement général de la protection des données (RGPD). Des durées de rétention par défaut sont prédéfinies dans Unified et sont personnalisables si souhaité.

Purge calls

Supprime les données de l'historique des appels.
Cubes à J+ impactés : Appels du tenant, Appels par agent, Appels par file d’attente, Appels SVI par scénario, Campagnes d’appels.
Cubes à J+ agrégés impactés : Appels du tenant, Appels par agent, Appels par file d’attente.

Purge calls - detailed logs

Supprime les logs unitaires détaillés des appels et chats. Il n'y aucun impact au niveau de l'interface.
Aucun impact sur les statistiques.

Purge calls - passage in scenarios

Supprime les données de l'historique des passages dans les scénarios vocaux.
Cubes à J+ et J+ agrégés impactés : Appels SVI par nœud staté, Appels SVI par nœuds.

Purge chat

Supprime les données de l'historique des sessions chat en BI.
Cubes à J+ impactés : Chat par agent, Chat par file d'attente.

Purge customers

Supprime les données des contacts orphelins, c'est-à-dire sans dossiers rattachés. Les fiches correspondantes ne sont plus accessibles aux agents depuis leur interface.
Aucun impact sur les statistiques.

Purge licence consumption

Supprime les données de l'historique des licences.
Cubes à J+ impactés : Licence – Jetons, Licence – Positions.

Purge records

Supprime les enregistrements voix qui ne sont alors plus disponibles pour les agents.
Aucun impact sur les statistiques.

Purge sessions

Supprime les données de l'historique de connexion des agents.
Cubes à J, J+ et J+ agrégés impactés : Temps de connexion, Temps de connexion par état.

Purge threads

Supprime les dossiers, messages, pièces jointes, brouillons et données de formulaire liés aux dossiers (qui ne seront plus accessibles aux agents depuis leur interface).
Ce job peut être exécuté au choix soit pour un tenant (paramétrage par défaut) soit par file.
Pour purger les dossiers d'une file en particulier, il est obligatoire de saisir une durée de rétention en base de données (colonne purge_days_to_keep des tables mailboxes et dim_queues respectivement dans les bases USER et BI). Vous pouvez ainsi gérer des durées de rétention différentes selon les files. Les dossiers des files pour lesquelles aucune durée de rétention n'a été définie seront purgés selon la durée de rétention du tenant.
Ce job ne supprime PAS les fichiers des e-mails stockés dans le filesystem. Pour cela, une tâche CleanDistFS doit être lancée manuellement pour purger les corps des e-mails, les pièces jointes et les brouillons.

Purge stat threads

Supprime toutes les statistiques à J+ des dossiers.
Ce job peut être exécuté au choix soit pour un tenant (paramétrage par défaut) soit par file.
La durée de rétention définie pour ce job s'ajoute à celle déjà définie pour les dossiers. Par exemple, si pour la purge des dossiers, le paramètre daysToKeep = 365 et pour la purge des statistiques des dossiers daysToKeep = 730, le nombre de jours de statistiques à conserver sera calculé comme suit : 365 + 730 = 1095.
Pour purger les statistiques des dossiers d'une file en particulier, il est obligatoire de saisir une durée de rétention en base de données (colonne purge_days_to_keep_stat_add des tables mailboxes et dim_queues respectivement dans les bases USER et BI). Ce paramètre fonctionne à l'identique du précédent. Vous pouvez ainsi gérer des durées de rétention différentes selon les files. Les statistiques sur les dossiers des files pour lesquelles aucune durée de rétention n'a été définie seront purgées selon la durée de rétention du tenant. Les statistiques à J+ agrégés restent purgées au niveau du tenant.
Cubes à J, J+ et J+ agrégés impactés : Actions sur dossiers (écrit), Actions sur dossiers (voix), Flux entrants, Flux sortants, Nombre de réponses (écrit), Performance, Qualité de service (écrit), Qualité de service (écrit) sur flux reçu, Qualification des dossiers, Qualification hebdomadaire des dossiers, Utilisation des réponses (écrit).

Prérequis et vérifications

Pour éviter toute suppression malencontreuse, vous devez paramétrer les périodes minimales de rétention des données à conserver, c'est-à-dire les N derniers jours à ne pas supprimer. Par mesure de sécurité, des valeurs par défaut sont prédéfinies dans Unified.

Paramétrage global

Il s'applique à tous les tenants existants dans le système.

Ouvrez le fichier de configuration du serveur nommé /var/akio/etl/data/conf/purge-configuration.xml avec l'application dédiée.
Saisissez la durée de rétention, exprimée en jours, pour chaque job de purge.
Enregistrez vos modifications : elles sont prises en compte immédiatement.

Paramétrage par tenant

Vous avez la possibilité de personnaliser les durées de rétention par tenant. Dans ce cas, ce paramétrage prévaut à celui fait globalement.

Ouvrez le fichier de configuration du serveur nommé /var/akio/etl/data/conf/tenants/tenant_id/purge-configuration.xml avec l'application dédiée.
Saisissez la durée de rétention, exprimée en jours, pour chaque job de purge.
Enregistrez vos modifications : elles sont prises en compte immédiatement.

Paramétrage par file

Ce paramétrage n'est valable que pour les jobs de purge des dossiers (purge threads) et des statistiques associées (purge stat threads). Dans ce cas, vous avez la possibilité de personnaliser des durées de rétention par file. Ce paramétrage prévaut à celui fait globalement ou par tenant.

Connectez-vous aux différents serveurs de base de données contenant les bases USER et BI.
Effectuez la mise à jour des durées de rétention, exprimées en jours, pour toutes les files concernées dans la colonne purge_days_to_keep des tables mailboxes et dim_queues respectivement dans les bases USER et BI pour la purge des dossiers.
Effectuez la mise à jour des durées de rétention, exprimées en jours, pour toutes les files concernées dans la colonne purge_days_to_keep_stat_add des tables mailboxes et dim_queues respectivement dans les bases USER et BI pour purger les statistiques des dossiers.

Attention : veillez à bien saisir la même valeur pour une même file dans les 2 bases.

Enregistrez vos modifications : elles sont prises en compte immédiatement.

Exemples

Exemple de mise à jour dans la base USER pour les dossiers :

UPDATE mailboxes SET purge_days_to_keep = <période de rétention spécifique pour l'ID de la file> WHERE id = <ID file>;

Exemple de mise à jour dans la base USER pour les statistiques des dossiers :

UPDATE mailboxes SET purge_days_to_keep_stat_add = <période de rétention spécifique pour l'ID de la file> WHERE id = <ID file>;

Exemple de mise à jour dans la base BI :

UPDATE dim_queues SET purge_days_to_keep = <période de rétention spécifique pour l'ID de la file> WHERE tk_queue_id = <ID file>;

Lancer une purge

Il suffit de sélectionner le job de purge concerné, puis de le modifier. La période à supprimer est exprimée en heures. Sa programmation se paramètre exactement comme les autres types de job (type de démarrage, récurrence, etc.). Une table de log est alimentée à chaque fois qu'un job de purge est exécuté et un fichier log est généré comme habituellement.

Attention : la purge s'exécute pour tous les tenants du système, mais en tenant compte des durées de rétention paramétrées par tenant.

Dans le menu Administration système, cliquez sur Jobs.
Cliquez sur le bouton Modifier () situé sur la ligne du job de purge à planifier.

Modifiez les propriétés du job.
Cliquez sur Enregistrer (avec planification du job) ou Enregistrer sans programmer (sans planification) selon votre besoin.

Unified enregistre les modifications. Le job passe à l'état Programmé et est suspendu.

Consulter l'historique de purge

Chaque purge exécutée est tracée et alimentée dans une table de logs nommée purge_history de la base de données USER. Vous pouvez ainsi exploiter ces données, à l'aide d'outils dédiés.

Vous y retrouverez notamment :

les thèmes impactés,
les tenants concernés,
les tables principales impactées,
la période supprimée,
les durées de rétention définies,
le nombre de lignes supprimées,
le nombre de jours restant à purger.