Reconcil, rapprochement de données
Comparer deux ensembles de données
06:09 min
Dans cette vidéo, on montre à l'aide d'un exemple comment utiliser Reconcil, logiciel de rapprochement de données.
Les sources de données sont deux fichiers texte que l'on souhaite comparer :
- le premier fichier provient d'un logiciel de comptabilité. On en parlera en tant que "T1" (table 1).
- le deuxième fichier provient du logiciel d'inventaire physique Inventif. On en parlera en tant que "T2" (table 2).
Dans T1, la clé de rapprochement est "CodeImmo".
Dans T2, la clé de rapprochement est "CodeBienManuelClair".
La première chose que fait Reconcil est d'aligner les enregistrements de T1 et T2 selon les valeurs de leurs clés de rapprochement.
- Exemple 1 :
dans T1, il y a deux "Climatiseurs" pour lesquels la valeur de "CodeImmo" est 0001539769328,
dans T2, il y a deux "Climatiseurs" pour lesquels la valeur de "CodeBienManuelClair" est 0001539769328.
Chaque climatiseur de T1 est aligné avec un climatiseur de T2 par Reconcil.
On obtient ainsi deux paires de climatiseurs.
- Exemple 2 :
dans T1, il y a un "Bureau" pour lequel la valeur de "CodeImmo" est 0002739134122,
dans T2, il y a un "Bureau" pour lequel la valeur de "CodeBienManuelClair" est 0002739134122.
Le "Bureau" de T1 est aligné avec le "Bureau" de T2 par Reconcil.
On obtient une paire de bureaux.
A partir de cet alignement, Reconcil fournit une synthèse.
La synthèse est une vue qui présente une ligne pour chaque valeur de clé de T1 et de T2.
Elle expose les nombres d'enregistrements de T1 et d'enregistrements de T2 qui ont une valeur de clé donnée.
Elle montre les différences entre ces nombres.
Elle peut montrer des agrégats (par exemple la somme des valeurs d'acquisition des enregistrements de T2 pour chaque valeur de clé).
Dans la vue des correspondances entre T1 et T2, Reconcil montre :
- à gauche la liste des enregistrements de T1,
- et lorsque l'on clique sur l'un de ces enregistrements, à droite la liste des enregistrements de T2 alignés.
Par exemple : une bibliothèque dans T1 à gauche et trois bibliothèques dans T2 à droite.
Dans les deux vues des enregistrements non alignés, Reconcil permet de voir la liste de tous les enregistrements pour lesquels on n'a pas trouvé de correspondant par alignement.
Par exemple : 22 enregistrements dans T1 et 11 enregistrements dans T2.
Reconcil montre dans la vue alignement que la bibliothèque de T1 a été alignée avec les trois bibliothèques de T2.
De plus, le prix d'achat côté T1 (1800) est égal à la somme des prix d'achats côté T2 (3 x 600).
Il est ensuite possible de donner un statut aux enregistrements :
non examiné, isolé, à investiguer, partiellement rapproché, rapproché, ignoré.
Le rapprochement automatique confère aux enregistrements trois statuts possibles :
non examiné, isolé ou rapproché.
Il faut se trouver dans la vue "synthèse" pour commander un rapprochement automatique.
Le rapprochement peut se faire selon le critère suivant : le nombre d'enregistrements N1 dans T1 ayant une valeur de clé V est égal au nombre d'enregistrements N2 dans T2 ayant également cette même valeur de clé V.
Dans cet exemple, le rapprochement automatique aboutit au rapprochement de la majorité des enregistrements.
La barre d'outils des filtres selon les statuts permet d'afficher ou de masquer les enregistrements selon leur statut.
- On cache les enregistrements "rapprochés" et les enregistrements "isolés".
- Il reste cinq enregistrements dont le statut est "non examiné".
On peut utiliser alors la barre d'outils d'attribution de statut pour changer le statut des enregistrements.
- Il y a deux GPS dans T1 et un dans T2. On donne aux enregistrements le statut "à investiguer".
- Il y a un enregistrement "Bibliothèque" dans T1 et trois dans T2. Les sommes des agrégats sont égales à 1800. On attribue à ces enregistrements le statut "rapproché". Au moment même où le statut change, les enregistrements disparaissent de la vue car on a demandé à ne pas afficher les enregistrements "rapprochés".
- Les autres enregistrements (fauteuils visiteurs, chaises et ventilateurs) nécessitent aussi une vérification. On leur attribue le statut "à investiguer".
Ensuite, on masque tous les enregistrements.
Puis on affiche les enregistrements "isolés" et les enregistrements "à investiguer".
Ces enregistrements sont ceux qui posent problème et qui vont devoir être examinés.
On sélectionne tous ces enregistrements et on les exporte vers le tableur MS Excel.
La feuille MS Excel contient 28 enregistrements qui nécessitent une investigation :
- les enregistrements auxquels on attribué le statut "à investiguer",
- les enregistrements de T1 qui n'ont pas de correspondant dans T2,
- les enregistrements de T2 qui n'ont pas de correspondant dans T1.
Ce document permet l'analyse pour les corrections à apporter dans l'une ou l'autre des sources de données.
En bref, comment travailler avec Reconcil :
- à partir des logiciels d'origine, exporter les données au format texte,
- vérifier soigneusement ces données,
- fabriquer un jeu de données à partir de ces deux fichiers avec Reconcil,
- utiliser le rapprochement automatique et l'attribution de statuts aux enregistrements,
- filtrer et isoler les enregistrements problématiques,
- exporter ces enregistrements dans un tableur,
- remettre le document aux personnes compétentes afin qu'elles tâchent de résoudre les problèmes,
- une fois les sources corrigées on peut éventuellement recommencer un cycle de rapprochement jusqu'à satisfaction.
Les sources de données sont deux fichiers texte que l'on souhaite comparer :
- le premier fichier provient d'un logiciel de comptabilité. On en parlera en tant que "T1" (table 1).
- le deuxième fichier provient du logiciel d'inventaire physique Inventif. On en parlera en tant que "T2" (table 2).
Dans T1, la clé de rapprochement est "CodeImmo".
Dans T2, la clé de rapprochement est "CodeBienManuelClair".
La première chose que fait Reconcil est d'aligner les enregistrements de T1 et T2 selon les valeurs de leurs clés de rapprochement.
- Exemple 1 :
dans T1, il y a deux "Climatiseurs" pour lesquels la valeur de "CodeImmo" est 0001539769328,
dans T2, il y a deux "Climatiseurs" pour lesquels la valeur de "CodeBienManuelClair" est 0001539769328.
Chaque climatiseur de T1 est aligné avec un climatiseur de T2 par Reconcil.
On obtient ainsi deux paires de climatiseurs.
- Exemple 2 :
dans T1, il y a un "Bureau" pour lequel la valeur de "CodeImmo" est 0002739134122,
dans T2, il y a un "Bureau" pour lequel la valeur de "CodeBienManuelClair" est 0002739134122.
Le "Bureau" de T1 est aligné avec le "Bureau" de T2 par Reconcil.
On obtient une paire de bureaux.
A partir de cet alignement, Reconcil fournit une synthèse.
La synthèse est une vue qui présente une ligne pour chaque valeur de clé de T1 et de T2.
Elle expose les nombres d'enregistrements de T1 et d'enregistrements de T2 qui ont une valeur de clé donnée.
Elle montre les différences entre ces nombres.
Elle peut montrer des agrégats (par exemple la somme des valeurs d'acquisition des enregistrements de T2 pour chaque valeur de clé).
Dans la vue des correspondances entre T1 et T2, Reconcil montre :
- à gauche la liste des enregistrements de T1,
- et lorsque l'on clique sur l'un de ces enregistrements, à droite la liste des enregistrements de T2 alignés.
Par exemple : une bibliothèque dans T1 à gauche et trois bibliothèques dans T2 à droite.
Dans les deux vues des enregistrements non alignés, Reconcil permet de voir la liste de tous les enregistrements pour lesquels on n'a pas trouvé de correspondant par alignement.
Par exemple : 22 enregistrements dans T1 et 11 enregistrements dans T2.
Reconcil montre dans la vue alignement que la bibliothèque de T1 a été alignée avec les trois bibliothèques de T2.
De plus, le prix d'achat côté T1 (1800) est égal à la somme des prix d'achats côté T2 (3 x 600).
Il est ensuite possible de donner un statut aux enregistrements :
non examiné, isolé, à investiguer, partiellement rapproché, rapproché, ignoré.
Le rapprochement automatique confère aux enregistrements trois statuts possibles :
non examiné, isolé ou rapproché.
Il faut se trouver dans la vue "synthèse" pour commander un rapprochement automatique.
Le rapprochement peut se faire selon le critère suivant : le nombre d'enregistrements N1 dans T1 ayant une valeur de clé V est égal au nombre d'enregistrements N2 dans T2 ayant également cette même valeur de clé V.
Dans cet exemple, le rapprochement automatique aboutit au rapprochement de la majorité des enregistrements.
La barre d'outils des filtres selon les statuts permet d'afficher ou de masquer les enregistrements selon leur statut.
- On cache les enregistrements "rapprochés" et les enregistrements "isolés".
- Il reste cinq enregistrements dont le statut est "non examiné".
On peut utiliser alors la barre d'outils d'attribution de statut pour changer le statut des enregistrements.
- Il y a deux GPS dans T1 et un dans T2. On donne aux enregistrements le statut "à investiguer".
- Il y a un enregistrement "Bibliothèque" dans T1 et trois dans T2. Les sommes des agrégats sont égales à 1800. On attribue à ces enregistrements le statut "rapproché". Au moment même où le statut change, les enregistrements disparaissent de la vue car on a demandé à ne pas afficher les enregistrements "rapprochés".
- Les autres enregistrements (fauteuils visiteurs, chaises et ventilateurs) nécessitent aussi une vérification. On leur attribue le statut "à investiguer".
Ensuite, on masque tous les enregistrements.
Puis on affiche les enregistrements "isolés" et les enregistrements "à investiguer".
Ces enregistrements sont ceux qui posent problème et qui vont devoir être examinés.
On sélectionne tous ces enregistrements et on les exporte vers le tableur MS Excel.
La feuille MS Excel contient 28 enregistrements qui nécessitent une investigation :
- les enregistrements auxquels on attribué le statut "à investiguer",
- les enregistrements de T1 qui n'ont pas de correspondant dans T2,
- les enregistrements de T2 qui n'ont pas de correspondant dans T1.
Ce document permet l'analyse pour les corrections à apporter dans l'une ou l'autre des sources de données.
En bref, comment travailler avec Reconcil :
- à partir des logiciels d'origine, exporter les données au format texte,
- vérifier soigneusement ces données,
- fabriquer un jeu de données à partir de ces deux fichiers avec Reconcil,
- utiliser le rapprochement automatique et l'attribution de statuts aux enregistrements,
- filtrer et isoler les enregistrements problématiques,
- exporter ces enregistrements dans un tableur,
- remettre le document aux personnes compétentes afin qu'elles tâchent de résoudre les problèmes,
- une fois les sources corrigées on peut éventuellement recommencer un cycle de rapprochement jusqu'à satisfaction.