Pré-versement : le dédoublonnage

Ce billet fait partie du cycle de publications sur la thématique des outils de pré-versement d’archives numériques.

L’une des particularités du numérique réside dans sa facilité à dupliquer les informations pour répondre aux divers besoins des utilisateurs :

  • sécuriser leur travail pour prévenir la dégradation des supports ou les mauvaises manipulations techniques pouvant endommager l’information.

  • échanger des données entre plusieurs contributeurs sur un même document.

  • disposer d’une version d’un document numérique dans leur propre environnement de travail…

Ces opérations, qu’elles soient volontaires ou non, peuvent amener à gérer plusieurs copies d’un même fichier déposées à divers emplacements d’un support de stockage, sans que cela n’ait forcément un sens dans l’organisation intellectuelle d’une arborescence de fichiers. Pour diminuer les volumes stockés et améliorer la qualité et la pertinence des versements qui seront faits, il peut alors être intéressant de détecter les fichiers identiques pour les analyser et éventuellement leur appliquer des traitements pouvant aller jusqu’à l’élimination des doublons concernés.

En ce qui concerne les besoins des archivistes qui ont à préparer un versement de données numériques désorganisées, l’étape d’identification des copies identiques et de leur dédoublonnage se révèle assez cruciale. Il existe plusieurs outils spécialisés dans cette fonction.

Disk Ferret

Éditeur : Swooft Software

Licence : Logiciel payant disposant d’une version d’évaluation gratuite

Site web : http://www.diskferret.com/

Outil permettant d’analyser la composition de dossiers : analyse des fichiers, de leur taille, de leur date, contrôle de l’espace disponible, identification des doublons et des fichiers vides, cachés, ou temporaires. L’interface correspond à un explorateur de fichiers amélioré. Après la phase de capture des données, le résultat de l’analyse indique de manière claire les différents types de fichiers disponibles, les doublons et propose de les supprimer.

Disk Analyzer Pro

Éditeur : Systweak Software

Licence : Logiciel payant disposant d’une version d’évaluation gratuite

Site web : http://www.diskanalyzerpro.com/index.html

Disk Analyzer Pro reprend les fonctionnalités nativement présentes dans les explorateurs de fichiers des systèmes d’exploitation modernes et vient les enrichir. Il permet d’analyser des dossiers, les fichiers qu’ils contiennent, d’afficher les métadonnées courantes de taille, la date de dernière modification, le format et d’identifier des doublons. Dans la même logique que d’autres produits concurrents, il affiche sous une forme graphique évoluée le résultat de son analyse.

Duplicate Cleaner

Éditeur : DigitalVolcano Software

Licence : Logiciel payant disposant d’une version d’évaluation gratuite

Site web : http://www.duplicatecleaner.com/

Duplicate Cleaner permet de détecter les doublons en proposant des filtres et des sources variées. Le mécanisme d’identification ne se base pas uniquement sur l’extension du fichier, son nom et son poids mais consiste à analyser également son train de bits. Des traitements en masse sont disponibles en fin d’analyse.

 resultats

Identification des doublons dans Duplicate Cleaner

Duplicate Files Finder

Éditeur : Matthias Boehm

Licence : GNU GPL V2

Site web : http://doubles.sourceforge.net/

Duplicate Files Finder permet de détecter les doublons en ne se basant pas uniquement sur l’extension, le nom et le poids des fichiers mais en analysant leur structure. Il est possible de lancer le travail sur plusieurs dossiers en même temps, tout en leur appliquant des filtres. En fin d’analyse, des traitements en masse comme la suppression des fichiers sont disponibles.resultats

Résultat d’analyse des doublons dans Duplicate Files Finder

Free Commander XE

Éditeur : Marek Jasinski

Licence : Freeware

Site web : http://freecommander.com/

Free Commander XE est un explorateur de fichiers permettant d’effectuer des opérations de recherche, du dédoublonnage et du renommage. L’outil dispose de plusieurs espaces de travail (arborescence à gauche, vignettes à droites ou fichiers…) doit être surtout considéré comme un gestionnaire de fichiers avec des fonctions comme le repérage des doublons.

Fslint

Éditeur : Chris Stackpole

Licence : GNU GPL V2

Site web : http://en.flossmanuals.net/fslint/

Outil fonctionnant sous Linux permettant d’identifier les fichiers problématiques sur leurs supports. Il est en mesure de détecter les fichiers dupliqués, les mauvais formatages de nom et les fichiers temporaires.

Fslint

Analyse et reconnaissance des doublons dans Fslint

Hash My Files

Éditeur : Nir Sofer

Licence : Freeware

Site web : http://www.nirsoft.net/utils/hash_my_files.html

Outil permettant de calculer des empreintes sur des fichiers contenus dans divers dossiers sources. Ces empreintes enregistrées peuvent être réutilisées dans d’autres contextes comme l’identification de doublons. En fin de traitement, une coloration syntaxique permet de distinguer les fichiers « identiques ».

resultats

Résultats d’analyse dans Hash My Files

La liste des outils de dédoublonnage dépasse les quelques présentations faites dans ce billet. On ne s’étonnera pas de retrouver des outils déjà mentionnés dans nos billets concernant le renommage et le calcul d’empreintes, étant donné le lien qui existe entre ces différentes fonctionnalités. On peut distinguer plusieurs types d’applications permettant d’identifier des copies de fichiers identiques :

  • les explorateurs de fichiers « améliorés » qui proposent en plus des fonctions d’affichage des arborescences de dossiers, de déplacement, de visualisation des métadonnées courantes, d’autres fonctionnalités de repérage des fichiers cachés et des fichiers en double.

  • les solutions dédiées à la reconnaissance de doublons qui ne se contentent pas d’étudier les extensions, les noms et les poids de fichier mais qui analysent leur structure et calculent leur empreinte pour s’en servir de base de comparaison.

La reconnaissance des doublons et son analyse par un archiviste n’entraînent pas systématiquement l’élimination des copies. Il est parfois nécessaire de disposer de fichiers dupliqués à plusieurs niveaux d’un plan de classement pour conserver l’intégrité et la cohérence intellectuelle d’un fonds.


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *