Le Service interministériel des Archives de France (SIAF) a initié une série de travaux sur la thématique du pré-versement d’archives sur support numérique. On entend par ce terme l’ensemble des opérations permettant de préparer un paquet à verser dans un Système d’Archivage Électronique (SAE), de manière à structurer, qualifier et garantir la qualité des données et métadonnées qui seront archivées. De la capture de l’information à son empaquetage, une série de traitements et de contrôles peuvent en effet être convoqués, qu’il s’agisse du dédoublonnage, du renommage, de la gestion des formats, de la vérification d’intégrité, du classement, de la description ou encore de l’identification des fichiers problématiques ou de la traçabilité des actions effectuées.
Cette réflexion a débuté dans le cadre d’un projet de développement d’un outil de pré-versement dans le contexte du programme VITAM et du projet AD-ESSOR. En effet, il est apparu qu’il était nécessaire de renforcer la veille technologique effectuée par le SIAF sur les outils liés à l’archivage électronique et de mener un benchmark des briques logicielles existantes et pouvant remplir des fonctions liées au pré-versement.
Ce billet est donc le premier d’un cycle de publications sur la thématique des outils de pré-versement d’archives numériques. Ce cycle va conjuguer à la fois des synthèses fonctionnelles sur des thématiques précises, des retours d’expérience et des focus sur des applications en particulier. Le but est de partager avec la communauté l’état de notre connaissance sur les outils et les projets existants en France et dans le monde, et de donner des pistes de réflexion ou des solutions aux services qui sont confrontés à cette problématique.
La première thématique à laquelle nous nous intéresserons est celle du calcul d’empreintes. Ce procédé technique, qui consiste à produire une chaîne de caractères propre à un fichier et différente à chaque modification de celui-ci, est l’un des moyens utilisés, par recalcul et comparaison des empreintes à plusieurs moments dans le cycle de vie du document, pour garantir l’intégrité de l’information dans le temps, avec d’autres procédés, comme l’horodatage. Le calcul d’empreintes peut aussi intervenir dans d’autres traitements, comme l’identification et la gestion des doublons. Nous nous concentrerons sur les outils spécialisés dans cette fonctionnalité, tout en sachant que d’autres outils, plus généralistes, la proposent également.
ExactFile
Éditeur : StudyLamp Software
Licence : Freeware
Site web : http://www.exactfile.com/
ExactFile est un outil Windows disposant d’une interface facile à prendre en main. Il permet de calculer des empreintes selon des algorithmes variés (MD5, SHA, CRC32, Adler32, GOST, RIPEMD, TIGER) sur des dossiers et fichiers. Il produit, après traitement, un manifeste qui sert à vérifier la conformité des empreintes dans le temps.
Comparaison d’empreintes avec ExactFile
FastSum
Éditeur : Kirill Zinov
Licence : Logiciel payant (version d’évaluation disponible)
Site web : http://www.fastsum.com/
FastSum est un outil Windows capable de calculer des empreintes en utilisant l’algorithme MD5 seulement. Il produit un rapport d’analyse servant à contrôler les empreintes dans le temps.
Fixity
Éditeur : AVPreserve
Licence : APL2
Site web : https://www.avpreserve.com/tools/fixity/
Fixity fonctionne sous Windows et Mac. En sus du calcul d’empreintes en utilisant différents algorithmes sur les dossiers et fichiers, Fixity se distingue par la possibilité de configurer des tâches de contrôle d’intégrité planifiées et de recevoir des alertes par courriel en fonction de leur succès ou de leur échec. Le manifeste n’est cependant pas directement accessible.
La planification des contrôles d’intégrité dans Fixity
Hasher
Éditeur : Furious Technologies
Licence : CC-BY-NC-ND (version Lite et version Pro)
Site web : http://www.den4b.com/?x=products
Outil fonctionnant sous Windows, Hasher fait partie d’une suite de produits destinés à faciliter les traitements sur les fichiers bureautiques. Il dispose d’une interface assez intuitive et permet de calculer des empreintes en simultané avec plusieurs algorithmes et d’exporter le résultat obtenu, sans possibilité de vérification a posteriori.
Le calcul d’empreinte suivant différents algorithmes dans Hasher
HashMyFiles
Éditeur : Nir Sofer
Licence : Freeware
Site web : http://www.nirsoft.net/utils/hash_my_files.html
HashMyFiles se limite, sous Windows, à de la création d’empreintes avec plusieurs algorithmes (MD5, CRC32, SHA1, SHA256, SHA512) et à l’export de la liste des empreintes calculées dans un fichier. Il dispose par ailleurs d’une fonction de repérage des fichiers possédant des empreintes similaires, ce qui peut servir à identifier les doublons.
JackSum
Éditeur : Johann N. Löfflmann
Licence : GPL2
Site web : http://www.jonelo.de/java/jacksum/
Outil Java en ligne de commande fonctionnant sur toute plate-forme, Jacksum est capable de calculer unitairement ou par dossier les empreintes des fichiers en utilisant plusieurs algorithmes. Des options de contrôle peuvent être ajoutées, et les empreintes peuvent être vérifiées a posteriori.
Manifest Maker
Éditeur : Archives nationales d’Australie
Licence : GPL3
Site web : http://manifestmaker.sourceforge.net/
Manifest Maker est un outil en Python compatible avec toutes les plates-formes. Il permet de sélectionner des dossiers ou des fichiers et d’exporter un manifeste en .tsv contenant l’ensemble de leurs empreintes calculées en SHA512. Sa vocation première réside dans la préparation d’un lot de fichiers pour gravure sur un support optique.
MD5Deep/Hashdeep
Éditeur : Jesse Kornblum
Licence : Libre
Site web : http://md5deep.sourceforge.net/
MD5Deep et HashDeep sont une combinaison d’outils utilisables sous Windows en ligne de commande et permettant de calculer des empreintes en utilisant différents algorithmes, de produire un manifeste, puis de vérifier à nouveau les empreintes calculées.
Md5Summer
Éditeur : Luke Pascoe
Licence : GPL
Site web : http://www.md5summer.org/about.html
Particulièrement simple à installer et à utiliser avec une interface dédiée, MD5Summer est un outil Windows capable de calculer en MD5 les empreintes de fichiers ou de dossiers puis de les exporter dans un fichier .MD5. Ce fichier peut ensuite servir de support à des vérifications périodiques d’intégrité.
Dans l’ensemble, ces outils permettent donc tous de calculer des empreintes de fichiers unitairement ou par lot et de produire des manifestes –c’est-à-dire des listes d’empreintes– pouvant être réutilisés. On se tournera vers l’un ou l’autre de ces logiciels en fonction des critères suivants :
-
compatibilité avec le système d’exploitation utilisé.
-
facilité d’utilisation.
-
choix de l’algorithme de calcul correspondant aux attentes de l’utilisateur (le MD5, par exemple, ne paraît pas suffisant dans toutes les situations).
-
possibilité de vérifier périodiquement au sein d’un même outil l’intégrité des fichiers.