Pré-versement : le calcul d’empreintes

Le Service interministériel des Archives de France (SIAF) a initié une série de travaux sur la thématique du pré-versement d’archives sur support numérique. On entend par ce terme l’ensemble des opérations permettant de préparer un paquet à verser dans un Système d’Archivage Électronique (SAE), de manière à structurer, qualifier et garantir la qualité des données et métadonnées qui seront archivées. De la capture de l’information à son empaquetage, une série de traitements et de contrôles peuvent en effet être convoqués, qu’il s’agisse du dédoublonnage, du renommage, de la gestion des formats, de la vérification d’intégrité, du classement, de la description ou encore de l’identification des fichiers problématiques ou de la traçabilité des actions effectuées.

Cette réflexion a débuté dans le cadre d’un projet de développement d’un outil de pré-versement dans le contexte du programme VITAM et du projet AD-ESSOR. En effet, il est apparu qu’il était nécessaire de renforcer la veille technologique effectuée par le SIAF sur les outils liés à l’archivage électronique et de mener un benchmark des briques logicielles existantes et pouvant remplir des fonctions liées au pré-versement.

Ce billet est donc le premier d’un cycle de publications sur la thématique des outils de pré-versement d’archives numériques. Ce cycle va conjuguer à la fois des synthèses fonctionnelles sur des thématiques précises, des retours d’expérience et des focus sur des applications en particulier. Le but est de partager avec la communauté l’état de notre connaissance sur les outils et les projets existants en France et dans le monde, et de donner des pistes de réflexion ou des solutions aux services qui sont confrontés à cette problématique.

La première thématique à laquelle nous nous intéresserons est celle du calcul d’empreintes. Ce procédé technique, qui consiste à produire une chaîne de caractères propre à un fichier et différente à chaque modification de celui-ci, est l’un des moyens utilisés, par recalcul et comparaison des empreintes à plusieurs moments dans le cycle de vie du document, pour garantir l’intégrité de l’information dans le temps, avec d’autres procédés, comme l’horodatage. Le calcul d’empreintes peut aussi intervenir dans d’autres traitements, comme l’identification et la gestion des doublons. Nous nous concentrerons sur les outils spécialisés dans cette fonctionnalité, tout en sachant que d’autres outils, plus généralistes, la proposent également.

ExactFile

Éditeur : StudyLamp Software

Licence : Freeware

Site web : http://www.exactfile.com/

ExactFile est un outil Windows disposant d’une interface facile à prendre en main. Il permet de calculer des empreintes selon des algorithmes variés (MD5, SHA, CRC32, Adler32, GOST, RIPEMD, TIGER) sur des dossiers et fichiers. Il produit, après traitement, un manifeste qui sert à vérifier la conformité des empreintes dans le temps.1

Comparaison d’empreintes avec ExactFile

FastSum

Éditeur : Kirill Zinov

Licence : Logiciel payant (version d’évaluation disponible)

Site web : http://www.fastsum.com/

FastSum est un outil Windows capable de calculer des empreintes en utilisant l’algorithme MD5 seulement. Il produit un rapport d’analyse servant à contrôler les empreintes dans le temps.

Fixity

Éditeur : AVPreserve

Licence : APL2

Site web : https://www.avpreserve.com/tools/fixity/

Fixity fonctionne sous Windows et Mac. En sus du calcul d’empreintes en utilisant différents algorithmes sur les dossiers et fichiers, Fixity se distingue par la possibilité de configurer des tâches de contrôle d’intégrité planifiées et de recevoir des alertes par courriel en fonction de leur succès ou de leur échec. Le manifeste n’est cependant pas directement accessible.2

La planification des contrôles d’intégrité dans Fixity

Hasher

Éditeur : Furious Technologies

Licence : CC-BY-NC-ND (version Lite et version Pro)

Site web : http://www.den4b.com/?x=products

Outil fonctionnant sous Windows, Hasher fait partie d’une suite de produits destinés à faciliter les traitements sur les fichiers bureautiques. Il dispose d’une interface assez intuitive et permet de calculer des empreintes en simultané avec plusieurs algorithmes et d’exporter le résultat obtenu, sans possibilité de vérification a posteriori.3

Le calcul d’empreinte suivant différents algorithmes dans Hasher

HashMyFiles

Éditeur : Nir Sofer

Licence : Freeware

Site web : http://www.nirsoft.net/utils/hash_my_files.html

HashMyFiles se limite, sous Windows, à de la création d’empreintes avec plusieurs algorithmes (MD5, CRC32, SHA1, SHA256, SHA512) et à l’export de la liste des empreintes calculées dans un fichier. Il dispose par ailleurs d’une fonction de repérage des fichiers possédant des empreintes similaires, ce qui peut servir à identifier les doublons.

JackSum

Éditeur : Johann N. Löfflmann

Licence : GPL2

Site web : http://www.jonelo.de/java/jacksum/

Outil Java en ligne de commande fonctionnant sur toute plate-forme, Jacksum est capable de calculer unitairement ou par dossier les empreintes des fichiers en utilisant plusieurs algorithmes. Des options de contrôle peuvent être ajoutées, et les empreintes peuvent être vérifiées a posteriori.

Manifest Maker

Éditeur : Archives nationales d’Australie

Licence : GPL3

Site web : http://manifestmaker.sourceforge.net/

Manifest Maker est un outil en Python compatible avec toutes les plates-formes. Il permet de sélectionner des dossiers ou des fichiers et d’exporter un manifeste en .tsv contenant l’ensemble de leurs empreintes calculées en SHA512. Sa vocation première réside dans la préparation d’un lot de fichiers pour gravure sur un support optique.

MD5Deep/Hashdeep

Éditeur : Jesse Kornblum

Licence : Libre

Site web : http://md5deep.sourceforge.net/

MD5Deep et HashDeep sont une combinaison d’outils utilisables sous Windows en ligne de commande et permettant de calculer des empreintes en utilisant différents algorithmes, de produire un manifeste, puis de vérifier à nouveau les empreintes calculées.

Md5Summer

Éditeur : Luke Pascoe

Licence : GPL

Site web : http://www.md5summer.org/about.html

Particulièrement simple à installer et à utiliser avec une interface dédiée, MD5Summer est un outil Windows capable de calculer en MD5 les empreintes de fichiers ou de dossiers puis de les exporter dans un fichier .MD5. Ce fichier peut ensuite servir de support à des vérifications périodiques d’intégrité.

Dans l’ensemble, ces outils permettent donc tous de calculer des empreintes de fichiers unitairement ou par lot et de produire des manifestes –c’est-à-dire des listes d’empreintes– pouvant être réutilisés. On se tournera vers l’un ou l’autre de ces logiciels en fonction des critères suivants :

  • compatibilité avec le système d’exploitation utilisé.

  • facilité d’utilisation.

  • choix de l’algorithme de calcul correspondant aux attentes de l’utilisateur (le MD5, par exemple, ne paraît pas suffisant dans toutes les situations).

  • possibilité de vérifier périodiquement au sein d’un même outil l’intégrité des fichiers.


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *