Préparation des versements : identification et validation des formats de fichiers

Ce billet, rédigé par Baptiste Nichele, fait partie du cycle de publications sur la thématique des outils de pré-versement d’archives numériques.

La pérennisation de l’information numérique passe par deux étapes primordiales d’identification et de validation des formats de fichiers. Au cours de la première, on reconnaît le format et dans la seconde, on vérifie que le fichier respecte bien ses spécifications.

Bien que ces deux fonctions doivent être distinguées, nous les traitons dans le même billet car beaucoup d’outils réalisent les deux, l’une à la suite de l’autre, même si certaines applications ne proposent qu’une validation des formats.

CSV Validator

Éditeur : Archives nationales du Royaume-Uni

Licence : Mozilla Public V2

Site web : http://digital-preservation.github.io/csv-validator/

CSV Validator permet de contrôler la validité d’un fichier CSV au regard d’un schéma CSV (csvs). Le schéma csvs a été défini par les Archives nationales du Royaume-Uni pour valider la forme et le contenu des fichiers au format CSV. L’application contrôle le fichier CSV par rapport à un schéma annexe, analysant des critères comme l’encodage, les chaînes de caractères autorisées ou encore des valeurs réservées. Les erreurs de validation s’affichent à la fin du traitement. L’outil fonctionne en ligne de commande ou dans une IHM dédiée.

1.1Validation d’un fichier CSV en fonction de son schéma

DROID

Éditeur : Archives nationales du Royaume-Uni

Licence : New BSD licence

Site web : http://www.nationalarchives.gov.uk/information-management/manage-information/preserving-digital-records/droid/

DROID permet d’identifier les formats de fichiers en se basant sur le référentiel PRONOM créé et maintenu à jour par les Archives nationales du Royaume-Uni. L’outil ne se contente pas de lire l’extension du fichier mais analyse la structure des fichiers pour identifier le format. Il fournit la version du format, le poids du fichier et la date de dernière modification. DROID indique quand l’extension ne correspond pas au format. De même, lorsque le fichier est corrompu et que l’identification est impossible, l’outil fait des propositions basées sur l’extension. Il dispose d’une interface graphique et peut être lancé en ligne de commande.

1.2Identification des formats dans DROID

FACILE

Éditeur : CINES

Licence : Libre

Site web : http://facile.cines.fr/

FACILE permet de vérifier le degré de conformité d’un fichier par rapport aux spécifications d’un format. Il informe si un fichier est valide et bien formé. L’outil est disponible en ligne via une interface web et propose des API de connexion distantes. FACILE est utilisé pour contrôler les entrées dans le SAE du CINES PAC et repose sur des composants comme Droid, ImageMagick ou Jhove. L’interface web présente également les formats utilisables pour archivage dans PAC.

FIDO

Éditeur : OpenPreservationFoundation

Licence : Apache License V2.0

Site web : https://github.com/openpreserve/fido/releases

FIDO permet d’identifier les formats de fichiers en se basant sur le référentiel PRONOM. L’outil ne se contente pas de lire l’extension du fichier mais analyse la structure des fichiers pour identifier le format. Tout comme DROID, FIDO affiche la signature des formats dans ses résultats. L’outil est disponible en ligne de commande.

FITS

Éditeur : Université d’Harvard

Licence : GNU LGPL

Site web : http://projects.iq.harvard.edu/fits

FITS (File Information Tool Set) permet d’identifier, de valider et d’extraire les métadonnées de formats de fichiers. Il s’agit d’un outil en ligne de commande qui fournit des sorties XML contenant les différentes métadonnées identifiées. FITS est composé de plusieurs modules permettant de proposer plusieurs fonctionnalités dont l’identification et la validation des formats. Le fichier de résultat XML est décomposé en plusieurs grandes zones dont l’une répertorie les outils utilisés.

La liste des composants utilisés est la suivante :

  • ADL Tool

  • Apache Tika

  • DROID

  • Exiftool

  • File Utility

  • Jhove

  • National Library of New Zealand Metadata Extractor

  • OIS Audio Information

  • OIS File Information

  • OIS XML Information

Jhove

Éditeur : Université d’Harvard

Licence : GNU LGPL

Site web : http://jhove.sourceforge.net/

Jhove permet d’identifier les formats et de valider leur conformité. Il distingue deux niveaux de contrôle dans son processus de validation : la bonne formation d’un format au regard de ses spécifications techniques et sa validité incluant des vérifications sémantiques. Les formats pris en charge sont les suivants : AIFF, GIF, HTML, JPEG, JPEG 2000, PDF, TIFF, Wave, XML et encodages ASCII et UTF-8. Une interface graphique est disponible mais Jhove peut fonctionner également en ligne de commande.

Il est à noter que le volet 3 de l’étude du format PDF menée par le CINES, le SIAF et la TGIR HumaNum, consacré aux validateurs PDF, a testé Jhove (http://www.archivesdefrance.culture.gouv.fr/static/8196). D’autre part, une nouvelle version de l’outil est disponible à l’adresse suivante : http://www.digitalpreservation.gov/partners/jhove2.html

1.3Identification et validation d’un format dans JHOVE

Siegfried

Éditeur : Richard Lehane

Licence : APL 2

Site web : http://www.itforarchivists.com/siegfried

Siegfried ne propose qu’une identification des formats. L’outil se base sur le référentiel PRONOM et les signatures DROID. Il permet de lancer des traitements en masse, d’exporter ses résultats en XML, JSON ou CSV et de calculer des empreintes de fichiers en MD5, SHA1, SHA256 et SHA512.  Il est disponible en ligne de commande.

SiardValidator

Éditeur : Michel Jacobson

Licence : GNU GPL V2

Site web : https://adullact.net/scm/viewvc.php/siardValidator/?root=ff-toolbox

SiardValidator permet de valider des fichiers au format SIARD. Ce dernier a été développé par les Archives fédérales Suisses pour archiver les bases de données relationnelles. L’outil, disponible en ligne de commande, permet de vérifier la bonne formation des fichiers et la cohérence sémantique des métadonnées archivées. Les résultats de la validation indiquent quelle étape de la validation a échoué en cas de problème.

VeraPDF

Éditeur : VeraPDF Consortium

Licence : GPL3, MPL2, CC-BY-4.0

Site web : http://verapdf.org/home/

VeraPdf permet de valider des fichiers PDF/A en choisissant un profil de validation XML en rapport avec le fichier à valider. L’outil indique si le fichier a pu être validé et un fichier XML contient les résultats de la validation. Il propose une interface graphique et est porté par le projet européen PREFORMA.

1.4Validation d’un fichier PDF/A

Cette liste d’outils d’identification et de validation des formats n’est pas exhaustive et contient beaucoup de références à des applications « généralistes » gérant plusieurs formats de fichiers. Il existe également d’autres ressources spécifiquement dédiées à des formats en particulier (PDF1, MP3, TIFF…). Tous les outils sélectionnés sont disponibles sous licence libre (mais il en existe également sous licence propriétaire), permettent de réaliser des traitements en masse et proposent généralement des fonctionnalités en mode service. Ils peuvent être lancés en ligne de commande ou être utilisés comme composants dans d’autres applications plus larges comme des systèmes d’archivage électronique.

Les étapes d’identification puis de validation des formats, se basent sur des référentiels eux-mêmes alimentés par les spécifications de ces formats. Il faut enfin noter que si ces outils sont efficaces avec les formats de fichier qu’ils répertorient, ils atteignent leurs limites avec des fichiers aux formats moins courants ou dont les spécifications ne sont pas ouvertes.

1Voir le volet 3 de l’étude du format PDF consacré aux validateurs.


Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *