Ce billet, rédigé par Baptiste Nichele, fait partie du cycle de publications sur la thématique des outils de pré-versement d’archives numériques.
La pérennisation de l’information numérique passe par deux étapes primordiales d’identification et de validation des formats de fichiers. Au cours de la première, on reconnaît le format et dans la seconde, on vérifie que le fichier respecte bien ses spécifications.
Bien que ces deux fonctions doivent être distinguées, nous les traitons dans le même billet car beaucoup d’outils réalisent les deux, l’une à la suite de l’autre, même si certaines applications ne proposent qu’une validation des formats.
CSV Validator
Éditeur : Archives nationales du Royaume-Uni
Licence : Mozilla Public V2
Site web : http://digital-preservation.github.io/csv-validator/
CSV Validator permet de contrôler la validité d’un fichier CSV au regard d’un schéma CSV (csvs). Le schéma csvs a été défini par les Archives nationales du Royaume-Uni pour valider la forme et le contenu des fichiers au format CSV. L’application contrôle le fichier CSV par rapport à un schéma annexe, analysant des critères comme l’encodage, les chaînes de caractères autorisées ou encore des valeurs réservées. Les erreurs de validation s’affichent à la fin du traitement. L’outil fonctionne en ligne de commande ou dans une IHM dédiée.
Validation d’un fichier CSV en fonction de son schéma
DROID
Éditeur : Archives nationales du Royaume-Uni
Licence : New BSD licence
Site web : http://www.nationalarchives.gov.uk/information-management/manage-information/preserving-digital-records/droid/
DROID permet d’identifier les formats de fichiers en se basant sur le référentiel PRONOM créé et maintenu à jour par les Archives nationales du Royaume-Uni. L’outil ne se contente pas de lire l’extension du fichier mais analyse la structure des fichiers pour identifier le format. Il fournit la version du format, le poids du fichier et la date de dernière modification. DROID indique quand l’extension ne correspond pas au format. De même, lorsque le fichier est corrompu et que l’identification est impossible, l’outil fait des propositions basées sur l’extension. Il dispose d’une interface graphique et peut être lancé en ligne de commande.
Identification des formats dans DROID
FACILE
Éditeur : CINES
Licence : Libre
Site web : http://facile.cines.fr/
FACILE permet de vérifier le degré de conformité d’un fichier par rapport aux spécifications d’un format. Il informe si un fichier est valide et bien formé. L’outil est disponible en ligne via une interface web et propose des API de connexion distantes. FACILE est utilisé pour contrôler les entrées dans le SAE du CINES PAC et repose sur des composants comme Droid, ImageMagick ou Jhove. L’interface web présente également les formats utilisables pour archivage dans PAC.
FIDO
Éditeur : OpenPreservationFoundation
Licence : Apache License V2.0
Site web : https://github.com/openpreserve/fido/releases
FIDO permet d’identifier les formats de fichiers en se basant sur le référentiel PRONOM. L’outil ne se contente pas de lire l’extension du fichier mais analyse la structure des fichiers pour identifier le format. Tout comme DROID, FIDO affiche la signature des formats dans ses résultats. L’outil est disponible en ligne de commande.
FITS
Éditeur : Université d’Harvard
Licence : GNU LGPL
Site web : http://projects.iq.harvard.edu/fits
FITS (File Information Tool Set) permet d’identifier, de valider et d’extraire les métadonnées de formats de fichiers. Il s’agit d’un outil en ligne de commande qui fournit des sorties XML contenant les différentes métadonnées identifiées. FITS est composé de plusieurs modules permettant de proposer plusieurs fonctionnalités dont l’identification et la validation des formats. Le fichier de résultat XML est décomposé en plusieurs grandes zones dont l’une répertorie les outils utilisés.
La liste des composants utilisés est la suivante :
-
ADL Tool
-
Apache Tika
-
DROID
-
Exiftool
-
File Utility
-
Jhove
-
National Library of New Zealand Metadata Extractor
-
OIS Audio Information
-
OIS File Information
-
OIS XML Information
Jhove
Éditeur : Université d’Harvard
Licence : GNU LGPL
Site web : http://jhove.sourceforge.net/
Jhove permet d’identifier les formats et de valider leur conformité. Il distingue deux niveaux de contrôle dans son processus de validation : la bonne formation d’un format au regard de ses spécifications techniques et sa validité incluant des vérifications sémantiques. Les formats pris en charge sont les suivants : AIFF, GIF, HTML, JPEG, JPEG 2000, PDF, TIFF, Wave, XML et encodages ASCII et UTF-8. Une interface graphique est disponible mais Jhove peut fonctionner également en ligne de commande.
Il est à noter que le volet 3 de l’étude du format PDF menée par le CINES, le SIAF et la TGIR HumaNum, consacré aux validateurs PDF, a testé Jhove (http://www.archivesdefrance.culture.gouv.fr/static/8196). D’autre part, une nouvelle version de l’outil est disponible à l’adresse suivante : http://www.digitalpreservation.gov/partners/jhove2.html
Identification et validation d’un format dans JHOVE
Siegfried
Éditeur : Richard Lehane
Licence : APL 2
Site web : http://www.itforarchivists.com/siegfried
Siegfried ne propose qu’une identification des formats. L’outil se base sur le référentiel PRONOM et les signatures DROID. Il permet de lancer des traitements en masse, d’exporter ses résultats en XML, JSON ou CSV et de calculer des empreintes de fichiers en MD5, SHA1, SHA256 et SHA512. Il est disponible en ligne de commande.
SiardValidator
Éditeur : Michel Jacobson
Licence : GNU GPL V2
Site web : https://adullact.net/scm/viewvc.php/siardValidator/?root=ff-toolbox
SiardValidator permet de valider des fichiers au format SIARD. Ce dernier a été développé par les Archives fédérales Suisses pour archiver les bases de données relationnelles. L’outil, disponible en ligne de commande, permet de vérifier la bonne formation des fichiers et la cohérence sémantique des métadonnées archivées. Les résultats de la validation indiquent quelle étape de la validation a échoué en cas de problème.
VeraPDF
Éditeur : VeraPDF Consortium
Licence : GPL3, MPL2, CC-BY-4.0
Site web : http://verapdf.org/home/
VeraPdf permet de valider des fichiers PDF/A en choisissant un profil de validation XML en rapport avec le fichier à valider. L’outil indique si le fichier a pu être validé et un fichier XML contient les résultats de la validation. Il propose une interface graphique et est porté par le projet européen PREFORMA.
Cette liste d’outils d’identification et de validation des formats n’est pas exhaustive et contient beaucoup de références à des applications « généralistes » gérant plusieurs formats de fichiers. Il existe également d’autres ressources spécifiquement dédiées à des formats en particulier (PDF1, MP3, TIFF…). Tous les outils sélectionnés sont disponibles sous licence libre (mais il en existe également sous licence propriétaire), permettent de réaliser des traitements en masse et proposent généralement des fonctionnalités en mode service. Ils peuvent être lancés en ligne de commande ou être utilisés comme composants dans d’autres applications plus larges comme des systèmes d’archivage électronique.
Les étapes d’identification puis de validation des formats, se basent sur des référentiels eux-mêmes alimentés par les spécifications de ces formats. Il faut enfin noter que si ces outils sont efficaces avec les formats de fichier qu’ils répertorient, ils atteignent leurs limites avec des fichiers aux formats moins courants ou dont les spécifications ne sont pas ouvertes.
1Voir le volet 3 de l’étude du format PDF consacré aux validateurs.
OpenEdition vous propose de citer ce billet de la manière suivante :
Thomas Bernard (18 août 2016). Préparation des versements : identification et validation des formats de fichiers. Modernisation et archives. Consulté le 24 mars 2025 à l’adresse https://doi.org/10.58079/u5xr