En réponse à une question du Conseil international des archives (ICA) sur les pratiques françaises, une petite synthèse sur les questions d’identification et validation de formats de fichiers.  Merci à la documentation VITAM et à Marion Ville (VITAM), Lorène Béchard (CINES) et Yannick Grandcolas (BnF) pour leurs retours d’expérience !

Ressources

1. Le chantier préservation VITAM : http://www.programmevitam.fr/pages/documentation/

• Identification des formats de fichiers (pdf)
• Validation du format des fichiers (pdf)
• Extraction des métadonnées techniques (pdf)

2. Les pages formats de fichiers et l’outil FACILE du CINES : https://www.cines.fr/archivage/des-expertises/les-formats-de-fichier/

3. La préservation numérique à la BnF, en particulier les pages métadonnées et formats : https://www.bnf.fr/fr/la-preservation-lheure-du-numerique#bnf-donn-es-et-m-tadonn-es-formats-et-impl-mentation-bnf

L’identification de formats

Les fichiers numériques ont besoin de matériels ou de logiciels adaptés à leur format et en mesure de les identifier pour être utilisables, c’est-à-dire exécutés, consultés, modifiés ou imprimés.

Plusieurs outils et stratégies existent pour identifier la plupart des formats usuels. La plupart de ces outils sont génériques et mis en œuvre par les outils informatiques les plus courants : systèmes d’exploitation, serveurs et navigateurs internet. Les spécialistes de la préservation numérique se sont rapidement mis d’accord sur le fait que ces méthodes génériques étaient insuffisantes pour déterminer précisément à quel type de fichier ils avaient à faire. Ils ont décidé de définir et de mettre en œuvre des méthodes plus sophistiquées

Il existe trois moyens courants d’identifier le format d’un fichier numérique :

• son extension,
• les métadonnées techniques qu’il contient – et notamment son type MIME,
• des caractéristiques récurrentes dans son contenu, véritables « signatures » d’un type de fichier.

La validation

L’objectif de la préservation numérique est de conserver dans le temps des fichiers numériques dans une forme utilisable et exploitable. Pour une plate-forme d’archivage, il est donc important de disposer de mécanismes permettant de vérifier que les fichiers numériques qui lui sont transmis, pour prise en charge sont dans une forme qui sera utilisable et exploitable dans le temps.

La validation des formats est un des mécanismes mis en œuvre pour effectuer cette vérification. Son objectif est de vérifier si un fichier numérique est conforme aux spécifications connues du format, d’un point de vue syntaxique comme sémantique.

Si le format du fichier est déclaré valide, la plate-forme d’archivage pourra être sûre que tout logiciel identifié comme capable de représenter un fichier de ce format sera capable de le faire.

Contrairement à l’identification de format qui se base uniquement sur l’extension ou les « signatures de fichiers », la validation de format nécessite une analyse complète du train de bits et sa comparaison avec les spécifications. À ce titre, le coût en puissance de calcul de la validation est bien supérieur à celui de l’identification et se rapproche de celui d’une transformation.

La validation de format se décompose souvent en deux niveaux :

• la vérification qu’un fichier est bien formé (well-formed), ce qui relève de la syntaxe ;
• la vérification qu’un fichier est valide (valid), ce qui relève de la sémantique.

Les outils

• Outils de caractérisation des fichiers utilisés à la BnF (Bibliothèque nationale, avec des « filières d’entrée » bien déterminées) :
  
  • EpubCheck (livres numériques au format EPUB)
  • Jpylyzer (JPEG2000)
  • JHOVE (Images, XML, HTML)
  • MediaInfo (vidéo et son)
  • JWAT-Tools (archives de l’internet)
  • Tika (PDF, bureautique)
• Au CINES
  • La caractérisation des fichiers se fait avec Droid.
  • L’outil interne FACILE est la base du validateur de formats.
  • La validation utilise des validateurs spécialisés : Jhove, ImageMagick, ffmpeg, …
• Chez VITAM
  • La caractérisation des formats en entrée du système utilise Siedgfired
  • Un autre outil de gestion des versements (en amont du SAE donc) développé par le programme VITAM. RESIP, utilise Droid.
  • Le logiciel VITAM livre quelques outils (griffons), chaque projet peut en utiliser d’autres.

• • • ImageMagick : validation et extraction de métadonnées
    • Jhove : validation
    • VeraPDF : validation
    • ODF validator : validation
    • Siegfried : identification
    • Tesseract : extraction de métadonnées.

• • •  Dans la documentation VITAM, on trouvera également les résultats de tests avec Droid et Validroid (outil développé par Jean-Séverin Lair, non publié, combinant plusieurs outils de validation : BFFOffice, ImageMagick, JHOVE, ODF Toolkit, OpenXML,veraPDF), Tika.

Oui, mais…

Attention, les systèmes d’identification des formats peuvent être volontairement déjoués, qu’il s’agisse de l’extension ou de système des marqueurs ou “signatures” de format,  qui peuvent être présents dans un fichier d’un autre type, soit accidentellement soit exprès : voir par exemple  ici (en anglais) ou un ingénieur Google a créé un fichier (sans contenu) susceptible d’être reconnu comme « appartenant » à 29 formats différents, sans pour autant être valide en regard d’aucune spécification correspondant : lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure…

---

---