Archives par mot-clé : formats

Identification et validation de formats de fichiers

En réponse à une question du Conseil international des archives (ICA) sur les pratiques françaises, une petite synthèse sur les questions d’identification et validation de formats de fichiers.  Merci à la documentation VITAM et à Marion Ville (VITAM), Lorène Béchard (CINES) et Yannick Grandcolas (BnF) pour leurs retours d’expérience !

File Extension Type – Image libre Image par Shafin Al Asad Protic de Pixabay

Ressources

  1. Le chantier préservation VITAM : http://www.programmevitam.fr/pages/documentation/
  • Identification des formats de fichiers (pdf)
  • Validation du format des fichiers (pdf)
  • Extraction des métadonnées techniques (pdf)
  1. Les pages formats de fichiers et l’outil FACILE du CINES : https://www.cines.fr/archivage/des-expertises/les-formats-de-fichier/
  1. La préservation numérique à la BnF, en particulier les pages métadonnées et formats : https://www.bnf.fr/fr/la-preservation-lheure-du-numerique#bnf-donn-es-et-m-tadonn-es-formats-et-impl-mentation-bnf

L’identification de formats

Les fichiers numériques ont besoin de matériels ou de logiciels adaptés à leur format et en mesure de les identifier pour être utilisables, c’est-à-dire exécutés, consultés, modifiés ou imprimés.

Plusieurs outils et stratégies existent pour identifier la plupart des formats usuels. La plupart de ces outils sont génériques et mis en œuvre par les outils informatiques les plus courants : systèmes d’exploitation, serveurs et navigateurs internet. Les spécialistes de la préservation numérique se sont rapidement mis d’accord sur le fait que ces méthodes génériques étaient insuffisantes pour déterminer précisément à quel type de fichier ils avaient à faire. Ils ont décidé de définir et de mettre en œuvre des méthodes plus sophistiquées

Il existe trois moyens courants d’identifier le format d’un fichier numérique :

  • son extension,
  • les métadonnées techniques qu’il contient – et notamment son type MIME,
  • des caractéristiques récurrentes dans son contenu, véritables « signatures » d’un type de fichier.

La validation

L’objectif de la préservation numérique est de conserver dans le temps des fichiers numériques dans une forme utilisable et exploitable. Pour une plate-forme d’archivage, il est donc important de disposer de mécanismes permettant de vérifier que les fichiers numériques qui lui sont transmis, pour prise en charge sont dans une forme qui sera utilisable et exploitable dans le temps.

La validation des formats est un des mécanismes mis en œuvre pour effectuer cette vérification. Son objectif est de vérifier si un fichier numérique est conforme aux spécifications connues du format, d’un point de vue syntaxique comme sémantique.

Si le format du fichier est déclaré valide, la plate-forme d’archivage pourra être sûre que tout logiciel identifié comme capable de représenter un fichier de ce format sera capable de le faire.

Contrairement à l’identification de format qui se base uniquement sur l’extension ou les « signatures de fichiers », la validation de format nécessite une analyse complète du train de bits et sa comparaison avec les spécifications. À ce titre, le coût en puissance de calcul de la validation est bien supérieur à celui de l’identification et se rapproche de celui d’une transformation.

La validation de format se décompose souvent en deux niveaux :

  • la vérification qu’un fichier est bien formé (well-formed), ce qui relève de la syntaxe ;
  • la vérification qu’un fichier est valide (valid), ce qui relève de la sémantique.

Les outils

  • Outils de caractérisation des fichiers utilisés à la BnF (Bibliothèque nationale, avec des « filières d’entrée » bien déterminées) :
    • EpubCheck (livres numériques au format EPUB)
    • Jpylyzer (JPEG2000)
    • JHOVE (Images, XML, HTML)
    • MediaInfo (vidéo et son)
    • JWAT-Tools (archives de l’internet)
    • Tika (PDF, bureautique)
  • Au CINES
    • La caractérisation des fichiers se fait avec Droid.
    • L’outil interne FACILE est la base du validateur de formats.
    • La validation utilise des validateurs spécialisés : Jhove, ImageMagick, ffmpeg, …
  • Chez VITAM
    • La caractérisation des formats en entrée du système utilise Siedgfired
    • Un autre outil de gestion des versements (en amont du SAE donc) développé par le programme VITAM. RESIP, utilise Droid.
    • Le logiciel VITAM livre quelques outils (griffons), chaque projet peut en utiliser d’autres.
      • ImageMagick : validation et extraction de métadonnées
      • Jhove : validation
      • VeraPDF : validation
      • ODF validator : validation
      • Siegfried : identification
      • Tesseract : extraction de métadonnées.
      •  Dans la documentation VITAM, on trouvera également les résultats de tests avec Droid et Validroid (outil développé par Jean-Séverin Lair, non publié, combinant plusieurs outils de validation : BFFOffice, ImageMagick, JHOVE, ODF Toolkit, OpenXML,veraPDF), Tika.

Oui, mais…

Attention, les systèmes d’identification des formats peuvent être volontairement déjoués, qu’il s’agisse de l’extension ou de système des marqueurs ou « signatures » de format,  qui peuvent être présents dans un fichier d’un autre type, soit accidentellement soit exprès : voir par exemple  ici (en anglais) ou un ingénieur Google a créé un fichier (sans contenu) susceptible d’être reconnu comme « appartenant » à 29 formats différents, sans pour autant être valide en regard d’aucune spécification correspondant : lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure…

Préparation des versements : conversion des formats de fichiers

Ce billet, rédigé par Baptiste Nichele, fait partie du cycle de publications sur la thématique des outils de pré-versement d’archives numériques.

L’archivage électronique nécessite de sélectionner des formats garantissant la lisibilité et l’intelligibilité des informations contenues par les fichiers sur le long terme. Outre leur identification et leur validation, il peut donc être nécessaire de convertir les formats de fichiers dans des équivalents jugés plus pérennes que les originaux.

Au vu de la grande diversité des formats existants, il n’est pas possible de proposer des outils pour l’ensemble des types de fichiers que l’archiviste pourrait rencontrer. Le présent billet présente quelques solutions en mesure de répondre à certains besoins en bureautique, dans le domaine du multimédia et celui des fichiers 3D.

Continuer la lecture de Préparation des versements : conversion des formats de fichiers

Préparation des versements : identification et validation des formats de fichiers

Ce billet, rédigé par Baptiste Nichele, fait partie du cycle de publications sur la thématique des outils de pré-versement d’archives numériques.

La pérennisation de l’information numérique passe par deux étapes primordiales d’identification et de validation des formats de fichiers. Au cours de la première, on reconnaît le format et dans la seconde, on vérifie que le fichier respecte bien ses spécifications.

Bien que ces deux fonctions doivent être distinguées, nous les traitons dans le même billet car beaucoup d’outils réalisent les deux, l’une à la suite de l’autre, même si certaines applications ne proposent qu’une validation des formats.

Continuer la lecture de Préparation des versements : identification et validation des formats de fichiers

Etude du NDSA sur le format PDF/A-3

Le consortium NDSA (National Digital Stewardship Alliance) vient de publier une étude sur les avantages et les risques de l’utilisation par les institutions de conservation du nouveau format de fichier PDF/A-3. Cette étude relève une fonctionnalité nouvelle de ce format qui conduit à reconsidérer notre perception des normes de la série PDF/A. Les précédentes normes PDF/A-1 et PDF/A-2 se présentaient comme des contraintes appliquées respectivement aux spécifications des formats PDF1.4 et PDF1.7 de nature à garantir la préservation de l’apparence visuelle statique de documents mis en page. Cette garantie de conservation était mise en oeuvre en restreignant des fonctionnalités (par exemple: impossibilité de mettre des scripts) et en faisant en sorte que le document soit auto-porteur c’est-à-dire porte en lui même toutes les informations nécessaires à son interprétation (par exemple: encapsulation de polices).

Le format PDF/A-2 ouvrait la possibilité d’encapsuler dans un document, d’autres fichiers, à la condition que ceux-ci soient eux-même des fichiers PDF/A bien formés. Cette possibilité d’encapsulation de contenus a été élargie dans le nouveau format PDF/A-3, lui permettant de contenir n’importe quel format binaire. Cette ouverture permet de nouveaux usages (encapsulation des sources ayant donné lieu au document mis en page, encapsulation d’autres formes de représentation de l’information, encapsulation de métadonnées dans des formats divers, encapsulation d’outils, etc.), mais ouvre aussi une brèche du point de vue de la conservation en encapsulant dans une forme bien maitrisée des contenus potentiellement moins maitrisés. On peut aussi se demander si cette dérive ne rapproche pas ainsi le format PDF de formats conteneur de type zip ou tar.

L’étude décrit quelques cas d’utilisation réalistes en donnant à chaque fois les avantages et inconvénients de l’usage du format PDF/A-3. Nous retenons de cette étude que ce nouveau format peut correspondre à des usages. Par exemple, ce qui est appelé dans la norme « hybrid archiving » mélange au sein d’un même conteneur PDF/A-3 un contenu de l’information mis en page dans une représentation à pérenniser et d’autres contenus potentiellement équivalents qui ne sont pas forcément à pérenniser sur la même durée. Cet usage permettrait d’archiver au plus tôt une information tout en conservant des usages qui disparaitront dans le temps. Dans les inconvénients, nous retiendrons que l’utilisation dans un contexte d’archivage de ce nouveau format introduit une plus grande complexité technique pour sa validation mais aussi pour la gestion de l’information (par exemple le cycle de vie peut être différent d’un contenu à l’autre au sein d’un même document) et demande donc d’encadrer très finement son utilisation (précision des formats acceptables, utilisation des métadonnées prévues à cet effet pour décrire le type de relation entre le document et ses pièces jointes, description des règles de gestion des contenus, etc.).

L’étude est téléchargeable à l’adresse: http://www.digitalpreservation.gov/ndsa/working_groups/documents/NDSA_PDF_A3_report_final022014.pdf

Publication de la norme Z 44-022 (MEDONA) issue du SEDA

Depuis 2006, les Archives de France maintiennent et font évoluer un
Standard d’échange de données pour l’archivage (SEDA) en s’appuyant sur
un comité de gouvernance rassemblant l’ensemble des communautés
(archivistes, informaticiens, privés, publics) intéressées par le sujet.
Ce standard, conçu initialement en collaboration avec l’ancienne
Direction générale à la modernisation de l’état (DGME) permet de
normaliser les échanges entre applications métier (systèmes
d’information) et systèmes d’archivage numérique avec un double objectif
: pouvoir automatiser les échanges et pouvoir permettre aux systèmes de
se « comprendre » entre eux (objectif d’interopérabilité nécessaire pour
ensuite permettre la récupération ou réversibilité d’un système à
l’autre des fichiers archivés). Ce standard est par conséquent inscrit
dans le référentiel général d’interopérabilité (RGI).

En 2012, le SIAF a engagé une démarche de normalisation du SEDA à partir
de la version 1.0. Cette démarche était souhaitée tant par les services
d’archives publics, les prestataires de tiers archivage ayant obtenu
l’agrément du ministère pour la conservation d’archives publiques
numériques pendant l’âge courant et intermédiaire, les éditeurs de
solutions logicielles.

Ce travail de normalisation s’est effectué dans le cadre de l’Afnor au
sein de la commission de normalisation sur l’interopérabilité technique
(CN46-4).   Des liaisons ont également été établies avec la commission
de normalisation 171 « Applications pour l’archivage et la gestion du
cycle de vie du document », et la CN46-11 « Archives / Gestion des
documents d’activité ».

MEDONA apporte un cadre normatif pour les différents échanges
d’informations (données comme métadonnées) entre le Service d’archives
et ses partenaires. Les échanges entre plusieurs services en charge des
archives (services intégrés dans les organisations, services publics
d’archives, prestataires d’archivage) sont également concernés. La
présente norme définit des diagrammes d’activités et des modèles de
données selon le formalisme UML. Les échanges se traduisent par des
messages formalisés par des schémas XML. La norme apporte des éléments
utiles pour la construction d’applications ou de modules complémentaires
aux applications existantes en amont et en aval des messages. Elle
indique en particulier les informations nécessaires que ces applications
doivent gérer. Ces informations seront utilisées pour générer ou
recevoir les messages, par mise en correspondance entre le modèle de
données des applications et les schémas XML.

En parallèle de ce travail de normalisation, le SEDA devra faire l’objet
d’une nouvelle version afin de le rendre compatible avec la norme
MEDONA. Ce travail s’inscrit dans un environnement technique qui a
beaucoup évolué depuis 2006 (l’EAD est en cours de révision, les
standards de la bibliothèque du Congrès PREMIS et METS se sont
stabilisés et bénéficient d’expériences diverses). Dans ce nouveau
contexte, les choix du départ doivent être reconsidérés. Cette activité
sera celle du comité de pilotage pour 2014. Ce travail s’inscrit par
ailleurs dans l’évolution du référentiel général d’interopérabilité
(version 2) piloté par la DISIC (Direction interministérielle des
systèmes d’information et de communication).

La norme Afnor NF
Z44-022 MEDONA – Modélisation des échanges de données pour l’archivage est disponible à l’adresse suivante :

http://www.boutique.afnor.org/norme/nf-z44-022/medona-modelisation-des-echanges-de-donnees-pour-l-archivage/article/814057/fa179927.