Article rédigé pour la Cellule nationale de veille sur les formats par Bertrand Caron (BnF) avec le concours de Dominique Naud (SIAF)

Nous avions, dans un précédent billet, parlé de l’initiative du DDHN pour proposer un site de formalisation et de partage de la politique de formats entre les institutions de conservation néerlandaises. Côté français, la BnF a publié en octobre 2021 sa politique de formats et les Archives nationales ont relaté leur stratégie de préservation qui recense les formats acceptés, tolérés ou refusés pour la collecte. Mais, une fois cette politique définie par l’institution, comment l’implémenter  afin qu’elle puisse être partagée par d’autres, et comment échanger ces méthodes éprouvées entre institutions ?

Le projet PAR

Lancée en 2018, l’initiative PAR  (Preservation action registry traduisible par Registre d’action de préservation) est portée par plusieurs éditeurs de solutions de préservation numérique (Archivematica, Arkivum, Preservica), sur financement initial du Joint Information Systems Committee et avec le soutien technique de l’Open Preservation Foundation.  Elle a pour objectif d’enregistrer et de garder la mémoire, dans un formalisme commun, des actions de préservation entreprises par les institutions de conservation dans un but d’échange de bonnes pratiques.

Qu’est-ce qu’une action de préservation?

La préservation numérique consiste en un ensemble de processus visant à permettre un accès aux objets numériques sur le long terme. Loin de se limiter à un simple stockage des données numériques sur un support, elle nécessite la mise en œuvre de nombreuses actions mêlant étroitement des compétences documentaires et techniques.

Parmi ces activités, certaines directement liées aux formats se prêtent particulièrement bien à l’automatisation partielle ou totale : la validation des fichiers au regard de leur spécification, la caractérisation (analyse des propriétés du fichier et extraction de métadonnées internes) ou encore la transformation par exemple par conversion de format organisée en amont et/ou pendant la période de conservation.

Prenons un exemple.

La BnF reçoit des fichiers TIFF compressés avec la méthode LZW. Or, d’après sa politique formats, elle n’accepte que des TIFF comprenant un flux image non compressé. Avant d’intégrer ces fichiers dans un Paquet d’informations à verser (SIP), elle doit donc réaliser une opération de normalisation consistant à décompresser le flux contenu dans le fichier TIFF. Elle détermine que l’outil le plus adapté pour cette opération est la commande tiffcp de la bibliothèque logicielle LibTIFF. Comme il s’agit d’un outil en ligne de commande, elle détermine également la ligne de commande utilisée pour réaliser cette transformation :

libtiff -c none [fichierCompresseLZWSource] [fichierResultatDecompresse]

De la même façon que les cuisiniers s’échangent des recettes de cuisine, les archivistes numériques doivent pouvoir s’échanger des méthodes : un nom de recette (« Décompresser un TIFF LZW »), un ou plusieurs ingrédients (un fichier TIFF compressé en LZW), un ou plusieurs outils (la commande tiffcp), une ou plusieurs actions à mener (la description du procédé, la ligne de commande), un résultat (un fichier TIFF non compressé).

Note : la métaphore culinaire est utilisée par plusieurs initiatives, dont le FFmpeg Cookbook for Archivists, qui décrit plusieurs « recettes » d’utilisation du logiciel de transformation vidéo FFMPEG pour les besoins des archivistes.

Certains processus plus complexes se traduisent en « recettes » à étapes multiples. Ainsi, un processus d’acquisition de messageries électroniques pourrait comporter les étapes suivantes :

1. Extraction de messages individuels à partir d’un fichier PST ;
2. Extraction des pièces jointes ;
3. Identification du format des pièces jointes ;
4. Transformation des pièces jointes ;
5. Création d’un Paquet d’informations sous forme d’un fichier ZIP.

Note : le rapport publié en 2018 par le CLIR (Council of Library and information resources) «The Future of Email Archives» décrit et schématise plusieurs scénarios utilisés par différentes institutions nord-américaines.

Ce sont précisément ces « recettes » et leurs composants que PAR vise à mutualiser et formaliser afin de pouvoir les partager.

PAR : un modèle, des outils mais aussi des limites

Le modèle de données

Afin de rendre le registre exploitable par les machines, celui-ci doit se baser sur un modèle de données riche qui reflète la diversité des actions de préservation. Il s’appuie pour cela sur certaines initiatives existantes comme le vocabulaire contrôlé des types d’événements maintenu par le PREMIS Editorial Committee

Le modèle de données de PAR décrit donc :

• Des actions de préservation ;
• Réalisées avec des outils ;
• Selon des paramètres donnés ;
• Portant sur des fichiers ou des objets (des ensembles de fichiers ayant une cohérence documentaire) ;
• À condition que ces fichiers aient un format spécifique ;
• Produisant et se fondant sur des propriétés des objets ou des fichiers, qui ensemble forment un profil de l’objet/fichier source ou résultat de l’action.

Les outils

Le projet a développé un registre conforme au modèle de données et une API pour l’interroger. Afin d’y avoir accès, il est nécessaire d’adresser une demande à l’OPF. L’API permet de synchroniser le registre avec les sources d’information (registres d’actions de préservation locales d’Archivematica, Arkivum et Preservica, Wikidata).

Le développement étant open source, il est également possible d’y contribuer : https://github.com/openpreserve/par.

Les limites

Il est nécessaire d’être conscient des limites de l’initiative afin d’en tirer le meilleur profit. Le risque principal est d’y voir non pas des politiques institutionnelles, fondées sur un contexte et des besoins spécifiques, mais des recommandations. Il est donc d’autant plus important de bien analyser les règles métier (business rules) accompagnant chaque action de préservation, qui ont vocation à décrire le contexte historique et institutionnel dans lequel ces actions sont menées, et d’évaluer le degré de compatibilité avec son contexte propre.

 

Pour aller plus loin

Addis (Matthew), Simpson (Justin), Tilbury (Jonathan) et al., « Digital Preservation Interoperability through Preservation Actions Registries » (2018). URL : https://figshare.com/articles/Digital_Preservation_Interoperability_through_Preservation_Actions_Registries/6628418/1. Consulté le 3 août 2022.

Article rédigé pour la Cellule nationale de veille sur les formats par Emeline Levasseur et Martine Sin Blima-Barru (AN)

Les Archives nationales collectent des archives numériques depuis 1983, grâce à la mise en œuvre du programme Constance (CONServation et Traitement des Archives Nouvelles Constituées par l’Électronique). Pionnier dans ce domaine, il a défini la politique, le processus et la méthode de traitement et de conservation des données numériques et de leurs métadonnées jusqu’à l’ouverture des modules numériques du système d’information archivistique (SIA) des Archives nationales en novembre 2018. Avec la mise en service de ces modules, les Archives nationales s’engagent dans un renouvellement de leur stratégie de pérennisation, afin de l’adapter aux enjeux actuels de l’archivage numérique.

La méthode Constance, qui a permis de collecter et de pérenniser les données issues d’enquêtes statistiques, a été utilisée pendant plus de 30 ans, en appliquant les mêmes processus : les fichiers, avec leurs métadonnées, sont gérés dans une base documentaire, puis archivés sur des bandes LTO ; les migrations de support sont planifiées régulièrement, etc. Elle s’adapte aussi dans une certaine mesure à la conservation des documents bureautiques, par exemple en convertissant les fichiers Word en fichiers PDF, format réputé plus pérenne à ce moment-là. Cependant ces ajustements sont insuffisants pour relever les nouveaux défis de la pérennisation et un renouvellement en profondeur est nécessaire.

Avec le programme ADAMANT (Administration des archives et de leurs métadonnées aux Archives nationales dans le temps), les Archives nationales souhaitent adapter les outils, les procédures et l’organisation de la chaîne archivistique aux enjeux du traitement des données nativement numériques de typologies très variées (données structurées, documents issus d’outils des outils bureautiques, documents audiovisuels et sonores, photographies numériques natives, messageries). A l’issue d’un chantier scientifique, technique et organisationnel, elles construisent ainsi leur plate-forme d’archivage électronique qui s’appuie sur la solution logicielle Vitam, et la mettent en service en novembre 2018.

Ce nouvel environnement induit un renouvellement des méthodes de traitement et de conservation des données. En premier lieu, les Archives nationales se dotent d’une nouvelle infrastructure d’hébergement des données, localisée sur deux sites distants, et comprenant un service de stockage à froid. Pour la suite, elles doivent construire leur politique de pérennisation, inscrite dans l’objectif « Mettre en œuvre une politique de conservation des données stratégiques de l’Etat » de la stratégie 2021-2025 des Archives nationales. Cet objectif matérialise la volonté de mutualiser des savoirs sur la pérennisation dans le but de construire une stratégie remplaçant l’approche de la méthode Constance et adaptée aux spécificités des archives collectées aux Archives nationales.

Les actions initiées

Parmi les chantiers en cours, celui de la reprise des données collectées depuis 1983, a débuté en 2019. Il consiste à migrer 73 téraoctets de données et leurs métadonnées afin de les garder intègres, authentiques, lisibles et accessibles dans le temps. Il nécessite de rassembler et de structurer des données et leurs métadonnées afin de créer des paquets d’informations à verser (SIP) conformes au Standard d’Echange des Données pour l’Archivage (SEDA) 2.1, compatible avec VITAM et la plateforme d’archivage électronique des Archives nationales. Il s’organise en lots présentant des caractéristiques communes permettant d’industrialiser le plus possible les processus de reprise. Dans un premier temps, trois lots ont été définis :

• • Environ 120 enquêtes statistiques, qui seront pérennisées dans la plateforme d’archivage électronique dans les semaines à venir ;
  • Les données (très souvent issues d’outils de bureautique) décrites par des instruments de recherche saisis selon la DTD-EAD ;
  • Les reportages photographiques et vidéos de la Présidence de la République ou des services du Premier ministre.

Parallèlement, des petits ensembles de versements de données structurées ou non, itératifs ou ouverts, sont repris au fil de l’eau. Des réflexions restent à mener sur les données plus complexes et sur les données audiovisuelles ne rentrant pas dans les différents périmètres évoqués.

Côté collecte, les Archives nationales ont mis à disposition une première politique formats (à ce sujet voir aussi le cas d’usage BNF décrit dans le billet précédent). Elle indique, pour les différentes catégories qui forment les entrées de données :

• • des formats « acceptés » que les Archives nationales s’engagent à préserver avec audit régulier ;
  • des formats « tolérés », collectés et conservés en l’état, sans engagement sur leur maintenabilité dans le temps ;
  •  des formats « refusés » qui ne sont pas collectés pour des raisons techniques et/ou en l’absence de valeur juridique ou d’intérêt historique.

Cette stratégie précise aussi les traitements à prévoir si cela est nécessaire (pour les messageries notamment).  La politique menée est vouée à être précisée, à évoluer et à être complétée en fonction des formats de fichiers proposés dans les projets d’entrée, selon l’offre de service proposée par les Archives nationales et ses moyens pour assurer la lisibilité et l’exploitabilité des données sur le long terme.

Plus spécifiquement sur les messageries, les Archives nationales demandent un traitement particulier avant ingestion dans la plateforme d’archivage électronique. Elles préconisent ainsi que chaque entrée de messagerie fasse l’objet de deux paquets d’information à verser (SIP) conformes au SEDA (voir la figure 1 ci-après) :

• • Un SIP contenant la messagerie extraite et traitée dans l’outil de constitution de SIP ReSIP de VITAM, représentée dans une arborescence. Chaque message est archivé au format EML et doublé d’une version en TXT, les pièces jointes, elles, sont extraites et reliées intellectuellement aux mails ;
  • Un SIP contenant l’export brut (la messagerie au format PST ou Mbox), tel que collecté auprès du producteur des archives.

Par ce biais, les Archives nationales garantissent la pérennisation des messages, de leurs métadonnées et de leurs pièces jointes, tout en permettant dans le futur des alternatives de représentation des messageries dans des environnements extérieurs à la plateforme. Ce choix de pérennisation « à la pièce » permettrait de répondre à des demandes d’accès si besoin. Actuellement, les Archives nationales réfléchissent déjà à une évolution de ces préconisations de préparation des messageries en entrée, du fait de leur meilleure connaissance des contraintes liées à leur pérennisation.

 

A propos des archives audiovisuelles, un premier chantier se concentre sur les métadonnées, pierre angulaire de la pérennisation de ces données.  Pour ce faire, les Archives nationales ont initié un groupe de travail interne pour créer une extension des balises, c’est-à-dire un ensemble de balises ne faisant pas partie du schéma du SEDA en vigueur. Cette extension permettra d’y intégrer des métadonnées descriptives, techniques et de pérennisation, généralement encapsulées dans les documents audiovisuels (durée, codec, fréquence d’images, taille de l’image, profondeur de codage, fréquence d’échantillonnage, nombre de canaux, etc.), mais pas toutes (mentions de droit notamment). Ces métadonnées seront ainsi acceptées lors de l’ingestion des paquets d’information à verser (SIP) les utilisant puis gérées et requêtables dans la plateforme d’archivage électronique. Le groupe de travail, en s’appuyant notamment sur la norme MPG-7, a défini les noms des balises, leur organisation, leur cardinalité, et le format des valeurs attendues (texte, nombre entier, date, etc.). Une fois que l’extension sera mise en œuvre, le groupe de travail devra rendre possible l’automatisation de l’extraction des métadonnées techniques (à l’aide de l’outil MediaInfo par exemple).

Suite à la mise en service de la plate-forme d’archivage électronique, plusieurs actions ont été engagées pour renouveler les méthodes et processus de pérennisation des Archives nationales, que cela soit sur les archives déjà collectées ou sur celles à collecter. Elles doivent continuer à mutualiser les connaissances et les compétences aussi bien en interne qu’en externe, en travaillant de manière collaborative avec ses partenaires actuels ou prospectifs au niveau national ou international. Ancré dans la stratégie 2021-2025 de l’institution, l’objectif sur la préservation des données et de leurs métadonnées vise à produire une stratégie de pérennisation répondant aux enjeux et défis numériques de la production d’archives numériques contemporaines.

Article rédigé pour la Cellule nationale de veille sur les formats par Bertrand Caron (BNF) et Dominique Naud (SIAF)

Dans le billet du 6 août 2020 https://siaf.hypotheses.org/1501, était traitée la question de l’identification et de la validation des formats de fichiers, le sujet n’est pas épuisé loin de là !

Il s’avère en effet essentiel de bien connaître les formats pour que puisse être envisagée une véritable pérennisation, c’est-à-dire la possibilité de conserver dans le temps des fichiers numériques dans une forme utilisable et exploitable.

C’est la raison d’être de la Cellule nationale de veille sur les formats (CNVF), créée en France en 2019 et regroupant plus d’une dizaine d’institutions publiques ayant dans leurs missions la préservation numérique ainsi que des acteurs du secteur privé ou des experts invités.

Constituée sous l’égide du groupe PIN, la Cellule poursuit des objectifs multiples et ambitieux : mutualiser les savoir-faire et expertises sur les formats de fichiers, produire des recommandations concrètes et diffusables ainsi que des outils d’analyse afin de servir d’aide à la décision dans la mise en place des politiques de préservation des établissements, diffuser de l’information, développer la traduction de ressources, mutualiser la veille, contribuer et influer sur les outils, et enfin être un relais entre l’échelon national et l’échelon international.

C’est dans ce cadre que des rencontres virtuelles avec l’acteur incontournable de la préservation aux Pays-Bas, le Netwerk Digitaal Erfgoed (en anglais : Dutch Digital Heritage Network, DDHN) ont pris place en 2021.

Rassemblant des dizaines d’institutions patrimoniales, d’instituts de recherche, de partenariats et d’organisations de la connaissance issus de différents domaines aux Pays-Bas, il constitue un véritable réseau qui a pu s’appuyer en 2019-2020 sur la feuille de route définie dans la stratégie nationale pour le patrimoine numérique des Pays-Bas.

« Faire partie du Dutch Digital Heritage Network signifie travailler selon certains principes et passer de la “pensée institutionnelle” à la “pensée réseau”. » https://www.dpconline.org/events/digital-preservation-awards/dpa2020-ddhn

Parmi les nombreux travaux du DDHN, il est possible de relever :

• Une approche nationale pour la mise en œuvre d’identifiants pérennes pour les institutions patrimoniales, basée sur la collaboration avec des fournisseurs de logiciels pour mettre en œuvre des services d’identification pérenne dans leurs systèmes de gestion des collections ;
• Un guide pour le développement de politiques de préservation, fondé sur les éléments de politique de préservation du projet SCAPE ;
• Un aperçu national de l’état de préservation des informations numériques stockées sur des supports dits volatiles (CD, DVD, bandes, disques magnétiques). Sur la base de ces informations, le DDHN élabore une carte des risques à ajouter à la liste des digitally endangered species (« espèces numériquement menacées ») et deux ou trois unités fonctionnelles informatiques performantes à l’intention des organismes patrimoniaux pour la création d’images disque à partir de leurs supports volatiles ;
• Le Virtual Research Environment, machine virtuelle embarquant une sélection des outils de préservation numérique les plus couramment utilisés, en coopération avec l’Open Preservation Foundation (OPF) ;
• Un guide interactif permettant aux institutions de définir et de publier leur politique sur les formats de données dans une perspective de préservation à long terme.

Ce dernier point intéressait particulièrement la CNVF qui a organisé une séance d’échanges à ce sujet le 18 février 2021 lors de laquelle les collègues néerlandais ont présenté ce projet. L’outil, en cours de réalisation, permet aux institutions de publier de manière homogène leurs préférences en matière de formats de fichiers ainsi que leur niveau de connaissance des différents formats de fichiers. L’infrastructure technique est l’outil Semantic MediaWiki, un wiki publiant ses données selon les standards du web sémantique.

La définition étape par étape d’une « politique formats » consiste tout d’abord à définir les types de contenu (texte, image, son, vidéo, jeux de données, données cartographiques, etc.) pour lesquels l’organisation a une mission de conservation, puis à évaluer l’importance de chacun des formats de ce type de contenu au regard de ses missions, de son public et de ses producteurs.

Note : les captures d’écran suivantes montrent des pages traduites automatiquement par Google, d’où les approximations, notamment dans les noms des formats !

Au terme de cette première étape, l’institution obtient un graphique sur deux axes : l’importance des types de contenu et l’évaluation de la durabilité des formats associés (cette dernière, chiffrée, étant fournie par la NARA).

Chaque point représente un format ; les formats situés dans le quart en haut à droite étant évidemment à privilégier (haute importance et durabilité satisfaisante). Le graphique ci-dessus représente le résultat obtenu par le Nederlands Instituut voor Beeld en Geluid (en anglais : Netherlands Institute for Sound and Vision).

Il est ensuite possible pour l’institution de qualifier chaque format selon sa politique et son niveau de connaissance. Les valeurs pour la politique sont les suivantes :

• Format préféré : format privilégié par l’institution pour ce type de contenu ;
• Format accepté : format accepté par l’institution, si la situation le justifie ;
• Format historique : le format correspond à des données obtenues par l’institution dans le passé, mais des données dans ce format ne sont plus acceptées dans une perspective de préservation à long terme.

Pour le niveau de connaissance, les niveaux sont les suivants :

• Format connu : le format est bien connu et maîtrisé par l’institution, qui dispose d’outils et de compétences pour le lire, l’exploiter, l’analyser, le transformer ;
• Format identifié : l’institution est capable d’identifier ce format, mais ne dispose pas d’outils et de compétences suffisantes pour le préserver ;
• Format stocké : l’institution ne sait pas identifier le format. Les données dans ce format font l’objet d’une simple préservation du train d’octets.

L’objectif de ce processus est la publication de la politique de formats de l’organisation sous forme d’une page de synthèse présentant les préférences et le niveau de connaissance de l’organisation en termes de formats.

Suivez ce lien pour consulter le résultat publié de ce processus pour l’organisation DANS, le centre national néerlandais d’expertise sur les données de la recherche.

Un prochain billet vous parlera de l’utilisation du Preservation Action Registry (registre d’actions de préservation, dit PAR), piloté par une équipe issue des organisations Preservica, Actefactual, Archivum et l’Open Preservation Foundation dont le DDHN nous a parlé le 15 mars 2021.