Archives par mot-clé : archivage numérique

Transmettre et partager les actions de préservation numérique : l’initiative PAR (Preservation Action Registry)

Article rédigé pour la Cellule nationale de veille sur les formats par Bertrand Caron (BnF) avec le concours de Dominique Naud (SIAF)

Nous avions, dans un précédent billet, parlé de l’initiative du DDHN pour proposer un site de formalisation et de partage de la politique de formats entre les institutions de conservation néerlandaises. Côté français, la BnF a publié en octobre 2021 sa politique de formats et les Archives nationales ont relaté leur stratégie de préservation qui recense les formats acceptés, tolérés ou refusés pour la collecte. Mais, une fois cette politique définie par l’institution, comment l’implémenter  afin qu’elle puisse être partagée par d’autres, et comment échanger ces méthodes éprouvées entre institutions ?

Le projet PAR

Lancée en 2018, l’initiative PAR  (Preservation action registry traduisible par Registre d’action de préservation) est portée par plusieurs éditeurs de solutions de préservation numérique (Archivematica, Arkivum, Preservica), sur financement initial du Joint Information Systems Committee et avec le soutien technique de l’Open Preservation Foundation.  Elle a pour objectif d’enregistrer et de garder la mémoire, dans un formalisme commun, des actions de préservation entreprises par les institutions de conservation dans un but d’échange de bonnes pratiques.

Qu’est-ce qu’une action de préservation?

La préservation numérique consiste en un ensemble de processus visant à permettre un accès aux objets numériques sur le long terme. Loin de se limiter à un simple stockage des données numériques sur un support, elle nécessite la mise en œuvre de nombreuses actions mêlant étroitement des compétences documentaires et techniques.

Parmi ces activités, certaines directement liées aux formats se prêtent particulièrement bien à l’automatisation partielle ou totale : la validation des fichiers au regard de leur spécification, la caractérisation (analyse des propriétés du fichier et extraction de métadonnées internes) ou encore la transformation par exemple par conversion de format organisée en amont et/ou pendant la période de conservation.

Prenons un exemple.

La BnF reçoit des fichiers TIFF compressés avec la méthode LZW. Or, d’après sa politique formats, elle n’accepte que des TIFF comprenant un flux image non compressé. Avant d’intégrer ces fichiers dans un Paquet d’informations à verser (SIP), elle doit donc réaliser une opération de normalisation consistant à décompresser le flux contenu dans le fichier TIFF. Elle détermine que l’outil le plus adapté pour cette opération est la commande tiffcp de la bibliothèque logicielle LibTIFF. Comme il s’agit d’un outil en ligne de commande, elle détermine également la ligne de commande utilisée pour réaliser cette transformation :

libtiff -c none [fichierCompresseLZWSource] [fichierResultatDecompresse]

De la même façon que les cuisiniers s’échangent des recettes de cuisine, les archivistes numériques doivent pouvoir s’échanger des méthodes : un nom de recette (« Décompresser un TIFF LZW »), un ou plusieurs ingrédients (un fichier TIFF compressé en LZW), un ou plusieurs outils (la commande tiffcp), une ou plusieurs actions à mener (la description du procédé, la ligne de commande), un résultat (un fichier TIFF non compressé).

Note : la métaphore culinaire est utilisée par plusieurs initiatives, dont le FFmpeg Cookbook for Archivists, qui décrit plusieurs « recettes » d’utilisation du logiciel de transformation vidéo FFMPEG pour les besoins des archivistes.

Certains processus plus complexes se traduisent en « recettes » à étapes multiples. Ainsi, un processus d’acquisition de messageries électroniques pourrait comporter les étapes suivantes :

  1. Extraction de messages individuels à partir d’un fichier PST ;
  2. Extraction des pièces jointes ;
  3. Identification du format des pièces jointes ;
  4. Transformation des pièces jointes ;
  5. Création d’un Paquet d’informations sous forme d’un fichier ZIP.

Note : le rapport publié en 2018 par le CLIR (Council of Library and information resources) «The Future of Email Archives» décrit et schématise plusieurs scénarios utilisés par différentes institutions nord-américaines.

Ce sont précisément ces « recettes » et leurs composants que PAR vise à mutualiser et formaliser afin de pouvoir les partager.

PAR : un modèle, des outils mais aussi des limites

Le modèle de données

Afin de rendre le registre exploitable par les machines, celui-ci doit se baser sur un modèle de données riche qui reflète la diversité des actions de préservation. Il s’appuie pour cela sur certaines initiatives existantes comme le vocabulaire contrôlé des types d’événements maintenu par le PREMIS Editorial Committee

Figure 1. Modèle conceptuel de PAR

Le modèle de données de PAR décrit donc :

  • Des actions de préservation ;
  • Réalisées avec des outils ;
  • Selon des paramètres donnés ;
  • Portant sur des fichiers ou des objets (des ensembles de fichiers ayant une cohérence documentaire) ;
  • À condition que ces fichiers aient un format spécifique ;
  • Produisant et se fondant sur des propriétés des objets ou des fichiers, qui ensemble forment un profil de l’objet/fichier source ou résultat de l’action.

Les outils

Le projet a développé un registre conforme au modèle de données et une API pour l’interroger. Afin d’y avoir accès, il est nécessaire d’adresser une demande à l’OPF. L’API permet de synchroniser le registre avec les sources d’information (registres d’actions de préservation locales d’Archivematica, Arkivum et Preservica, Wikidata).

Le développement étant open source, il est également possible d’y contribuer : https://github.com/openpreserve/par.

Les limites

Il est nécessaire d’être conscient des limites de l’initiative afin d’en tirer le meilleur profit. Le risque principal est d’y voir non pas des politiques institutionnelles, fondées sur un contexte et des besoins spécifiques, mais des recommandations. Il est donc d’autant plus important de bien analyser les règles métier (business rules) accompagnant chaque action de préservation, qui ont vocation à décrire le contexte historique et institutionnel dans lequel ces actions sont menées, et d’évaluer le degré de compatibilité avec son contexte propre.

 

Pour aller plus loin

Addis (Matthew), Simpson (Justin), Tilbury (Jonathan) et al., « Digital Preservation Interoperability through Preservation Actions Registries » (2018). URL : https://figshare.com/articles/Digital_Preservation_Interoperability_through_Preservation_Actions_Registries/6628418/1. Consulté le 3 août 2022.

Retour d’expérience sur la stratégie de préservation des Archives nationales

Article rédigé pour la Cellule nationale de veille sur les formats par Emeline Levasseur et Martine Sin Blima-Barru (AN)

Les Archives nationales collectent des archives numériques depuis 1983, grâce à la mise en œuvre du programme Constance (CONServation et Traitement des Archives Nouvelles Constituées par l’Électronique). Pionnier dans ce domaine, il a défini la politique, le processus et la méthode de traitement et de conservation des données numériques et de leurs métadonnées jusqu’à l’ouverture des modules numériques du système d’information archivistique (SIA) des Archives nationales en novembre 2018. Avec la mise en service de ces modules, les Archives nationales s’engagent dans un renouvellement de leur stratégie de pérennisation, afin de l’adapter aux enjeux actuels de l’archivage numérique.

La méthode Constance, qui a permis de collecter et de pérenniser les données issues d’enquêtes statistiques, a été utilisée pendant plus de 30 ans, en appliquant les mêmes processus : les fichiers, avec leurs métadonnées, sont gérés dans une base documentaire, puis archivés sur des bandes LTO ; les migrations de support sont planifiées régulièrement, etc. Elle s’adapte aussi dans une certaine mesure à la conservation des documents bureautiques, par exemple en convertissant les fichiers Word en fichiers PDF, format réputé plus pérenne à ce moment-là. Cependant ces ajustements sont insuffisants pour relever les nouveaux défis de la pérennisation et un renouvellement en profondeur est nécessaire.

Avec le programme ADAMANT (Administration des archives et de leurs métadonnées aux Archives nationales dans le temps), les Archives nationales souhaitent adapter les outils, les procédures et l’organisation de la chaîne archivistique aux enjeux du traitement des données nativement numériques de typologies très variées (données structurées, documents issus d’outils des outils bureautiques, documents audiovisuels et sonores, photographies numériques natives, messageries). A l’issue d’un chantier scientifique, technique et organisationnel, elles construisent ainsi leur plate-forme d’archivage électronique qui s’appuie sur la solution logicielle Vitam, et la mettent en service en novembre 2018.

Ce nouvel environnement induit un renouvellement des méthodes de traitement et de conservation des données. En premier lieu, les Archives nationales se dotent d’une nouvelle infrastructure d’hébergement des données, localisée sur deux sites distants, et comprenant un service de stockage à froid. Pour la suite, elles doivent construire leur politique de pérennisation, inscrite dans l’objectif « Mettre en œuvre une politique de conservation des données stratégiques de l’Etat » de la stratégie 2021-2025 des Archives nationales. Cet objectif matérialise la volonté de mutualiser des savoirs sur la pérennisation dans le but de construire une stratégie remplaçant l’approche de la méthode Constance et adaptée aux spécificités des archives collectées aux Archives nationales.

Les actions initiées

Parmi les chantiers en cours, celui de la reprise des données collectées depuis 1983, a débuté en 2019. Il consiste à migrer 73 téraoctets de données et leurs métadonnées afin de les garder intègres, authentiques, lisibles et accessibles dans le temps. Il nécessite de rassembler et de structurer des données et leurs métadonnées afin de créer des paquets d’informations à verser (SIP) conformes au Standard d’Echange des Données pour l’Archivage (SEDA) 2.1, compatible avec VITAM et la plateforme d’archivage électronique des Archives nationales. Il s’organise en lots présentant des caractéristiques communes permettant d’industrialiser le plus possible les processus de reprise. Dans un premier temps, trois lots ont été définis :

    • Environ 120 enquêtes statistiques, qui seront pérennisées dans la plateforme d’archivage électronique dans les semaines à venir ;
    • Les données (très souvent issues d’outils de bureautique) décrites par des instruments de recherche saisis selon la DTD-EAD ;
    • Les reportages photographiques et vidéos de la Présidence de la République ou des services du Premier ministre.

Parallèlement, des petits ensembles de versements de données structurées ou non, itératifs ou ouverts, sont repris au fil de l’eau. Des réflexions restent à mener sur les données plus complexes et sur les données audiovisuelles ne rentrant pas dans les différents périmètres évoqués.

Côté collecte, les Archives nationales ont mis à disposition une première politique formats (à ce sujet voir aussi le cas d’usage BNF décrit dans le billet précédent). Elle indique, pour les différentes catégories qui forment les entrées de données :

    • des formats « acceptés » que les Archives nationales s’engagent à préserver avec audit régulier ;
    • des formats « tolérés », collectés et conservés en l’état, sans engagement sur leur maintenabilité dans le temps ;
    •  des formats « refusés » qui ne sont pas collectés pour des raisons techniques et/ou en l’absence de valeur juridique ou d’intérêt historique.

Cette stratégie précise aussi les traitements à prévoir si cela est nécessaire (pour les messageries notamment).  La politique menée est vouée à être précisée, à évoluer et à être complétée en fonction des formats de fichiers proposés dans les projets d’entrée, selon l’offre de service proposée par les Archives nationales et ses moyens pour assurer la lisibilité et l’exploitabilité des données sur le long terme.

Plus spécifiquement sur les messageries, les Archives nationales demandent un traitement particulier avant ingestion dans la plateforme d’archivage électronique. Elles préconisent ainsi que chaque entrée de messagerie fasse l’objet de deux paquets d’information à verser (SIP) conformes au SEDA (voir la figure 1 ci-après) :

    • Un SIP contenant la messagerie extraite et traitée dans l’outil de constitution de SIP ReSIP de VITAM, représentée dans une arborescence. Chaque message est archivé au format EML et doublé d’une version en TXT, les pièces jointes, elles, sont extraites et reliées intellectuellement aux mails ;
    • Un SIP contenant l’export brut (la messagerie au format PST ou Mbox), tel que collecté auprès du producteur des archives.

Par ce biais, les Archives nationales garantissent la pérennisation des messages, de leurs métadonnées et de leurs pièces jointes, tout en permettant dans le futur des alternatives de représentation des messageries dans des environnements extérieurs à la plateforme. Ce choix de pérennisation « à la pièce » permettrait de répondre à des demandes d’accès si besoin. Actuellement, les Archives nationales réfléchissent déjà à une évolution de ces préconisations de préparation des messageries en entrée, du fait de leur meilleure connaissance des contraintes liées à leur pérennisation.

Figure 1. Organisation d’une entrée messagerie

 

A propos des archives audiovisuelles, un premier chantier se concentre sur les métadonnées, pierre angulaire de la pérennisation de ces données.  Pour ce faire, les Archives nationales ont initié un groupe de travail interne pour créer une extension des balises, c’est-à-dire un ensemble de balises ne faisant pas partie du schéma du SEDA en vigueur. Cette extension permettra d’y intégrer des métadonnées descriptives, techniques et de pérennisation, généralement encapsulées dans les documents audiovisuels (durée, codec, fréquence d’images, taille de l’image, profondeur de codage, fréquence d’échantillonnage, nombre de canaux, etc.), mais pas toutes (mentions de droit notamment). Ces métadonnées seront ainsi acceptées lors de l’ingestion des paquets d’information à verser (SIP) les utilisant puis gérées et requêtables dans la plateforme d’archivage électronique. Le groupe de travail, en s’appuyant notamment sur la norme MPG-7, a défini les noms des balises, leur organisation, leur cardinalité, et le format des valeurs attendues (texte, nombre entier, date, etc.). Une fois que l’extension sera mise en œuvre, le groupe de travail devra rendre possible l’automatisation de l’extraction des métadonnées techniques (à l’aide de l’outil MediaInfo par exemple).

Suite à la mise en service de la plate-forme d’archivage électronique, plusieurs actions ont été engagées pour renouveler les méthodes et processus de pérennisation des Archives nationales, que cela soit sur les archives déjà collectées ou sur celles à collecter. Elles doivent continuer à mutualiser les connaissances et les compétences aussi bien en interne qu’en externe, en travaillant de manière collaborative avec ses partenaires actuels ou prospectifs au niveau national ou international. Ancré dans la stratégie 2021-2025 de l’institution, l’objectif sur la préservation des données et de leurs métadonnées vise à produire une stratégie de pérennisation répondant aux enjeux et défis numériques de la production d’archives numériques contemporaines.

Les formats, une préoccupation internationale : l’exemple du Netwerk Digitaal Erfgoed

Article rédigé pour la Cellule nationale de veille sur les formats par Bertrand Caron (BNF) et Dominique Naud (SIAF)

Dans le billet du 6 août 2020 https://siaf.hypotheses.org/1501, était traitée la question de l’identification et de la validation des formats de fichiers, le sujet n’est pas épuisé loin de là !

Il s’avère en effet essentiel de bien connaître les formats pour que puisse être envisagée une véritable pérennisation, c’est-à-dire la possibilité de conserver dans le temps des fichiers numériques dans une forme utilisable et exploitable.

C’est la raison d’être de la Cellule nationale de veille sur les formats (CNVF), créée en France en 2019 et regroupant plus d’une dizaine d’institutions publiques ayant dans leurs missions la préservation numérique ainsi que des acteurs du secteur privé ou des experts invités.

Constituée sous l’égide du groupe PIN, la Cellule poursuit des objectifs multiples et ambitieux : mutualiser les savoir-faire et expertises sur les formats de fichiers, produire des recommandations concrètes et diffusables ainsi que des outils d’analyse afin de servir d’aide à la décision dans la mise en place des politiques de préservation des établissements, diffuser de l’information, développer la traduction de ressources, mutualiser la veille, contribuer et influer sur les outils, et enfin être un relais entre l’échelon national et l’échelon international.

C’est dans ce cadre que des rencontres virtuelles avec l’acteur incontournable de la préservation aux Pays-Bas, le Netwerk Digitaal Erfgoed (en anglais : Dutch Digital Heritage Network, DDHN) ont pris place en 2021.

Rassemblant des dizaines d’institutions patrimoniales, d’instituts de recherche, de partenariats et d’organisations de la connaissance issus de différents domaines aux Pays-Bas, il constitue un véritable réseau qui a pu s’appuyer en 2019-2020 sur la feuille de route définie dans la stratégie nationale pour le patrimoine numérique des Pays-Bas.

« Faire partie du Dutch Digital Heritage Network signifie travailler selon certains principes et passer de la “pensée institutionnelle” à la “pensée réseau”. » https://www.dpconline.org/events/digital-preservation-awards/dpa2020-ddhn

Parmi les nombreux travaux du DDHN, il est possible de relever :

  • Une approche nationale pour la mise en œuvre d’identifiants pérennes pour les institutions patrimoniales, basée sur la collaboration avec des fournisseurs de logiciels pour mettre en œuvre des services d’identification pérenne dans leurs systèmes de gestion des collections ;
  • Un guide pour le développement de politiques de préservation, fondé sur les éléments de politique de préservation du projet SCAPE ;
  • Un aperçu national de l’état de préservation des informations numériques stockées sur des supports dits volatiles (CD, DVD, bandes, disques magnétiques). Sur la base de ces informations, le DDHN élabore une carte des risques à ajouter à la liste des digitally endangered species (« espèces numériquement menacées ») et deux ou trois unités fonctionnelles informatiques performantes à l’intention des organismes patrimoniaux pour la création d’images disque à partir de leurs supports volatiles ;
  • Le Virtual Research Environment, machine virtuelle embarquant une sélection des outils de préservation numérique les plus couramment utilisés, en coopération avec l’Open Preservation Foundation (OPF) ;
  • Un guide interactif permettant aux institutions de définir et de publier leur politique sur les formats de données dans une perspective de préservation à long terme.

Ce dernier point intéressait particulièrement la CNVF qui a organisé une séance d’échanges à ce sujet le 18 février 2021 lors de laquelle les collègues néerlandais ont présenté ce projet. L’outil, en cours de réalisation, permet aux institutions de publier de manière homogène leurs préférences en matière de formats de fichiers ainsi que leur niveau de connaissance des différents formats de fichiers. L’infrastructure technique est l’outil Semantic MediaWiki, un wiki publiant ses données selon les standards du web sémantique.

La définition étape par étape d’une « politique formats » consiste tout d’abord à définir les types de contenu (texte, image, son, vidéo, jeux de données, données cartographiques, etc.) pour lesquels l’organisation a une mission de conservation, puis à évaluer l’importance de chacun des formats de ce type de contenu au regard de ses missions, de son public et de ses producteurs.

Note : les captures d’écran suivantes montrent des pages traduites automatiquement par Google, d’où les approximations, notamment dans les noms des formats !

Figure 1. Etapes 1 et 2 de l’élaboration de la politique formats :
définition des domaines, familles de format et importance

Au terme de cette première étape, l’institution obtient un graphique sur deux axes : l’importance des types de contenu et l’évaluation de la durabilité des formats associés (cette dernière, chiffrée, étant fournie par la NARA).

Figure 2. Graphique présentant chaque format sélectionné selon son importance
pour l’organisation et sa durabilité

Chaque point représente un format ; les formats situés dans le quart en haut à droite étant évidemment à privilégier (haute importance et durabilité satisfaisante). Le graphique ci-dessus représente le résultat obtenu par le Nederlands Instituut voor Beeld en Geluid (en anglais : Netherlands Institute for Sound and Vision).

Il est ensuite possible pour l’institution de qualifier chaque format selon sa politique et son niveau de connaissance. Les valeurs pour la politique sont les suivantes :

  • Format préféré : format privilégié par l’institution pour ce type de contenu ;
  • Format accepté : format accepté par l’institution, si la situation le justifie ;
  • Format historique : le format correspond à des données obtenues par l’institution dans le passé, mais des données dans ce format ne sont plus acceptées dans une perspective de préservation à long terme.

Pour le niveau de connaissance, les niveaux sont les suivants :

  • Format connu : le format est bien connu et maîtrisé par l’institution, qui dispose d’outils et de compétences pour le lire, l’exploiter, l’analyser, le transformer ;
  • Format identifié : l’institution est capable d’identifier ce format, mais ne dispose pas d’outils et de compétences suffisantes pour le préserver ;
  • Format stocké : l’institution ne sait pas identifier le format. Les données dans ce format font l’objet d’une simple préservation du train d’octets.
Figure 3. Etapes 3 et 4 : définition de la politique et
du niveau de connaissance par format

L’objectif de ce processus est la publication de la politique de formats de l’organisation sous forme d’une page de synthèse présentant les préférences et le niveau de connaissance de l’organisation en termes de formats.

Figure 4. Page publique présentant la politique de formats
d’une organisation

Suivez ce lien pour consulter le résultat publié de ce processus pour l’organisation DANS, le centre national néerlandais d’expertise sur les données de la recherche.

Un prochain billet vous parlera de l’utilisation du Preservation Action Registry (registre d’actions de préservation, dit PAR), piloté par une équipe issue des organisations Preservica, Actefactual, Archivum et l’Open Preservation Foundation dont le DDHN nous a parlé le 15 mars 2021.

Identification et validation de formats de fichiers

En réponse à une question du Conseil international des archives (ICA) sur les pratiques françaises, une petite synthèse sur les questions d’identification et validation de formats de fichiers.  Merci à la documentation VITAM et à Marion Ville (VITAM), Lorène Béchard (CINES) et Yannick Grandcolas (BnF) pour leurs retours d’expérience !

File Extension Type – Image libre Image par Shafin Al Asad Protic de Pixabay

Ressources

  1. Le chantier préservation VITAM : http://www.programmevitam.fr/pages/documentation/
  • Identification des formats de fichiers (pdf)
  • Validation du format des fichiers (pdf)
  • Extraction des métadonnées techniques (pdf)
  1. Les pages formats de fichiers et l’outil FACILE du CINES : https://www.cines.fr/archivage/des-expertises/les-formats-de-fichier/
  1. La préservation numérique à la BnF, en particulier les pages métadonnées et formats : https://www.bnf.fr/fr/la-preservation-lheure-du-numerique#bnf-donn-es-et-m-tadonn-es-formats-et-impl-mentation-bnf

L’identification de formats

Les fichiers numériques ont besoin de matériels ou de logiciels adaptés à leur format et en mesure de les identifier pour être utilisables, c’est-à-dire exécutés, consultés, modifiés ou imprimés.

Plusieurs outils et stratégies existent pour identifier la plupart des formats usuels. La plupart de ces outils sont génériques et mis en œuvre par les outils informatiques les plus courants : systèmes d’exploitation, serveurs et navigateurs internet. Les spécialistes de la préservation numérique se sont rapidement mis d’accord sur le fait que ces méthodes génériques étaient insuffisantes pour déterminer précisément à quel type de fichier ils avaient à faire. Ils ont décidé de définir et de mettre en œuvre des méthodes plus sophistiquées

Il existe trois moyens courants d’identifier le format d’un fichier numérique :

  • son extension,
  • les métadonnées techniques qu’il contient – et notamment son type MIME,
  • des caractéristiques récurrentes dans son contenu, véritables « signatures » d’un type de fichier.

La validation

L’objectif de la préservation numérique est de conserver dans le temps des fichiers numériques dans une forme utilisable et exploitable. Pour une plate-forme d’archivage, il est donc important de disposer de mécanismes permettant de vérifier que les fichiers numériques qui lui sont transmis, pour prise en charge sont dans une forme qui sera utilisable et exploitable dans le temps.

La validation des formats est un des mécanismes mis en œuvre pour effectuer cette vérification. Son objectif est de vérifier si un fichier numérique est conforme aux spécifications connues du format, d’un point de vue syntaxique comme sémantique.

Si le format du fichier est déclaré valide, la plate-forme d’archivage pourra être sûre que tout logiciel identifié comme capable de représenter un fichier de ce format sera capable de le faire.

Contrairement à l’identification de format qui se base uniquement sur l’extension ou les « signatures de fichiers », la validation de format nécessite une analyse complète du train de bits et sa comparaison avec les spécifications. À ce titre, le coût en puissance de calcul de la validation est bien supérieur à celui de l’identification et se rapproche de celui d’une transformation.

La validation de format se décompose souvent en deux niveaux :

  • la vérification qu’un fichier est bien formé (well-formed), ce qui relève de la syntaxe ;
  • la vérification qu’un fichier est valide (valid), ce qui relève de la sémantique.

Les outils

  • Outils de caractérisation des fichiers utilisés à la BnF (Bibliothèque nationale, avec des « filières d’entrée » bien déterminées) :
    • EpubCheck (livres numériques au format EPUB)
    • Jpylyzer (JPEG2000)
    • JHOVE (Images, XML, HTML)
    • MediaInfo (vidéo et son)
    • JWAT-Tools (archives de l’internet)
    • Tika (PDF, bureautique)
  • Au CINES
    • La caractérisation des fichiers se fait avec Droid.
    • L’outil interne FACILE est la base du validateur de formats.
    • La validation utilise des validateurs spécialisés : Jhove, ImageMagick, ffmpeg, …
  • Chez VITAM
    • La caractérisation des formats en entrée du système utilise Siedgfired
    • Un autre outil de gestion des versements (en amont du SAE donc) développé par le programme VITAM. RESIP, utilise Droid.
    • Le logiciel VITAM livre quelques outils (griffons), chaque projet peut en utiliser d’autres.
      • ImageMagick : validation et extraction de métadonnées
      • Jhove : validation
      • VeraPDF : validation
      • ODF validator : validation
      • Siegfried : identification
      • Tesseract : extraction de métadonnées.
      •  Dans la documentation VITAM, on trouvera également les résultats de tests avec Droid et Validroid (outil développé par Jean-Séverin Lair, non publié, combinant plusieurs outils de validation : BFFOffice, ImageMagick, JHOVE, ODF Toolkit, OpenXML,veraPDF), Tika.

Oui, mais…

Attention, les systèmes d’identification des formats peuvent être volontairement déjoués, qu’il s’agisse de l’extension ou de système des marqueurs ou “signatures” de format,  qui peuvent être présents dans un fichier d’un autre type, soit accidentellement soit exprès : voir par exemple  ici (en anglais) ou un ingénieur Google a créé un fichier (sans contenu) susceptible d’être reconnu comme « appartenant » à 29 formats différents, sans pour autant être valide en regard d’aucune spécification correspondant : lorsqu’une mesure devient un objectif, elle cesse d’être une bonne mesure…

Evolution du SEDA : reprise des travaux

Les comités SEDA se sont arrêtés en 2018 après la publication de la version 2.1, mise à jour significative de la deuxième génération du standard. En 2019, les utilisations opérationnelles du SEDA ont fait émerger des points d’amélioration à cette version 2.1. Réunie au SIAF le 7 janvier dernier, l’édition 2020 du comité a dessiné les orientations de travail pour faire évoluer le standard. Voici son compte-rendu. 

Entités représentées

  • SIAF
  • Archives nationales
  • Ministère de l’Europe et des Affaires étrangères
  • Ministère des Armées (SHD et DPMA)
  • Vitam
  • BnF
  • Cines
  • Maarch
  • Arkhineo
  • Xdemat
  • API SAS
  • Mintika
  • Libriciel Scop

Ordre du jour

  • Besoins en termes d’évolution de la dernière version du SEDA 2.1 

  • Organisation du nouveau comité

Discussions 

La dernière version du SEDA 2.1 (juin 2018) a vocation à rester la version de référence pour l’archivage numérique en France. Sans évolution de sa structure fondamentale, elle mérite néanmoins un travail de retouche:

  • Mise à jour de la documentation (par des exemples d’utilisation et/ou des explicitations)

  • Evolution de balises ciblées (revoir la cardinalité par exemple)

  • L’ajout de balises dans le cas limité où les RETEX font apparaître un manque (ex. un « bénéficiaire » d’un dossier d’aide sociale), ou la précision de l’usage d’une balise pour un usage coordonné entre services.

  • Le dictionnaire des balises mériterait d’être valorisé.

L’idée de créer une cartographie des différentes versions du SEDA utilisées au sein des institutions a été émise. Il a également été proposé qu’un outil de migration soit systématiquement mis en place lors de la publication d’une nouvelle version du SEDA.

Typologie

Il serait intéressant de produire des listes de métadonnées (techniques et de gestion) minimales selon le type de contenu que l’on traite : audiovisuel (images, vidéos, enregistrements sonores, etc.), mails. Pour les données structurées en revanche cela s’avère plus compliqué, cela relèverait plutôt d’un travail prospectif à plus long terme.

Référentiels

Les besoins diffèrent selon les communautés d’utilisateurs (Ministères, collectivités…). On observe souvent la création de référentiels locaux qui peuvent nuire à une utilisation généralisée du SEDA. Il faut encourager l’utilisation des référentiels existants et mieux les signaler.

Besoin de publication de listes de codes, par exemple sur les restrictions d’accès et DUA quand elles ne sont pas exprimées en durée.

Possibilité de faire un référentiel commun de durées de DUA pour les collectivités ? Cela semble difficile car la DUA peut dépendre de la politique d’archivage du producteur.

Ouvrir le format du standard 

Le schéma conceptuel du SEDA a été pensé pour du XML. Or certains formats comme le JSON peuvent être plus appropriés pour appréhender les objets.

Question : est-il possible d’admettre les deux formats (ou plus), tout en garantissant leur adhérence ?

🡺A étudier de manière prospective. Le Cines, qui a développé un générateur de profils, a travaillé sur un schéma de l’ensemble du SEDA en JSON. Le JSON est généré manuellement mais vérifiable par l’intermédiaire d’un parser.

Concernant, les profils d’archivage, comment faire évoluer l’outil Sherpa : versions du SEDA, validation des profils ?

🡺Questions qui seront à clarifier aux cours des prochaines discussions.

N. B.: une feuille de route sur les outils du SIAF est en cours d’élaboration en interne. Elle prend en compte Sherpa, l’outil en ligne d’aide à la création de profils (en SEDA 2.0).

La volonté que Resip puisse générer un profil une fois que le manifeste est créé a été évoquée.

La formation et la documentation

Le constat est partagé que le standard peut sembler d’un abord complexe et susciter des réticences chez les utilisateurs. La majorité des parties prenantes du comité a eu l’occasion de faire des formations ou de produire de la documentation (Vitam particulièrement).

🡺 La mise en commun de ces expériences serait bénéfique. Il faudrait produire une documentation à deux niveaux, un premier présentant les grands principes du SEDA, son intérêt etc. et un second plus expert avec un accès facilité cependant.

A ce sujet, la page web dédiée au SEDA nécessite des corrections, des mises à jour et une amélioration de la mise à disposition (exemple : URL pérenne pour le xsd) des schémas et des feuilles de style.

Un volet prospectif

Pour anticiper l’impact sur le SEDA de l’aboutissement des chantiers d’envergure pour la description archivistique que sont le modèle conceptuel Records in Context, lié à l’EAD, ainsi que le Fichier national d’entités (FNE), référentiel national d’autorités partagé.

Relevé de décisions 

  • Tout ce qui concerne le site SEDA en général relève de la responsabilité du SIAF (site adossé au portail France Archives).

  • Organisation d’un espace de travail pour le partage des documents.

  • Constitution de groupes de travail dédiés à des thématiques spécifiques, coordonnés par le Bureau de l’archivage numérique, des normes et des référentiels du SIAF : 

  • un groupe dédié à l’évolution des balises
  • un groupe consacré aux questions des évolutions techniques du SEDA : interopérabilité, ouverture au JSON etc.
  • un groupe de réflexion sur la formation/information autour du SEDA (mise en commun des expériences et des supports, travail sur les supports, révision de la présentation du dictionnaire des balises).
  • un groupe de prospective, chargé notamment de la veille sur l’avancée des projets RiC / FNE, l’évaluation de l’impact pour le SEDA.

Compte-tenu des mesures de confinement actuelles, la réunion du groupe de travail sur les balises, initialement prévue pour le 1er avril, a été reportée à une date pour le moment inderteminée. A suivre !