Tous les articles par Dominique Naud

Réutiliser les données ouvertes afin d’obtenir une vue d’ensemble des ressources disponibles sur le portail FranceArchives

Article rédigé par Clément ARNAUD (SIAF)

Depuis 2022, FranceArchives publie quatre fois par an sur la plateforme data.culture un export complet des inventaires du portail au format apeEAD.

Cet export a connu une réutilisation, en 2023, dans le cadre d’un article « FranceArchives : dans quoi cherche-t-on ? » paru sur le blog « Patrimoine et numérique » de Maïwenn Bourdic. Cet article propose plusieurs exemples d’exploitation des données sous forme de datavisualisation afin de mieux cerner le contenu du portail et de mettre en lumière les grands ensembles de données qui y figurent. Deux ans après, il semble pertinent de proposer une actualisation de ces données ainsi que de nouveaux axes pour les explorer, tant pour le grand public que pour les archivistes.

Le corpus

Les inventaires mis en ligne sur data.culture sont ceux de l’ensemble des contributeurs du portail FranceArchives soit 165 services d’archives en janvier 2025. Bien que la plupart des contributions au portail soient au format XML EAD, les inventaires au format PDF ou CSV sont également inclus dans l’export. Pour importer des fichiers PDF sur le portail, les services doivent en effet compléter un fichier CSV. Ce fichier permet d’afficher une page de résultats de recherche, ainsi qu’une notice intermédiaire proposant l’ouverture du fichier PDF. Ces fichiers CSV de métadonnées sont convertis en fichiers apeEAD simplifiés à un seul niveau.

L’export de janvier 2025, sur lequel porte cet article, compte 97 000 inventaires. Le nombre total d’inventaires publiés sur le portail a ainsi augmenté de plus de 15 % en un peu plus d’un an, passant de 84 000 inventaires en décembre 2023 à 97 000 en janvier 2025.

Evolution du nombre d’inventaires publiés sur le portail entre décembre 2023 et janvier 2025


Répartition des inventaires par grands ensembles

L’export proposé sur data.culture regroupe dans un répertoire distinct les inventaires de chaque partenaire, permettant d’obtenir facilement des chiffres par institutions en listant en ligne de commande le nombre de fichiers par dossier.

Les trois services d’Archives nationales demeurent les principaux contributeurs du portail avec à eux seuls 29 284 inventaires publiés sur FranceArchives soit 30% des inventaires du portail. Ce chiffre est en légère baisse par rapport à décembre 2023 date à laquelle les Archives nationales représentaient 34% des inventaires du portail. Près de 12 000 nouveaux inventaires provenant d’institutions autres que les Archives nationales ont été publiés entre décembre 2023 et janvier 2025. Pour l’internaute, cela se traduit par une plus grande diversité dans l’origine des ressources proposées en résultats de recherche. En valeur absolue, le réseau des archives départementales représente plus de la moitié des contributions au portail.


Répartition des contributions à FranceArchives par type de service :
Archives départementales 53.70%,
Archives nationales 31.29%, Archives municipales 15.01%

Parmi les 20 contributeurs majeurs du portail, on retrouve 17 services d’archives départementales, qui valorisent tous plus de 1 200 inventaires sur FranceArchives. Ces 20 contributeurs représentent 67% des contributions au portail (soit 65 583 inventaires au total). Ce chiffre est en baisse sensible par rapport à décembre 2023, où les 20 contributeurs majeurs représentaient 75% des inventaires valorisés. Cette évolution sera sans doute confortée par les projets de partenariat en cours avec des services d’archives municipales.


Répartition des vingt principaux contributeurs du portail


Répartition territoriale des inventaires

En examinant la répartition territoriale des inventaires valorisés, en combinant les inventaires des services d’archives départementales et municipales d’un même département, on constate que FranceArchives valorise plus de 500 inventaires par département dans un tiers des départements français, soit 36 départements contre 27 en décembre 2023. Ce cumul illustre la complémentarité des fonds valorisés sur le portail (entre archives départementales et municipales) mais il montre aussi une certaine hétérogénéité de la couverture territoriale. La répartition territoriale précise des partenaires est visible sur la carte de l’annuaire (cocher « Partenaires de FranceArchives », « Archives départementales » et « Archives municipales »). Cette carte peut être mise en regard avec la carte d’accès aux métadonnées qui exploite l’indexation lieu sur FranceArchives.


Couverture temporelle

Afin d’avoir une idée plus précise de la répartition chronologique des fonds valorisés sur le portail, l’ensemble des inventaires a été requêté en XQuery afin d’extraire pour chaque inventaire, l’élément date de niveau haut (via le XPath suivant /ead/archdesc/did/unitdate). Les dates extraites ont été filtrées et traitées dans OpenRefine pour être reformatées au format AAAA. Certaines saisies non numériques ou non exploitables ont été supprimées (mention « sans date », bornes chronologiques de plusieurs siècles, etc.). Après traitement, 88 365 intervalles de dates au format AAAA ont été retenus (près de 10 000 inventaires sont donc exclus de cette analyse). Cet ensemble d’intervalles de dates a ensuite été traité par script Python afin de développer les intervalles et d’obtenir une liste d’années par occurrence. Il faut préciser que cette méthode comporte des biais. On constate en effet dans les données une tendance pour les fonds contemporains à sélectionner des intervalles de dates larges (du type 1945-2000) qui ont tendance à surreprésenter le XXe siècle dans les données analysées. De plus, les dates extrêmes de niveau haut ne sont pas toujours représentatives de la période de production des fonds décrits, une pièce isolée pouvant fausser la datation de l’ensemble du fonds. Ces données et leur représentation sont donc à analyser avec précaution pour déterminer les grandes tendances du corpus.

Répartition des inventaires par date

Dans l’ensemble, on constate l’importance de la période de 1914 à 1987, qui dépasse les 20 000 occurrences avec un pic pour les années 1970, et une brusque chute pour les années les plus récentes. Cette surreprésentation du XXe siècle peut être attribuée à divers facteurs, notamment les politiques de collecte, l’état de classement des fonds ou l’actualité mémorielle. Elle met principalement en évidence des biais temporels dans les résultats de recherche.

La place de l’indexation

L’indexation est largement exploitée dans FranceArchives afin de faciliter les recherches, notamment via l’autocomplétion dans le moteur de recherche. Sur FranceArchives, ces indexations sont successivement groupées, alignées et qualifiées afin de nourrir un réservoir d’autorités. Le détail des enrichissements et des traitements réalisés sur ces données est décrit dans l’article « FranceArchives : réalisations », publié sur le portail. Afin d’obtenir un aperçu plus précis des pratiques d’indexation de chaque service, un script Python a permis de quantifier la part d’inventaires porteuse d’indexation. Sont considérés dans l’infographie comme étant indexés, les inventaires contenant au moins un des éléments de l’EAD utilisés pour l’indexation à n’importe quel niveau de la hiérarchie, soit :

  • Le producteur : <origination>

  • Une indexation lieu : <geogname>

  • Une indexation personne : <persname>

  • Une indexation institution : <corpname>

  • Une indexation sujet : <subject>

Il ne s’agit pas d’une analyse proportionnelle visant à quantifier le volume d’indexation, mais plutôt d’en évaluer la répartition dans les inventaires. Les institutions ont été divisées en trois groupes en fonction du nombre d’inventaires publiés sur le portail. Le premier groupe comprend les services valorisant plus de 800 inventaires sur FranceArchives, le deuxième groupe rassemble les services valorisants entre 200 et 800 inventaires, et le troisième groupe inclut les services fournissant moins de 200 inventaires. L’ensemble de cette visualisation est disponible en ligne. On constate ici encore une grande diversité des résultats qui tient en partie à la diversité des fonds mis en ligne mais aussi à des pratiques de description différentes au sein des services ou à l’utilisation d’outils favorisant plus ou moins la pratique de l’indexation.


Part en pourcentage des inventaires contenant au moins un des éléments de l’EAD utilisés pour l’indexation à n’importe quel niveau de la hiérarchie – Services ayant plus de 800 inventaires sur le portail

Conclusion

Ces différents points de vue sur les données n’ont pas pour vocation de comparer quantitativement ou qualitativement les contributions au portail. Ils ont d’abord pour but de mieux signaler les pleins et les creux des données collectées. Ils expliquent les silences de certaines recherches et mériteraient d’être complétés par une étude axée sur les recherches des internautes. Ces visualisations permettent également de nous guider dans les échanges avec les partenaires et dans les propositions de nouveaux partenariats. Elles illustrent enfin la diversité des pratiques et offrent des pistes pour tenter de les homogénéiser et par la même d’enrichir les données. C’est dans cette démarche d’harmonisation des pratiques et d’accompagnement aux évolutions numériques que s’inscrit le groupe de travail pour la description et l’indexation des archives.

Transmettre et partager les actions de préservation numérique : l’initiative PAR (Preservation Action Registry)

Article rédigé pour la Cellule nationale de veille sur les formats par Bertrand Caron (BnF) avec le concours de Dominique Naud (SIAF)

Nous avions, dans un précédent billet, parlé de l’initiative du DDHN pour proposer un site de formalisation et de partage de la politique de formats entre les institutions de conservation néerlandaises. Côté français, la BnF a publié en octobre 2021 sa politique de formats et les Archives nationales ont relaté leur stratégie de préservation qui recense les formats acceptés, tolérés ou refusés pour la collecte. Mais, une fois cette politique définie par l’institution, comment l’implémenter  afin qu’elle puisse être partagée par d’autres, et comment échanger ces méthodes éprouvées entre institutions ?

Le projet PAR

Lancée en 2018, l’initiative PAR  (Preservation action registry traduisible par Registre d’action de préservation) est portée par plusieurs éditeurs de solutions de préservation numérique (Archivematica, Arkivum, Preservica), sur financement initial du Joint Information Systems Committee et avec le soutien technique de l’Open Preservation Foundation.  Elle a pour objectif d’enregistrer et de garder la mémoire, dans un formalisme commun, des actions de préservation entreprises par les institutions de conservation dans un but d’échange de bonnes pratiques.

Qu’est-ce qu’une action de préservation?

La préservation numérique consiste en un ensemble de processus visant à permettre un accès aux objets numériques sur le long terme. Loin de se limiter à un simple stockage des données numériques sur un support, elle nécessite la mise en œuvre de nombreuses actions mêlant étroitement des compétences documentaires et techniques.

Parmi ces activités, certaines directement liées aux formats se prêtent particulièrement bien à l’automatisation partielle ou totale : la validation des fichiers au regard de leur spécification, la caractérisation (analyse des propriétés du fichier et extraction de métadonnées internes) ou encore la transformation par exemple par conversion de format organisée en amont et/ou pendant la période de conservation.

Prenons un exemple.

La BnF reçoit des fichiers TIFF compressés avec la méthode LZW. Or, d’après sa politique formats, elle n’accepte que des TIFF comprenant un flux image non compressé. Avant d’intégrer ces fichiers dans un Paquet d’informations à verser (SIP), elle doit donc réaliser une opération de normalisation consistant à décompresser le flux contenu dans le fichier TIFF. Elle détermine que l’outil le plus adapté pour cette opération est la commande tiffcp de la bibliothèque logicielle LibTIFF. Comme il s’agit d’un outil en ligne de commande, elle détermine également la ligne de commande utilisée pour réaliser cette transformation :

libtiff -c none [fichierCompresseLZWSource] [fichierResultatDecompresse]

De la même façon que les cuisiniers s’échangent des recettes de cuisine, les archivistes numériques doivent pouvoir s’échanger des méthodes : un nom de recette (« Décompresser un TIFF LZW »), un ou plusieurs ingrédients (un fichier TIFF compressé en LZW), un ou plusieurs outils (la commande tiffcp), une ou plusieurs actions à mener (la description du procédé, la ligne de commande), un résultat (un fichier TIFF non compressé).

Note : la métaphore culinaire est utilisée par plusieurs initiatives, dont le FFmpeg Cookbook for Archivists, qui décrit plusieurs « recettes » d’utilisation du logiciel de transformation vidéo FFMPEG pour les besoins des archivistes.

Certains processus plus complexes se traduisent en « recettes » à étapes multiples. Ainsi, un processus d’acquisition de messageries électroniques pourrait comporter les étapes suivantes :

  1. Extraction de messages individuels à partir d’un fichier PST ;
  2. Extraction des pièces jointes ;
  3. Identification du format des pièces jointes ;
  4. Transformation des pièces jointes ;
  5. Création d’un Paquet d’informations sous forme d’un fichier ZIP.

Note : le rapport publié en 2018 par le CLIR (Council of Library and information resources) «The Future of Email Archives» décrit et schématise plusieurs scénarios utilisés par différentes institutions nord-américaines.

Ce sont précisément ces « recettes » et leurs composants que PAR vise à mutualiser et formaliser afin de pouvoir les partager.

PAR : un modèle, des outils mais aussi des limites

Le modèle de données

Afin de rendre le registre exploitable par les machines, celui-ci doit se baser sur un modèle de données riche qui reflète la diversité des actions de préservation. Il s’appuie pour cela sur certaines initiatives existantes comme le vocabulaire contrôlé des types d’événements maintenu par le PREMIS Editorial Committee

Figure 1. Modèle conceptuel de PAR

Le modèle de données de PAR décrit donc :

  • Des actions de préservation ;
  • Réalisées avec des outils ;
  • Selon des paramètres donnés ;
  • Portant sur des fichiers ou des objets (des ensembles de fichiers ayant une cohérence documentaire) ;
  • À condition que ces fichiers aient un format spécifique ;
  • Produisant et se fondant sur des propriétés des objets ou des fichiers, qui ensemble forment un profil de l’objet/fichier source ou résultat de l’action.

Les outils

Le projet a développé un registre conforme au modèle de données et une API pour l’interroger. Afin d’y avoir accès, il est nécessaire d’adresser une demande à l’OPF. L’API permet de synchroniser le registre avec les sources d’information (registres d’actions de préservation locales d’Archivematica, Arkivum et Preservica, Wikidata).

Le développement étant open source, il est également possible d’y contribuer : https://github.com/openpreserve/par.

Les limites

Il est nécessaire d’être conscient des limites de l’initiative afin d’en tirer le meilleur profit. Le risque principal est d’y voir non pas des politiques institutionnelles, fondées sur un contexte et des besoins spécifiques, mais des recommandations. Il est donc d’autant plus important de bien analyser les règles métier (business rules) accompagnant chaque action de préservation, qui ont vocation à décrire le contexte historique et institutionnel dans lequel ces actions sont menées, et d’évaluer le degré de compatibilité avec son contexte propre.

 

Pour aller plus loin

Addis (Matthew), Simpson (Justin), Tilbury (Jonathan) et al., « Digital Preservation Interoperability through Preservation Actions Registries » (2018). URL : https://figshare.com/articles/Digital_Preservation_Interoperability_through_Preservation_Actions_Registries/6628418/1. Consulté le 3 août 2022.

Retour d’expérience sur la stratégie de préservation des Archives nationales

Article rédigé pour la Cellule nationale de veille sur les formats par Emeline Levasseur et Martine Sin Blima-Barru (AN)

Les Archives nationales collectent des archives numériques depuis 1983, grâce à la mise en œuvre du programme Constance (CONServation et Traitement des Archives Nouvelles Constituées par l’Électronique). Pionnier dans ce domaine, il a défini la politique, le processus et la méthode de traitement et de conservation des données numériques et de leurs métadonnées jusqu’à l’ouverture des modules numériques du système d’information archivistique (SIA) des Archives nationales en novembre 2018. Avec la mise en service de ces modules, les Archives nationales s’engagent dans un renouvellement de leur stratégie de pérennisation, afin de l’adapter aux enjeux actuels de l’archivage numérique.

La méthode Constance, qui a permis de collecter et de pérenniser les données issues d’enquêtes statistiques, a été utilisée pendant plus de 30 ans, en appliquant les mêmes processus : les fichiers, avec leurs métadonnées, sont gérés dans une base documentaire, puis archivés sur des bandes LTO ; les migrations de support sont planifiées régulièrement, etc. Elle s’adapte aussi dans une certaine mesure à la conservation des documents bureautiques, par exemple en convertissant les fichiers Word en fichiers PDF, format réputé plus pérenne à ce moment-là. Cependant ces ajustements sont insuffisants pour relever les nouveaux défis de la pérennisation et un renouvellement en profondeur est nécessaire.

Avec le programme ADAMANT (Administration des archives et de leurs métadonnées aux Archives nationales dans le temps), les Archives nationales souhaitent adapter les outils, les procédures et l’organisation de la chaîne archivistique aux enjeux du traitement des données nativement numériques de typologies très variées (données structurées, documents issus d’outils des outils bureautiques, documents audiovisuels et sonores, photographies numériques natives, messageries). A l’issue d’un chantier scientifique, technique et organisationnel, elles construisent ainsi leur plate-forme d’archivage électronique qui s’appuie sur la solution logicielle Vitam, et la mettent en service en novembre 2018.

Ce nouvel environnement induit un renouvellement des méthodes de traitement et de conservation des données. En premier lieu, les Archives nationales se dotent d’une nouvelle infrastructure d’hébergement des données, localisée sur deux sites distants, et comprenant un service de stockage à froid. Pour la suite, elles doivent construire leur politique de pérennisation, inscrite dans l’objectif « Mettre en œuvre une politique de conservation des données stratégiques de l’Etat » de la stratégie 2021-2025 des Archives nationales. Cet objectif matérialise la volonté de mutualiser des savoirs sur la pérennisation dans le but de construire une stratégie remplaçant l’approche de la méthode Constance et adaptée aux spécificités des archives collectées aux Archives nationales.

Les actions initiées

Parmi les chantiers en cours, celui de la reprise des données collectées depuis 1983, a débuté en 2019. Il consiste à migrer 73 téraoctets de données et leurs métadonnées afin de les garder intègres, authentiques, lisibles et accessibles dans le temps. Il nécessite de rassembler et de structurer des données et leurs métadonnées afin de créer des paquets d’informations à verser (SIP) conformes au Standard d’Echange des Données pour l’Archivage (SEDA) 2.1, compatible avec VITAM et la plateforme d’archivage électronique des Archives nationales. Il s’organise en lots présentant des caractéristiques communes permettant d’industrialiser le plus possible les processus de reprise. Dans un premier temps, trois lots ont été définis :

    • Environ 120 enquêtes statistiques, qui seront pérennisées dans la plateforme d’archivage électronique dans les semaines à venir ;
    • Les données (très souvent issues d’outils de bureautique) décrites par des instruments de recherche saisis selon la DTD-EAD ;
    • Les reportages photographiques et vidéos de la Présidence de la République ou des services du Premier ministre.

Parallèlement, des petits ensembles de versements de données structurées ou non, itératifs ou ouverts, sont repris au fil de l’eau. Des réflexions restent à mener sur les données plus complexes et sur les données audiovisuelles ne rentrant pas dans les différents périmètres évoqués.

Côté collecte, les Archives nationales ont mis à disposition une première politique formats (à ce sujet voir aussi le cas d’usage BNF décrit dans le billet précédent). Elle indique, pour les différentes catégories qui forment les entrées de données :

    • des formats « acceptés » que les Archives nationales s’engagent à préserver avec audit régulier ;
    • des formats « tolérés », collectés et conservés en l’état, sans engagement sur leur maintenabilité dans le temps ;
    •  des formats « refusés » qui ne sont pas collectés pour des raisons techniques et/ou en l’absence de valeur juridique ou d’intérêt historique.

Cette stratégie précise aussi les traitements à prévoir si cela est nécessaire (pour les messageries notamment).  La politique menée est vouée à être précisée, à évoluer et à être complétée en fonction des formats de fichiers proposés dans les projets d’entrée, selon l’offre de service proposée par les Archives nationales et ses moyens pour assurer la lisibilité et l’exploitabilité des données sur le long terme.

Plus spécifiquement sur les messageries, les Archives nationales demandent un traitement particulier avant ingestion dans la plateforme d’archivage électronique. Elles préconisent ainsi que chaque entrée de messagerie fasse l’objet de deux paquets d’information à verser (SIP) conformes au SEDA (voir la figure 1 ci-après) :

    • Un SIP contenant la messagerie extraite et traitée dans l’outil de constitution de SIP ReSIP de VITAM, représentée dans une arborescence. Chaque message est archivé au format EML et doublé d’une version en TXT, les pièces jointes, elles, sont extraites et reliées intellectuellement aux mails ;
    • Un SIP contenant l’export brut (la messagerie au format PST ou Mbox), tel que collecté auprès du producteur des archives.

Par ce biais, les Archives nationales garantissent la pérennisation des messages, de leurs métadonnées et de leurs pièces jointes, tout en permettant dans le futur des alternatives de représentation des messageries dans des environnements extérieurs à la plateforme. Ce choix de pérennisation « à la pièce » permettrait de répondre à des demandes d’accès si besoin. Actuellement, les Archives nationales réfléchissent déjà à une évolution de ces préconisations de préparation des messageries en entrée, du fait de leur meilleure connaissance des contraintes liées à leur pérennisation.

Figure 1. Organisation d’une entrée messagerie

 

A propos des archives audiovisuelles, un premier chantier se concentre sur les métadonnées, pierre angulaire de la pérennisation de ces données.  Pour ce faire, les Archives nationales ont initié un groupe de travail interne pour créer une extension des balises, c’est-à-dire un ensemble de balises ne faisant pas partie du schéma du SEDA en vigueur. Cette extension permettra d’y intégrer des métadonnées descriptives, techniques et de pérennisation, généralement encapsulées dans les documents audiovisuels (durée, codec, fréquence d’images, taille de l’image, profondeur de codage, fréquence d’échantillonnage, nombre de canaux, etc.), mais pas toutes (mentions de droit notamment). Ces métadonnées seront ainsi acceptées lors de l’ingestion des paquets d’information à verser (SIP) les utilisant puis gérées et requêtables dans la plateforme d’archivage électronique. Le groupe de travail, en s’appuyant notamment sur la norme MPG-7, a défini les noms des balises, leur organisation, leur cardinalité, et le format des valeurs attendues (texte, nombre entier, date, etc.). Une fois que l’extension sera mise en œuvre, le groupe de travail devra rendre possible l’automatisation de l’extraction des métadonnées techniques (à l’aide de l’outil MediaInfo par exemple).

Suite à la mise en service de la plate-forme d’archivage électronique, plusieurs actions ont été engagées pour renouveler les méthodes et processus de pérennisation des Archives nationales, que cela soit sur les archives déjà collectées ou sur celles à collecter. Elles doivent continuer à mutualiser les connaissances et les compétences aussi bien en interne qu’en externe, en travaillant de manière collaborative avec ses partenaires actuels ou prospectifs au niveau national ou international. Ancré dans la stratégie 2021-2025 de l’institution, l’objectif sur la préservation des données et de leurs métadonnées vise à produire une stratégie de pérennisation répondant aux enjeux et défis numériques de la production d’archives numériques contemporaines.

Les formats, une préoccupation internationale : l’exemple du Netwerk Digitaal Erfgoed

Article rédigé pour la Cellule nationale de veille sur les formats par Bertrand Caron (BNF) et Dominique Naud (SIAF)

Dans le billet du 6 août 2020 https://siaf.hypotheses.org/1501, était traitée la question de l’identification et de la validation des formats de fichiers, le sujet n’est pas épuisé loin de là !

Il s’avère en effet essentiel de bien connaître les formats pour que puisse être envisagée une véritable pérennisation, c’est-à-dire la possibilité de conserver dans le temps des fichiers numériques dans une forme utilisable et exploitable.

C’est la raison d’être de la Cellule nationale de veille sur les formats (CNVF), créée en France en 2019 et regroupant plus d’une dizaine d’institutions publiques ayant dans leurs missions la préservation numérique ainsi que des acteurs du secteur privé ou des experts invités.

Constituée sous l’égide du groupe PIN, la Cellule poursuit des objectifs multiples et ambitieux : mutualiser les savoir-faire et expertises sur les formats de fichiers, produire des recommandations concrètes et diffusables ainsi que des outils d’analyse afin de servir d’aide à la décision dans la mise en place des politiques de préservation des établissements, diffuser de l’information, développer la traduction de ressources, mutualiser la veille, contribuer et influer sur les outils, et enfin être un relais entre l’échelon national et l’échelon international.

C’est dans ce cadre que des rencontres virtuelles avec l’acteur incontournable de la préservation aux Pays-Bas, le Netwerk Digitaal Erfgoed (en anglais : Dutch Digital Heritage Network, DDHN) ont pris place en 2021.

Rassemblant des dizaines d’institutions patrimoniales, d’instituts de recherche, de partenariats et d’organisations de la connaissance issus de différents domaines aux Pays-Bas, il constitue un véritable réseau qui a pu s’appuyer en 2019-2020 sur la feuille de route définie dans la stratégie nationale pour le patrimoine numérique des Pays-Bas.

« Faire partie du Dutch Digital Heritage Network signifie travailler selon certains principes et passer de la “pensée institutionnelle” à la “pensée réseau”. » https://www.dpconline.org/events/digital-preservation-awards/dpa2020-ddhn

Parmi les nombreux travaux du DDHN, il est possible de relever :

  • Une approche nationale pour la mise en œuvre d’identifiants pérennes pour les institutions patrimoniales, basée sur la collaboration avec des fournisseurs de logiciels pour mettre en œuvre des services d’identification pérenne dans leurs systèmes de gestion des collections ;
  • Un guide pour le développement de politiques de préservation, fondé sur les éléments de politique de préservation du projet SCAPE ;
  • Un aperçu national de l’état de préservation des informations numériques stockées sur des supports dits volatiles (CD, DVD, bandes, disques magnétiques). Sur la base de ces informations, le DDHN élabore une carte des risques à ajouter à la liste des digitally endangered species (« espèces numériquement menacées ») et deux ou trois unités fonctionnelles informatiques performantes à l’intention des organismes patrimoniaux pour la création d’images disque à partir de leurs supports volatiles ;
  • Le Virtual Research Environment, machine virtuelle embarquant une sélection des outils de préservation numérique les plus couramment utilisés, en coopération avec l’Open Preservation Foundation (OPF) ;
  • Un guide interactif permettant aux institutions de définir et de publier leur politique sur les formats de données dans une perspective de préservation à long terme.

Ce dernier point intéressait particulièrement la CNVF qui a organisé une séance d’échanges à ce sujet le 18 février 2021 lors de laquelle les collègues néerlandais ont présenté ce projet. L’outil, en cours de réalisation, permet aux institutions de publier de manière homogène leurs préférences en matière de formats de fichiers ainsi que leur niveau de connaissance des différents formats de fichiers. L’infrastructure technique est l’outil Semantic MediaWiki, un wiki publiant ses données selon les standards du web sémantique.

La définition étape par étape d’une « politique formats » consiste tout d’abord à définir les types de contenu (texte, image, son, vidéo, jeux de données, données cartographiques, etc.) pour lesquels l’organisation a une mission de conservation, puis à évaluer l’importance de chacun des formats de ce type de contenu au regard de ses missions, de son public et de ses producteurs.

Note : les captures d’écran suivantes montrent des pages traduites automatiquement par Google, d’où les approximations, notamment dans les noms des formats !

Figure 1. Etapes 1 et 2 de l’élaboration de la politique formats :
définition des domaines, familles de format et importance

Au terme de cette première étape, l’institution obtient un graphique sur deux axes : l’importance des types de contenu et l’évaluation de la durabilité des formats associés (cette dernière, chiffrée, étant fournie par la NARA).

Figure 2. Graphique présentant chaque format sélectionné selon son importance
pour l’organisation et sa durabilité

Chaque point représente un format ; les formats situés dans le quart en haut à droite étant évidemment à privilégier (haute importance et durabilité satisfaisante). Le graphique ci-dessus représente le résultat obtenu par le Nederlands Instituut voor Beeld en Geluid (en anglais : Netherlands Institute for Sound and Vision).

Il est ensuite possible pour l’institution de qualifier chaque format selon sa politique et son niveau de connaissance. Les valeurs pour la politique sont les suivantes :

  • Format préféré : format privilégié par l’institution pour ce type de contenu ;
  • Format accepté : format accepté par l’institution, si la situation le justifie ;
  • Format historique : le format correspond à des données obtenues par l’institution dans le passé, mais des données dans ce format ne sont plus acceptées dans une perspective de préservation à long terme.

Pour le niveau de connaissance, les niveaux sont les suivants :

  • Format connu : le format est bien connu et maîtrisé par l’institution, qui dispose d’outils et de compétences pour le lire, l’exploiter, l’analyser, le transformer ;
  • Format identifié : l’institution est capable d’identifier ce format, mais ne dispose pas d’outils et de compétences suffisantes pour le préserver ;
  • Format stocké : l’institution ne sait pas identifier le format. Les données dans ce format font l’objet d’une simple préservation du train d’octets.
Figure 3. Etapes 3 et 4 : définition de la politique et
du niveau de connaissance par format

L’objectif de ce processus est la publication de la politique de formats de l’organisation sous forme d’une page de synthèse présentant les préférences et le niveau de connaissance de l’organisation en termes de formats.

Figure 4. Page publique présentant la politique de formats
d’une organisation

Suivez ce lien pour consulter le résultat publié de ce processus pour l’organisation DANS, le centre national néerlandais d’expertise sur les données de la recherche.

Un prochain billet vous parlera de l’utilisation du Preservation Action Registry (registre d’actions de préservation, dit PAR), piloté par une équipe issue des organisations Preservica, Actefactual, Archivum et l’Open Preservation Foundation dont le DDHN nous a parlé le 15 mars 2021.

Utiliser des outils avant, pendant et après le confinement – échos du café atelier Octave du 21 avril 2020

Un café-atelier a été proposé par le Siaf le 21 avril 2020 à toutes celles et ceux qui, soit de longue date comme formateurs internes soit plus récemment, avaient manifesté de l’intérêt pour l’outil de pré-versement Octave, pour partager pratiques, projets et questions.

Il a rassemblé plus d’une quinzaine de collègues d’horizons variés : archives départementales des Bouches-du-Rhône, de la Drôme, Eure, Eure-et-Loir, Moselle, Oise, ou encore Saône-et-Loire, archives municipales et/ou métropolitaine de Brest, Chelles, Lyon, missions archives du Ministère de l’Agriculture et des Ministères sociaux, bibliothèque La Contemporaine, autour de questions portant sur :

  • L’expérimentation d’Octave
  • Le manuel
  • La formation d’autres collègues
  • La préparation de paquets pour versement dans un SAE
  • L’utilisation d’autres outils

L’expérimentation d’Octave

En ce qui concerne l’expérimentation d’Octave, la période du confinement dans  l’Eure-et-Loir a été l’occasion de réaliser des expériences de traitement à partir d’un lot de 67 000 partitions musicales numériques.

Les arborescences bureautiques ont été un terrain de tests notamment à Brest, Lyon, dans l’Eure ou encore dans l’Oise. Des arborescences ont ainsi pu être réorganisées et des paquets préparés mais dans plusieurs cas une difficulté s’est produite à l’entrée dans des SAE équipés avec une version antérieure à 1.6.9 d’As@lae (les versions type 1.6. se basaient sur des caractéristiques de versions préparatoires d’Octave). Cet écueil a disparu avec la publication de la version officielle d’Octave sur France Archives que la version 1.6.9 d’As@lae a bien prise en compte  et des paquets ont pu être effectivement versés. Avec le produit Maarch des paquets ont pu être transférés dans le SAE moyennant quelques modifications de balises dans le manifest.xml : message identifier, archival agency et transferring agency.

Former et s’auto-former à Octave

Pour ce qui est du manuel, il ressort qu’il permet de s’auto-former à l’outil dont l’approche se révèle par ailleurs assez intuitive. Il serait cependant intéressant d’expérimenter d’autres supports à visée pédagogique. Ainsi pourraient être élaborés un manuel « administrateur » et un manuel « agent de traitement », des vidéos pas-à-pas pour des fonctionnalités très précises d’un ou deux minutes, diffusées petit à petit. Une forme wiki du manuel dans l’esprit de celui mis à disposition pour Archifiltre https://github.com/SocialGouv/archifiltre/wiki/Wiki-Archifiltre serait également très appréciée. Par ailleurs disposer d’un manuel général ne dispense pas d’utiliser une forme plus personnalisée collant à des pratiques partagées par une même aire géographique, les collègues des départements de la région Centre Val de Loir ont à cet égard été précurseurs sur le volet guide pédagogique.

Les formateurs et formatrices Octave, qui avaient reçu une formation spécifique au Siaf en octobre 2018, se sont employés à transmettre les notions à leurs collègues de la même structure (services archives, DSI, services métiers), d’autres départements de la même région, auprès d’étudiants, lors d’échanges avec des collègues locaux ou encore dans des formations AAF. Quelquefois mitigé (réticence à l’emploi d’outils libres pour une DSI, liée à l’absence de visibilité sur la pérennité pour une autre) l’accueil est généralement positif. Des collègues faisant de l’assistance aux utilisateurs ont par exemple vu l’intérêt que cela pourrait présenter pour répondre aux questions récurrentes de gestion des données bureautiques. La formation au traitement des vracs bureautiques, quel que soit l’outil, comporte de grands principes qu’il est toujours utile de diffuser.

Déploiement, préparation de versement : de l’intention à l’opérationnel ?

Sur les intentions de déploiement d’Octave par les organisations, il ressort différentes tendances : mise à disposition des correspondants archives pour aider à la préparation des versements (Lyon), des services versants souhaitant réorganiser leurs arborescences (Drôme), outil de communication auprès des services producteurs et de sensibilisation des services d’archives constitués (Eure-et-Loir).

Quelques services d’archives disposant d’un SAE ont testé avec différentes versions d’As@lae et avec Maarch (voir plus haut), ceux qui ne sont pas encore équipés ont prévu de le faire.

Octave n’est bien sûr pas le seul outil utilisé et/ou expérimenté. La complémentarité des solutions comme celle évoquée sur le tableau https://siaf.hypotheses.org/1033 n’ayant pas échappé aux collègues. Ainsi Archifiltre, Windistats, Alldup, Data accessionner ou des outils internes sont utilisés. Le projet Cyvido en Saône-et-Loire continue quant à lui les campagnes de traitement systématiques des arborescences bureautiques déclenchées par les mises en place de plans de classement.

Et pour la suite ?

Exercice avec un lot de fichiers communs puis partage des stratégies adoptées via un atelier, Wiki, mini tutos vidéos, arbre d’outils, mise à jour de la page Hypothèses sur les outils, précisions sur les différences Docuteam/Octave, mise en place d’une communauté Octave, les idées ne manquent pas !