Tous les articles par Dominique Naud

Transmettre et partager les actions de préservation numérique : l’initiative PAR (Preservation Action Registry)

Article rédigé pour la Cellule nationale de veille sur les formats par Bertrand Caron (BnF) avec le concours de Dominique Naud (SIAF)

Nous avions, dans un précédent billet, parlé de l’initiative du DDHN pour proposer un site de formalisation et de partage de la politique de formats entre les institutions de conservation néerlandaises. Côté français, la BnF a publié en octobre 2021 sa politique de formats et les Archives nationales ont relaté leur stratégie de préservation qui recense les formats acceptés, tolérés ou refusés pour la collecte. Mais, une fois cette politique définie par l’institution, comment l’implémenter  afin qu’elle puisse être partagée par d’autres, et comment échanger ces méthodes éprouvées entre institutions ?

Le projet PAR

Lancée en 2018, l’initiative PAR  (Preservation action registry traduisible par Registre d’action de préservation) est portée par plusieurs éditeurs de solutions de préservation numérique (Archivematica, Arkivum, Preservica), sur financement initial du Joint Information Systems Committee et avec le soutien technique de l’Open Preservation Foundation.  Elle a pour objectif d’enregistrer et de garder la mémoire, dans un formalisme commun, des actions de préservation entreprises par les institutions de conservation dans un but d’échange de bonnes pratiques.

Qu’est-ce qu’une action de préservation?

La préservation numérique consiste en un ensemble de processus visant à permettre un accès aux objets numériques sur le long terme. Loin de se limiter à un simple stockage des données numériques sur un support, elle nécessite la mise en œuvre de nombreuses actions mêlant étroitement des compétences documentaires et techniques.

Parmi ces activités, certaines directement liées aux formats se prêtent particulièrement bien à l’automatisation partielle ou totale : la validation des fichiers au regard de leur spécification, la caractérisation (analyse des propriétés du fichier et extraction de métadonnées internes) ou encore la transformation par exemple par conversion de format organisée en amont et/ou pendant la période de conservation.

Prenons un exemple.

La BnF reçoit des fichiers TIFF compressés avec la méthode LZW. Or, d’après sa politique formats, elle n’accepte que des TIFF comprenant un flux image non compressé. Avant d’intégrer ces fichiers dans un Paquet d’informations à verser (SIP), elle doit donc réaliser une opération de normalisation consistant à décompresser le flux contenu dans le fichier TIFF. Elle détermine que l’outil le plus adapté pour cette opération est la commande tiffcp de la bibliothèque logicielle LibTIFF. Comme il s’agit d’un outil en ligne de commande, elle détermine également la ligne de commande utilisée pour réaliser cette transformation :

libtiff -c none [fichierCompresseLZWSource] [fichierResultatDecompresse]

De la même façon que les cuisiniers s’échangent des recettes de cuisine, les archivistes numériques doivent pouvoir s’échanger des méthodes : un nom de recette (« Décompresser un TIFF LZW »), un ou plusieurs ingrédients (un fichier TIFF compressé en LZW), un ou plusieurs outils (la commande tiffcp), une ou plusieurs actions à mener (la description du procédé, la ligne de commande), un résultat (un fichier TIFF non compressé).

Note : la métaphore culinaire est utilisée par plusieurs initiatives, dont le FFmpeg Cookbook for Archivists, qui décrit plusieurs « recettes » d’utilisation du logiciel de transformation vidéo FFMPEG pour les besoins des archivistes.

Certains processus plus complexes se traduisent en « recettes » à étapes multiples. Ainsi, un processus d’acquisition de messageries électroniques pourrait comporter les étapes suivantes :

  1. Extraction de messages individuels à partir d’un fichier PST ;
  2. Extraction des pièces jointes ;
  3. Identification du format des pièces jointes ;
  4. Transformation des pièces jointes ;
  5. Création d’un Paquet d’informations sous forme d’un fichier ZIP.

Note : le rapport publié en 2018 par le CLIR (Council of Library and information resources) «The Future of Email Archives» décrit et schématise plusieurs scénarios utilisés par différentes institutions nord-américaines.

Ce sont précisément ces « recettes » et leurs composants que PAR vise à mutualiser et formaliser afin de pouvoir les partager.

PAR : un modèle, des outils mais aussi des limites

Le modèle de données

Afin de rendre le registre exploitable par les machines, celui-ci doit se baser sur un modèle de données riche qui reflète la diversité des actions de préservation. Il s’appuie pour cela sur certaines initiatives existantes comme le vocabulaire contrôlé des types d’événements maintenu par le PREMIS Editorial Committee

Figure 1. Modèle conceptuel de PAR

Le modèle de données de PAR décrit donc :

  • Des actions de préservation ;
  • Réalisées avec des outils ;
  • Selon des paramètres donnés ;
  • Portant sur des fichiers ou des objets (des ensembles de fichiers ayant une cohérence documentaire) ;
  • À condition que ces fichiers aient un format spécifique ;
  • Produisant et se fondant sur des propriétés des objets ou des fichiers, qui ensemble forment un profil de l’objet/fichier source ou résultat de l’action.

Les outils

Le projet a développé un registre conforme au modèle de données et une API pour l’interroger. Afin d’y avoir accès, il est nécessaire d’adresser une demande à l’OPF. L’API permet de synchroniser le registre avec les sources d’information (registres d’actions de préservation locales d’Archivematica, Arkivum et Preservica, Wikidata).

Le développement étant open source, il est également possible d’y contribuer : https://github.com/openpreserve/par.

Les limites

Il est nécessaire d’être conscient des limites de l’initiative afin d’en tirer le meilleur profit. Le risque principal est d’y voir non pas des politiques institutionnelles, fondées sur un contexte et des besoins spécifiques, mais des recommandations. Il est donc d’autant plus important de bien analyser les règles métier (business rules) accompagnant chaque action de préservation, qui ont vocation à décrire le contexte historique et institutionnel dans lequel ces actions sont menées, et d’évaluer le degré de compatibilité avec son contexte propre.

 

Pour aller plus loin

Addis (Matthew), Simpson (Justin), Tilbury (Jonathan) et al., « Digital Preservation Interoperability through Preservation Actions Registries » (2018). URL : https://figshare.com/articles/Digital_Preservation_Interoperability_through_Preservation_Actions_Registries/6628418/1. Consulté le 3 août 2022.

Retour d’expérience sur la stratégie de préservation des Archives nationales

Article rédigé pour la Cellule nationale de veille sur les formats par Emeline Levasseur et Martine Sin Blima-Barru (AN)

Les Archives nationales collectent des archives numériques depuis 1983, grâce à la mise en œuvre du programme Constance (CONServation et Traitement des Archives Nouvelles Constituées par l’Électronique). Pionnier dans ce domaine, il a défini la politique, le processus et la méthode de traitement et de conservation des données numériques et de leurs métadonnées jusqu’à l’ouverture des modules numériques du système d’information archivistique (SIA) des Archives nationales en novembre 2018. Avec la mise en service de ces modules, les Archives nationales s’engagent dans un renouvellement de leur stratégie de pérennisation, afin de l’adapter aux enjeux actuels de l’archivage numérique.

La méthode Constance, qui a permis de collecter et de pérenniser les données issues d’enquêtes statistiques, a été utilisée pendant plus de 30 ans, en appliquant les mêmes processus : les fichiers, avec leurs métadonnées, sont gérés dans une base documentaire, puis archivés sur des bandes LTO ; les migrations de support sont planifiées régulièrement, etc. Elle s’adapte aussi dans une certaine mesure à la conservation des documents bureautiques, par exemple en convertissant les fichiers Word en fichiers PDF, format réputé plus pérenne à ce moment-là. Cependant ces ajustements sont insuffisants pour relever les nouveaux défis de la pérennisation et un renouvellement en profondeur est nécessaire.

Avec le programme ADAMANT (Administration des archives et de leurs métadonnées aux Archives nationales dans le temps), les Archives nationales souhaitent adapter les outils, les procédures et l’organisation de la chaîne archivistique aux enjeux du traitement des données nativement numériques de typologies très variées (données structurées, documents issus d’outils des outils bureautiques, documents audiovisuels et sonores, photographies numériques natives, messageries). A l’issue d’un chantier scientifique, technique et organisationnel, elles construisent ainsi leur plate-forme d’archivage électronique qui s’appuie sur la solution logicielle Vitam, et la mettent en service en novembre 2018.

Ce nouvel environnement induit un renouvellement des méthodes de traitement et de conservation des données. En premier lieu, les Archives nationales se dotent d’une nouvelle infrastructure d’hébergement des données, localisée sur deux sites distants, et comprenant un service de stockage à froid. Pour la suite, elles doivent construire leur politique de pérennisation, inscrite dans l’objectif « Mettre en œuvre une politique de conservation des données stratégiques de l’Etat » de la stratégie 2021-2025 des Archives nationales. Cet objectif matérialise la volonté de mutualiser des savoirs sur la pérennisation dans le but de construire une stratégie remplaçant l’approche de la méthode Constance et adaptée aux spécificités des archives collectées aux Archives nationales.

Les actions initiées

Parmi les chantiers en cours, celui de la reprise des données collectées depuis 1983, a débuté en 2019. Il consiste à migrer 73 téraoctets de données et leurs métadonnées afin de les garder intègres, authentiques, lisibles et accessibles dans le temps. Il nécessite de rassembler et de structurer des données et leurs métadonnées afin de créer des paquets d’informations à verser (SIP) conformes au Standard d’Echange des Données pour l’Archivage (SEDA) 2.1, compatible avec VITAM et la plateforme d’archivage électronique des Archives nationales. Il s’organise en lots présentant des caractéristiques communes permettant d’industrialiser le plus possible les processus de reprise. Dans un premier temps, trois lots ont été définis :

    • Environ 120 enquêtes statistiques, qui seront pérennisées dans la plateforme d’archivage électronique dans les semaines à venir ;
    • Les données (très souvent issues d’outils de bureautique) décrites par des instruments de recherche saisis selon la DTD-EAD ;
    • Les reportages photographiques et vidéos de la Présidence de la République ou des services du Premier ministre.

Parallèlement, des petits ensembles de versements de données structurées ou non, itératifs ou ouverts, sont repris au fil de l’eau. Des réflexions restent à mener sur les données plus complexes et sur les données audiovisuelles ne rentrant pas dans les différents périmètres évoqués.

Côté collecte, les Archives nationales ont mis à disposition une première politique formats (à ce sujet voir aussi le cas d’usage BNF décrit dans le billet précédent). Elle indique, pour les différentes catégories qui forment les entrées de données :

    • des formats « acceptés » que les Archives nationales s’engagent à préserver avec audit régulier ;
    • des formats « tolérés », collectés et conservés en l’état, sans engagement sur leur maintenabilité dans le temps ;
    •  des formats « refusés » qui ne sont pas collectés pour des raisons techniques et/ou en l’absence de valeur juridique ou d’intérêt historique.

Cette stratégie précise aussi les traitements à prévoir si cela est nécessaire (pour les messageries notamment).  La politique menée est vouée à être précisée, à évoluer et à être complétée en fonction des formats de fichiers proposés dans les projets d’entrée, selon l’offre de service proposée par les Archives nationales et ses moyens pour assurer la lisibilité et l’exploitabilité des données sur le long terme.

Plus spécifiquement sur les messageries, les Archives nationales demandent un traitement particulier avant ingestion dans la plateforme d’archivage électronique. Elles préconisent ainsi que chaque entrée de messagerie fasse l’objet de deux paquets d’information à verser (SIP) conformes au SEDA (voir la figure 1 ci-après) :

    • Un SIP contenant la messagerie extraite et traitée dans l’outil de constitution de SIP ReSIP de VITAM, représentée dans une arborescence. Chaque message est archivé au format EML et doublé d’une version en TXT, les pièces jointes, elles, sont extraites et reliées intellectuellement aux mails ;
    • Un SIP contenant l’export brut (la messagerie au format PST ou Mbox), tel que collecté auprès du producteur des archives.

Par ce biais, les Archives nationales garantissent la pérennisation des messages, de leurs métadonnées et de leurs pièces jointes, tout en permettant dans le futur des alternatives de représentation des messageries dans des environnements extérieurs à la plateforme. Ce choix de pérennisation « à la pièce » permettrait de répondre à des demandes d’accès si besoin. Actuellement, les Archives nationales réfléchissent déjà à une évolution de ces préconisations de préparation des messageries en entrée, du fait de leur meilleure connaissance des contraintes liées à leur pérennisation.

Figure 1. Organisation d’une entrée messagerie

 

A propos des archives audiovisuelles, un premier chantier se concentre sur les métadonnées, pierre angulaire de la pérennisation de ces données.  Pour ce faire, les Archives nationales ont initié un groupe de travail interne pour créer une extension des balises, c’est-à-dire un ensemble de balises ne faisant pas partie du schéma du SEDA en vigueur. Cette extension permettra d’y intégrer des métadonnées descriptives, techniques et de pérennisation, généralement encapsulées dans les documents audiovisuels (durée, codec, fréquence d’images, taille de l’image, profondeur de codage, fréquence d’échantillonnage, nombre de canaux, etc.), mais pas toutes (mentions de droit notamment). Ces métadonnées seront ainsi acceptées lors de l’ingestion des paquets d’information à verser (SIP) les utilisant puis gérées et requêtables dans la plateforme d’archivage électronique. Le groupe de travail, en s’appuyant notamment sur la norme MPG-7, a défini les noms des balises, leur organisation, leur cardinalité, et le format des valeurs attendues (texte, nombre entier, date, etc.). Une fois que l’extension sera mise en œuvre, le groupe de travail devra rendre possible l’automatisation de l’extraction des métadonnées techniques (à l’aide de l’outil MediaInfo par exemple).

Suite à la mise en service de la plate-forme d’archivage électronique, plusieurs actions ont été engagées pour renouveler les méthodes et processus de pérennisation des Archives nationales, que cela soit sur les archives déjà collectées ou sur celles à collecter. Elles doivent continuer à mutualiser les connaissances et les compétences aussi bien en interne qu’en externe, en travaillant de manière collaborative avec ses partenaires actuels ou prospectifs au niveau national ou international. Ancré dans la stratégie 2021-2025 de l’institution, l’objectif sur la préservation des données et de leurs métadonnées vise à produire une stratégie de pérennisation répondant aux enjeux et défis numériques de la production d’archives numériques contemporaines.

Les formats, une préoccupation internationale : l’exemple du Netwerk Digitaal Erfgoed

Article rédigé pour la Cellule nationale de veille sur les formats par Bertrand Caron (BNF) et Dominique Naud (SIAF)

Dans le billet du 6 août 2020 https://siaf.hypotheses.org/1501, était traitée la question de l’identification et de la validation des formats de fichiers, le sujet n’est pas épuisé loin de là !

Il s’avère en effet essentiel de bien connaître les formats pour que puisse être envisagée une véritable pérennisation, c’est-à-dire la possibilité de conserver dans le temps des fichiers numériques dans une forme utilisable et exploitable.

C’est la raison d’être de la Cellule nationale de veille sur les formats (CNVF), créée en France en 2019 et regroupant plus d’une dizaine d’institutions publiques ayant dans leurs missions la préservation numérique ainsi que des acteurs du secteur privé ou des experts invités.

Constituée sous l’égide du groupe PIN, la Cellule poursuit des objectifs multiples et ambitieux : mutualiser les savoir-faire et expertises sur les formats de fichiers, produire des recommandations concrètes et diffusables ainsi que des outils d’analyse afin de servir d’aide à la décision dans la mise en place des politiques de préservation des établissements, diffuser de l’information, développer la traduction de ressources, mutualiser la veille, contribuer et influer sur les outils, et enfin être un relais entre l’échelon national et l’échelon international.

C’est dans ce cadre que des rencontres virtuelles avec l’acteur incontournable de la préservation aux Pays-Bas, le Netwerk Digitaal Erfgoed (en anglais : Dutch Digital Heritage Network, DDHN) ont pris place en 2021.

Rassemblant des dizaines d’institutions patrimoniales, d’instituts de recherche, de partenariats et d’organisations de la connaissance issus de différents domaines aux Pays-Bas, il constitue un véritable réseau qui a pu s’appuyer en 2019-2020 sur la feuille de route définie dans la stratégie nationale pour le patrimoine numérique des Pays-Bas.

« Faire partie du Dutch Digital Heritage Network signifie travailler selon certains principes et passer de la “pensée institutionnelle” à la “pensée réseau”. » https://www.dpconline.org/events/digital-preservation-awards/dpa2020-ddhn

Parmi les nombreux travaux du DDHN, il est possible de relever :

  • Une approche nationale pour la mise en œuvre d’identifiants pérennes pour les institutions patrimoniales, basée sur la collaboration avec des fournisseurs de logiciels pour mettre en œuvre des services d’identification pérenne dans leurs systèmes de gestion des collections ;
  • Un guide pour le développement de politiques de préservation, fondé sur les éléments de politique de préservation du projet SCAPE ;
  • Un aperçu national de l’état de préservation des informations numériques stockées sur des supports dits volatiles (CD, DVD, bandes, disques magnétiques). Sur la base de ces informations, le DDHN élabore une carte des risques à ajouter à la liste des digitally endangered species (« espèces numériquement menacées ») et deux ou trois unités fonctionnelles informatiques performantes à l’intention des organismes patrimoniaux pour la création d’images disque à partir de leurs supports volatiles ;
  • Le Virtual Research Environment, machine virtuelle embarquant une sélection des outils de préservation numérique les plus couramment utilisés, en coopération avec l’Open Preservation Foundation (OPF) ;
  • Un guide interactif permettant aux institutions de définir et de publier leur politique sur les formats de données dans une perspective de préservation à long terme.

Ce dernier point intéressait particulièrement la CNVF qui a organisé une séance d’échanges à ce sujet le 18 février 2021 lors de laquelle les collègues néerlandais ont présenté ce projet. L’outil, en cours de réalisation, permet aux institutions de publier de manière homogène leurs préférences en matière de formats de fichiers ainsi que leur niveau de connaissance des différents formats de fichiers. L’infrastructure technique est l’outil Semantic MediaWiki, un wiki publiant ses données selon les standards du web sémantique.

La définition étape par étape d’une « politique formats » consiste tout d’abord à définir les types de contenu (texte, image, son, vidéo, jeux de données, données cartographiques, etc.) pour lesquels l’organisation a une mission de conservation, puis à évaluer l’importance de chacun des formats de ce type de contenu au regard de ses missions, de son public et de ses producteurs.

Note : les captures d’écran suivantes montrent des pages traduites automatiquement par Google, d’où les approximations, notamment dans les noms des formats !

Figure 1. Etapes 1 et 2 de l’élaboration de la politique formats :
définition des domaines, familles de format et importance

Au terme de cette première étape, l’institution obtient un graphique sur deux axes : l’importance des types de contenu et l’évaluation de la durabilité des formats associés (cette dernière, chiffrée, étant fournie par la NARA).

Figure 2. Graphique présentant chaque format sélectionné selon son importance
pour l’organisation et sa durabilité

Chaque point représente un format ; les formats situés dans le quart en haut à droite étant évidemment à privilégier (haute importance et durabilité satisfaisante). Le graphique ci-dessus représente le résultat obtenu par le Nederlands Instituut voor Beeld en Geluid (en anglais : Netherlands Institute for Sound and Vision).

Il est ensuite possible pour l’institution de qualifier chaque format selon sa politique et son niveau de connaissance. Les valeurs pour la politique sont les suivantes :

  • Format préféré : format privilégié par l’institution pour ce type de contenu ;
  • Format accepté : format accepté par l’institution, si la situation le justifie ;
  • Format historique : le format correspond à des données obtenues par l’institution dans le passé, mais des données dans ce format ne sont plus acceptées dans une perspective de préservation à long terme.

Pour le niveau de connaissance, les niveaux sont les suivants :

  • Format connu : le format est bien connu et maîtrisé par l’institution, qui dispose d’outils et de compétences pour le lire, l’exploiter, l’analyser, le transformer ;
  • Format identifié : l’institution est capable d’identifier ce format, mais ne dispose pas d’outils et de compétences suffisantes pour le préserver ;
  • Format stocké : l’institution ne sait pas identifier le format. Les données dans ce format font l’objet d’une simple préservation du train d’octets.
Figure 3. Etapes 3 et 4 : définition de la politique et
du niveau de connaissance par format

L’objectif de ce processus est la publication de la politique de formats de l’organisation sous forme d’une page de synthèse présentant les préférences et le niveau de connaissance de l’organisation en termes de formats.

Figure 4. Page publique présentant la politique de formats
d’une organisation

Suivez ce lien pour consulter le résultat publié de ce processus pour l’organisation DANS, le centre national néerlandais d’expertise sur les données de la recherche.

Un prochain billet vous parlera de l’utilisation du Preservation Action Registry (registre d’actions de préservation, dit PAR), piloté par une équipe issue des organisations Preservica, Actefactual, Archivum et l’Open Preservation Foundation dont le DDHN nous a parlé le 15 mars 2021.

Utiliser des outils avant, pendant et après le confinement – échos du café atelier Octave du 21 avril 2020

Un café-atelier a été proposé par le Siaf le 21 avril 2020 à toutes celles et ceux qui, soit de longue date comme formateurs internes soit plus récemment, avaient manifesté de l’intérêt pour l’outil de pré-versement Octave, pour partager pratiques, projets et questions.

Il a rassemblé plus d’une quinzaine de collègues d’horizons variés : archives départementales des Bouches-du-Rhône, de la Drôme, Eure, Eure-et-Loir, Moselle, Oise, ou encore Saône-et-Loire, archives municipales et/ou métropolitaine de Brest, Chelles, Lyon, missions archives du Ministère de l’Agriculture et des Ministères sociaux, bibliothèque La Contemporaine, autour de questions portant sur :

  • L’expérimentation d’Octave
  • Le manuel
  • La formation d’autres collègues
  • La préparation de paquets pour versement dans un SAE
  • L’utilisation d’autres outils

L’expérimentation d’Octave

En ce qui concerne l’expérimentation d’Octave, la période du confinement dans  l’Eure-et-Loir a été l’occasion de réaliser des expériences de traitement à partir d’un lot de 67 000 partitions musicales numériques.

Les arborescences bureautiques ont été un terrain de tests notamment à Brest, Lyon, dans l’Eure ou encore dans l’Oise. Des arborescences ont ainsi pu être réorganisées et des paquets préparés mais dans plusieurs cas une difficulté s’est produite à l’entrée dans des SAE équipés avec une version antérieure à 1.6.9 d’As@lae (les versions type 1.6. se basaient sur des caractéristiques de versions préparatoires d’Octave). Cet écueil a disparu avec la publication de la version officielle d’Octave sur France Archives que la version 1.6.9 d’As@lae a bien prise en compte  et des paquets ont pu être effectivement versés. Avec le produit Maarch des paquets ont pu être transférés dans le SAE moyennant quelques modifications de balises dans le manifest.xml : message identifier, archival agency et transferring agency.

Former et s’auto-former à Octave

Pour ce qui est du manuel, il ressort qu’il permet de s’auto-former à l’outil dont l’approche se révèle par ailleurs assez intuitive. Il serait cependant intéressant d’expérimenter d’autres supports à visée pédagogique. Ainsi pourraient être élaborés un manuel « administrateur » et un manuel « agent de traitement », des vidéos pas-à-pas pour des fonctionnalités très précises d’un ou deux minutes, diffusées petit à petit. Une forme wiki du manuel dans l’esprit de celui mis à disposition pour Archifiltre https://github.com/SocialGouv/archifiltre/wiki/Wiki-Archifiltre serait également très appréciée. Par ailleurs disposer d’un manuel général ne dispense pas d’utiliser une forme plus personnalisée collant à des pratiques partagées par une même aire géographique, les collègues des départements de la région Centre Val de Loir ont à cet égard été précurseurs sur le volet guide pédagogique.

Les formateurs et formatrices Octave, qui avaient reçu une formation spécifique au Siaf en octobre 2018, se sont employés à transmettre les notions à leurs collègues de la même structure (services archives, DSI, services métiers), d’autres départements de la même région, auprès d’étudiants, lors d’échanges avec des collègues locaux ou encore dans des formations AAF. Quelquefois mitigé (réticence à l’emploi d’outils libres pour une DSI, liée à l’absence de visibilité sur la pérennité pour une autre) l’accueil est généralement positif. Des collègues faisant de l’assistance aux utilisateurs ont par exemple vu l’intérêt que cela pourrait présenter pour répondre aux questions récurrentes de gestion des données bureautiques. La formation au traitement des vracs bureautiques, quel que soit l’outil, comporte de grands principes qu’il est toujours utile de diffuser.

Déploiement, préparation de versement : de l’intention à l’opérationnel ?

Sur les intentions de déploiement d’Octave par les organisations, il ressort différentes tendances : mise à disposition des correspondants archives pour aider à la préparation des versements (Lyon), des services versants souhaitant réorganiser leurs arborescences (Drôme), outil de communication auprès des services producteurs et de sensibilisation des services d’archives constitués (Eure-et-Loir).

Quelques services d’archives disposant d’un SAE ont testé avec différentes versions d’As@lae et avec Maarch (voir plus haut), ceux qui ne sont pas encore équipés ont prévu de le faire.

Octave n’est bien sûr pas le seul outil utilisé et/ou expérimenté. La complémentarité des solutions comme celle évoquée sur le tableau https://siaf.hypotheses.org/1033 n’ayant pas échappé aux collègues. Ainsi Archifiltre, Windistats, Alldup, Data accessionner ou des outils internes sont utilisés. Le projet Cyvido en Saône-et-Loire continue quant à lui les campagnes de traitement systématiques des arborescences bureautiques déclenchées par les mises en place de plans de classement.

Et pour la suite ?

Exercice avec un lot de fichiers communs puis partage des stratégies adoptées via un atelier, Wiki, mini tutos vidéos, arbre d’outils, mise à jour de la page Hypothèses sur les outils, précisions sur les différences Docuteam/Octave, mise en place d’une communauté Octave, les idées ne manquent pas !

Réinformatisation des archives départementales (2011-2018) : bilan et perspectives 3/3

Cette étude est publiée en 3 parties :

  1. L’enquête SIAF 2018

  2. Les situations avant les réinformatisations

  3. Nouveaux systèmes d’information et synthèse

Partie 3 : Nouveaux systèmes d’information et synthèse

Le projet de réinformatisation

Les motivations du projet

Il était demandé de classer par ordre de priorité les motivations suivantes :

  • Utiliser de nouvelles fonctionnalités

  • Simplifier le système d’information (par exemple en ayant moins d’outils à utiliser et/ou à maintenir)

  • Prendre en compte les normes et standards

  • Utiliser un produit « ouvert » (c’est-à-dire offrant des formats de données interopérables et dont les spécifications techniques sont publiques, mais pas nécessairement open source)

  • Bénéficier d’une ergonomie plus agréable

  • Pallier l’obsolescence d’un produit (arrêt du suivi et/ou de la maintenance)

  • Sortir de dysfonctionnements répétés

  • Autres (préciser)

En concentrant l’analyse sur les priorités 1, 2 et 3 de chaque service, il en ressort que :

  1. L’acquisition de nouvelles fonctionnalités est une priorité majeure pour 80% des services : 9 l’ont placé en priorité 1, 4 en priorité 2 et 8 en priorité 3;

  2. 14 ont eu un souhait fort de simplification du système d’information : 6 en priorité 1, 7 en priorité 2 et 1 en priorité 3;

  3. Pallier à l’obsolescence du produit existant était un impératif pour 10 services, dont 6 en priorité 1;

  4. La prise en compte des normes est également importante pour 17 services : 5 en priorité 1, 8 en priorité 2 et 4 en priorité 3;

  5. L’ergonomie semblait à améliorer pour 11 autres, en priorité 2 ou 3;

  6. L’utilisation d’un produit ouvert n’est apparue en priorité 2 ou 3 que pour 4 services;

  7. Sortir des dysfonctionnements répétés n’est apparu en priorité 2 que pour un service.

Parmi les facteurs d’explication apportés au cours des échanges, les nouvelles fonctionnalités souhaitées concernent essentiellement la publication ou les liens avec l’archivage électronique. Pour des services informatisés jusque-là en mode base de données avec des instruments de recherche généralement peu structurés, l’importance de la prise en compte des normes et standards est de facto plus importante. Pour ce qui concerne l’obsolescence, l’alerte pouvait avoir été donnée par les services informatiques.

Globalement, il est recherché une chaîne fluide entre production et diffusion.

La gestion du projet

Les projets de réinformatisation ont des durées variables, de deux ans en moyenne, avec des extensions significatives lorsque plusieurs phases s’enchaînent comme en Savoie ou que des aléas se produisent. Ainsi, le département du Jura a dû procéder à une réinstallation tandis que l’Indre-et-Loire a dû faire face à des retards de livraison. Des événements RH ou des paramètres budgétaires, peuvent accentuer les intervalles entre la phase d’étude et le lancement du marché d’acquisition par la collectivité.

L’analyse des coûts s’avère assez difficile vu l’amplitude des montants d’acquisition, qui va de 22 942 euros à 253 195 HT pour l’un des produits et de 50 000 à 187 000 euros TTC pour un autre sans corrélation forte avec la taille de la collectivité. De même, les coûts de maintenance peuvent aller de 5 000 euros par an à 48 000 euros -mais incluant dans ce dernier cas l’hébergement des données. Cet aspect n’est pas anodin, il a pu en effet conduire certains départements à vouloir réinternaliser l’hébergement, la conséquence étant une charge de suivi par le service archives et/ou la direction informatique plus importante que lorsque tout était externalisé.

Côté direction informatique, les moyens mis à disposition se traduisent généralement par une personne ayant le service d’archives au sein d’un portefeuille de suivi de projets. Côté service d’archives, il faut distinguer le suivi « quotidien », du suivi spécifique du projet. En mode courant, la moyenne se situe autour de deux personnes constituant l’équivalent d’un ETP. Il s’agit souvent du directeur ou de son adjoint ainsi que d’une autre personne plus opérationnelle, chargée par ailleurs d’autres missions. Les e-archivistes ou chefs de projet dédiés existent dans plusieurs cas et même dans deux cas un service ad hoc. Pendant le projet, ce noyau s’étoffe toutefois pour atteindre 8 à 10 personnes sollicitées pour la réflexion préalable, la reprise des données ou encore des tests.

Périmètre et organisation du projet

Le périmètre fonctionnel choisi englobe la plupart du temps toutes les fonctions. Lorsque des modules du produit initial n’étaient pas utilisés, l’impression dégagée par le projet est plutôt celle d’une primo informatisation que d’une réinformatisation.

La question posée lors de l’enquête tendait à déterminer si le changement de système d’information faisait suite ou s’accompagnait d’une réflexion ou d’échanges internes sur tout ou partie des fonctionnalités couvertes par le système d’information, sur les articulations possibles avec l’archivage numérique.

Dans au moins 16 cas, des échanges de points de vue ont été organisés au préalable. Cette réflexion n’a inclus une articulation avec l’archivage électronique que dans quelques situations : dans les intitulés des CCTP collectés, un seul département fait apparaître explicitement la notion d’archivage électronique en lien avec le système d’information archivistique (SIA). Dans 12 cas c’est le terme de gestion qui est privilégié, couplé ou non avec d’autres notions comme la communication, la description ou encore la mise en ligne.

Il est constaté un écart entre l’idéal souhaité (une seule chaîne de traitement quels que soient les types d’archives) et l’organisation adoptée au moment de la mise en place effective : cette dernière est tributaire de facteurs tels que l’absence de connecteurs dans le cas de l’archivage électronique, le manque de fonctionnalités jugées adéquates pour la bibliothèque ou encore la préexistence de projets mutualisés soit en archivage électronique soit en bibliothèque.

Reprise des données

Les stratégies de reprise des données s’avèrent très différentes d’un service à un autre.

En ce qui concerne le choix des données, le récolement lorsqu’il est considéré comme fiable, est récupéré tout comme les instruments de recherche tandis que les inscriptions lecteurs et les communications sont plutôt reprises partiellement : par exemple, seule l’année en cours est prise en compte, des exports et des sauvegardes étant réalisés pour pouvoir se référer le cas échéant aux informations antérieures.

La rétroconversion des instruments de recherche a pris une tournure particulièrement active à travers des marchés dédiés, antérieurs ou parallèles, dans au moins huit services.

 

Le nouveau système d’information archivistique

Adaptation aux besoins

Globalement, les produits acquis correspondent aux attentes des utilisateurs. Dans deux services toutefois, la mise en œuvre du projet de réinformatisation n’a pas rencontré une adhésion des équipes, pour des questions techniques inhérentes au produit ou de conduite du changement spécifiques au service.

Dans tous les cas, des améliorations restent demandées ou envisagées, particulièrement dans les procédés de constitution des instruments de recherche, le temps de chargement des écrans successifs, les fonctions d’import/export. Quand elles existent, celles-ci gagneraient selon les utilisateurs à être perfectionnées. Ainsi, certains produits ne sont pas en capacité de gérer des imports volumineux, ne permettent pas plusieurs imports et exports successifs sans risque de fragilisation, ont des difficultés à gérer des imports provenant d’autres outils, ou encore limitent les niveaux créés après import.

La gestion des référentiels type thesaurus peut s’avérer également compliquée par exemple pour y rajouter des éléments nouveaux.

Enfin, la mise en cohérence dans le cas de différents modules entre la partie dite gestion par les éditeurs comprenant la production des instruments de recherche et la partie dite diffusion reste à perfectionner. Pour ce dernier domaine, la capacité à traiter de gros volumes est recherchée par les utilisateurs.

Prise en compte des archives électroniques dans les différentes fonctions

L’enquête posait systématiquement la question de savoir si les archives électroniques étaient prises en compte à chaque étape de la chaîne de traitement.

La prise en compte des archives numériques est fréquente pour les fonctions « description », pour les fonctions « gestion » elle est quasi exclusivement limitée au registre d’entrée.

Production des instruments de recherche

Dans les services où les agents utilisaient de façon privilégiée l’import à partir de tableur, le changement de produit a peu d’incidence sur les pratiques de saisie. Les éventuelles lourdeurs d’utilisation directe du logiciel sont d’autant plus facilement acceptées qu’il existe une alternative. Il est possible de dégager deux axes de pratiques : saisie directe dans le cas de petits instruments de recherche et/ou à la structure complexe, saisie via import depuis un tableur lorsque les instruments de recherche concernent des ensembles sériels. Plusieurs départements ont maintenu par ailleurs la possibilité d’importer des instruments de recherche produits via des éditeurs XML, il peut donc exister jusqu’à trois canaux de production. Tout est fédéré dans le produit acquis et harmonisé avant export pour publication.

L’enquête a cherché à savoir si la solution logicielle choisie permettait d’utiliser les normes de description des documents (ISAD-G) , des producteurs d’archives, ISAAR-CPF) et l’EAD, déclinaison en XML de l’ISAD-G , et dans quelle mesure.

Il en ressort que la conformité à la norme ISAD-G est convenable, même si certains produits ne permettent pas la gestion de la totalité des éléments EAD : certaines rubriques sont visibles mais non alimentables dans un logiciel, au nombre de caractères limités dans un autre.

La situation est moins bonne pour ISAAR-CPF, avec des limitations fortes, variables suivant les logiciels : pas de visibilité des notices pour les utilisateurs, pas d’import ou d’export, pas de relations hiérarchiques ou même, dans l’interface utilisateur, pas de possibilité de recherche sur les producteurs.

La norme relative aux fonctions a été mentionnée par trois services : deux pour regretter que cette dimension ne soit pas prise en compte dans les produits acquis (différent pour chacun d’eux), le troisième pour se réjouir d’avoir contribué à l’incorporation effective de ces aspects dans les caractéristiques d’un logiciel récent.

Indexation

L’enquête s’intéressait à l’utilisation de vocabulaires contrôlés type thesaurus ou listes d’autorité et de référentiels. Les réponses indiquent le plus souvent une démarche d’implémentation dans les produits acquis des référentiels réglementaires et « maison » quand ils existent. À cette occasion, est souvent pratiquée une démarche de lissage et d’alignement entre des vocabulaires ayant des objets voisins.

La cible stratégique de chaque service est plus difficile à identifier. Des services parient sur la puissance des recherches « plein texte », dans d’autres un effort particulier a été porté sur l’indexation géographique en lien avec l’interrogation sur les collections numérisées.

Format des Instruments de recherche

Tous les répondants indiquent au moins une production pivot en XML-EAD, soit une amélioration de l’interopérabilité des données par rapport à la situation antérieure. Toutefois, les réponses distinguent peu la notion de format de production de celle de publication. Le format tableur reste utilisé soit comme préalable à l’import soit comme format de modification. Le support papier reste préféré pour la salle de lecture dans quatre cas signalés explicitement.

Note méthodologique : l’évolution des instruments de recherche vers plus de conformité aux normes de description a pu s’amorcer en dehors du projet de réinformatisation, notamment à travers des opérations de rétroconversion antérieures ou parallèles.

Publication et interrogation des instruments de recherche

La volonté exprimée à de multiples reprises est d’effectuer un véritable « bond » dans la quantité d’instruments de recherche mis à disposition.

Le mode de publication adopté est l’XML-EAD, souvent doublé par du PDF : l’argument du « confort » du lecteur étant alors avancé. Dans plusieurs services, les PDF de l’alimentation initiale sont toutefois enlevés au fur et à mesure que les instruments de recherche en format XML-EAD sont produits (de manière native ou dans une opération de rétroconversion plus générale).

Les entrepôts de données moissonnables OAI-PMH (Open Archives Initiative Protocol for Metadata Harvesting) ont été évoqués mais seuls cinq semblent en activité. Trois autres sont prévus, deux sont existants mais pas encore utilisés à la date de l’interview : cela correspond à moins de la moitié des services enquêtés. Les mises en service dans le cadre de partage de données pour un ensemble de bibliothèques semblent avoir été plus aisées que les expérimentations d’envoi automatisé vers le portail national France Archives.

Les modes d’interrogation les plus fréquemment retenus sont : la recherche dite simple « à la Google », la navigation au sein d’arborescence, des formulaires dédiés à une thématique, en plus ou moins grand nombre.

Fonctions liées à la bibliothèque

Le changement de système d’information archivistique a concerné ces fonctions dans moins de la moitié des cas et pas obligatoirement avec le même produit que celui choisi pour traiter des fonctions archivistiques.

Dans les services où un logiciel spécialisé était utilisé (Orphée, Aloes, Loris, JLB, Alexandrie, Horizon ou encore PMB), un changement n’est intervenu que dans deux cas, dont l’un pour un autre logiciel spécialisé, signe que les fonctions « bibliothèques » proposées par les produits dits « archives » restent en deçà des attentes.

Diffusion sur le web et services web

Tous les services d’archives disposent au moins de pages internet sur le site de leur collectivité départementale, plusieurs de sites dédiés : pour autant les fonctions sont plus ou moins étendues.

A la date de l’enquête, les services répondants ont tous, soit envoyé des fichiers à France Archives pour mise sur le portail national, soit prévu de le faire. Les actions vis-à-vis de portails internationaux se sont limitées en revanche au cadre de la Grande collecte.

Une question portait sur les réflexions ou expérimentations pour rendre les données archivistiques conformes aux standards du web sémantique : la réinformatisation semble un projet prioritaire et distinct, avec ce travail sur les données remis à plus tard.

Le sujet des identifiants pérennes préoccupe plusieurs services. Des identifiants Ark ont pu être mis en place avec l’appui de l’éditeur mais dans un premier temps plutôt côté diffusion, pour répondre à une forte demande des associations de généalogistes. Dans les réinformatisations plus récentes, la question est posée dès le cahier des charges et la mise en place de ces identifiants au moment de la conception des instruments de recherche s’amorce.

 

Relations avec les éditeurs

Connaissance préalable des produits

Dans la mesure où les produits sont peu nombreux, la prise de connaissance préalable s’effectue généralement par la consultation de collègues, des visites de services voisins et des démonstrations.

Maintenance et propositions d’évolutions

Les formules actuellement utilisées pour gérer les évolutions et échanger avec les utilisateurs ne sont pas pléthoriques. Système de tickets pour les anomalies, outil web pour effectuer des suggestions voire les arbitrer, journées utilisateurs, ateliers.

Ces deux derniers systèmes, restent très appréciés des utilisateurs comme lieu d’échange privilégié même si les développements des éditeurs peinent à intégrer les suggestions d’évolution.



Synthèse : enjeux et attentes des réinformatisations

Pour les services d’archives

L’enjeu évoqué par Claire Sibille dans son article sur les instruments de recherche électroniques1 de développer des pratiques normalisées s’appuyant sur des standards afin d’obtenir des réservoirs d’information exploitables et partageables reste totalement d’actualité. On constate en effet une évolution significative vers l’utilisation de l’EAD au sein des services réinformatisés. De ce point de vue, l’enquête et les ateliers menés par la section des archivistes départementaux de l’AAF sur les sites internet des services départementaux d’archives dont les résultats ont été présentés lors des RASAD 2020 à Lyon confortent l’idée que toutes les améliorations proposées pour la recherche des internautes auront une efficacité accrue si les données sont produites dans les règles de l’art. Pour autant, la problématique de la qualité des métadonnées nécessiterait un approfondissement : il existe une prise de conscience à accentuer sur l’utilisation généralisée de référentiels partagés et la pratique d’une indexation adaptée au web sémantique. De même, la question de l’ouverture des données reste un chantier, comme celui de la mise en place d’identifiants pérennes.

La conduite du changement est en filigrane de tous les entretiens, avec les éléments de réussite suivants : travail en atelier, formations collectives, mise en place de procédures ou amélioration de celles existantes. La présence d’un site internet est sans surprise importante pour la motivation des équipes, pour rendre visible le travail réalisé dans le nouveau système d’information, sans découragement ni contournement.

Pour les professionnels des archives –et leurs partenaires informatiques–, les attentes s’orientent autour d’une réflexion collective partagée et d’un accompagnement à l’adoption de bonnes pratiques : la question de l’ouverture, de l’exploitabilité et de la qualité des données mises en ligne devient centrale à l’heure du web des données. Le « passage à l’échelle » nécessite certes des outils performants mais aussi des archivistes formés et disposant de ressources à jour.

Pour les éditeurs de logiciels et les entreprises de services numériques

Des actions de sensibilisation des éditeurs sur ces mêmes sujets de qualité et d’ouverture des données sont à mener afin que les besoins encore peu couverts en matière d’identifiants pérennes, d’outils d’import/export systématique, de « nettoyage » et d’enrichissement de la qualité des données trouvent des réponses techniques.

L’étroitesse et la fragmentation du marché engendrent des difficultés pour les éditeurs à investir dans la recherche et à préparer la transition vers le web sémantique : un véritable défi se présente donc pour trouver des moyens innovants d’accompagner l’avenir.

Pour l’administration des archives

Du côté du SIAF, cette enquête de terrain a permis de nourrir le Cadre stratégique commun de modernisation des archives 2020-2024, qui reprend et développe les objectifs des services réinformatisés : rendre les archives numériques aisément consultables et exploitables, encourager et développer la recherche sur l’information numérique, promouvoir l’utilisation d’autorités et de référentiels partagés, favoriser l’interopérabilité entre systèmes métier et systèmes d’archivage électronique, systématiser et renforcer la formation des archivistes notamment dans le domaine du numérique.

 

Et maintenant ?

Pour faciliter l’émergence de réponses concrètes aux besoins exprimés lors de l’enquête et des séminaires, le SIAF a lancé un appel à participer à des travaux collectifs : la rédaction d’un guide d’indexation, l’identification des fonctionnalités socles à prendre en compte aujourd’hui par les éditeurs de logiciels ou l’étude et le choix de référentiels extérieurs que pourraient utiliser les services d’archives pour une indexation plus rapide et mieux visible du web sémantique. D’ores et déjà, les volontaires ne manquent pas, gage de débouchés fructueux.



1Sibille Claire. Les instruments de recherche électroniques. In: La Gazette des archives, n°204, 2006-4. Les archives en France. pp. 131-150. DOI : https://doi.org/10.3406/gazar.2006.3831