Archives de catégorie : Billets

Construire des points d’accès unifiés vers les archives : l’expérience FranceArchives

Le portail FranceArchives, agrégateur national des archives, a vocation à proposer un accès fédéré aux métadonnées archivistiques à destination de tous types de publics. Ouvert en mars 2017, il est le fruit d’un développement en méthode agile, piloté par le Service interministériel des archives de France et réalisé par la société Logilab. Le lancement des développements d’une deuxième version – qui doit porter un certain nombre d’évolutions et approfondissements de la première version – est l’occasion de faire un premier bilan et de revenir ici sur les traitements spécifiques réalisés sur les données d’indexation des instruments de recherche.

Les possibilités offertes par la recherche plein texte n’ont pas fait disparaitre la nécessité de produire et de diffuser des métadonnées structurées et indexées. Dans la lutte contre le « bruit » les entités normalisées, non ambiguës et compréhensibles par les humains comme par les machines apparaissent aujourd’hui comme d’incontournables alliés. Le traitement des entités lieux, agents, sujets liés aux unités de description permet de construire des points d’accès cohérents vers les archives, à l’échelle d’une diffusion nationale, et plus largement à l’échelle du web. Les résultats de ces traitements mutualisés sur le portail FranceArchives ont été publiés sur le portail data.culture, ils sont ouverts à la réutilisation notamment celle des services producteurs qui souhaiteraient les exploiter dans leurs propres systèmes.

Point de départ : des inventaires et des entrées d’index

FranceArchives agrège des données de nombreux services, données qui témoignent de pratiques d’indexation hétérogènes : du point de vue de la granularité, de la normalisation du libellé, des référentiels utilisés. Par ailleurs, on constate que la part des instruments de recherche possédant des entrées d’index explicitement liées à un référentiel est faible. L’objectif des traitements décrits ici était de lier ces entités à des référentiels, et de grouper les entrées d’index faisant référence à la même entité afin de constituer un corpus d’autorités homogène, pérenne et normalisé pour mieux les valoriser.

Au départ, il y a l’indexation réalisée par les services d’archives : l’action d’associer une personne, un lieu, une collectivité, un thème à un fonds ou à un document d’archives. Le format de description le plus représenté sur FranceArchives est l’XML-EAD qui formalise le principe de description arborescent de la norme ISAD(G). Ce format permet une indexation spécifique à tous les niveaux de la description. Sur le portail, on applique aux entrées d’index le principe d’héritage des informations de niveau haut aux niveaux subordonnés : toutes les unités de description subordonnées héritent des entrées d’index liées aux unités de description parent. Le schéma ci-dessous explicite le modèle de données opérant sur le portail. Le niveau haut d’un instrument de recherche (findingaid) peut être lié à un ou plusieurs niveaux de description enfant (facomponent). On attribue automatiquement aux entrées d’index lieux, agents, sujets (geogname, persname, famname, corpname, function, occupation, subject) contenus dans un élément <controlaccess> d’une unité de description, une autorité miroir de l’entrée d’index. L’autorité devient en quelque sorte un double de l’entrée d’index qui va pouvoir être manipulé : aligné, regroupé, renommé, restitué. On ne manipule pas directement les entrées d’index afin de pouvoir conserver la trace de l’information initiale, telle qu’elle a été transmise par le service d’archive producteur de la donnée. Les autorités sont accessibles sur le portail et valorisées notamment à travers l’auto-complétion, voici par exemple l’autorité désignant la ville de Mâcon en Saône-et-Loire et les descriptions d’archives qui lui sont associées.

Modélisation partielle des instruments de recherche XML-EAD et des entités lieux, agents, sujets sur FranceArchives

Vers des autorités normalisées et unifiées

Plusieurs traitements automatisés ou manuels peuvent s’appliquer aux autorités une fois créées : l’alignement vers un référentiel externe, le groupement d’autorités désignant la même entité, la modification du libellé de l’autorité. Ces traitements peuvent s’appliquer à l’import de données sur le portail ou bien a posteriori, une validation humaine est systématiquement requise. Chaque manipulation est sauvegardée et rejouée lors des mises à jour de données. Les URI des autorités sont pérennes.

L’interface du back office permet d’exporter les autorités de chaque service partenaire au format CSV, de les traiter dans un logiciel tierce et de les réimporter. Elle permet également l’administration unitaire de l’autorité. L’alignement permet de lier explicitement une entité déjà référencée, identifiée sur le web et une autorité FranceArchives. C’est également l’opportunité d’enrichir l’autorité à partir d’informations existantes. Par exemple, lorsqu’on lie une autorité FranceArchives à une entité personne sur data.bnf.fr ou wikidata, une requête est envoyée à l’entrepôt SPARQL d’une de ces bases de connaissances. Une description ainsi que les dates d’existence sont récupérées et affichées sur le portail, exemple avec Robert Debré. Les alignements des noms de lieux ont permis la récupération des coordonnées géographiques disponibles dans les bases GeoNames et la base adresse nationale, voir la carte des lieux des archives. Enfin, les référentiels spécifiques archives sont également utilisés et valorisés. Les sujets sont alignés automatiquement vers le thésaurus-matières pour la description des archives locales (ex-thesaurus W), la prise en compte des termes rejetés dans la recherche est en projet. Le portail intègre des notices EAC permettant la description des personnes et collectivités liées aux instruments de recherche par l’intermédiaire des entrées d’index, exemple avec Alain Juppé décrit par les Archives nationales. Outre l’alignement, l’action de regroupement d’autorités vers une seule permet de rationaliser les entités produites par les différents services d’archives. En effet, on recense sur le portail de nombreuses entrées d’index qui désignent une même entité dans le monde réel. Par exemple les entrées « Nîmes (Gard, France) » et « Nîmes (Gard) » désignent la même ville, tout comme « Charles de Gaulle, général » et « De Gaulle, Charles (1890-1970 ; général) » désignent la même personne. Il s’agit alors de fusionner deux entités sans en supprimer : une redirection http est appliquée lorsqu’on groupe A vers B, on choisit comme cible l’autorité la plus normalisée.

Focus sur l’alignement des autorités lieux sur le portail

Le succès de ces différentes opérations de traitement est largement corrélé à la précision et au degré de normalisation des entrées d’index traités en entrée. En effet, les scripts d’alignements sont construits de manière à interpréter les informations telles qu’on s’attend à les trouver organisées dans les entrées d’index, c’est-à-dire en fonction des normes d’indexation actuellement en vigueur. La pratique d’indexation des lieux, à la différence de celle des personnes, nous est apparue relativement suivie et normalisée. Il s’est de ce fait avéré pertinent d’automatiser largement les opérations d’alignement et de groupement pour les lieux.

Le script d’alignement des lieux vers GeoNames et la Base adresse nationale a été réalisé en fonction de la norme NF Z44-081 Documentation – Catalogage des documents cartographiques – Forme et structure des vedettes noms géographiques. La norme prescrit une organisation spécifique des différents niveaux d’information au sein de chaque vedette géographique. La ponctuation offre un cadre, l’alignement s’appuie donc nécessairement sur ce cadre : avant la parenthèse ouvrante on s’attend à trouver un point d’accès, entre parenthèse : des descripteurs, après deux tirets une subdivision, exemple : Bagnères-de-Bigorre (Hautes-Pyrénées, France) — Tour des Jacobins. Les entités distribuées sur GeoNames sont quant à elles organisées dans une ontologie. Chaque entité appartient à une classe qui la définit en partie : par exemple l’entité du département du Doubs appartient à la classe administrative, la rivière du Doubs appartient à la classe cours d’eau, ces deux entités portent pourtant le même nom. L’enjeu de la construction du script d’alignement était de faire converger ces deux organisations : celle portée par le norme NF Z44-081 et celle portée par l’ontologie GeoNames. À titre d’exemple, la liste des principaux termes génériques recommandés en désignation (château, chaine de montagne, estuaire, forêt, etc.) a été rapprochée des différentes classes de GeoNames afin d’aiguiller l’alignement vers les entités appropriées : en fonction du terme identifié en désignation dans la vedette géographique, l’alignement est tenté vers une classe d’entité spécifique. On a pu constater que la formation de la vedette géographique, lorsqu’elle n’est pas complètement normalisée répond souvent à un besoin local de description : certains descripteurs sont simplement sous-entendus. Par exemple, un service d’archives municipal indexe uniquement les rues, puisqu’à son échelle la ville est sous-entendue, un service d’archives départemental inscrit le département en descripteur uniquement lorsqu’il se situe hors de son département. Dans un contexte de diffusion nationale, voire internationale, ces logiques sont inopérantes. Afin de contourner ce phénomène, on ajoute un paramètre supplémentaire : celui du département ou de la ville du service producteur de la donnée dans les cas d’absence de descripteurs.

Conclusion

L’objectif de ces traitements est de clarifier, d’enrichir et d’inscrire les métadonnées archivistiques dans le web de données. Ces travaux ne sont actuellement permis que par la présence d’entrées d’index au sein des instruments de recherche réalisés par les archivistes et le succès des opérations de traitement est largement corrélé au degré de structuration de ces dernières. L’équipe FranceArchives ne peut qu’encourager le renforcement d’une pratique d’indexation normalisée au sein des services d’archives, en lien avec les perspectives offertes par le modèle de données Record in Context (RiC-CM), modèle qui affirme la pertinence de construire des entités lieux, agents, sujets, gravitant autour des archives et contribuant indirectement à leur description et enrichissement. Enfin les projets de reconnaissance d’entités nommés au sein de textes bruts offrent des perspectives d’enrichissement automatisés considérables, notamment pour le traitement des masses d’instruments de recherche pas ou peu indexés. Ils convergent ainsi avec les intérêts et les besoins des historiens et autres utilisateurs du portail.

La boîte à outils numériques de l’archiviste

Le 24 octobre dernier s’est tenu au SIAF un lab “Prospective numérique” dédié aux outils utilisés quotidiennement par les archivistes (hors SAE et SIA). Les participants ont cité près d’une centaine d’applications, de plateformes ou de logiciels qui leur servent régulièrement pour des tâches aussi variées que la bureautique (au-delà des suite office classiques), l’animation de réunions, de communication, de gestion de projet, de traitement des fichiers, de production et analyse de données, de sécurité et partage etc.

Sur le modèle de la Cartographie des outils et pratiques de la vie privée de la CNIL, l’ensemble des logiciels cités vous est proposé sous forme de carte mentale., pour vous aider à construire la stratégie numérique correspondant à vos besoins.Carte mentale boîte à outils numériques archiviste

N’hésitez pas à signaler d’autres outils que vous trouvez pratiques au quotidien, ou à commenter la cartographie.

Note : vous pouvez télécharger la carte XMIND et les fichiers images ici.

Contact : merci d’avance de vos propositions pour compléter la carte et la tenir à jour. Envoyez-les à archivage.numerique.siaf@culture.gouv.fr  !

 

Trois outils contribuant à l’archivage numérique

Voici une présentation rapide d’Archifiltre, Octave et ReSip pour vous permettre de construire votre stratégie de traitement des documents numériques.

Evaluation, tri, traitements, descriptions, envoi vers un système d’archivage électronique, chaque outil a sa personnalité et ses ensembles de fonctionnalités cohérentes.

Après quelques éléments de présentation, un tableau des principales fonctionnalités couvertes par les versions de septembre 2019 vous permettra un premier aperçu. N’hésitez pas à essayer, et à suivre l’évolution de ces logiciels !

  • Son manifeste : L’objectif d’ArchiFiltre est de proposer à tout utilisateur de fichiers bureautiques un outil de visualisation d’arborescences complètes afin de pouvoir les appréhender rapidement en vue de les décrire, les organiser, les trier et aussi les enrichir en apportant de la contextualisation et de la qualification aux documents.
  • Son histoire : l’outil est né en 2018 dans le cadre du programme « entrepreneurs d’intérêt général » (porté par la DINSIC). Depuis avril 2019, il a rejoint l’Incubateur des ministères sous forme de startup d’Etat et les développements se poursuivent (corrections d’anomalies, nouvelles fonctionnalités). Le chef de produit (responsable du pilotage de l’équipe projet) est le bureau des archives (également mission des archives de France auprès des ministères sociaux). L’outil est libre et gratuit et se construit en fonction des besoins exprimés par les utilisateurs.
  • L’équipe du produit peut être contactée à l’adresse archifiltre@sg.social.gouv.fr.
  • Où le trouver : https://archifiltre.github.io/ (application en téléchargement)
  • Un peu de technique : V12 Lucky Llama est une application locale, exécutable à la fois sur des postes en 32 bits et en 64 bits sans installation, la version 64 bits est disponible également sous Linux ; la V8, dernière version utilisable par navigateur web (Chrome ou Firefox) est toujours accessible sur le site.
  • Le code est entièrement accessible sur github (https://github.com/SocialGouv/archifiltre) et ouvert aux contributions.

 

  • Son manifeste : Outil de Constitution et de Traitement Automatisé des Versements Électroniques (OCTAVE) permet à l’archiviste de traiter après import des arborescences bureautiques (dédoublonnage, tri, fusion, classement, renommage), d’enrichir les métadonnées et de constituer des SIP aux formats SEDA 1 et SEDA 2.1 accompagné d’un manifeste xml, tout en pouvant produire bordereau de récolement et d’élimination
  • Son histoire : il est le fruit d’un certain nombre d’actions menées par le SIAF pour répondre à la problématique du vrac bureautique et notamment l’animation en 2015 d’un groupe de travail transverse et d’un recueil de cas d’usage, un benchmark international des outils de préparation des versements déjà existants, pour prendre une tournure concrète avec le démarrage de développements en novembre 2017. Tests, échanges avec les utilisateurs, séances de sensibilisation ont permis de faire des ajustements et d’aboutir à la présente version qui a été l’objet d’un audit de sécurité informatique commandé par le RSSI du Ministère de la Culture à Ernst & Young.
  • Contact : le SIAF rassemble les retours d’expérience sur OCTAVE à l’adresse archivage.numerique.siaf@culture.gouv.fr
  • Où le trouver : https://francearchives.fr/fr/article/88482499 (Téléchargeable  accompagné d’un manuel d’utilisation)
  • Un peu de technique : Version de septembre 2019 basée sur la version 5.3 de Docuteam Packer, logiciel libre, développé en Java par la société Docuteam https://www.docuteam.ch/fr/.

 

RESIP
  • Son manifeste : L’application ReSIP, construite au-dessus de la bibliothèque sedalib, permet de construire et manipuler des structures arborescentes d’archives, d’en éditer les métadonnées, de les importer et exporter sous la forme de SIP, sous la forme de hiérarchie disque ou encore sous forme csv pour les plans de classement. Elle peut prendre en compte des fichiers bureautiques ou des conteneurs de messagerie.
  • Son histoire : L’objectif était initialement de créer un outil pour faciliter le travail de recette des archivistes de l’équipe Vitam. En effet, dans le cadre des développements Agile, ils sont amenés à tester les développements réalisés à l’issue de chaque itération et donc à effectuer de multiples tests d’entrées de paquets d’archives (SIP) dans Vitam. Au commencement des développements en 2016, ces jeux de tests étaient réalisés manuellement rendant très long et fastidieux le travail de recette. Un outil, le « générateur Seda » a donc été créé pour industrialiser la réalisation des jeux de tests. Cette moulinette, rapidement adoptée par les archivistes de l’équipe projets Vitam et des projets utilisateurs, a été plébiscitée et priorisée pour en faire un réel outil de production pour la préparation des entrées d’archives. Les fonctionnalités en ont été améliorées et complétée au fil des itérations, aboutissant à l’actuel RESIP.
  • Contact : contact@programmevitam.fr
  • Où le trouver: http://www.programmevitam.fr/pages/ressources/resip/
  • Un peu de technique : version courante 1.10.0-SNAPSHOT compilée le 01/09/2019, fichier exécutable portable nécessitant la présence de Java 8, une version Linux est disponible également.
Tableau des fonctionnalités d’Archifiltre, Octave et Resip, septembre 2019
Tableau des fonctionnalités d’Archifiltre, Octave et Resip, septembre 2019

La transition bibliographique en bibliothèque, un horizon pour les archives ?

L’installation en avril du SIAF dans ses nouveaux locaux a permis de créer un rendez-vous « Prospective numérique ». Sur le modèle des ateliers « Pérennisation » de VITAM, des « labs » de la CNIL ou du programme DCANT de la DINSIC, nous souhaitons :

  • Faire le lien entre évolutions technologiques et pratiques archivistiques
  • Rapprocher les professionnels intéressés par le numérique
Image Gerd Altmann / Licence CC0 Public Domain / https://www.publicdomainpictures.net/fr/view-image.php?image=212237&picture=monde-numerique

La première séance s’est déroulée le 5 juillet 2019. Emmanuel Jaslier, adjoint à la directrice du département des métadonnées à la BnF, a présenté la “transition bibliographique” en cours dans les bibliothèques. La discussion avec plusieurs experts du programme VITAM, du SIAF et des Archives nationales a ensuite été l’occasion d’envisager les transpositions possibles aux archives et notamment la convergence des outils de production des référentiels.

La Transition bibliographique

Capture d’écran du bandeau du site de la Transition bibliographique

Les catalogues au défi du web

Rendre visible et exploitable la richesse des données en tenant compte de l’évolution des pratiques de recherche sur le web, tel est le défi auquel sont aujourd’hui confrontées les institutions qui donnent accès à leurs ressources en ligne.  

Dès les années 70, les bibliothèques ont entamé une réflexion à l’échelle internationale afin de normaliser la description des documents et échanger les données de leurs catalogues, aboutissant à des normes et des formats communs. Si les standards issus de ces réflexions ont permis le signalement d’un nombre croissant de collections, ils ont en revanche perdu de leur pertinence avec le passage au web sémantique. Ce dernier coïncide avec un tournant où la productivité des requêtes diminue alors que la masse des données continue elle à croître. Dans un tel contexte, l’enjeu n’est plus tant la description du document en lui-même que le positionnement de son contenu au sein d’un réseau significatif de données. Le référencement insuffisant des notices de catalogues de bibliothèque au profit des résultats commerciaux dans les moteurs de recherche est symptomatique de cela.

Courbe d'évolution de la pertinence des requêtes sur le Web en fonction de la quantité de données.
Le Web 3.0 : une réponse à la baisse d’efficacité des requêtes.
Source : présentation BnF

 

Un nouveau modèle de données

Ces constats ont mené à l’élaboration de nouveaux modèles conceptuels basés sur une logique entités-relations pour la description des ressources. Depuis 2015, la profession s’est accordée autour du modèle IFLA-LRM dans lequel toutes les entités sont liées entre elles. Des autorités sont définies de manière autonome (par exemple un titre ou un auteur). Elles sont toutes susceptibles de servir de points d’accès pour l’utilisateur, et sont connectées les unes avec les autres selon les types de relations nécessaires, ce qui facilite considérablement les recherches en langage naturel.

Ces principes ont ensuite été traduits dans le code de catalogage RDA-FR (déclinaison française du code international RDA).

La transition bibliographique, programme national porté par le Comité stratégique bibliographique, consiste donc à implémenter RDA-FR dans les différents catalogues des bibliothèques. Comme son nom l’indique, il s’agit d’un changement progressif, rythmé par ses livraisons successives depuis 2015. Au-delà de l’établissement de la norme, il s’agit en effet d’une adaptation majeure de la structure des systèmes informatiques  et d’un changement profond des pratiques métier.

Les premières réalisations

Le site data.bnf.fr agrège et organise depuis 2011 les données extraites du catalogue de la bibliothèque nationale selon les technologies du web sémantique. Aujourd’hui, le référencement du site dans les moteurs de recherche en fait le premier point d’accès vers Gallica.

La nouvelle application de catalogage de la BnF, NOEMI (pour Nouer les Œuvres, les Expressions, les Manifestations et les Items), suit les principes du code RDA-FR. Elle va progressivement remplacer l’ancien outil de catalogage.

Un projet à suivre : le Fichier national d’entités

Le Fichier national d’entités (FNE), base centrale destinée à regrouper toutes les entités produites en France par les organismes dépositaires de collections documentaires est un projet porté conjointement par l’Abes et la BnF. En phase pilote depuis 2019 avec un prototypage dans Wikibase, le FNE servira à aligner les données existantes et sera un outil de production national et collaboratif des autorités.

L’existence de ce projet ouvre de nombreuses perspectives d’échanges avec les services d’archives, également grands producteurs de données d’autorité.

Pour aller plus loin

Le site de la Transition bibliographique.

Le support de la présentation BnF du 5 juillet 2019.

Journée de restitution des porteurs de projet AD-Essor 2018, 5 juin 2019

Dans le cadre de l’appel à projet AD-Essor, les Archives de France réunissent tous les ans les porteurs de projet afin de présenter quelques-unes des réalisations de l’année écoulée et de permettre échanges et partage de retours d’expérience entre les bénéficiaires du dispositif.

Cette année encore, l’Institut national du patrimoine a accepté d’accueillir les participants à cette journée, dont l’ordre du jour a permis d’aborder des problématiques d’archivage numérique dans des collectivités aux contextes très variés.

Présentation du département du Nord : “Un SAE pour le département du Nord : récit d’une longue marche”.

L’introduction de Françoise Banat-Berger a été l’occasion de rappeler l’impulsion décisive qu’avait constituée le programme VITAM pour l’archivage électronique sur l’ensemble du territoire, et de souligner que l’entrée dans la phase de Maintenance et Amélioration Continue (MAC) du programme sera l’occasion de poursuivre le travail de partenariat entre les acteurs publics et l’équipe VITAM.

Il a été souligné par ailleurs que les Archives de France souhaitent poursuivre leur soutien aux collectivités pour l’équipement en systèmes d’archivage électronique, outils de conservation des archives publiques au même titre que les bâtiments d’archives. La tenue d’ateliers et d’une journée de réflexion le 16 avril dernier autour du dispositif AD-Essor reflète les actuelles réflexions en cours pour conserver les points forts du dispositif et explorer des pistes d’amélioration.

Sept collectivités ont ensuite présenté un point d’étape de leurs travaux en cours. L’objectif du programme était d’introduire des problématiques et des contextes très différents autour du thème central de l’archivage électronique.

La fin de la journée a été consacrée aux actualités du Programme Vitam ainsi qu’à une présentation des livrables de l’étude pilotée par le SIAF sur la pérennisation à long terme de l’information numérique.

Les échanges de la journée ont fait émerger plusieurs axes de réflexion, témoignant de la maturité croissante des services publics d’archives sur le sujet et de l’inscription de l’archivage électronique dans les politiques des collectivités autour de la donnée. Tout d’abord, plusieurs porteurs de projet ont inscrit l’archivage électronique dans un contexte plus global de gouvernance de la donnée au sein de leur collectivité. L’archivage électronique est ainsi pensé en lien avec le ou la délégué(e) à la protection des données, le ou la responsable de la sécurité informatique, de l’open data, etc.

De façon plus prégnante que les années précédentes, les porteurs de projet ont soulevé les questions de communication et d’accès aux archives, notamment dans un contexte où les outils d’archivage électronique peuvent prendre plusieurs formes : système d’archivage électronique, outil de gestion électronique de documents, etc.

Enfin, outre la mise en production d’un système d’archivage électronique, la prise en charge et le versement de nouveaux flux sont de plus en plus perçus comme des projets à part entière, qui doivent être réfléchis et planifiés pour éviter une sous-utilisation du SAE. Le temps parfois considérable nécessité par ce passage à l’échelle permet une dimension expérimentale et pédagogique, mais pourrait peut-être être réduit dans les années à venir grâce aux échanges et partages de compétences au sein du réseau des services publics d’archives sur le territoire.

Le SIAF tient à remercier l’ensemble des participants à cette journée. Toute question sur le sujet peut-être adressée à archivage.numerique.siaf@culture.gouv.fr