Archives par mot-clé : EAD

Réutiliser les données ouvertes afin d’obtenir une vue d’ensemble des ressources disponibles sur le portail FranceArchives

Article rédigé par Clément ARNAUD (SIAF)

Depuis 2022, FranceArchives publie quatre fois par an sur la plateforme data.culture un export complet des inventaires du portail au format apeEAD.

Cet export a connu une réutilisation, en 2023, dans le cadre d’un article « FranceArchives : dans quoi cherche-t-on ? » paru sur le blog « Patrimoine et numérique » de Maïwenn Bourdic. Cet article propose plusieurs exemples d’exploitation des données sous forme de datavisualisation afin de mieux cerner le contenu du portail et de mettre en lumière les grands ensembles de données qui y figurent. Deux ans après, il semble pertinent de proposer une actualisation de ces données ainsi que de nouveaux axes pour les explorer, tant pour le grand public que pour les archivistes.

Le corpus

Les inventaires mis en ligne sur data.culture sont ceux de l’ensemble des contributeurs du portail FranceArchives soit 165 services d’archives en janvier 2025. Bien que la plupart des contributions au portail soient au format XML EAD, les inventaires au format PDF ou CSV sont également inclus dans l’export. Pour importer des fichiers PDF sur le portail, les services doivent en effet compléter un fichier CSV. Ce fichier permet d’afficher une page de résultats de recherche, ainsi qu’une notice intermédiaire proposant l’ouverture du fichier PDF. Ces fichiers CSV de métadonnées sont convertis en fichiers apeEAD simplifiés à un seul niveau.

L’export de janvier 2025, sur lequel porte cet article, compte 97 000 inventaires. Le nombre total d’inventaires publiés sur le portail a ainsi augmenté de plus de 15 % en un peu plus d’un an, passant de 84 000 inventaires en décembre 2023 à 97 000 en janvier 2025.

Evolution du nombre d’inventaires publiés sur le portail entre décembre 2023 et janvier 2025


Répartition des inventaires par grands ensembles

L’export proposé sur data.culture regroupe dans un répertoire distinct les inventaires de chaque partenaire, permettant d’obtenir facilement des chiffres par institutions en listant en ligne de commande le nombre de fichiers par dossier.

Les trois services d’Archives nationales demeurent les principaux contributeurs du portail avec à eux seuls 29 284 inventaires publiés sur FranceArchives soit 30% des inventaires du portail. Ce chiffre est en légère baisse par rapport à décembre 2023 date à laquelle les Archives nationales représentaient 34% des inventaires du portail. Près de 12 000 nouveaux inventaires provenant d’institutions autres que les Archives nationales ont été publiés entre décembre 2023 et janvier 2025. Pour l’internaute, cela se traduit par une plus grande diversité dans l’origine des ressources proposées en résultats de recherche. En valeur absolue, le réseau des archives départementales représente plus de la moitié des contributions au portail.


Répartition des contributions à FranceArchives par type de service :
Archives départementales 53.70%,
Archives nationales 31.29%, Archives municipales 15.01%

Parmi les 20 contributeurs majeurs du portail, on retrouve 17 services d’archives départementales, qui valorisent tous plus de 1 200 inventaires sur FranceArchives. Ces 20 contributeurs représentent 67% des contributions au portail (soit 65 583 inventaires au total). Ce chiffre est en baisse sensible par rapport à décembre 2023, où les 20 contributeurs majeurs représentaient 75% des inventaires valorisés. Cette évolution sera sans doute confortée par les projets de partenariat en cours avec des services d’archives municipales.


Répartition des vingt principaux contributeurs du portail


Répartition territoriale des inventaires

En examinant la répartition territoriale des inventaires valorisés, en combinant les inventaires des services d’archives départementales et municipales d’un même département, on constate que FranceArchives valorise plus de 500 inventaires par département dans un tiers des départements français, soit 36 départements contre 27 en décembre 2023. Ce cumul illustre la complémentarité des fonds valorisés sur le portail (entre archives départementales et municipales) mais il montre aussi une certaine hétérogénéité de la couverture territoriale. La répartition territoriale précise des partenaires est visible sur la carte de l’annuaire (cocher « Partenaires de FranceArchives », « Archives départementales » et « Archives municipales »). Cette carte peut être mise en regard avec la carte d’accès aux métadonnées qui exploite l’indexation lieu sur FranceArchives.


Couverture temporelle

Afin d’avoir une idée plus précise de la répartition chronologique des fonds valorisés sur le portail, l’ensemble des inventaires a été requêté en XQuery afin d’extraire pour chaque inventaire, l’élément date de niveau haut (via le XPath suivant /ead/archdesc/did/unitdate). Les dates extraites ont été filtrées et traitées dans OpenRefine pour être reformatées au format AAAA. Certaines saisies non numériques ou non exploitables ont été supprimées (mention « sans date », bornes chronologiques de plusieurs siècles, etc.). Après traitement, 88 365 intervalles de dates au format AAAA ont été retenus (près de 10 000 inventaires sont donc exclus de cette analyse). Cet ensemble d’intervalles de dates a ensuite été traité par script Python afin de développer les intervalles et d’obtenir une liste d’années par occurrence. Il faut préciser que cette méthode comporte des biais. On constate en effet dans les données une tendance pour les fonds contemporains à sélectionner des intervalles de dates larges (du type 1945-2000) qui ont tendance à surreprésenter le XXe siècle dans les données analysées. De plus, les dates extrêmes de niveau haut ne sont pas toujours représentatives de la période de production des fonds décrits, une pièce isolée pouvant fausser la datation de l’ensemble du fonds. Ces données et leur représentation sont donc à analyser avec précaution pour déterminer les grandes tendances du corpus.

Répartition des inventaires par date

Dans l’ensemble, on constate l’importance de la période de 1914 à 1987, qui dépasse les 20 000 occurrences avec un pic pour les années 1970, et une brusque chute pour les années les plus récentes. Cette surreprésentation du XXe siècle peut être attribuée à divers facteurs, notamment les politiques de collecte, l’état de classement des fonds ou l’actualité mémorielle. Elle met principalement en évidence des biais temporels dans les résultats de recherche.

La place de l’indexation

L’indexation est largement exploitée dans FranceArchives afin de faciliter les recherches, notamment via l’autocomplétion dans le moteur de recherche. Sur FranceArchives, ces indexations sont successivement groupées, alignées et qualifiées afin de nourrir un réservoir d’autorités. Le détail des enrichissements et des traitements réalisés sur ces données est décrit dans l’article « FranceArchives : réalisations », publié sur le portail. Afin d’obtenir un aperçu plus précis des pratiques d’indexation de chaque service, un script Python a permis de quantifier la part d’inventaires porteuse d’indexation. Sont considérés dans l’infographie comme étant indexés, les inventaires contenant au moins un des éléments de l’EAD utilisés pour l’indexation à n’importe quel niveau de la hiérarchie, soit :

  • Le producteur : <origination>

  • Une indexation lieu : <geogname>

  • Une indexation personne : <persname>

  • Une indexation institution : <corpname>

  • Une indexation sujet : <subject>

Il ne s’agit pas d’une analyse proportionnelle visant à quantifier le volume d’indexation, mais plutôt d’en évaluer la répartition dans les inventaires. Les institutions ont été divisées en trois groupes en fonction du nombre d’inventaires publiés sur le portail. Le premier groupe comprend les services valorisant plus de 800 inventaires sur FranceArchives, le deuxième groupe rassemble les services valorisants entre 200 et 800 inventaires, et le troisième groupe inclut les services fournissant moins de 200 inventaires. L’ensemble de cette visualisation est disponible en ligne. On constate ici encore une grande diversité des résultats qui tient en partie à la diversité des fonds mis en ligne mais aussi à des pratiques de description différentes au sein des services ou à l’utilisation d’outils favorisant plus ou moins la pratique de l’indexation.


Part en pourcentage des inventaires contenant au moins un des éléments de l’EAD utilisés pour l’indexation à n’importe quel niveau de la hiérarchie – Services ayant plus de 800 inventaires sur le portail

Conclusion

Ces différents points de vue sur les données n’ont pas pour vocation de comparer quantitativement ou qualitativement les contributions au portail. Ils ont d’abord pour but de mieux signaler les pleins et les creux des données collectées. Ils expliquent les silences de certaines recherches et mériteraient d’être complétés par une étude axée sur les recherches des internautes. Ces visualisations permettent également de nous guider dans les échanges avec les partenaires et dans les propositions de nouveaux partenariats. Elles illustrent enfin la diversité des pratiques et offrent des pistes pour tenter de les homogénéiser et par la même d’enrichir les données. C’est dans cette démarche d’harmonisation des pratiques et d’accompagnement aux évolutions numériques que s’inscrit le groupe de travail pour la description et l’indexation des archives.

Construire des points d’accès unifiés vers les archives : l’expérience FranceArchives

Le portail FranceArchives, agrégateur national des archives, a vocation à proposer un accès fédéré aux métadonnées archivistiques à destination de tous types de publics. Ouvert en mars 2017, il est le fruit d’un développement en méthode agile, piloté par le Service interministériel des archives de France et réalisé par la société Logilab. Le lancement des développements d’une deuxième version – qui doit porter un certain nombre d’évolutions et approfondissements de la première version – est l’occasion de faire un premier bilan et de revenir ici sur les traitements spécifiques réalisés sur les données d’indexation des instruments de recherche.

Les possibilités offertes par la recherche plein texte n’ont pas fait disparaitre la nécessité de produire et de diffuser des métadonnées structurées et indexées. Dans la lutte contre le « bruit » les entités normalisées, non ambiguës et compréhensibles par les humains comme par les machines apparaissent aujourd’hui comme d’incontournables alliés. Le traitement des entités lieux, agents, sujets liés aux unités de description permet de construire des points d’accès cohérents vers les archives, à l’échelle d’une diffusion nationale, et plus largement à l’échelle du web. Les résultats de ces traitements mutualisés sur le portail FranceArchives ont été publiés sur le portail data.culture, ils sont ouverts à la réutilisation notamment celle des services producteurs qui souhaiteraient les exploiter dans leurs propres systèmes.

Point de départ : des inventaires et des entrées d’index

FranceArchives agrège des données de nombreux services, données qui témoignent de pratiques d’indexation hétérogènes : du point de vue de la granularité, de la normalisation du libellé, des référentiels utilisés. Par ailleurs, on constate que la part des instruments de recherche possédant des entrées d’index explicitement liées à un référentiel est faible. L’objectif des traitements décrits ici était de lier ces entités à des référentiels, et de grouper les entrées d’index faisant référence à la même entité afin de constituer un corpus d’autorités homogène, pérenne et normalisé pour mieux les valoriser.

Au départ, il y a l’indexation réalisée par les services d’archives : l’action d’associer une personne, un lieu, une collectivité, un thème à un fonds ou à un document d’archives. Le format de description le plus représenté sur FranceArchives est l’XML-EAD qui formalise le principe de description arborescent de la norme ISAD(G). Ce format permet une indexation spécifique à tous les niveaux de la description. Sur le portail, on applique aux entrées d’index le principe d’héritage des informations de niveau haut aux niveaux subordonnés : toutes les unités de description subordonnées héritent des entrées d’index liées aux unités de description parent. Le schéma ci-dessous explicite le modèle de données opérant sur le portail. Le niveau haut d’un instrument de recherche (findingaid) peut être lié à un ou plusieurs niveaux de description enfant (facomponent). On attribue automatiquement aux entrées d’index lieux, agents, sujets (geogname, persname, famname, corpname, function, occupation, subject) contenus dans un élément <controlaccess> d’une unité de description, une autorité miroir de l’entrée d’index. L’autorité devient en quelque sorte un double de l’entrée d’index qui va pouvoir être manipulé : aligné, regroupé, renommé, restitué. On ne manipule pas directement les entrées d’index afin de pouvoir conserver la trace de l’information initiale, telle qu’elle a été transmise par le service d’archive producteur de la donnée. Les autorités sont accessibles sur le portail et valorisées notamment à travers l’auto-complétion, voici par exemple l’autorité désignant la ville de Mâcon en Saône-et-Loire et les descriptions d’archives qui lui sont associées.

Modélisation partielle des instruments de recherche XML-EAD et des entités lieux, agents, sujets sur FranceArchives

Vers des autorités normalisées et unifiées

Plusieurs traitements automatisés ou manuels peuvent s’appliquer aux autorités une fois créées : l’alignement vers un référentiel externe, le groupement d’autorités désignant la même entité, la modification du libellé de l’autorité. Ces traitements peuvent s’appliquer à l’import de données sur le portail ou bien a posteriori, une validation humaine est systématiquement requise. Chaque manipulation est sauvegardée et rejouée lors des mises à jour de données. Les URI des autorités sont pérennes.

L’interface du back office permet d’exporter les autorités de chaque service partenaire au format CSV, de les traiter dans un logiciel tierce et de les réimporter. Elle permet également l’administration unitaire de l’autorité. L’alignement permet de lier explicitement une entité déjà référencée, identifiée sur le web et une autorité FranceArchives. C’est également l’opportunité d’enrichir l’autorité à partir d’informations existantes. Par exemple, lorsqu’on lie une autorité FranceArchives à une entité personne sur data.bnf.fr ou wikidata, une requête est envoyée à l’entrepôt SPARQL d’une de ces bases de connaissances. Une description ainsi que les dates d’existence sont récupérées et affichées sur le portail, exemple avec Robert Debré. Les alignements des noms de lieux ont permis la récupération des coordonnées géographiques disponibles dans les bases GeoNames et la base adresse nationale, voir la carte des lieux des archives. Enfin, les référentiels spécifiques archives sont également utilisés et valorisés. Les sujets sont alignés automatiquement vers le thésaurus-matières pour la description des archives locales (ex-thesaurus W), la prise en compte des termes rejetés dans la recherche est en projet. Le portail intègre des notices EAC permettant la description des personnes et collectivités liées aux instruments de recherche par l’intermédiaire des entrées d’index, exemple avec Alain Juppé décrit par les Archives nationales. Outre l’alignement, l’action de regroupement d’autorités vers une seule permet de rationaliser les entités produites par les différents services d’archives. En effet, on recense sur le portail de nombreuses entrées d’index qui désignent une même entité dans le monde réel. Par exemple les entrées « Nîmes (Gard, France) » et « Nîmes (Gard) » désignent la même ville, tout comme « Charles de Gaulle, général » et « De Gaulle, Charles (1890-1970 ; général) » désignent la même personne. Il s’agit alors de fusionner deux entités sans en supprimer : une redirection http est appliquée lorsqu’on groupe A vers B, on choisit comme cible l’autorité la plus normalisée.

Focus sur l’alignement des autorités lieux sur le portail

Le succès de ces différentes opérations de traitement est largement corrélé à la précision et au degré de normalisation des entrées d’index traités en entrée. En effet, les scripts d’alignements sont construits de manière à interpréter les informations telles qu’on s’attend à les trouver organisées dans les entrées d’index, c’est-à-dire en fonction des normes d’indexation actuellement en vigueur. La pratique d’indexation des lieux, à la différence de celle des personnes, nous est apparue relativement suivie et normalisée. Il s’est de ce fait avéré pertinent d’automatiser largement les opérations d’alignement et de groupement pour les lieux.

Le script d’alignement des lieux vers GeoNames et la Base adresse nationale a été réalisé en fonction de la norme NF Z44-081 Documentation – Catalogage des documents cartographiques – Forme et structure des vedettes noms géographiques. La norme prescrit une organisation spécifique des différents niveaux d’information au sein de chaque vedette géographique. La ponctuation offre un cadre, l’alignement s’appuie donc nécessairement sur ce cadre : avant la parenthèse ouvrante on s’attend à trouver un point d’accès, entre parenthèse : des descripteurs, après deux tirets une subdivision, exemple : Bagnères-de-Bigorre (Hautes-Pyrénées, France) — Tour des Jacobins. Les entités distribuées sur GeoNames sont quant à elles organisées dans une ontologie. Chaque entité appartient à une classe qui la définit en partie : par exemple l’entité du département du Doubs appartient à la classe administrative, la rivière du Doubs appartient à la classe cours d’eau, ces deux entités portent pourtant le même nom. L’enjeu de la construction du script d’alignement était de faire converger ces deux organisations : celle portée par le norme NF Z44-081 et celle portée par l’ontologie GeoNames. À titre d’exemple, la liste des principaux termes génériques recommandés en désignation (château, chaine de montagne, estuaire, forêt, etc.) a été rapprochée des différentes classes de GeoNames afin d’aiguiller l’alignement vers les entités appropriées : en fonction du terme identifié en désignation dans la vedette géographique, l’alignement est tenté vers une classe d’entité spécifique. On a pu constater que la formation de la vedette géographique, lorsqu’elle n’est pas complètement normalisée répond souvent à un besoin local de description : certains descripteurs sont simplement sous-entendus. Par exemple, un service d’archives municipal indexe uniquement les rues, puisqu’à son échelle la ville est sous-entendue, un service d’archives départemental inscrit le département en descripteur uniquement lorsqu’il se situe hors de son département. Dans un contexte de diffusion nationale, voire internationale, ces logiques sont inopérantes. Afin de contourner ce phénomène, on ajoute un paramètre supplémentaire : celui du département ou de la ville du service producteur de la donnée dans les cas d’absence de descripteurs.

Conclusion

L’objectif de ces traitements est de clarifier, d’enrichir et d’inscrire les métadonnées archivistiques dans le web de données. Ces travaux ne sont actuellement permis que par la présence d’entrées d’index au sein des instruments de recherche réalisés par les archivistes et le succès des opérations de traitement est largement corrélé au degré de structuration de ces dernières. L’équipe FranceArchives ne peut qu’encourager le renforcement d’une pratique d’indexation normalisée au sein des services d’archives, en lien avec les perspectives offertes par le modèle de données Record in Context (RiC-CM), modèle qui affirme la pertinence de construire des entités lieux, agents, sujets, gravitant autour des archives et contribuant indirectement à leur description et enrichissement. Enfin les projets de reconnaissance d’entités nommés au sein de textes bruts offrent des perspectives d’enrichissement automatisés considérables, notamment pour le traitement des masses d’instruments de recherche pas ou peu indexés. Ils convergent ainsi avec les intérêts et les besoins des historiens et autres utilisateurs du portail.

Congrès 2015 de la SAA. Episode 4 : le programme de Coopérative SNAC

Du 16 au 22 août derniers a eu lieu le Congrès annuel de la Société des archivistes américains (SAA) à Cleveland sur le thème “the Ideas, the People, the Tools”. A cette occasion, les groupes chargés de la normalisation de la description archivistique et de son encodage se sont réunis et des projets spécifiques comme le modèle conceptuel pour la description archivistique ou la Coopérative d’autorité ont été présentés.

Anila Angjeli (BnF) a assisté au Congrès. Nous vous proposons de découvrir en quatre épisodes le résumé qu’elle a eu la gentillesse de nous transmettre.

Episode 4 : lancement du Programme de Coopérative SNAC

En août dernier, le lancement de « Social Networks and Archival Context (SNAC) Cooperative Program » a été annoncé (1). A l’origine projet de recherche, SNAC (2) devient ainsi progressivement un vaste programme coopératif, international, durable. L’objectif est de créer une infrastructure technique, administrative et organisationnelle innovante, robuste et durable, qui permettra aux archivistes de coopérer au niveau international pour la création et le maintien des descriptions de personnes, collectivités et familles – éléments clés du contexte archivistique – en partageant la charge de travail. Pour les chercheurs et autres utilisateurs de ressources historiques, la promesse est de leur offrir à terme un accès intégré sur Internet à ces ressources, peu importe leur localisation en sites et répertoires dispersés. Continuer la lecture de Congrès 2015 de la SAA. Episode 4 : le programme de Coopérative SNAC

Congrès 2015 de la SAA. Episode 3 : intégrer les fonctions dans la description archivistique

Du 16 au 22 août derniers a eu lieu le Congrès annuel de la Société des archivistes américains (SAA) à Cleveland sur le thème “the Ideas, the People, the Tools”. A cette occasion, les groupes chargés de la normalisation de la description archivistique et de son encodage se sont réunis et des projets spécifiques comme le modèle conceptuel pour la description archivistique ou la Coopérative d’autorité ont été présentés.

Anila Angjeli (BnF) a assisté au Congrès. Nous vous proposons de découvrir en quatre épisodes le résumé qu’elle a eu la gentillesse de nous transmettre.

Episode 3 : intégrer les fonctions dans la description archivistique

Restitution de l’intervention de Katherine M. Wisser et d’Anila Angjeli à la réunion plénière de la Section de la description de la SAA.

Depuis fin 2013, un Groupe international s’est constitué sous l’égide du TS-EAC pour élaborer un schéma d’encodage pour les fonctions archivistiques. Bien plus qu’une simple présentation du contexte des travaux du groupe et de leur avancement, cette intervention visait l’inscription de ces travaux dans le cadre large des travaux archivistiques en normalisation et modélisation. Dans ce sens, il montre l’interdépendance et la collaboration entre les deux chantiers actuels : l’élaboration du schéma d’encodage des fonctions et les travaux d’EGAD sur le Modèle conceptuel et l’Ontologie RiC. Continuer la lecture de Congrès 2015 de la SAA. Episode 3 : intégrer les fonctions dans la description archivistique

Congrès 2015 de la SAA. Episode 2 : les Archives dans leur contexte (Records in context, RiC)

Du 16 au 22 août derniers a eu lieu le Congrès annuel de la Société des archivistes américains (SAA) à Cleveland sur le thème “the Ideas, the People, the Tools”. A cette occasion, les groupes chargés de la normalisation de la description archivistique et de son encodage se sont réunis et des projets spécifiques comme le modèle conceptuel pour la description archivistique ou la Coopérative d’autorité ont été présentés.

Anila Angjeli (BnF) a assisté au Congrès. Nous vous proposons de découvrir en quatre épisodes le résumé qu’elle a eu la gentillesse de nous transmettre.

Episode 2 : Archives dans leur contexte (Records in Context, RiC)
Rapport d’étape des travaux d’EGAD (Groupe d’experts sur la description archivistique de l’ICA) au Congrès de la SAA 2015 – session 109, présenté par Daniel Pitti (président d’EGAD), Bill Stockting et Aaron Rubinstein (membres d’EGAD).

Chargé par le Conseil international des Archives (ICA) d’élaborer un « modèle conceptuel » pour la description archivistique, EGAD s’appuie sur la longue tradition théorique et pratique de la description archivistique. Les travaux se fondent d’une part sur les principes archivistiques, notamment celui de Provenance et celui de Respect de l’ordre originel (ou Respect des fonds) et d’autre part, sur la séparation progressive des composantes de la description archivistique, évolution reflétée par l’élaboration successive des quatre normes, ISAD(G), ISAAR(CPF), ISDF et ISDIAH. Cette séparation des composantes de la description pour mieux les mettre en relation les unes avec les autres et créer ainsi des modes d’accès plus efficients à l’information a pris forme sous l’influence de l’évolution des technologies de la communication (XML, SQL, etc.). Aujourd’hui, les technologies de graphes sémantiques et des Linked Data présentent pour les archivistes des opportunités encore plus expressives à saisir par la communauté des archivistes, bien que les défis à relever restent importants. Continuer la lecture de Congrès 2015 de la SAA. Episode 2 : les Archives dans leur contexte (Records in context, RiC)