En France, l’Institut National de l’Audiovisuel (INA) et la Bibliothèque Nationale de France (BNF) sont en charge de l’archivage du “web français”, au titre du dépôt légal élargi aux documents numériques depuis la loi 1er  août 2006 relative au droit d’auteur et aux droits voisins dans la société de l’information (DADVSI).  Le dépôt légal du Web se fonde sur la logique de la collecte automatique qui s’est imposée comme la solution la plus efficace compte-tenu de l’immensité des données concernées. Si la loi française n’intervient qu’en 2006, l’INA comme la BNF n’avaient pas attendu cette date pour mener des collectes expérimentales, notamment en collaboration avec l‘International Internet Preservation Consortium (IIPC)  fondé en 2003.

Qu’est-ce que  l’IIPC (International Internet Preservation Consortium) ?

En juillet 2003, dix bibliothèques nationales d’Europe (dont la BNF), d’Amérique du Nord, d’Australie ainsi que l’association Internet Archive se sont rassemblées pour  développer « une collaboration internationale et assurer la préservation des contenus de l’internet pour les générations futures[1] ».

Chaque institution est alors confrontée aux nouvelles problématiques imposées par l’archivage du Web : document mondial, déterritorialisé et dématérialisé, le document issu du réseau bouleverse la tradition patrimoniale fondée sur le support et le territoire. L’archivage du web dans sa globalité par une seule institution apparaît alors impossible compte-tenu de la masse des données à stocker et de la grande diversité des législations nationales en terme de droits de la propriété intellectuelle. L’IIPC a donc dans un premier temps favorisé les transferts de compétences informatiques tout en permettant à chaque institution de mieux définir les domaines d’archivages nationaux. Gildas Illien a montré comment cette organisation en marge, initialement animée par des ingénieurs en informatique s’attelant à développer des logiciels, s’est peu à peu développé politiquement.

L’évolution de l’IIPC et de ses missions

De 2003 à 2006, la priorité du consortium réside dans la création de robots de capture permettant de parcourir et de traiter un nombre très importants de données. N’ayant trouvé aucune entreprise capable de répondre à l’appel d’offre lancé par l’IIPC, la décision a été prise de développer des logiciels libres (open source[2]). De ce travail collaboratif est né le robot Heritrix[3] utilisé par la BNF comme par Internet Archive pour la Wayback Machine. Une autre urgence technique s’imposait également : la compatibilité des formats. Face à un web « découpé » en différentes parties capturées par des institutions autonomes, il est alors nécessaire de choisir des formats, des normes identiques afin de pouvoir un jour relier l’ensemble des archives nationales. C’est durant la seconde phase de développement du consortium (2007-2009) que les formats ont été normalisés en particulier en ce qui concerne le stockage, un des axes prioritaires de la période. Ainsi le format de stockage ARC est remplacé par le format WARC[4] dont la norme est reconnue par l’ISO[5] en 2009. Les données recueillies par les robots sont ainsi stockées dans le même format quelle que soit l’institution membre de l’IIPC. De plus, le format WARC facilite le maniement de volumes de données importants tout en sauvegardant les métadonnées[6] accompagnant les pages web archivées. Les fichiers sont ensuite enregistrés sur des baies de stockage de gros volumes (les Petabox pouvant atteindre 120 téraoctets) qui seront utilisées pour la consultation des documents. En parallèle, les données sont entreposées dans le Système de préservation et d’archivage réparti (Spar) mis au point à la BNF en 2008. Depuis 2010, les membres du consortium ont adopté le modèle de stockage OAIS[7] dédié à l’archive.  Durant cette même période, l’IIPC s’élargit et intègre de nouveaux membres comme l’INA. Grâce aux cotisations de ses 39 institutions, le consortium devient une organisation internationale reconnue et disposant d’un budget conséquent.

Depuis 2010, une réflexion est engagée sur le traitement des données sauvegardées et leur intégration dans les collections des bibliothèques. Il s’agit de vérifier dans quelle mesure les méthodes traditionnelles d’archivage, fondées sur le catalogage, l’indexation et la conservation peuvent-elles s’appliquer à Internet ; l’objectif étant de déterminer une politique documentaire commune adaptée à l’archivage du Web. Le travail mené porte également sur les attentes liées à la consultation des archives, notamment en ce qui concerne les besoins des chercheurs en terme d’informations collectées mais aussi au sujet de la création d’outils d’analyse adaptés.

Chaque année, l’IIPC organise son Assemblée Générale rassemblant les partenaires et dont une partie des interventions sont ouvertes au public. La prochaine aura lieu du 19 au 23 mai 2014 à Paris à la BNF.

Pourquoi archiver le web ?

Sur son site, l’IIPC revient sur la nécessité d’archiver le web.

 

 

---