Koninklijke Blibliotheek van België.
Webarchivering professionaliseert sterk
Webarchivering is uitgegroeid tot een volwaardig domein binnen de archiefsector. Nationale bibliotheken, archieven en documentatiecentra wereldwijd zetten steeds vaker geavanceerde, geautomatiseerde systemen in om webbronnen en digitaal geboren content te verzamelen, duurzaam te bewaren en te analyseren. Initiatieven zoals BelgicaWeb tonen hoe sterk het veld zich heeft geprofessionaliseerd.
Duurzame oplossingen
Al meer dan 25 jaar steunt webarchivering grotendeels op open source-software. Tools voor het harvesten en raadplegen van webcontent worden vaak door de gemeenschap ontwikkeld en onderhouden, wat het moeilijk maakt om gelijke tred te houden met snel evoluerende onlineplatformen. Tijdens de conferentie werd duidelijk dat er sterk wordt ingezet op het creëren van duurzame en robuuste oplossingen.
Open source wordt nog te vaak als “gratis” gezien, terwijl ontwikkeling en onderhoud aanzienlijke investeringen vergen. Dat vraagt om een gedeelde verantwoordelijkheid binnen de sector en resulteert dan ook in een verschuiving naar commercieel ondersteunde tools, zoals ESuit en Browsertrix, die meer stabiliteit en continue ontwikkeling bieden. Toch blijven er, ook met deze oplossingen, vaak belangrijke technische uitdagingen en beperkingen bestaan, met name bij het crawlen en reconstrueren van dynamische websites en sociale media.
“De IIPC bevindt zich in een andere fase. In 2003 moesten we nog “basisoplossingen” voor crawling uitvinden en wilden we alles zo veel mogelijk delen. Onze visie op tools lijkt nu eerder op een zeer complexe puzzel, met een breed scala aan thema’s, verschillende soorten actoren, beperkte institutionele tijdschema’s en schaarse middelen.” – Sara Aubry, Web Archive Technical Lead, BnF.
Sociale media als blijvende uitdaging
Sociale media vormen een hardnekkige uitdaging voor webarchivering. Platformen zoals Facebook, Instagram, X, TikTok en LinkedIn zijn waardevolle bronnen, maar moeilijk te bewaren door hun dynamische en interactieve karakter.
Toegangsbeperkingen zoals loginvereisten, API-restricties en betaalmuren maken archieven vaak fragmentarisch. Afhankelijk van de methode kan belangrijke context verloren gaan, bijvoorbeeld wanneer enkel berichten zonder reacties worden opgeslagen.
Toch hoeft archivering niet exhaustief te zijn om waardevol te zijn: ook gedeeltelijke datasets leveren belangrijke inzichten op. Beginnen blijft cruciaal, zeker voor kleinere instellingen, waar een pragmatische aanpak noodzakelijk is.
Ilya Kreymer, Lead Software Engineer bij Webrecorder Software, geeft uitleg over de uitdagingen bij het archiveren van Sociale Media.
Samenwerking als sleutel
De complexiteit van webarchivering maakt samenwerking essentieel. In Vlaanderen bestaat een sterke praktijkgemeenschap, ondersteund door meemoo, het Vlaams expertisecentrum voor digitaal cultureel erfgoed, waarin kennis, tools en best practices worden gedeeld. Initiatieven zoals edit-a-thons houden de documentatie actueel en versterken de kennisdeling en expertise. Zo kunnen ook kleinere instellingen, zelfs met beperkte middelen, relatief duurzame oplossingen uitbouwen.
Artificiële intelligentie
Artificiële intelligentie (AI) speelt een steeds grotere rol binnen webarchivering. Waar processen vroeger handmatig verliepen, maken AI en machine learning het mogelijk om selectie, beschrijving en ontsluiting deels te automatiseren.
Ook voor gebruikers ontstaan nieuwe mogelijkheden. Generatieve AI ondersteunt het doorzoeken en interpreteren van webarchieven via natuurlijke taal en samenvattingen, wat de toegankelijkheid verhoogt. Deze evolutie kwam duidelijk naar voren in diverse onderzoeksprojecten rond automatisering, ontsluiting en kwaliteitscontrole.
Ecologische duurzaamheid
Ook de milieu-impact van webarchivering krijgt steeds meer aandacht. Het bewaren van grote hoeveelheden data vereist aanzienlijke opslag- en rekenkracht, met een hoge energieconsumptie tot gevolg.
Tegelijk groeit het besef dat deze impact enkel te verantwoorden is wanneer webarchieven effectief gebruikt worden. De maatschappelijke waarde moet dus aantoonbaar zijn.
Instellingen zoeken naar manieren om hun ecologische voetafdruk te beperken, onder meer via efficiëntere opslag, deduplicatie en energiezuinige infrastructuur. Voorbeelden zoals de Nationale Bibliotheek van Noorwegen tonen hoe dit kan, onder meer met hernieuwbare energie en MAID-opslag. MAID (Massive Array of Idle Disks) is een opslagtechnologie waarbij harde schijven niet continu draaien, maar alleen worden geactiveerd wanneer er effectief data moet worden gelezen of geschreven. Daarnaast wint ook dataminimalisatie aan belang: niet alles hoeft permanent bewaard te blijven.
De gebruiker centraal
Waar webarchivering lange tijd vooral focuste op verzamelen en bewaren, verschuift de aandacht steeds meer naar gebruik. De centrale vraag wordt: wie gebruikt webarchieven, en hoe? Daarbij is één inzicht cruciaal: dé gebruiker bestaat niet. Webarchieven worden geraadpleegd door uiteenlopende groepen: onderzoekers, journalisten, erfgoedprofessionals en het brede publiek. Elk met eigen verwachtingen en werkwijzen.
Die diversiteit maakt dat klassieke toegangsvormen zoals URL-opzoekingen niet langer volstaan. Er is nood aan meerdere zoekingangen die inspelen op verschillende gebruiksscenario’s. Zonder full-textdoorzoekbaarheid, zoals bij andere digitaal ontsloten archieven, blijft een groot deel van de collectie onzichtbaar. Gebruikers verwachten daarnaast gefacetteerde zoekmogelijkheden, datavisualisaties en transparante metadata om grote en complexe datasets te verkennen en interpreteren.
Voor onderzoekers zijn open en rijke metadata essentieel, net als toegang tot geëxtraheerde informatie over inhoud (zoals taal, publicatietijd, titels en relaties tussen bronnen). Ze willen vlot kunnen schakelen tussen close reading (detailanalyse) en distant reading (analyse van grootschalige patronen) en verwachten toegang tot gestructureerde data en analysetools. Ook audiovisueel materiaal vraagt een betere ontsluiting, bijvoorbeeld via transcriptie.
Er blijft echter een kloof bestaan tussen de technische vastlegging van webcontent en het daadwerkelijke gebruik ervan. Webarchieven functioneren nog te vaak als een ‘black box’ die niet aansluit bij de methodologische noden van gebruikers. Daarom wordt steeds vaker ingezet op de ontwikkeling van volwaardige gebruikersplatformen die verschillende functionaliteiten integreren. Die streven naar een uniforme gebruikservaring, maar botsen op de heterogeniteit van webdata, die sterk verschilt per platform.
Mehdi Bourgeois demonstreert een gebruikersplatform voor toegang tot het Twitterarchief van het Institut National de l’Audiovisuel (Frankrijk).
Daarbovenop spelen juridische en ethische beperkingen een belangrijke rol. Auteursrecht en privacy zorgen er vaak voor dat slechts een deel van de archieven online toegankelijk is en dat veel materiaal enkel lokaal geraadpleegd kan worden.
De FAIR-principes: vindbaarheid, toegankelijkheid, interoperabiliteit en herbruikbaarheid, dienen hierbij als belangrijke richtlijnen om deze uitdagingen aan te pakken en webarchieven effectief bruikbaar te maken voor diverse gebruikers, elk met hun eigen toegang tot het archief.
De collectie bij Liberas
De door Liberas gearchiveerde webcollectie is raadpleegbaar via:
Omwille van privacyredenen zijn deze enkel consulteerbaar in de leeszaal van Liberas.
In mei start Liberas opnieuw met de jaarlijkse archiveringscampagne, waarbij opnieuw een groot aantal websites en sociale media-accounts zal worden vastgelegd.
