Ontdek museale objecten met AI

Helpt het gebruik van AI om verwante objecten in Brabant Cloud te ontdekken?

Wij hebben de afbeeldingen van museale objecten in Brabantse stadsmusea laten analyseren door AI. Hierdoor kunnen we beelden ontdekken die met elkaar verwant zijn, bijvoorbeeld doordat ze dezelfde kleuren, vormen, typen mensen of onderwerpen delen. Maar hoe betrouwbaar is AI in de praktijk? Dat onderzoeken we met dit prototype. Wil je  over de werking ervan?

Hieronder staat een overzicht van willekeurige objecten. Ga naar een object dat je aanspreekt en klik vervolgens op het vergrootglas in het rode rondje, rechtsboven het object. Dan start het prototype een zoekactie: het zoekt naar objecten die op een bepaalde manier verwant zijn aan het door jou gekozen object.

Achtergrondinformatie

Het prototype werkt als volgt:

  1. Wij hebben ongeveer 10.000 afbeeldingen van Stedelijk Museum Breda, Stadsmuseum Tilburg, Erfgoedcentrum Tongerlohuys en Museum Helmond geselecteerd.
  2. Wij hebben elke afbeelding daarna laten analyseren door het AI-model Gemma 3, ontwikkeld door Google DeepMind. Het model kent aan elke afbeelding trefwoorden toe. De trefwoorden maken duidelijk wat het AI-model op de afbeelding 'ziet'. Dat kan van alles zijn, zoals mensen en voorwerpen. Het model is behoorlijk accuraat - het kan zelfs kleuren en gezichtsuitdrukkingen waarnemen. En soms slaat het de plank mis; dan ziet het dingen die niet op een afbeelding staan. Zoals een landkaart die eigenlijk een telefoonboek is of een lachende man die eerder bezorgd kijkt.
  3. Vervolgens hebben wij voor de trefwoorden zogeheten vector embeddings laten berekenen. Een embedding is een soort 'samenvatting' van de trefwoorden in de vorm van een numerieke score. De embedding geeft aan in welke mate een tekenreeks, zoals een trefwoord, gerelateerd is aan een andere tekenreeks. De embeddings zijn berekend door het AI-model EmbeddingGemma, eveneens ontwikkeld door Google DeepMind. De embeddings van de trefwoorden hebben wij bewaard in een gespecialiseerde database.
  4. Tot besluit hebben wij deze demonstrator gemaakt waarmee je afbeeldingen kunt ontdekken. Dit doen wij door de embedding van een afbeelding te vergelijken met die van een andere afbeelding. Als de embeddings bij elkaar liggen, dan is de kans groot dat de afbeeldingen verwant zijn. Soms moet je goed kijken om de verwantschap te ontdekken. Afbeeldingen kunnen bijvoorbeeld dezelfde kleuren bevatten, dezelfde typen personen of dezelfde voorwerpen.