Inleiding
De Cultuurmonitor is een instrument door en voor de culturele sector dat verder uitgebouwd en doorontwikkeld zal worden. Samen met de sector verzamelen en analyseren wij in de Cultuurmonitor data en inzichten over het culturele leven in Nederland. In deze tekst geven we een overzicht van de methodologie achter de Cultuurmonitor, alsook van de werkprocessen en de mechanismen waarmee we de kwaliteit van de Cultuurmonitor waarborgen.
Kwalitatieve informatie in de Cultuurmonitor is te vinden op domeinpagina’s en themapagina’s. Domeinen binnen de Cultuurmonitor zijn te vergelijken met deelsectoren of culturele disciplines. Op dit moment bevat de Cultuurmonitor informatie over de domeinen Architectuur, Audiovisueel, Beeldende kunst, Design, Erfgoed, Games, Letteren, Muziek en Theater. In de toekomst kunnen hier nog andere domeinen en verdere uitsplitsingen aan worden toegevoegd.
Themapagina’s van de Cultuurmonitor behandelen onderwerpen die niet alleen in één cultureel domein spelen, maar van belang zijn voor de hele cultuursector. Themapagina’s plaatsen ontwikkelingen in breder maatschappelijk perspectief en maken het mogelijk dwarsverbanden tussen domeinen te ontdekken. Op dit moment bevat de Cultuurmonitor themapagina’s voor Beroepspraktijk, Cultuur en geldstromen, Cultuur en participatie, Cultuur in de regio, Digitale transformatie, Diversiteit, gelijkwaardigheid en inclusie, en Duurzaamheid.
Een meer kwantitatieve benadering biedt de online database, die sinds december 2021 door middel van een dashboard op de website van de Cultuurmonitor ontsloten is. Hierin verzamelen we belangrijke indicatoren over het culturele leven in Nederland. De indicatoren brengen verschillende aspecten van het culturele leven meerjarig in beeld. In de database hanteren we een flexibele omgang met indicatoren. We stellen geen beperkingen aan de totale set indicatoren, maar wel aan individuele indicatoren. Deze dienen in elk geval meerjarig en duurzaam verzameld te worden, betrouwbaar en traceerbaar te zijn, en overkoepelend inzicht te bieden. Het dashboard nodigt uit om verschillende gegevens op te zoeken en wordt steeds verder gevuld met relevante indicatoren. Veel data kunnen zowel op landelijk als op regionaal niveau geraadpleegd worden, zowel in absolute aantallen als per inwoner.
Om de aangeboden kennis, data en informatie van en over de sector in de Cultuurmonitor te borgen, baseren we ons werk op een kwaliteitscyclus, bestaande uit drie werkprocessen die verschillende kwaliteitsmechanismen inhouden: 1. op basis van analyse, gesprekken en monitoring kansen voor kennisopbouw signaleren en agenderen, 2. ontwikkelen van nieuwe kennis door verbinding te leggen met optimaal gebruik van reeds beschikbare data en 3. kennis delen en gebruiken als voeding voor nieuwe ontwikkelingen in de culturele sector. Deze cyclus staat ook centraal in de bredere werkzaamheden van de onderzoekers, en de Boekmanstichting als geheel.
In het navolgende bespreken we hoe we binnen de Cultuurmonitor deze elementen toepassen (werkprocessen) en welke mechanismen we gebruiken om kwaliteit te waarborgen.
Signaleren
Centrale vraag: hoe zorgen we ervoor dat we tijdig trends, trendbreuken en actuele ontwikkelingen signaleren?
Werkwijze onderzoek
Een belangrijk onderdeel van de beginfase van het onderzoek voor een nieuwe rapportage of de actualisatie van een bestaande rapportage is bureauonderzoek. We inventariseren recente onderzoeken en rapportages met betrekking tot een domein of een thema en baseren ons op actuele kennis en documentatie van de Kennisbank van de Boekmanstichting. Daarnaast maken we gebruik van openbare bronnen, van onder andere onderzoeksinstellingen, brancheorganisaties en overheden, die vervolgens (indien relevant) worden toegevoegd aan de Kennisbank.
Belangrijke bron van onze kennis van trends en ontwikkelingen zijn vervolgens gesprekken met het veld: we consulteren regelmatig experts en stakeholders in de culturele sector. Elke onderzoeker is verantwoordelijk voor het onderhouden en uitbouwen van het netwerk, ten behoeve van het signaleren van trends en ontwikkelingen binnen de domeinen of thema’s waarvan de onderzoeker auteur is. In aanvulling hierop wisselen we als team kennis uit en versterken we elkaars netwerken. Door de onderlinge kennisdeling en uitwisseling houden we elkaar niet alleen scherp, maar kunnen we ontwikkelingen in verschillende deelsectoren vergelijken en contrasteren.
Naast structureel overleg met verschillende stakeholders uit het culturele veld (zie hierna), overleggen we twee keer per jaar met een delegatie van het ministerie van OCW over de inhoudelijke ontwikkeling van de Cultuurmonitor en kennisbehoeftes. De onderzoekers zijn naast hun werkzaamheden aan de Cultuurmonitor bezig met verschillende onderzoeken in opdracht waardoor onze kennis over de culturele en creatieve sector wordt versterkt. Ook binnen de Boekmanstichting als geheel wisselen we kennis uit en signaleren we relevante trends en ontwikkelingen binnen de culturele sector. Op deze manier profiteert de ontwikkeling van de Cultuurmonitor ook van de kennis die opgedaan wordt via het tijdschrift Boekman, en overige activiteiten van de Boekmanstichting.
Gebruikersfeedback
Gebruikersfeedback is belangrijk voor de verdere ontwikkeling van de Cultuurmonitor. Het geeft inzicht in hoe de inhoud, het gebruik en de vorm van de monitor aansluiten bij de wensen en behoeften van verschillende gebruikersgroepen.
In 2023 is een breder publieksonderzoek uitgevoerd door Ask Your Audience, in opdracht van de Boekmanstichting. Dit onderzoek richtte zich op de organisatie als geheel en leverde waardevolle inzichten op over hoe verschillende doelgroepen naar het werk van de Boekmanstichting kijken en welke verwachtingen zij daarbij hebben. Ook zijn in dit kader enkele leden van de begeleidingscommissie van de Cultuurmonitor bevraagd, die als klankbord fungeren voor de strategische richting en kwaliteit van de monitor.
In 2024 is aanvullend een specifiek gebruikersonderzoek voor de Cultuurmonitor uitgevoerd. Hiervoor zijn focusgroepgesprekken gevoerd met onderzoekers, beleidsmakers en vertegenwoordigers uit het culturele veld. Daarnaast is een online vragenlijst verspreid, die nog steeds openstaat om doorlopend feedback te verzamelen. De uitkomsten van deze gesprekken en de eerste resultaten van de vragenlijst zijn meegenomen in de doorontwikkeling van de Cultuurmonitor 2024.
Tot slot verzamelen we via Google Analytics gegevens over het gebruik van de Cultuurmonitorwebsite, zoals bezoekersaantallen en leesduur. Deze kwantitatieve data helpen om het gebruik van de monitor beter te begrijpen en waar nodig aan te passen.
Ontwikkelen
Centrale vraag: hoe en met wie ontwikkelen we nieuwe kennis? En welke criteria stellen we voor de rapportages en inhoudelijke kwaliteit?
Kernthema’s
Het onderzoeksproces omvat zowel de hiervóór omschreven werkprocessen voor het signaleren van nieuwe trends als het ontwikkelen van gefundeerde kennis. Voor domeinpagina’s werken we met een vaste indeling waarin we kerngegevens ontsluiten, belangrijke trends en ontwikkelingen duiden, en bespreken wat we nog niet over een domein weten. Waar relevant besteden we op de domeinpagina’s aandacht aan ontwikkelingen in verschillende kernthema’s die ook onderdeel uitmaken van het dashboard: organisaties en aanbod, arbeidsmarkt, participatie, consumptie en geldstromen.
Naast de domeinen zijn ook overstijgende themarapportages onderdeel van de Cultuurmonitor, waarin per thema informatie over verschillende domeinen bijeen wordt gebracht.
Kwaliteitsmechanismen voor rapportages
Alle rapportages worden vóór publicatie inhoudelijk beoordeeld door een vaste collega, die optreedt als tweede lezer. Deze interne peerreview draagt bij aan de consistentie en betrouwbaarheid van de inhoud. Ook de gebruikte data worden zorgvuldig gecontroleerd door een collega voordat deze online gepubliceerd worden.
Daarnaast worden de rapportages voorgelegd aan de eerder geconsulteerde gesprekspartners. Voor elk domein en thema is bovendien een externe meelezer betrokken, die beschikt over specifieke kennis en expertise binnen het betreffende onderwerp.
Actualiteit website
Een betrouwbare monitor levert naast betrouwbare ook actuele informatie. We updaten bestaande rapportages regelmatig, zeker wanneer nieuwe data of ontwikkelingen daar aanleiding toe geven. Verder lopen we de rapportages op actualiteit na: zijn er ondertussen nieuwe ontwikkelingen gesignaleerd, waardoor bijvoorbeeld delen van de tekst onjuist of achterhaald zijn? Kloppen de hyperlinks nog? Minimaal eenmaal per jaar worden de data per domein en thema geüpdatet in de database. Visualisaties op de website die uit de database gevoed worden, worden dan ook aangepast. In 2024 zijn alle domein- en themarapportages herzien en aangevuld met nieuwe data.
Uitgangspunten database
Er is geen minimaal of maximaal aantal indicatoren dat we willen opnemen in de database, maar we richten ons op 200 tot 300 kwalitatief hoogstaande indicatoren voor een solide set. Een duidelijke bronvermelding, omschrijving en verantwoording van de indicator en de manier waarop deze berekend is worden voor de transparantie in het dashboard naast de indicator getoond. In onze rapportages besteden we waar relevant ook aandacht aan de verantwoording van trendbreuken en methodologische problemen.
Criteria voor het opnemen van indicatoren en databronnen in onze online database
Voor het opnemen van indicatoren in de online database is het een vereiste dat ze duurzaam verzameld worden. Een onderzoek dat slechts één of twee keer is uitgevoerd – zonder perspectief op herhaling in de toekomst – nemen we, mits relevant, wel mee in onze rapportage, maar niet in onze database en daarmee ook niet in het dashboard.
De online database bevat alleen data die wij zelf openbaar mogen delen. Als een indicator voor meerdere domeinen beschikbaar is, is het wenselijk om deze voor al deze domeinen op te nemen en zo de gegevens vergelijkbaar te maken tussen de domeinen. Gegevens over het aantal werkenden in de culturele sector zijn bijvoorbeeld vaak beschikbaar in aantal werkzame personen en aantal fte’s. Hierbij streven we ernaar om deze informatie voor alle domeinen beschikbaar te stellen. Bij het verzamelen van de data gaan we zo ver als mogelijk terug, maar (vooralsnog) uiterlijk tot 2005.
Gesprekken met externen
We streven ernaar om het culturele veld in de volledige breedte mee te nemen in onze gesprekken. Daarbij letten we bij de selectie van gesprekspartners op representatie en meerstemmigheid. Die representatie betreft verschillende aspecten: het soort organisatie waarvoor een gesprekspartner werkt, geslacht, senioriteit en invloed, achtergrond en regio. Ook vertegenwoordiging vanuit alle onderdelen van de keten en zowel formele als informele vormen van cultuur is daarbij van belang.
De gesprekken hebben de vorm van groepsgesprekken of individuele interviews. Groepsgesprekken zijn belangrijk om overkoepelende trends of uitdagingen te identificeren die door middel van groepsdynamiek tussen de experts vaak duidelijk worden. Om goed contact op te bouwen zijn daarnaast individuele gesprekken bijzonder waardevol. Vooral als het om nieuwe rapportages of uiteenlopende perspectieven gaat kan het wenselijk zijn om individuele gesprekken te voeren.
Begeleiding en extern advies
Om de kwaliteit van het proces en de resultaten in het oog te houden is er bij de start van het pilottraject in 2020 een begeleidingscommissie ingesteld. Deze commissie ziet toe op de kwaliteit van de gemaakte keuzes en heeft ons strategisch geadviseerd. De commissie is in 2024 als volgt samengesteld:
- Koen van Eijck (Hoogleraar cultuursociologie, Erasmus Universiteit (voorzitter)
- Ellen Loots (Assistant Professor in Cultural Economics and Entrepreneurship, Erasmus Universiteit)
- Remco Hoekman (Directeur, Mulier Instituut)
- Dennis Stam (lid MT directie Erfgoed en Kunsten, Ministerie van OCW)
- Astrid Weij (directeur, Kunsten ’92)
- Pieter Bots (Beleidsadvisuer, Raad voor Cultuur)
- Fenna van Hout (Beleidsmedewerker cultuur en maatschappij, VNG)
- Peter Drenth (Gedeputeerde bij provincie Gelderland)
- Namens de fondsen in wisselende samenstelling: Nina Pigaht (Fonds voor Cultuurparticipatie), Iris Daalder (Fonds voor Cultuurparticipatie) en Marianne van de Velde (Fonds Podiumkunsten).
In aanvulling daarop organiseert de Boekmanstichting de volgende meer gelaagde en inhoudelijke vormen van raadpleging en afstemming. Zoals overleg op domein- of themaniveau. Op maat worden hiervoor individuele gesprekken of focusgroepen met werkenden en experts in een domein georganiseerd.
Interne verantwoordelijkheden
Aan de Cultuurmonitor werkt een vast team onderzoekers vanuit de Boekmanstichting, soms in samenwerking met freelance onderzoekers. Iedere onderzoeker is (gezamenlijk of individueel) verantwoordelijk voor een aantal domein(en) of thema(’s). Dit betekent ook dat de onderzoekers relevante presentaties bijwonen, actief deelnemen aan netwerkbijeenkomsten en een eigen netwerk opbouwen en onderhouden voor de betreffende domeinen en thema’s.
Maartje Goedhart is verantwoordelijk voor de coördinatie en uitvoering van de verschillende (onderzoeks)programma’s en projecten binnen de Boekmanstichting en verantwoordelijk voor de planning van onderzoek.
Jan Jaap Knol is als directeur van de Boekmanstichting betrokken bij de ontwikkeling van de strategie.
Delen
Centrale vraag: hoe zorgen we ervoor dat de kennis gebruikt wordt als voeding voor nieuwe ontwikkelingen in de sector?
Actieve ontsluiting
Kennis ontsluiten we actief via de publicaties op de website van de Cultuurmonitor, alsook via de diverse communicatiekanalen van de Boekmanstichting. Voorts delen we onze bevindingen met de sector – bijvoorbeeld tijdens evenementen en presentaties. Zo gebruiken we conferenties en jaarcongressen van branches om over ons onderzoek in gesprek te gaan door presentaties en informele uitwisseling. Onze onderzoekers zijn actief lid van onderzoeksnetwerken zoals het Platform Cultuurstatistici, de Landelijke Werkgroep Cultuurbeleid, het Compendium of Cultural Policies and Trends, de European Sociological Association, Cultural Sociology Lowlands en het Onderzoeksnetwerk cultuur in onderwijs, vrije tijd en beleid van het LKCA. Hier presenteren we ons onderzoek en verzamelen we nieuwe input. Ook met onze netwerken in de verschillende domeinen delen we ons werk actief.
Transparantie
We leggen onze methodologie zo transparant mogelijk uit zodat gebruikers gezette stappen in het verzamelen en bewerken van gegevens kunnen volgen en indien gewenst kunnen reproduceren. Met toestemming vermelden we de namen van gesprekspartners die input en feedback op een rapportage hebben geleverd. Op deze manier is het ook voor gebruikers duidelijk waar onze informatie vandaan komt, wie er meegedacht hebben en kunnen we nieuwe gesprekken aangaan wanneer belangrijke perspectieven ontbreken.
Toegankelijkheid
Toegankelijkheid van kennis en data is een belangrijk uitgangspunt voor de Cultuurmonitor. in 2022 hebben we onze website laten doorlichten op toegankelijkheid voor mensen met een visuele beperking en op basis daarvan aanpassingen doorgevoerd.
Toetsing
We toetsen het gebruik van de Cultuurmonitor door bezoekersaantallen van en de leesduur op www.cultuurmonitor.nl via Google Analytics te volgen. Hiernaast tracken we citaties van onze rapportages via een Google-alert. Ook gaan we werken met kwalitatieve en kwantitatieve gebruikersevaluaties.
Verantwoording beeld
Fotografie: Lisa Maatjens