Inleiding
De Cultuurmonitor is een instrument door en voor de culturele sector dat verder uitgebouwd en doorontwikkeld zal worden. Samen met de sector verzamelen en analyseren wij in de Cultuurmonitor data en inzichten over het culturele leven in Nederland. In deze tekst geven we een overzicht van de methodologie achter de Cultuurmonitor, alsook van de werkprocessen en de mechanismen waarmee we de kwaliteit van de Cultuurmonitor waarborgen.
Kwalitatieve informatie in de Cultuurmonitor is te vinden op domeinpagina’s en themapagina’s. Domeinen binnen de Cultuurmonitor zijn te vergelijken met deelsectoren of culturele disciplines. Op dit moment bevat de Cultuurmonitor informatie over de domeinen Architectuur, Audiovisueel, Beeldende kunst, Design, Erfgoed, Games, Letteren, Muziek en Theater. In de toekomst zullen hier nog meer domeinen en verdere uitsplitsingen aan worden toegevoegd.
Themapagina’s van de Cultuurmonitor behandelen onderwerpen die niet alleen in één cultureel domein spelen, maar van belang zijn voor de hele cultuursector. Themapagina’s plaatsen ontwikkelingen in breder maatschappelijk perspectief en maken het mogelijk dwarsverbanden tussen domeinen te ontdekken. Op dit moment bevat de Cultuurmonitor themapagina’s voor Beroepspraktijk, Cultuur en participatie, Cultuur in de regio, Digitale transformatie, Diversiteit, gelijkwaardigheid en inclusie, en Duurzaamheid.
Een meer kwantitatieve benadering biedt de online database, die sinds december 2021 door middel van een dashboard op de website van de Cultuurmonitor ontsloten is. Hierin verzamelen we belangrijke indicatoren over het culturele leven in Nederland. De indicatoren brengen verschillende aspecten van het culturele leven meerjarig in beeld. In de database hanteren we een flexibele omgang met indicatoren. We stellen geen beperkingen aan de totale set indicatoren, maar wel aan individuele indicatoren. Deze dienen in elk geval meerjarig en duurzaam verzameld te worden, betrouwbaar en traceerbaar te zijn, en overkoepelend inzicht te bieden. Het dashboard nodigt uit om verschillende gegevens op te zoeken en wordt steeds verder gevuld met relevante indicatoren. Veel data kunnen zowel op landelijk als op provinciaal niveau geraadpleegd worden, zowel in absolute aantallen als per inwoner.
Om de aangeboden kennis, data en informatie van en over de sector in de Cultuurmonitor te borgen, baseren we ons werk op een kwaliteitscyclus, bestaande uit drie werkprocessen die verschillende kwaliteitsmechanismen inhouden: 1. op basis van analyse, gesprekken en monitoring kansen voor kennisopbouw signaleren en agenderen, 2. ontwikkelen van nieuwe kennis door verbinding te leggen met optimaal gebruik van reeds beschikbare data en 3. kennis delen en gebruiken als voeding voor nieuwe ontwikkelingen in de culturele sector. Deze cyclus staat ook centraal in de bredere werkzaamheden van de onderzoekers, en de Boekmanstichting als geheel.
In het navolgende bespreken we hoe we binnen de Cultuurmonitor deze elementen toepassen (werkprocessen) en welke mechanismen we gebruiken om kwaliteit te waarborgen.
Signaleren
Centrale vraag: hoe zorgen we ervoor dat we tijdig trends, trendbreuken en actuele ontwikkelingen signaleren?
Werkwijze onderzoek
Een belangrijk onderdeel van de beginfase van het onderzoek voor een nieuwe rapportage of de actualisatie van een bestaande rapportage is bureauonderzoek. We inventariseren recente onderzoeken en rapportages met betrekking tot een domein of een thema en baseren ons op actuele kennis en documentatie van de Kennisbank van de Boekmanstichting. Daarnaast maken we gebruik van openbare bronnen, van onder andere onderzoeksinstellingen, brancheorganisaties en overheden, die vervolgens (indien relevant) worden toegevoegd aan de Kennisbank.
Belangrijke bron van onze kennis van trends en ontwikkelingen zijn vervolgens gesprekken met het veld: we consulteren regelmatig experts en stakeholders in de culturele sector. Elke onderzoeker is verantwoordelijk voor het onderhouden en uitbouwen van het netwerk, ten behoeve van het signaleren van trends en ontwikkelingen binnen de domeinen of thema’s waarvan de onderzoeker auteur is. In aanvulling hierop wisselen we als team kennis uit en versterken we elkaars netwerken. Door de onderlinge kennisdeling en uitwisseling houden we elkaar niet alleen scherp, maar kunnen we ontwikkelingen in verschillende deelsectoren vergelijken en contrasteren. Zo inspireren we elkaar en vindt er een kruisbestuiving plaats.
Naast structureel overleg met verschillende stakeholders uit het culturele veld (zie hierna), overleggen we twee keer per jaar met een delegatie van het ministerie van OCW over de inhoudelijke ontwikkeling van de Cultuurmonitor en kennisbehoeftes. De onderzoekers zijn naast hun werkzaamheden aan de Cultuurmonitor bezig met verschillende onderzoeken in opdracht waardoor onze kennis over de culturele en creatieve sector wordt versterkt. Ook binnen de Boekmanstichting als geheel wisselen we kennis uit en signaleren we relevante trends en ontwikkelingen binnen de culturele sector. Op deze manier profiteert de ontwikkeling van de Cultuurmonitor ook van de kennis die opgedaan wordt via het tijdschrift Boekman, en overige activiteiten van de Boekmanstichting.
Gebruikersfeedback
Gebruikersfeedback is belangrijk voor de verdere ontwikkeling van de Cultuurmonitor. Gebruikersfeedback geeft ons inzichten over het aansluiten van inhoud, gebruik en vorm van de monitor aan de behoeftes van gebruikers. Zo verzamelen we inzichten over bezoek en leesduur van de Cultuurmonitorwebsite via Google Analytics. In 2023 vindt een gebruikersonderzoek plaats.
Ontwikkelen
Centrale vraag: hoe en met wie ontwikkelen we nieuwe kennis? En welke criteria stellen we voor de rapportages en inhoudelijke kwaliteit?
Kernthema’s
Het onderzoeksproces omvat zowel de hiervóór omschreven werkprocessen voor het signaleren van nieuwe trends als het ontwikkelen van gefundeerde kennis. Voor domeinpagina’s werken we met een vaste indeling waarin we kerngegevens ontsluiten, belangrijke trends en ontwikkelingen duiden, en bespreken wat we nog niet over een domein weten. Waar relevant besteden we op de domeinpagina’s aandacht aan ontwikkelingen in verschillende kernthema’s die ook onderdeel uitmaken van het dashboard: arbeidsmarkt, bereik via de media, beroepsonderwijs, beoefening in de vrije tijd, cultuur in het onderwijs, consumptie, cultuuruitingen, draagvlak en interesse, geldstromen en organisaties.
Naast de domeinen zijn ook overstijgende themarapportages onderdeel van de Cultuurmonitor, waarin per thema informatie over verschillende domeinen bijeen wordt gebracht.
Bij de nu beschikbare data voor monitoring zijn gegevens over geïnstitutionaliseerde – of ook wel formele – cultuur veruit in de meerderheid. In het hoofdstuk over cultuur- en kennisverschuiving van de Jaarrapportage 2022 lichten we toe dat we bij de uitbouw en ontwikkeling van de Cultuurmonitor inzetten op een beter begrip van informele ontwikkelingen en alternatieve vormen van kennis binnen de culturele praktijk.
Kwaliteitsmechanismen voor rapportages
Alle rapportages worden vóór publicatie kritisch door ten minste twee collega’s gelezen en beoordeeld op de inhoud. Deze vorm van peerreview waarborgt de kwaliteit van de rapportages. Verder worden alle rapportages voor publicatie voorgelegd aan de geconsulteerde gesprekspartners. Tot slot vindt op alle rapportages professionele eindredactie plaats.
Actualiteit website
Een betrouwbare monitor levert naast betrouwbare ook actuele informatie. We updaten bestaande rapportages regelmatig, zeker wanneer nieuwe data of ontwikkelingen daar aanleiding toe geven. Verder lopen we de rapportages op actualiteit na: zijn er ondertussen nieuwe ontwikkelingen gesignaleerd, waardoor bijvoorbeeld delen van de tekst onjuist of achterhaald zijn? Kloppen de hyperlinks nog? Minimaal eenmaal per jaar worden de data per domein en thema geüpdatet in de database. Visualisaties op de website die uit de database gevoed worden, worden dan ook aangepast. We werken voor de Cultuurmonitor met een tweejaarlijkse cyclus waarbij om het jaar voor de thema’s en domeinen volledig nieuwe analyses worden geschreven. In 2022 zijn volgens deze cyclus alle themarapportages grondig herzien. De updates van de domeinen zijn in 2022 beperkt gebleven tot aanvullingen met nieuwe data of actuele ontwikkelingen in praktijk of onderzoek. Voor de volgende editie (2023) worden de teksten van de domeinen vernieuwd.
Uitgangspunten database
Er is geen minimaal of maximaal aantal indicatoren dat we willen opnemen in de database, maar we richten ons op 200 tot 300 kwalitatief hoogstaande indicatoren voor een solide set. Een duidelijke bronvermelding, omschrijving en verantwoording van de indicator en de manier waarop deze berekend is worden voor de transparantie in het dashboard naast de indicator getoond. In onze rapportages besteden we waar relevant ook aandacht aan de verantwoording van trendbreuken en methodologische problemen.
Criteria voor het opnemen van indicatoren en databronnen in onze online database
Voor het opnemen van indicatoren in de online database is het een vereiste dat ze duurzaam verzameld worden. Een onderzoek dat slechts één of twee keer is uitgevoerd – zonder perspectief op herhaling in de toekomst – nemen we, mits relevant, wel mee in onze rapportage, maar niet in onze database en daarmee ook niet in het dashboard.
De online database bevat alleen data die wij zelf openbaar mogen delen. Als een indicator voor meerdere domeinen beschikbaar is, is het wenselijk om deze voor al deze domeinen op te nemen en zo de gegevens vergelijkbaar te maken tussen de domeinen. Gegevens over het aantal werkenden in de culturele sector zijn bijvoorbeeld vaak beschikbaar in aantal werkzame personen en aantal fte’s. Hierbij streven we ernaar om deze informatie voor alle domeinen beschikbaar te stellen. Bij het verzamelen van de data gaan we zo ver als mogelijk terug, maar (vooralsnog) uiterlijk tot 2005.
Gesprekken met externen
We streven ernaar om het culturele veld in de volledige breedte mee te nemen in onze gesprekken. Daarbij letten we bij de selectie van gesprekspartners op representatie en meerstemmigheid. Die representatie betreft verschillende aspecten: het soort organisatie waarvoor een gesprekspartner werkt, geslacht, senioriteit en invloed, achtergrond en regio. Ook vertegenwoordiging vanuit alle onderdelen van de keten en zowel formele als informele vormen van cultuur is daarbij van belang.
De gesprekken hebben de vorm van groepsgesprekken of individuele interviews. Groepsgesprekken zijn belangrijk om overkoepelende trends of uitdagingen te identificeren die door middel van groepsdynamiek tussen de experts vaak duidelijk worden. Om goed contact op te bouwen zijn daarnaast individuele gesprekken bijzonder waardevol. Vooral als het om nieuwe rapportages of uiteenlopende perspectieven gaat kan het wenselijk zijn om individuele gesprekken te voeren.
Begeleiding en extern advies
Om de kwaliteit van het proces en de resultaten in het oog te houden is er bij de start van het pilottraject in 2020 een begeleidingscommissie ingesteld. Deze commissie heeft, in een licht aangepaste bezetting, ook in 2022 toegezien op de kwaliteit van de gemaakte keuzes en ons strategisch geadviseerd. De commissie is als volgt samengesteld:
- Koen van Eijck (hoogleraar cultuursociologie, Erasmus Universiteit (voorzitter))
- Sarah Malko (bestuurssecretaris en hoofd onderzoek, Mondriaan Fonds)
- Marieke van Engelen (strategisch beleidsadviseur Cultuur, provincie Overijssel) (vanaf 2023)
- Marcelle Hendrickx (Wethouder cultuur, gemeente Tilburg) (tot en met 2022)
- Ellen Loots (assistant professor Cultural Economics and Entrepreneurship, Erasmus Universiteit)
- Christianne Mattijssen (Directeur Erfgoed en Media, Ministerie van OCW) (tot en met 2022)
- Hugo van der Poel (directeur Mulier Instituut)
- Dennis Stam (lid MT directie Erfgoed en Kunsten, Ministerie van OCW) (vanaf 2023)
- Janita Tabak (wethouder cultuur, gemeente De Friese Meren) (vanaf 2023)
- Marianne Versteegh (algemeen secretaris, Kunsten ’92)
- Jakob van der Waarden (directeur Raad voor Cultuur)
In aanvulling daarop organiseert de Boekmanstichting de volgende meer gelaagde en inhoudelijke vormen van raadpleging en afstemming:
- Periodiek overleg vanuit methodologisch perspectief, gemiddeld twee keer per jaar. Dit overleg vindt plaats met een selectie van circa vijf methodologische experts. Zij vormen de klankbordgroep methodologie. Per 1 januari 2023 maken Andries van den Broek (SCP), Kim Joostens (CBS), Giselinde Kuipers (KU Leuven), Claartje Rasterhoff (Maastricht University), Joris Veerbeek (Universiteit Utrecht) en Henk Vinken (Pyrrhula Research Consultants B.V.) deel uit van deze klankbordgroep.
- Periodiek overleg op domeinniveau. Op maat worden hiervoor individuele gesprekken of focusgroepen met werkenden en experts in een domein georganiseerd.
Interne verantwoordelijkheden
Aan de Cultuurmonitor werkt een vast team onderzoekers vanuit de Boekmanstichting, soms in samenwerking met freelance onderzoekers. Iedere onderzoeker is (gezamenlijk of individueel) verantwoordelijk voor een aantal domein(en) of thema(‘s). Dit betekent ook dat de onderzoekers relevante presentaties bijwonen, actief deelnemen aan netwerkbijeenkomsten en een eigen netwerk opbouwen en onderhouden voor de betreffende domeinen en thema’s.
Rogier Brom is verantwoordelijk voor de coördinatie en uitvoering van de verschillende (onderzoeks)programma’s en projecten binnen de Boekmanstichting en verantwoordelijk voor de planning van onderzoek.
Jan Jaap Knol is als directeur van de Boekmanstichting betrokken bij de ontwikkeling van de strategie.
Delen
Centrale vraag: hoe zorgen we ervoor dat de kennis gebruikt wordt als voeding voor nieuwe ontwikkelingen in de sector?
Actieve ontsluiting
Kennis ontsluiten we actief via de publicaties op de website van de Cultuurmonitor, alsook via de diverse communicatiekanalen van de Boekmanstichting. Voorts delen we onze bevindingen met de sector – bijvoorbeeld tijdens evenementen en presentaties. Zo gebruiken we conferenties en jaarcongressen van branches om over ons onderzoek in gesprek te gaan door presentaties en informele uitwisseling. Onze onderzoekers zijn actief lid van onderzoeksnetwerken zoals het Platform Cultuurstatistici, de Landelijke Werkgroep Cultuurbeleid, het Compendium of Cultural Policies and Trends, de European Sociological Association, Cultural Sociology Lowlands en het Onderzoeksnetwerk cultuur in onderwijs, vrije tijd en beleid van het LKCA. Hier presenteren we ons onderzoek en verzamelen we nieuwe input. Ook met onze netwerken in de verschillende domeinen delen we ons werk actief.
Transparantie
We leggen onze methodologie zo transparant mogelijk uit zodat gebruikers gezette stappen in het verzamelen en bewerken van gegevens kunnen volgen en indien gewenst kunnen reproduceren. Met toestemming vermelden we de namen van gesprekspartners die input en feedback op een rapportage hebben geleverd. Op deze manier is het ook voor gebruikers duidelijk waar onze informatie vandaan komt, wie er meegedacht hebben en kunnen we nieuwe gesprekken aangaan wanneer belangrijke perspectieven ontbreken.
Toegankelijkheid
Toegankelijkheid van kennis en data is een belangrijk uitgangspunt voor de Cultuurmonitor. in 2022 hebben we onze website laten doorlichten op toegankelijkheid voor mensen met een visuele beperking en op basis daarvan aanpassingen doorgevoerd.
Toetsing
We toetsen het gebruik van de Cultuurmonitor door bezoekersaantallen van en de leesduur op www.cultuurmonitor.nl via Google Analytics te volgen. Hiernaast tracken we citaties van onze rapportages via een Google-alert. Ook gaan we werken met kwalitatieve en kwantitatieve gebruikersevaluaties.
Verantwoording beeld
Fotografie: Lisa Maatjens