Signaleren
Centrale vraag: hoe zorgen we ervoor dat we tijdig trends, trendbreuken en actuele ontwikkelingen signaleren?
Werkwijze onderzoek
Een belangrijk onderdeel van de beginfase van het onderzoek voor een nieuwe rapportage of de actualisatie van een bestaande rapportage is bureauonderzoek. We inventariseren recente onderzoeken en rapportages met betrekking tot een domein of een thema en baseren ons op actuele kennis en documentatie van de kennisbank van de Boekmanstichting. Daarnaast maken we gebruik van openbare bronnen, van onder andere onderzoeksinstellingen, brancheorganisaties of overheden, die vervolgens (indien relevant) toegevoegd worden aan de kennisbank.
Belangrijke bron van onze kennis van trends en ontwikkelingen zijn vervolgens gesprekken met het veld: we consulteren regelmatig experts en stakeholders in de culturele sector. Elke onderzoeker is verantwoordelijk voor het onderhouden en uitbouwen van het netwerk, ten behoeve van het signaleren van trends en ontwikkelingen binnen de domeinen of thema’s waarvan zij of hij auteur is. In aanvulling hierop wisselen we als team kennis uit en versterken we elkaars netwerken. Door de onderlinge kennisdeling en uitwisseling houden we elkaar niet alleen scherp maar kunnen we ontwikkelingen in verschillende deelsectoren vergelijken en contrasteren. Zo inspireren we elkaar en vindt er een kruisbestuiving plaats.
Naast structureel overleg met verschillende stakeholders uit het culturele veld (zie beneden), overleggen we twee keer per jaar met een delegatie van het ministerie van OCW over de inhoudelijke ontwikkeling van de Cultuurmonitor en kennisbehoeftes. De onderzoekers zijn naast hun werkzaamheden aan de Cultuurmonitor bezig met verschillende onderzoeken in opdracht waardoor onze kennis over de culturele en creatieve sector wordt versterkt. Ook binnen de Boekmanstichting als geheel wisselen we kennis uit en signaleren we relevante trends en ontwikkelingen binnen de culturele sector. Op deze manier profiteert de ontwikkeling van de Cultuurmonitor ook van de kennis die opgedaan wordt via het tijdschrift Boekman, en overige activiteiten van de Boekmanstichting.
Gebruikersfeedback
Gebruikersfeedback is belangrijk voor de verdere ontwikkeling van de Cultuurmonitor. Gebruikersfeedback geeft ons inzichten over het aansluiten van inhoud, gebruik en vorm van de monitor aan de behoeftes van gebruikers. Zo verzamelen we inzichten over bezoek en leesduur van de Cultuurmonitorwebsite via Google Analytics. Op onze in december 2021 gelanceerde nieuwe website helpen veel gebruikte zoektermen ons om meer inzicht te krijgen in behoeften van de gebruikers. Tot slot toetsen we regelmatig via kwalitatieve interviews en gebruikersworkshops of de vorm en inhoud van de Cultuurmonitor aansluiten bij de behoeften van de belangrijkste doelgroepen.
Ontwikkelen
Centrale vraag: hoe en met wie ontwikkelen we nieuwe kennis? En welke criteria stellen we voor de rapportages en inhoudelijke kwaliteit?
Het onderzoeksproces omvat zowel de hierboven omschreven werkprocessen voor het signaleren van nieuwe trends als het ontwikkelen van gefundeerde kennis. Voor domeinpagina’s werken we met een vaste indeling waarin we kerngegevens ontsluiten, belangrijke trends en ontwikkelingen duiden, en bespreken wat we nog niet over een domein weten. Waar relevant besteden we op de domeinpagina’s aandacht aan ontwikkelingen in verschillende kernthema’s die ook onderdeel uitmaken van het dashboard: arbeidsmarkt, bereik via de media, beroepsonderwijs, beoefening in de vrije tijd, cultuur in het onderwijs, consumptie, cultuuruitingen, draagvlak en interesse, geldstromen en organisaties. Naast de domeinen zijn ook sectoroverkoepelende themarapportages onderdeel van de Cultuurmonitor. Deze brengen informatie over verschillende domeinen samen.
Kwaliteitsmechanismen voor rapportages
Alle rapportages worden voor publicatie kritisch door ten minste twee collega’s gelezen en beoordeeld op de inhoud. Deze vorm van peerreview waarborgt de kwaliteit van de rapportages. Verder worden alle rapportages voor publicatie voorgelegd aan de geconsulteerde gesprekspartners. Tot slot vindt op alle rapportages professionele eindredactie plaats.
Actualiteit website
Een betrouwbare monitor levert naast betrouwbare ook actuele informatie. We updaten bestaande rapportages regelmatig, zeker wanneer nieuwe data of ontwikkelingen daar aanleiding toe geven. Verder lopen we de rapportages op actualiteit na: zijn er ondertussen nieuwe ontwikkelingen gesignaleerd, waardoor bijvoorbeeld delen van de tekst onjuist of achterhaald zijn? Kloppen de hyperlinks nog? Minimaal eenmaal per jaar worden de data per domein en thema geüpdatet in de database. Visualisaties op de website die uit de database gevoed worden, worden dan ook aangepast. In 2021 hebben alle bestaande rapportages een grote update gekregen: gesprekken met stakeholders hebben plaats gevonden, onze bestaande set van indicatoren werd geëvalueerd en aangepast en een nieuwe rapportage wordt opgesteld. De database en bijhorende indicatoren zijn nog in ontwikkeling.
Uitgangspunten database
Er is geen minimaal of maximaal aantal indicatoren dat we willen opnemen in de database, maar we richten ons op 200 tot 300 kwalitatief hoogstaande indicatoren voor een solide set. Een duidelijke bronvermelding, omschrijving en verantwoording van de indicator en de manier waarop deze berekend is worden voor de transparantie in het dashboard naast de indicator getoond. In onze rapportages besteden we waar relevant ook aandacht aan de verantwoording van trendbreuken en methodologische problemen.
Criteria voor het opnemen van indicatoren en databronnen in onze online database
Voor het opnemen van indicatoren in de online database is het een vereiste dat ze duurzaam verzameld worden. Een onderzoek dat slechts één of twee keer is uitgevoerd – zonder perspectief op herhaling in de toekomst – nemen we, mits relevant, wel mee in onze rapportage, maar niet in onze database en daarmee ook niet in het dashboard.
De online database bevat alleen data die wij zelf openbaar mogen delen. Als een indicator voor meerdere domeinen beschikbaar is, is het wenselijk om deze voor al deze domeinen op te nemen en zo de gegevens vergelijkbaar te maken tussen de domeinen. Gegevens over het aantal werkenden in de culturele sector zijn bijvoorbeeld vaak beschikbaar in aantal werkzame personen en aantal fte’s. Hier streven we erna om deze informatie voor alle domeinen beschikbaar te stellen. Bij het verzamelen van de data gaan we zo ver als mogelijk terug, maar (vooralsnog) uiterlijk tot 2005.
Gesprekken met externen
We streven ernaar om het culturele veld in de volledige breedte mee te nemen in onze gesprekken. Daarbij letten we bij de selectie van gesprekspartners op diversiteit. Die diversiteit betreft verschillende aspecten: het soort organisatie waarvoor een gesprekspartner werkt, geslacht, senioriteit en invloed, culturele achtergrond en regio. Ook vertegenwoordiging vanuit alle onderdelen van de keten is daarbij van belang.
De gesprekken hebben de vorm van groepsgesprekken of individuele interviews. Groepsgesprekken zijn belangrijk om overkoepelende trends of uitdagingen te identificeren die door middel van groepsdynamiek tussen de experts vaak duidelijk worden. Om goed contact op te bouwen zijn daarnaast individuele gesprekken bijzonder waardevol. Vooral als het om nieuwe rapportages of uiteenlopende perspectieven gaat kan het wenselijk zijn om individuele gesprekken te voeren.
Voor dit jaar hebben we, vanwege de coronapandemie, vooral individuele verkennende gesprekken gevoerd en feedback digitaal opgehaald, in een groepsgesprek of in tekstuele vorm.
Begeleiding en extern advies
Om de kwaliteit van het proces en de resultaten in het oog te houden is er bij de start van het pilottraject in 2020 een begeleidingscommissie ingesteld. Deze commissie heeft, in een licht aangepaste bezetting, ook in 2021 toegezien op de kwaliteit van de gemaakte keuzes en ons strategisch geadviseerd. De commissie is als volgt samengesteld:
- Sigrid Hemels, hoogleraar belastingrecht, Erasmus Universiteit Rotterdam (voorzitter);
- Koen van Eijck, hoogleraar cultuursociologie, Erasmus Universiteit Rotterdam;
- Marcelle Hendrickx, wethouder cultuur, gemeente Tilburg;
- Sarah Malko, bestuurssecretaris Mondriaanfonds;
- Cristianne Mattijssen, directeur Erfgoed en Media, ministerie van OCW;
- Hugo van der Poel, directeur Mulier Instituut;
- Marianne Versteegh, algemeen secretaris Kunsten ’92;
- Jakob van der Waarden, directeur Raad voor Cultuur.
In aanvulling daarop organiseert de Boekmanstichting vanaf 2021 de volgende meer gelaagde en inhoudelijke vormen van raadpleging en afstemming:
- Periodiek overleg vanuit methodologisch perspectief, twee keer per jaar. Dit overleg vindt plaats met een selectie van circa vijf methodologische experts. Zij vormen de klankbordgroep methodologie. Voor 2021 hebben Andries van den Broek (SCP), Kim Joostens (CBS), Giselinde Kuipers (KU Leuven), Claartje Rasterhoff (Maastricht University), Joris Veerbeek (Universiteit Utrecht) en Henk Vinken (Pyrrhula Research Consultants B.V.) toegezegd.
- Periodiek overleg op domeinniveau. Op maat worden hiervoor individuele gesprekken of focusgroepen met werkenden en experts in een domein organiseert.
Interne verantwoordelijkheden
Het team van onderzoekers dat in 2021 aan de realisatie van de Cultuurmonitor werkt bestaat uit: Rogier Brom, Thomas van Gaalen, Maartje Goedhart, Maxime van Haeren, Janna Michael, Shomara Roosblad, Bjorn Schrijen en Sabine Zwart.
Iedere onderzoeker is verantwoordelijk voor zijn of haar eigen domein(en) of thema(‘s). Dit betekent ook dat hij of zij zelf relevante presentaties bijwoont, actief deelneemt aan netwerkbijeenkomsten en een eigen netwerk opbouwt en onderhoudt.
Janna Michael is als projectleider verantwoordelijk voor de inhoudelijke ontwikkeling en coördinatie van de technische realisatie van de online database en jaarpublicatie. Daarnaast voert zij overleg met externe partijen, gericht op het maken van afspraken over gecoördineerde gegevensverzameling.
Rogier Brom is verantwoordelijk voor de coördinatie en uitvoering van de verschillende (onderzoeks)programma’s en projecten binnen de Boekmanstichting en verantwoordelijk voor de planning van onderzoek.
Jan Jaap Knol is als directeur van de Boekmanstichting betrokken bij de ontwikkeling van de strategie.
In 2021 deelden Rogier Brom, Jan Jaap Knol en Janna Michael de coördinatie van de vergaderingen van de begeleidingscommissie en overige adviesgroepen in het kader van de Cultuurmonitor.
Delen
Centrale vraag: hoe zorgen we ervoor dat de kennis gebruikt word als voeding voor nieuwe ontwikkelingen in de sector?
Actieve ontsluiting
Kennis ontsluiten we actief via de publicaties op de website van de Cultuurmonitor, alsook via de diverse communicatiekanalen van de Boekmanstichting.
Hiernaast delen we onze bevindingen met de sector – bijvoorbeeld tijdens evenementen en presentaties. Zo gebruiken we conferenties en jaarcongressen van branches om over ons onderzoek in gesprek te gaan door presentaties en informele uitwisseling. Onze onderzoekers zijn actief lid van onderzoeksnetwerken zoals het Platform Cultuurstatistici, de Landelijke Werkgroep Cultuurbeleid, het Compendium of Cultural Policies and Trends, de European Sociological Association, Cultural Sociology Lowlands en het Onderzoeksnetwerk cultuur in onderwijs, vrije tijd en beleid van het LKCA. Hier presenteren we ons onderzoek en verzamelen we nieuwe input. Ook met onze netwerken in de verschillende domeinen delen we ons werk actief.
Transparantie
We leggen onze methodologie zo transparant mogelijk uit zodat gebruikers gezette stappen in het verzamelen en bewerken van gegevens kunnen volgen en indien gewenst kunnen reproduceren. Met toestemming vermelden we de namen van gesprekspartners die input en feedback op een rapportage hebben geleverd. Op deze manier is het ook voor gebruikers duidelijk waar onze informatie vandaan komt, wie er meegedacht hebben en kunnen we nieuwe gesprekken aangaan wanneer belangrijke perspectieven ontbreken.
Toegankelijkheid
Toegankelijkheid van kennis en data is een belangrijk uitgangspunt voor de Cultuurmonitor. We oriënteren ons daarnaast op de richtlijnen voor digitale websitetoegankelijkheid.
Toetsing
We toetsen het gebruik van de Cultuurmonitor door bezoekersaantallen van en de leesduur op deze website via Google Analytics te volgen. Hiernaast tracken we citaties van onze rapportages via een Google-alert. Ook werken we met kwalitatieve en kwantitatieve gebruikersevaluaties.