Aan de slag met monitoring en evaluatie: tips en producten ter ondersteuning

Begin op tijd met het maken van een M&E-plan

Het is belangrijk om tijdig na te denken over monitoring en evaluatie (M&E), zodat je van tevoren weet waarom je wilt meten, wat je wilt meten en wie en wat je daarbij nodig hebt. Het is essentieel om eerst stil te staan bij de doelen die je hebt. Het gaat dan zowel om de vraag welk doel je hebt met je activiteiten als om de vraag wat je doel met M&E is. Bedenk voor wie en waarom je M&E wil doen. Dat kan bijvoorbeeld zijn om te verantwoorden, te leren, anderen te enthousiasmeren of te vergelijken^[1].

Hoe beter je zicht hebt op je doelen, hoe beter je kunt bepalen wat je moet gaan meten.

Deze producten helpen je bij het maken van een M&E-plan:

• De Handreiking Inzicht in impact voor teamleiders buurtsportcoaches is ontwikkeld voor teamleiders van buurtsportcoaches. In de handreiking wordt uitgelegd hoe je monitoring op een haalbare en effectieve manier inricht en wat je moet doen voordat je kunt meten. Met kort en krachtig de belangrijkste aandachtspunten en stappen. Van tips voor de koppeling van activiteiten aan de gemeentelijke doelstellingen tot suggesties over de inzet van bestaande instrumenten.
• De Monitoring- en Evaluatiewijzer Sport en Bewegen is een stappenplan met uitleg, hulpmiddelen en tips voor monitoring en evaluatie van lokaal sport- en beweegbeleid. Het ondersteunt beleidsmakers zodat zij het gevoerde beleid of de gevolgde strategie kunnen beoordelen en bijsturen.

Bedenk hoe je activiteiten en doelen samenhangen

Met je beleid, interventie of activiteiten heb je bepaalde doelen voor ogen. Het helpt om te bepalen wat je acties moeten opleveren. Op die manier weet je beter wat je kunt gaan meten om te bepalen of je doelen behaald hebt. Beschrijf daarom de samenhang tussen de input, throughput, output en outcome.

• Input: de bronnen die nodig zijn om activiteiten te ondernemen, zoals tijd, geld, inzet van een netwerk en beschikbare ruimtes.
• Throughput: dit zijn de activiteiten die je doet (in het geval van een beleid of interventie, is het aan te raden deze op te splitsen in verschillende activiteiten). 
• Output: de resultaten van je activiteiten, zoals het aantal deelnemers, de tevredenheid van deelnemers, het percentage van de doelgroep die je bereikt of wenst te bereiken. Het gaat hierbij zowel om cijfers als ervaringen.
• Outcome: de beoogde effecten, het verschil dat je wilt maken. Bijvoorbeeld het aantal mensen dat aan de beweegrichtlijnen voldoet of verandering in kwaliteit van leven. Er is onderscheid te maken in effecten op korte termijn (bijvoorbeeld: deelnemers ervaren minder barrières om te bewegen), middellange termijn (bijvoorbeeld: deelnemers bewegen vaker) en effecten die je pas op lange termijn verwacht te zien (bijvoorbeeld: deelnemers hebben een betere gezondheid).

Maak waar mogelijk gebruik van data die er al zijn

Het is niet altijd nodig om zelf data te verzamelen. Sommige gegevens zijn voor jouw gemeente of wijk al verzameld in bijvoorbeeld de gezondheidsmonitors. En misschien worden er door jouw collega’s of door jezelf tijdens het werk al bepaalde gegevens geregistreerd waar je gebruik van kunt maken. Let er dan wel op of je toestemming hebt om deze gegevens daarvoor te gebruiken.

Deze producten geven inzicht in welke data er al zijn:

• De handreiking Werken met (lokale) data in de sport is bestemd voor iedereen die met lokaal sport- en beweegbeleid aan de slag gaat. Het biedt handvatten en bronnen om passende lokale data te vinden en te benutten.
• Op de website Werken met indicatoren voor sport- en beweegbeleid is een overzicht te vinden van beschikbare data binnen verschillende thema’s voor het sport- en beweegbeleid. Op de site staat onder meer aangegeven waar de cijfers te vinden zijn (op landelijk en/of lokaal niveau) en de (standaard)methode voor het verzamelen van data. 

Kijk ook naar het proces, niet alleen naar het effect

Natuurlijk is het belangrijk om inzicht te krijgen in het effect van jouw beleid, interventie of activiteiten, maar het is ook waardevol om te weten hoe het proces is verlopen. Inzicht in het proces helpt om te begrijpen waarom je bepaalde effecten hebt gevonden en om te leren wat er volgende keer beter kan. Proces- en effectevaluaties hebben een verschillend doel, maar zijn een goede aanvulling op elkaar. 

Deze producten helpen je bij het evalueren van het proces en het effect:

• MEIVO is een digitaal hulpmiddel om het proces van sport-en beweegprojecten te evalueren. Het instrument bestaat uit kant en klare vragenlijsten voor deelnemers, projectleiders en trainers die vooraf, tussentijds en achteraf dienen te worden ingevuld. Het geeft inzicht in de succesfactoren en knelpunten van het project en de ervaringen van deelnemers.
• De Sport & Bewegen Impactwijzer is juist een handig hulpmiddel bij effectevaluaties. De impactwijzer helpt bij het vaststellen van de impact van sport- en beweegprojecten aan de hand van een stappenplan, verdiepende theorie, handige tips en goede voorbeelden uit de praktijk. Je gebruikt de Impactwijzer als je wilt leren welke impact je kunt meten, hoe de impact van jouw sport- en beweegproject tot stand komt en op welke manier deze vergroot kan worden. 

Maak gebruik van tellen en vertellen 

Idealiter maak je gebruik van zowel ‘tellen’ als ‘vertellen’. Tellen maakt het mogelijk om in cijfers aan te geven wat iets heeft opgeleverd. Vertellen helpt juist meer gedetailleerd te beschrijven hoe iets is ervaren en helpt bovendien duiding te geven aan cijfers. Informatie ophalen om te vertellen doe je door middel van kwalitatieve methoden, zoals een interview en een focusgroepgesprek. Om te tellen gebruik je kwantitatieve methoden, zoals een vragenlijst. 

Dit product geeft inzicht in hoe je informatie kunt verzamelen om te ‘vertellen’:

• De handleiding kwalitatief onderzoek kan helpen bij het voorbereiden en doen van kwalitatief onderzoek. 

Maak keuzes, hou het haalbaar

Voor monitoring en evaluatie is het ook belangrijk om keuzes te maken. Het moet wel haalbaar blijven voor alle betrokkenen. Het verzamelen van data kost immers tijd en deelnemers zitten ook niet te wachten op lange vragenlijsten. Je kunt het haalbaar houden door selectief te zijn in welke informatie je echt nodig hebt. Ook kun je ervoor kiezen om een aantal specifieke activiteiten in meer detail te evalueren en andere activiteiten minder uitgebreid. Houd daarbij ook voor ogen wat je ook alweer wilt bereiken met je monitoring en evaluatie. Als je doel van M&E is om te leren, wil je misschien andere data verzamelen dan wanneer je ermee wilt verantwoorden.

Aanvullende tips

• Wees reëel in welke uitkomsten daadwerkelijk zijn toe te schrijven aan je activiteiten. Hou rekening met andere factoren die je uitkomsten beïnvloed kunnen hebben (bijvoorbeeld andere activiteiten of maatregelen).
• Haal ervaringen op van verschillende stakeholders (bijvoorbeeld uitvoerders en deelnemers).
• Probeer je meetinstrumenten eerst uit (pre-testen). Zo kom je erachter of jouw vragen worden begrepen zoals jij ze hebt bedoeld, en of het haalbaar is voor alle betrokkenen.
• Voor hulp bij evaluatie, kan het waardevol zijn de samenwerking op te zoeken met onderzoekspartijen.

Deze tips zijn afkomstig uit verschillende M&E-producten en gesprekken met M&E-specialisten van andere kennisinstituten.

Heb je aanvullende tips, vragen of wil je jouw goede voorbeelden met ons delen? Neem dan contact op met Sandra Bukman of Martina Hoogendoorn.