Boeksamenvatting bij Wat is onderzoek? Praktijkboek voor methoden en technieken - Verhoeven - 4e druk


Onderzoek doen - Wat is de functie van onderzoek? (1)

Onderzoek volgt de volgende cyclus: ontwerpen, verzamelen, analyseren en evalueren. In deze samenvatting worden deze fasen van onderzoek in verschillende hoofdstukken behandeld: Deel B behandelt de ontwerpfase, Deel C de verzamelfase, Deel D de analysefase en deel E de evaluatiefase.

Je kunt je onderzoek beschouwen als een onderzoeksreis, zoals Bill Trochim (Verhoeven, 2010, p. 16) uitlegt aan de hand van zijn onderzoeksweg. Deze weg bestaat uit de verschillende fasen: ontwerp, uitvoering (verzamelen en analyseren) en evaluatie. Deze fasen zijn onderling afhankelijk; ze staan niet los van elkaar. Hij bedoelt daarmee dat je altijd kritisch naar je eigen werk moet kijken; tijdens het ontwerp en de uitvoering van je onderzoek evalueer je je eigen werk en ga je eventueel een stap terug als dat nodig is. Onderzoeken leer je door het te doen. Je kunt in een boek informatie opdoen over de verschillende fasen van een onderzoek, maar in de praktijk zul je deze vaardigheden en kennis moeten leren combineren en toepassen.

Niet iedereen die iets onderzoekt is een echte onderzoeker. Onderzoekers onderscheiden zich op basis van drie kenmerken van niet-onderzoekers: kennis, houding en vaardigheid. Onderzoekers hebben kennis van onderzoeksmethoden, en kennis van het onderwerp dat ze onderzoeken. Een onderzoeker moet een onafhankelijke houding hebben; een onderzoeker laat zich niet onterecht beïnvloeden door anderen, bijvoorbeeld uit gemakzucht, vanwege loyaliteit of zelfs door omkoping. Onderzoekers ontwikkelen vaardigheid in het doen van onderzoek door ervaring. Ook hiermee onderscheiden zij zich van niet-onderzoekers.

Er zijn twee typen onderzoek: fundamenteel onderzoek en praktijkgericht onderzoek. In fundamenteel onderzoek wordt een vraag over een wetenschappelijke theorie beantwoord. Praktijkgericht onderzoek beantwoordt een vraag uit de maatschappij; de dagelijkse praktijk. Daarmee is fundamenteel onderzoek vaker wetenschappelijk relevant, en praktijkgericht onderzoek vaker maatschappelijk relevant. Natuurlijk zijn er ook onderzoeksvragen denkbaar die zowel wetenschappelijk als maatschappelijk relevant zijn.

Een ander onderscheid dat gemaakt wordt is tussen kwalitatief en kwantitatief onderzoek. Bij kwalitatief onderzoek wordt onderzoek uitgevoerd in het veld; het gaat dan vooral om de betekenis die personen aan bepaalde situaties geven. Er wordt niet of nauwelijks met kwantitatieve (cijfermatige) gegevens gewerkt. Bij kwantitatief onderzoek wordt gebruik gemaakt van cijfermatige gegevens over personen, objecten en organisaties. Deze numerieke gegevens kunnen dan gebruikt worden in statistische analyses, waarmee betrouwbare uitspraken kunnen worden gedaan over het geheel. Kwantitatieve methoden worden vaak geprefereerd, uitgaande van het principe ‘meten is weten’. Onderzoekers die gebruik maken van kwalitatieve methoden zijn echter van mening dat cijfers niet voldoende diepgang bieden, en de betekenis die mensen aan bepaalde zaken geven daarmee verloren gaat. Daarom is er ook vaak sprake van een combinatie van kwalitatieve en kwantitatieve onderzoeksmethoden. Dit wordt ook wel triangulatie genoemd.

Er zijn verschillende stromingen van onderzoek. Hier worden de drie bekendste besproken:

  1. Empirisch-analytisch onderzoek: Objectief onderzoek dat uitgaat van een beheerste onderzoekssituatie. Het onderzoek moet herhaalbaar en controleerbaar zijn. Kwantitatieve onderzoeksmethoden, zoals het experiment en survey onderzoek zijn methoden die binnen deze stroming passen. Fundamenteel onderzoek wordt meestal op deze manier verricht.

  2. Interpretatief onderzoek: Onderzoek waarbij de nadruk ligt op de interpretatie van gegevens. De ervaringen en opvattingen van personen staan centraal in het onderzoek. Kwalitatieve onderzoeksmethoden, zoals het interview en (participerende) observatie zijn methoden die binnen deze stroming passen. Praktijkgericht onderzoek wordt meestal op deze manier verricht.

  3. Kritisch-emancipatorisch onderzoek: Deze onderzoeksstroming is niet uitgesproken kwalitatief of kwantitatief. Het uitgangspunt is betrokkenheid bij de samenleving. Door kritisch naar de eigen onderzoeksresultaten en naar de maatschappij te kijken wordt geprobeerd veranderingsprocessen in gang te zetten. Onderzoekers in deze stroming willen bijdragen aan de emancipatie van bepaalde groepen.

Er zijn een aantal kwaliteitscriteria die een rol spelen bij het doen van onderzoek. Deze regels navolgen draagt bij aan je wetenschappelijke houding. Belangrijke criteria zijn:

  • Onafhankelijkheid. Onderzoek moet onafhankelijk zijn; niet beïnvloed door de betrokkenen of door je eigen voorkeuren. Daarom wordt vaak gesteld dat onderzoek intersubjectief moet zijn: onderzoekers zijn het met elkaar eens over de resultaten. Onderzoek moet dus herhaalbaar zijn, en leiden tot overeenstemming tussen onderzoekers over de resultaten.

  • Toetsbaarheid. Uitspraken over zaken moeten toetsbaar zijn. In andere woorden, onderzoek moet weerlegbaar zijn: een hypothese moet door onderzoek weerlegd, of juist bevestigd, kunnen worden.

  • Generaliseerbaarheid. Onderzoek probeert met de resultaten uitspraken te doen over een zo groot mogelijke groep personen of objecten. Door middel van een steekproef of een experiment wordt een deel van de werkelijkheid geanalyseerd, met als doel deze resultaten te generaliseren naar de grotere populatie. Daarmee is de informativiteit van je onderzoek groot. Om te kunnen generaliseren moet je onderwerp wel nauwkeurig geformuleerd worden: daarom moet je je onderwerp goed afbakenen naar tijd, ruimte, definitie en perspectief.

Daarnaast moet onderzoek efficiënt uitgevoerd worden en bruikbaar zijn.

Tijdens je onderzoek doorloop je aantal onderzoeksfasen. Aan het eind van elke fase worden een aantal vragen beantwoord, maar vaak ook nieuwe vragen opgeworpen. Vandaar dat er ook vaak gesproken wordt over een onderzoekscyclus. Tijdens het onderzoek doorloop je de verschillende fasen meerdere keren; je kijkt terug en vooruit en evalueert ook tijdens het ontwerp en de uitvoering van het onderzoek. In fundamenteel onderzoek wordt gesproken over de empirische cyclus. In praktijkonderzoek wordt gesproken over de regulatieve cyclus, omdat deze cyclus meer gericht is op beslissingen en veranderingen.

Praktijkgericht onderzoek volgt meestal de volgende fasen: probleemanalyse, onderzoeksontwerp, dataverzameling, data-analyse, rapportage. Deze cyclus is handig om in gedachten te houden tijdens het inrichten van je onderzoek.

Een aantal onderzoeksbegrippen die belangrijk zijn om te kennen, zijn:

  • Eenheden: alle objecten, elementen, personen, of organisaties waarop je onderzoek betrekking heeft.

  • Onderzoeksdomein: het gebied waar je onderzoek op gericht is; alle eenheden tezamen.

  • Populatie: een andere term voor het totale aantal eenheden; een populatie kan een groep personen, maar ook een groep organisaties of elementen zijn.

  • Steekproef: een selecte groep uit de populatie. Als de steekproef volgens bepaalde regels getrokken is kunnen de resultaten later gegeneraliseerd worden naar de gehele populatie.

  • Variabelen: kenmerken van de eenheden, zoals leeftijd, temperatuur, waarde.

  • Categorieën en scores: variabelen kunnen alle mogelijke waarden aannemen. Soms worden er bepaalde categorieën aangemaakt. Als dat niet het geval is spreek je van een score.

  • Datamatrix: onderzoeksgegevens worden verzameld in een datamatrix; een werkblad waarin je scores op een bepaalde variabele voor de verschillende eenheden kunt noteren. Dit kan in cijfers (bij kwantitatief onderzoek) of in woorden (bij kwalitatief onderzoek).

  • Betrouwbaarheid: de mate waarin het onderzoek vrij is van (toevallige) fouten.

  • Validiteit: geeft aan of je onderzoek valide is; of je hebt gemeten wat je wilde weten en dat ook op de juiste manier hebt gedaan.

  • Bruikbaarheid: de resultaten van je onderzoek moeten bruikbaar zijn voor personen en organisaties.

Onderzoek doen - Ontwerpfase - Wat is de aanleiding van onderzoek? (2)

In de ontwerpfase start je met de aanleiding voor je onderzoek, de onderwerpskeuze en het afbakenen van je onderwerp.

Voor het kiezen van een onderwerp bestaan een aantal opties. Het is mogelijk dat je onderzoekskeuze gebaseerd is op een verzoek van een opdrachtgever (praktijkgericht onderzoek), of dat je een theorie gaat testen (fundamenteel onderzoek). In beide gevallen ligt het onderwerp al (gedeeltelijk) vast. Soms is het echter ook mogelijk om zelf een onderwerp aan te dragen. Dit onderwerp moet dan wel voldoen aan de voorwaarden die je opleiding stelt. De aanleiding voor onderzoek komt ofwel voort uit een praktijkprobleem (praktijkgericht onderzoek), ofwel de ambitie om kennis uit te breiden (fundamenteel onderzoek). Onderzoek kan ook zowel praktijkgericht als fundamenteel zijn.

In het geval je een onderzoek voor een opdrachtgever uitvoert zijn een aantal zaken van belang. Zorg dat je duidelijkheid hebt over de wensen van de opdrachtgever. Zorg dat je het werkelijke doel van het onderzoek boven tafel krijgt, zodat je de juiste onderzoeksvraag stelt. Als je duidelijkheid hebt gekregen over de wensen en de doelstelling van de opdrachtgever ga je zelf het onderzoek afbakenen. Je spitst het onderwerp toe op een beperkte onderzoeksvraag.

Als de onderzoeksvraag bekend is bekijk je wat de mogelijkheden en beperkingen voor het onderzoek aan. Denk hierbij aan het beschikbare budget, de beschikbare tijd, de beschikbare gegevens, het type vraag, omgevingsfactoren en het verzamelen van gegevens over de populatie.

Op basis van het gestelde doel, de afbakening van je onderwerp en de mogelijkheden voor het onderzoek schrijf je een onderzoeksvoorstel. In dit voorstel beschrijf je de vraag van de opdrachtgever, de aanleiding tot die vraag, de achterliggende doelstelling en jouw aanpak. Daarnaast presenteer je een tijdsplanning en een overzicht van budget en geplande uitgaven. Zorg dat je voorstel volledig is, zodat het ook voor derden leesbaar is. Vermeld de namen van de verschillende betrokken partijen (opdrachtgever, onderzoeker(s), etc.) en wat de taakverdeling is. Zorg dat het geheel er verzorgd en professioneel uitziet. Houd in het geval van een onderzoek in opdracht van een opdrachtgever altijd de onafhankelijkheid en objectiviteit van je onderzoek in het vizier.

De onderzoeksopdracht die je krijgt is over het algemeen breed, zoals bijvoorbeeld ‘klanttevredenheidsonderzoek’. Als je je onderwerp gaat afbakenen, zul je je ten eerste moeten oriënteren op het onderwerp, zodat je weet wat er al eerder over gezegd en geschreven is. Informatie verzamelen over het onderwerp staat centraal in je onderzoek, je doet dat tijdens je vooronderzoek en als methode om nieuwe informatie te verzamelen, door literatuuronderzoek. Informatie kun je zoeken in bibliotheken, in documentatiecentra of op internet. Er is zoveel te vinden dat het belangrijk is om specifiek te zoeken. Een aantal hulpmiddelen om naar informatie te zoeken worden hier besproken:

De Big6TM zijn zes regels om de zoekopdracht te omschrijven, op zoek te gaan naar informatie en je resultaten te evalueren:

  1. Definieer de zoekopdracht; het probleem. Formuleer een zoekvraag en ga na hoeveel je al weet, welke informatie je al hebt en welke informatie je nog moet zoeken.

  2. Kies een goede zoek strategie. Bepaal op welke manier je op zoek gaat naar informatie in relevante boeken, websites en documenten.

  3. Bepaal waar je op zoek gaat. Kies of je gaat zoeken op internet, in de bibliotheek, in databases of een combinatie daarvan.

  4. Bestudeer de informatie en bepaal wat je nodig hebt. Leg de gevonden informatie naast elkaar en selecteer de relevante stukken informatie voor jouw onderzoek.

  5. Organiseer de informatie. Zorg dat de informatie antwoord geeft op je onderzoeksvraag. Orden de informatie op relevantie.

  6. Evalueer de gevonden informatie. Heb je genoeg informatie verzameld om je vragen te beantwoorden, of heb je nog meer informatie nodig?

Als je gaat zoeken in een (wetenschappelijke) zoekmachine op internet is het raadzaam een aantal aanwijzingen op te volgen. Maak je zoekopdracht zo specifiek mogelijk, door zinsnedes tussen aanhalingstekens te zetten of +/– tekens te gebruiken. Maak gebruik van ‘geavanceerd zoeken’, waar je meer zoekcriteria kunt toevoegen. Zoek op zinsnede in plaats van op losse woorden. Of vervang een deel van een woord door *, zoals bijvoorbeeld computer*; hiermee zoekt de zoekmachine woorden die met computer beginnen, maar verschillend eindigen, zoals computerprogramma, computertaal, etc.

Je kunt gevonden informatie ordenen in een logboek. Een logboek is een soort dagboek waarin je kunt bijhouden wat je hebt gevonden en dit kunt ordenen naar inhoud, proces of in chronologische volgorde. Handige programma’s om een logboek in aan te maken zijn Excel of MS Project. In deze programma’s kun je een tijdpad opnemen, gegevens overzichtelijk weergeven en eventueel figuren en tabellen gebruiken. Houd je vorderingen bij en schrijf op wat je doet met betrekking tot je tijdsplanning, het proces, de inhoud, de methodes die je gebruikt en de keuzes die je maakt. Ook argumenten, ideeën, interpretatiemogelijkheden en terugkoppelingen naar de vraagstelling kun je in je logboek opnemen.

Onderzoek doen - Ontwerpfase - Hoe baken je onderzoek af? (3)

De ontwerpfase is op te delen in verschillende subfasen:

  1. Oriënteren: van idee naar onderwerp;

  2. Omschrijven: probleemomschrijving en onderzoeksvragen;

  3. Vaststellen: onderzoekstype en onderzoeksmethoden vastleggen;

  4. Plannen: het onderzoek plannen en de rapportage.

Subfasen van de ontwerpfase

In de praktijk volgen deze fasen elkaar overigens niet altijd chronologisch op, meestal lopen ze door elkaar. Wel is het belangrijk dat de afbakening voor de dataverzameling vaststaat en dat de dataverzameling compleet is voor met de analyse gestart wordt. Verslaglegging vindt parallel plaats aan de uitvoer van het onderzoek.

Tijdens het oriënteren op het onderwerp van je onderzoek heb je het globale onderwerp teruggebracht tot één kernprobleem, dat in een aantal woorden of een zin is samen te vatten. Met de informatie die je hebt verzameld tijdens het oriënteren in je vooronderzoek kun je nu zelf in je eigen onderzoek aan de slag gaan.

Om tot de probleembeschrijving te komen kun je gebruikmaken van de 5W’s+H-formule (Wat? Wie? Wanneer? Waarom? Waar? + Hoe?). Nog makkelijker te onthouden zijn de 6 W’s:

  • Wat is het probleem?

  • Wie heeft het probleem?

  • Wanneer is het probleem ontstaan?

  • Waarom is het een probleem?

  • Waar doet het probleem zich voor?

  • Wat is de aanleiding?

Probleemomschrijving

De probleemomschrijving bestaat uit twee delen: de doelstelling van het onderzoek en de probleemstelling, ook wel de centrale vraagstelling of hoofdvraag genoemd. Omdat er vele vragen worden gesteld gedurende het onderzoek is het het duidelijkst om te spreken van probleemstelling als je naar de hoofdvraag refereert.

Doel- en probleemstelling

In de doelstelling beschrijf je de redenen om het onderzoek uit te voeren. Dit kunnen zowel fundamentele doelen als de doelen van je opdrachtgever zijn. Een doelstelling bestaat uit: een centrale formulering, de aanduiding van het onderzoekstype, de aanduiding van de relevantie en vermelding van de doelen en wensen van de opdrachtgever.

Een goede probleemstelling voldoet aan de volgende voorwaarden: 1) samenhang met de doelstelling, 2) opgesplitst in deelvragen, 3) specifieke onderzoeksvragen, en 4) relatie met de verwachtingen. Daarnaast moet de probleemstelling volledig en doelvrij zijn. Met doelvrij wordt bedoeld dat de probleemstelling onafhankelijk en objectief moet zijn.

Een goede probleemstelling is in vraagvorm opgezet. De vraag bevat de volgende onderdelen: welke kennis, over wie, over welke periode, en bevat de belangrijkste begrippen. Er zijn verschillende vraagtypen. Afhankelijk van de probleemstelling wil je iets beschrijven, definiëren, verklaren, voorspellen, vergelijken, evalueren, voorschrijven of een ontwikkeling volgen. Meestal is de probleemstelling een vrij lange zin, omdat er meerdere vraagtypen in gevat moeten worden. Een probleemstelling bestaat vaak uit een hoofdzin (bijvoorbeeld de beschrijvende vraag), en een bijzin (bijvoorbeeld de verklarende vraag). Een simpel voorbeeld is: Welke invloed heeft X op Y, en hoe is deze invloed te verklaren?

Vanuit een brede, algemene probleemstelling kan worden toegewerkt naar specifieke deelvragen door de centrale vraag op te splitsen naar een aantal aspecten, zoals doelgroep, eenheden, onderwerpen. Verschuren en Doorewaard (1998 in Verhoeven, 2010, p. 74) noemen dit ‘rafelen en rasteren’. Een handig instrument om dit te doen is het maken van boomdiagram, waarbij je de centrale vraag steeds verder opsplitst, en daardoor specifiekere vragen creëert.

Na het bepalen van de doelstelling, probleemstelling en specifieke deelvragen is het van belang om de begrippen die centraal staan in het onderzoek te definiëren. Het definiëren en afbakenen van begrippen is van belang om een aantal redenen: de betekenis van het begrip is helder, de grenzen van je onderzoek – wat je wel en niet onderzoekt – zijn duidelijk, het geeft duidelijkheid over welke informatie verzameld moet worden in het onderzoek. Definities kunnen uit wetenschappelijke literatuur overgenomen worden, maar kun je ook speciaal voor je eigen onderzoek opstellen. Dit zijn zogenaamde stipulatieve definities en nemen vaak de volgende vorm aan: ‘In dit onderzoek wordt onder begrip X verstaan ...’.

In de probleemstelling presenteer je het domein van je onderzoek; waarover je uitspraken gaat doen, alsmede de bewering; welke uitspraken je doet. Terugkomend op de vraag hierboven is Y het domein, en de invloed van X de bewering.

Hypothese

De verwachting dat X een invloed zal hebben op Y heet een hypothese. In een hypothese beschrijf je de verwachtingen die je hebt als je aan het onderzoek begint. Deze hypothesen komen niet uit de lucht vallen; je baseert ze op argumenten uit de literatuur. Hypothesen zijn toetsbare uitspraken. Je toetst ze door middel van kwantitatieve analyses van de data die je binnen je steekproef verzamelt. Als je zeker bent dat de resultaten geldig zijn voor je steekproef (significantie; meestal 95% zekerheid) dan kun je de uitspraken ook voor je populatie doen. Hier wordt later nog uitgebreid op ingegaan. Een hypothese stel je meestal op in twee delen: de nulhypothese (je verwachting) en de tegenhanger. Bijvoorbeeld H0: X heeft een invloed op Y; H1: X heeft geen invloed op Y.

Onderzoeksmodel

De verwachte uitkomsten van je onderzoek kun je ook samenvatten in een model. In zo’n model geef je aan welke relaties je verwacht tussen de begrippen. Dit kunnen zowel tweezijdige relaties (pijlpunten in beide richtingen) als eenzijdige relaties (pijlpunt in een richting) zijn. Een eenzijdige relatie wordt ook wel een causale relatie genoemd; een oorzaak-gevolg relatie: X - Y. Modelbouw is vooral bij fundamenteel onderzoek van groot belang, maar kan ook van pas komen tijdens praktijkgericht onderzoek. Dit soort modellen worden ook wel een causaal model, of conceptueel model genoemd.

De laatste stap in de ontwerpfase is het samenstellen van een onderzoeksplan. De keuze voor een bepaald onderzoeksontwerp hangt af van een aantal keuzes. Er zijn zowel theoretische als praktische overwegingen. Theoretische overwegingen zijn: kennis over een bepaalde methode, vaardigheid in een bepaalde methode, opvattingen over onderzoek (welke stroming van onderzoek), cross-sectionaal onderzoek (op één moment in de tijd) of longitudinaal onderzoek (op meerdere momenten herhaald). Praktische overwegingen zijn: hoeveel tijd er beschikbaar is, hoeveel geld er beschikbaar is, welke onderzoekseenheden beschikbaar zijn, welke mogelijkheden en beperkingen de onderzoeker heeft. Naar aanleiding van de probleemstelling is het meestal al duidelijk welke dataverzamelingsmethode gebruikt kan worden.

Onderzoeksplan

Een onderzoeksplan bestaat uit de volgende onderdelen:

  • Aanleiding voor het onderzoek

  • Probleemstelling

  • Doelstelling

  • Hypothesen en model

  • Onderzoeksontwerp en verantwoording

  • Tijdsplanning

  • Literatuurlijst

Tijdens het ontwerp van je onderzoek hou je goed in de gaten of je wel op de juiste weg bent. Zo ja, dan ga je door. Zo nee, dan ga je terug en maak je nieuwe keuzes. Met andere woorden, onderzoeksontwerp is een iteratief proces; een herhalingsproces.

Als je bepaald hebt uit welke onderdelen en activiteiten je onderzoek bestaat kun je deze gaan koppelen aan een tijdsplanning. Om een tijdsplanning te maken kijk je uit welke onderdelen je onderzoek bestaat, in welke volgorde je deze moet uitvoeren, welke prioriteit de onderdelen hebben, welke deadlines al vaststaan en op welke deadlines je invloed hebt. Aan de hand van deze factoren maak je een indeling. Vergeet niet ook wat vrije ruimte in te plannen, voor eventuele uitloop of andere onverwachte zaken.

Tijdsplanning

Je tijdsplanning kun je makkelijk invoeren in programma’s zoals MS Project en Excel. Je vult dan bijvoorbeeld de verschillende onderdelen en taken in de eerste kolom in, en zet de tijd uit op de horizontale as. Dit document wordt ook wel je logboek genoemd. Omdat je tijdens het maken van tijdsplanning moet nadenken over de structuur van je onderzoeksverslag kun je alvast een eerste versie van de inhoudsopgave in elkaar zetten.

Ook maak je een raming van de kosten: je stelt een begroting op. Het beschikbare budget hangt van veel factoren af, maar ga in deze fase in elk geval na welk bedrag beschikbaar is en of er een maximum besteedbaar bedrag is vastgesteld. Ook kun je een schatting maken van de kosten die je denkt te gaan maken. Denk hierbij aan personele kosten, kosten van drukwerk, porto, zaalhuur, etc.

Onderzoeksrapportage

Aan de rapportage van je onderzoek werk je gedurende het hele onderzoekstraject. In deze fase wordt in ieder geval het onderzoeksvoorstel en een eerste opzet voor het onderzoeksontwerp op papier gezet, en maak je een raamwerk voor je onderzoeksverslag aan de hand van de inhoudsopgave. Ook houd je zaken bij in een logboek, waar je belangrijke dingen in opneemt aan de hand van je tijdsplanning.

Onderzoeksvoorstel

Je onderzoeksvoorstel wordt beoordeeld door je docent, je opdrachtgever of collega-onderzoekers. Beoordeling door collega’s wordt ook wel peer assessment of peer examination genoemd. Er wordt beoordeeld of de onderdelen van je onderzoeksvoorstel aanwezig zijn, voldoende duidelijk zijn en logisch op elkaar volgen.

Onderzoek doen - Verzamelfase - Wat zijn verschillende onderzoeksmethoden? (4)

De keuze voor een onderzoeksmethode, of dataverzamelingsmethode, hangt af van een aantal factoren. Ten eerste hangt de keuze voor een bepaalde onderzoeksmethode af van het type onderzoek en de probleemstelling (zie voor een overzicht figuur 4.1 in Verhoeven, 2010, p. 101). Daarnaast hangt de methodekeuze af van de wensen van de opdrachtgever en eventuele bijzondere omstandigheden. Soms zijn interviews bijvoorbeeld niet toegestaan, of is het rondsturen van vragenlijsten in de zomervakantie niet wenselijk.

Kwantitatief onderzoek

Bij kwantitatief onderzoek worden numerieke gegevens verzameld. Deze worden door de onderzoeker ingevoerd in een gegevensbestand en worden met behulp van statistische technieken geanalyseerd. Zulke kwantitatieve analyses worden gebruikt bij surveyonderzoek, bij secundaire analyses, in experimenten en bij monitoring. Deze kwantitatieve onderzoeksmethoden worden hier besproken.

Surveyonderzoek

Surveyonderzoek wordt veel gebruikt om meningen, houdingen, kennis en opinies van grote groepen personen op één bepaald moment te onderzoeken. Hierbij wordt gebruikt gemaakt van een survey, ook wel enquête of vragenlijst genoemd. Surveyonderzoek is een gestructureerde methode van dataverzameling: de vraagstelling staat van te voren vast en de mogelijke antwoorden zijn vastgesteld door de onderzoeker. De antwoorden vormen de basis voor de dataset die later gebruikt wordt voor de kwantitatieve analyse. Open vragen worden tot een minimum beperkt, deze kunnen namelijk niet in de kwantitatieve analyse gebruikt worden. Er wordt vaak gebruikt gemaakt van antwoordschalen, waarin de antwoorden meestal lopen van ‘helemaal niet mee eens tot helemaal mee eens’; zogenaamde Likertschalen. De personen die deelnemen aan het onderzoek worden respondenten genoemd. De respondenten in een surveyonderzoek zijn onderdeel van de steekproef; een deel van de populatie die je onderzoekt. Deze steekproef wordt idealiter willekeurig (aselect) samengesteld; iedere persoon uit de populatie heeft evenveel kans om mee te doen.

Surveyonderzoek wordt gebruikt om beschrijvende en verklarende onderzoeksvragen te beantwoorden. Een nadeel van surveyonderzoek is dat de context waarbinnen antwoorden gegeven worden onbekend blijft. Er kan niet worden achterhaald, of worden doorgevraagd, waarom een respondent een bepaald antwoord geeft. Surveyonderzoek kan op verschillende manieren: schriftelijke enquêtes, telefonische enquêtes, persoonlijke enquêtes, internetenquêtes en panelenquêtes. Als de steekproef aselect is getrokken en belangrijke kenmerken deelt met de populatie, en dus een goede afspiegeling van het geheel vormt, dan wordt er gesproken over een representatieve steekproef. Is een steekproef representatief dan mogen de conclusies uit de analyses gegeneraliseerd worden naar de gehele populatie.

Secundaire analyse

Als je onderzoek doet met bestaande datasets wordt er gesproken van secundaire analyse. Je gebruikt bestaande datasets om een andere vraag te beantwoorden. Secundaire analyse wordt ook wel kwantitatief bureauonderzoek genoemd. Er zijn verschillende argumenten om secundaire analyse te gebruiken als onderzoeksmethode: tijdwinst, geldbesparing, beschikbaarheid van data en bruikbaarheid.

Nadelen van secundaire analyse zijn dat je geen invloed hebt op de samenstelling van de data en dat je eventuele gemaakte fouten overneemt. Meta-analyse is een toepassing binnen secundaire analyse. Er wordt een heranalyse gemaakt van een groot aantal bestanden over een bepaald onderwerp, om door vergelijking tot diepere inzichten te komen.

Experimenteel onderzoek

Het doen van experimenten richt zich altijd op een effectmeting: het onderzoeken van een causaal verband, een oorzaak-gevolg relatie. Experimenteel onderzoek wordt in de sociale wetenschappen vooral door psychologen gebruikt, en is daarnaast een belangrijke onderzoeksmethode in de medische en natuurwetenschappen. In een experiment wordt een situatie gecreëerd, zodat de situatie geheel onder controle is. Op deze manier kan de experimentele variabele geïsoleerd worden onderzocht. In het voorbeeld X → Y is X de experimentele variabele (ook wel onafhankelijke of oorzaakvariabele genoemd), en Y de afhankelijke of gevolgvariabele. De omstandigheden van het experiment moeten iedere keer dat het experiment herhaald wordt precies hetzelfde zijn. Het experiment moet zogezegd zuiver zijn, zodat met zekerheid gezegd kan worden dat het gevonden effect wordt veroorzaakt door de experimentele variabele. In zo’n geval wordt gesproken van een hoge interne validiteit; je weet zeker dat het effect niet door een andere variabele wordt veroorzaakt. Voor een zuiver experiment moet in ieder geval één experimentele groep en één controlegroep onderzocht zijn. Bij een experiment is de samenstelling van de groep proefpersonen van groot belang. Ze moeten een aantal kenmerken gemeen hebben. De indeling van proefpersonen in de experimentele en controle groep vindt vooral plaats op basis van toeval: ook wel randomisatie genoemd. Dit is de tweede vereiste voor een zuiver experiment. Een zuiver experiment vereist dus een situatie vrij van omgevingsinvloeden, met een controle- en een experimentele groep en willekeurige selectie van personen.

Om het effect van een medicijn te testen is een controlegroep vereist, zodat een verbetering van de situatie met zekerheid aan de werking van het medicijn kan worden toegewezen. Er is echter ook de mogelijkheid dat het placebo-effect in werking treedt: soms voelen mensen zich beter door de gedachte dat ze een medicijn toegediend krijgen. Daarom wordt bij het testen van medicijnen vaak blind getest: de proefpersonen weten dan niet of ze een echt medicijn of een placebo toegediend krijgen. Er is sprake van een dubbelblind experiment als ook de onderzoeker niet weet wie een echt medicijn toegediend krijgt en wie een placebo krijgt; de onderzoeker kan namelijk ook last hebben van een placebo-effect en de verwachtingen (onbewust) overdragen op de proefpersonen.

Soms is het niet mogelijk om de proefpersonen aselect in te delen. Als je gebruikt maakt van al bestaande indelingen (bijvoorbeeld een schoolklas), dan wordt een experiment een quasi-experiment genoemd.

Er bestaan verschillende soorten experimenteel onderzoek. Zo kun je aan het begin van je experiment een nulmeting of voormeting verrichten, en na afloop van het experiment het verschil meten door middel van een nameting. Je kunt ook alleen een nameting doen, en door twee verschillende groepen (de experimentele groep en de controlegroep) te meten de verschillen, veroorzaakt door de experimentele variabele, inzichtelijk maken. Het is niet altijd mogelijk om een controlegroep te hebben. Als je bijvoorbeeld de werking van een medicijn tegen depressiviteit wilt onderzoeken wordt het niet ethisch geacht om een deel van de depressieve proefpersonen een placebo te geven.

In zo’n geval moet het onderzoek zonder controlegroep uitgevoerd worden. Een experiment met een voor- en nameting kan dan uitkomst bieden.

Er zijn verschillende invloeden die het experiment kunnen verstoren. Eén daarvan is het zogenaamde testeffect: proefpersonen reageren anders omdat ze weten dat ze aan een onderzoek deelnemen. Ook kan de voormeting proefpersonen attent maken op de zaken die onderzocht worden in het experiment, waardoor er een versterkend effect optreedt. Om deze valkuilen te vermijden is een speciaal experiment bedacht: het Solomon four group design. Zoals de naam al zegt bestaat dit experiment uit vier groepen:

  1. De experimentele groep, die in aanraking komt met de experimentele variabele, en zowel aan de voor- als nameting meedoet;

  2. Controlegroep 1, die in aanraking komt met de experimentele variabele, en alleen aan de nameting meedoet;

  3. Controlegroep 2, die niet in aanraking komt met de experimentele variabele, maar zowel aan de voor- als nameting meedoet;

  4. Controlegroep 3, die niet in aanraking komt met de experimentele variabele, en alleen aan de nameting meedoet.

Een experiment vindt niet altijd plaats in een gecontroleerde omgeving; soms ook in het veld. Er wordt dan gesproken van een veldexperiment.

Monitoring

Bij monitoring worden bepaalde ontwikkelingen onderzocht. Er is sprake van monitoring als het onderzoek longitudinaal is (er wordt op verschillende momenten in de tijd onderzocht) en op ieder meetmoment dezelfde meetinstrumenten worden gebruikt; het onderzoek wordt herhaald. Bij monitoring kunnen verschillende onderzoeksmethoden gecombineerd worden, die zowel kwantitatief als kwalitatief kunnen zijn (interviews, vragenlijsten, secundaire analyse, etc.). Hierbij spelen de voor- en nadelen die bij de individuele onderzoeksmethoden al besproken zijn uiteraard weer een rol.

Onderzoek doen - Verzamelfase - Wat is kwalitatief onderzoek? (5)

Kwalitatief onderzoek gebeurt niet op basis van cijfermatige gegevens. In kwalitatief onderzoek staat de beleving van de onderzochte centraal. Er worden geen meetbare gegevens verzameld, maar uitspraken worden geïnterpreteerd. Onderzoek wordt in het veld uitgevoerd, en geeft dus inzicht in ‘echte’ situaties. Daarnaast worden onderzoekseenheden als geheel onderzocht, op holistische wijze. Er wordt onderzoek gedaan naar beleving, naar achtergronden en naar motivatie. De kwalitatieve onderzoeksmethoden die hier worden besproken zijn observatieonderzoek, open interviews, literatuuronderzoek, inhoudsanalyse en gevalsstudie (case study).

Observatieonderzoek

Observatie is de systematische waarneming van het gedrag van personen, of andere onderzoekseenheden. In het dagelijks leven observeer je allerlei soorten gedrag van anderen, in wetenschappelijk onderzoek let je alleen op de aspecten die van belang zijn voor het onderzoek. Je kunt observeren in het veld of in een speciaal ingerichte ruimte. Dat lijkt wellicht op een experiment, maar je voegt geen experimentele variabele toe, je kijkt slechts naar het al bestaande gedrag. Je kunt gestructureerd observeren, aan de hand van een lijst met gedragingen die van te voren is opgesteld, of ongestructureerd observeren, door gewoon waar te nemen wat er gebeurt.

Je kunt direct observeren, zodat de geobserveerde personen zien dat je observeert, of indirect observeren, zodat ze dit niet zien. Daaraan gerelateerd is het verschil tussen verhulde of onverhulde observatie: afhankelijk van het wel of niet inlichten van de geobserveerde personen. Tot slot is er een verschil tussen participerende observatie en observatie van een afstand. Participerende observatie is vooral gebruikelijk in de antropologie, waarbij een antropoloog meedoet aan de activiteiten van de groep personen die onderzocht wordt.

Observatie kan worden beschouwd als een wetenschappelijke onderzoeksmethode wanneer: de probleemstelling zich ervoor leent, er gedrag wordt bestudeerd, de observatie goed wordt voorbereid en uitgevoerd wordt aan de hand van een bepaalde systematiek, en wanneer er betrouwbare conclusies kunnen worden getrokken aan de hand van de observaties. Observatie wordt vaak in combinatie met andere onderzoeksmethoden gebruikt. Dit wordt triangulatie genoemd.

Een valkuil van observatie is subjectiviteit. Om ervoor te zorgen dat subjectiviteit tot een minimum wordt beperkt kan gebruik gemaakt worden van een meetprocedure. Hierbij zet je de begrippen uit de probleemomschrijving om in meetbare gedragscategorieën; je codeert de mogelijke resultaten. Als verschillende onderzoekers het eens zijn over de verschillende categorieën waar een begrip uit kan bestaan, wordt dat intersubjectiviteit genoemd; men is het eens over de interpretatie van een begrip. Een andere manier om subjectiviteit te vermijden is selectief zijn. Hiermee wordt bedoeld dat je je alleen richt op een aantal elementen van gedrag. Zo ontstaat een categorieënsysteem, zoals bijvoorbeeld Vrolijk heeft ontwikkeld voor het observeren van tweegesprekken (Vrolijk et al., 1972 in Verhoeven, 2010, p. 122).

Omdat een situatie zich maar eenmalig voordoet, kun je dezelfde situatie niet herhalen. Daarom kan het aan te raden zijn om je observatie op te nemen door middel van beeld- of geluidsopnamen, zodat je dezelfde situatie meerdere malen kunt bekijken en je eventueel op verschillende gedragingen kunt richten. Geobserveerd gedrag hou je meestal bij in een logboek, maar er zijn ook systematischere manieren. Hier worden er twee genoemd:

  1. Time sampling: er wordt een korte periode geobserveerd. Iedere zoveel seconden klinkt er een signaal en schrijf je op wat je op dat moment observeert.

  2. Event sampling: je observeert de frequentie van een type gedrag in een bepaalde tijd.

Interview

In een interview, een vraaggesprek, staat de beleving van de geïnterviewde centraal. Het doel van een interview is het verzamelen van informatie. Interviews zijn geschikt als je inzicht wilt krijgen in de beleving van een kleine groep personen. Omdat het voorbereiden, afnemen en uitwerken van interviews veel tijd kost is het interviewen van grote groepen personen meestal niet haalbaar. Interviews zijn ook geschikt om je te oriënteren op een bepaald onderwerp. Net als bij observatie is subjectiviteit een valkuil bij het doen van interviews. Om de invloed van subjectiviteit te minimaliseren kun je een interview opnemen, een vragenlijst aanhouden of werken met een topiclijst; een lijst met onderwerpen die je tijdens het interview wilt aansnijden. Er zijn gespreksvaardigheden die je jezelf kunt aanleren om objectief te blijven tijdens het interview en je niet te mengen in het gesprek.

Interviews kunnen variëren van open tot gestructureerd. Het ongestructureerde interview, ook wel open of diepte interview genoemd, is gebaseerd op één hoofdvraag of een topiclijst. Voor het halfgestructureerde, of semi-gestructureerde interview wordt gebruik gemaakt van een topiclijst en/of een aantal voorbedachte vragen. Het gestructureerde interview lijkt op een vragenlijst en kan open en gesloten vragen bevatten.

Groepsinterviews zijn ook een mogelijkheid, en kunnen verschillende vormen aannemen, van conferenties en workshops tot focusgroepinterviews, waarbij afzonderlijk over één onderwerp gesproken wordt. Hierbij speelt wel een extra dimensie een rol; het groepsproces.

Literatuuronderzoek

Literatuuronderzoek maakt deel uit van elk onderzoek. Tijdens het vooronderzoek, maar ook tijdens het vaststellen van de probleemstelling, bekijk je wat er al eerder geschreven is over het onderwerp. Literatuuronderzoek kan echter ook als dataverzamelingsmethode gebruikt worden, voor theoretische onderbouwing en bij beschrijvings- en vergelijkingsvragen.

Er zijn verschillende typen literatuur. Primaire literatuur beschrijft een onderwerp voor het eerst. In secundaire literatuur wordt verschillende primaire literatuur met elkaar in verband gebracht of worden nieuwe inzichten gerapporteerd. Grijze literatuur beslaat boeken, rapporten en verslagen die geen wetenschappelijke publicaties zijn, maar binnen een onderzoeksinstituut, overheidsinstantie of organisatie gepubliceerd zijn, zoals onderzoeksrapporten en beleidsstukken. Voor het vinden van wetenschappelijke publicaties kun je in een citation index kijken, waar elk artikel aan de hand van een aantal steekwoorden wordt beschreven. Ook kun je het abstract, een korte samenvatting, van het artikel lezen. Er bestaan ook speciale tijdschriften met een opsomming van bepaalde tijdschriften en hun inhoud. Dit wordt ook wel tertiaire literatuur genoemd.

In wetenschappelijk onderzoek is het van belang voldoende primaire en secundaire literatuur te gebruiken. Als je onderzoek voornamelijk berust op grijze literatuur zal je publicatie minder hoog worden aangeschreven.

Inhoudsanalyse en bureauresearch

Een inhoudsanalyse is een vorm van kwalitatief bureauonderzoek waarin documenten worden geanalyseerd op de betekenis van en relatie tussen veel gebruikte woorden. Deze analyse kan zo diep en uitgebreid worden als de onderzoeker wil. Taal is het uitgangspunt van de analyse. Er bestaat een kwalitatieve en een kwantitatieve variant van bureauresearch. Voor de kwalitatieve variant bepaal je welke kenmerken je onderzoekt (de variabelen) en welke categorieën je daarvoor identificeert (de aspecten). Je groepeert de gegevens die je vindt aan de hand van deze categorieën en onderzoekt daarmee relaties en betekenissen. Voor de kwantitatieve variant tel je hoe vaak een variabele voorkomt in bepaalde documenten. Hiermee kun je bijvoorbeeld de opkomst van een bepaalde term inzichtelijk maken.

Een verwante methode is tekstsociologie. Hier analyseert de onderzoeker de betekenis van woorden in autobiografische teksten, om de onderlinge relaties boven water te krijgen.

Gevalsstudie

Een gevalsstudie, of case study, is een onderzoek naar één groep of organisatie. Dit wordt ook wel N=1 onderzoek genoemd, omdat er maar één onderzoekseenheid is.

Een case kan vanalles zijn, van een school tot een gemeente. De studie vindt plaats in de natuurlijke omgeving, dus in de school of gemeente zelf. In een gevalsstudie kunnen verschillende onderzoeksmethoden worden gecombineerd, zoals observatie onderzoek, surveyonderzoek, literatuuronderzoek en interviews. Ze worden vooral in organisatie- en beleidsonderzoek gebruikt, maar hebben ook een toepassing in de psychologie, pedagogiek en medische wetenschappen. Aan de hand van een probleemanalyse wordt bijvoorbeeld een voorstel voor verbetering of verandering gedaan.

Gevalsstudie is een vorm van intensief onderzoek. Dataverzameling vindt plaats binnen de case; door middel van participerende observatie en diepte interviews. Hier tegenover staat extensief onderzoek, waarbij een case van buitenaf wordt onderzocht, bijvoorbeeld door surveyonderzoek.

Communicatieonderzoek

Communicatieonderzoek wordt hier apart besproken omdat het een afwijkend onderzoekstype is. Het is niet één onderzoeksmethode, maar een combinatie van methoden om de communicatie in organisaties te onderzoeken. Met andere woorden, communicatieonderzoek is geen onderzoeksmethode, maar een dataverzamelingsstrategie.

Communicatie is “het uitwisselen van symbolische informatie, bedoeld of onbedoeld” (Oomkes, 2000 in Verhoeven, 2010, p. 134). Communicatie kan verbaal of non-verbaal zijn. Communicatie vereist ten minste twee personen; het is een interpersoonlijk proces. Communiceren doe je via een medium, zoals internet, telefoon, geschrift, etc.

Met communicatieonderzoek kan al het onderzoek dat met communicatie te maken heeft bedoeld worden. Op die manier is het gros van het onderzoek communicatieonderzoek. Hier wordt met communicatieonderzoek bedoeld “onderzoek naar formele en informele communicatie bij organisaties” (Hogendoorn, 1999 in Verhoeven, 2010, p. 134). Communicatie speelt zich af op verschillende niveau’s, binnen en tussen organisaties.

Er zijn drie brede toepassingsgebieden in communicatieonderzoek:

  1. Je onderzoekt communicatie en verzamelt communicatiegegevens. Communicatie maakt direct deel uit van de probleem- en doelstelling van je onderzoek.

  2. Je onderzoek resulteert in aanbevelingen ten aanzien van de communicatie in een organisatie. Communicatie is één van de variabelen die het centrale thema van jouw onderzoek beïnvloedt.

  3. Je onderzoekt niet direct communicatie, maar communicatiegegevens vormen wel een onderdeel van je dataverzamelingsmethode. Communicatie als proces beïnvloedt het onderwerp van je onderzoek.

Communicatieonderzoek kan verschillende vormen aannemen. Zo kun je een communicatieplan ontwerpen, de interne communicatie van een organisatie onderzoeken, een imago- of PR-onderzoek verrichten, een communicatiecampagne ontwikkelen en evalueren, of communicatietechnieken gebruiken bij de opzet van je onderzoek.

Er bestaan een aantal methoden waarin communicatie een belangrijke rol speelt. Een voorbeeld is het Delphi-onderzoek, waarin betrokkenen en deskundigen in een aantal gespreksronden hun mening geven over een plan, maatregel of verandering.

Ook groeps- en twee-gesprekken, workshops, focusgroepen, communicatie-audits (een overzicht van de stand van zaken van communicatie binnen een organisatie) en actieonderzoek (een vorm van interventieonderzoek) zijn voorbeelden van onderzoeksmethoden waarin communicatie een belangrijke rol speelt.

Communicatieonderzoek wordt vooral gebruikt in de bedrijfskunde, marktonderzoek en public relations, maar heeft ook belangrijke toepassingen in de taalwetenschappen (onderzoek naar informatieoverdracht), bestuurs- en organisatiewetenschappen (onderzoek ter ondersteuning van beleid) en de sociale wetenschappen (onderzoek naar communicatie binnen en tussen personen, groepen en culturen).

Een variatie op het placebo-effect komt nog wel eens voor tijdens het onderzoeken van processen binnen organisaties. Door de vragen die je stelt in het kader van je onderzoek kunnen personen binnen de organisatie al anders gaan denken over zaken, waardoor bepaalde (gewenste) veranderingen al plaatsvinden tijdens je onderzoek. In dit kader wordt dit het Hawthorne-effect of testeffect genoemd.

Kiezen voor een methode

De keuze voor een onderzoeksmethode hangt altijd af van de probleemstelling, maar wordt net zo goed beïnvloed door de voorkeur van de opdrachtgever, de beschikbare tijd en budget, en de mogelijkheden en beperkingen van het onderwerp. Het belangrijkste criterium bij het kiezen van een onderzoeksmethode is dat de methode leidt tot een onafhankelijk en objectief antwoord op de probleemstelling.

Je hoeft je niet te beperken tot één onderzoeksmethode. Het combineren van verschillende (kwantitatieve en kwalitatieve) onderzoeksmethoden wordt triangulatie genoemd. Je kunt dan bijvoorbeeld kwantitatief onderzoek doen voor brede dataverzameling (bijvoorbeeld door surveyonderzoek), en daarna de diepte ingaan door gebruik te maken van een kwalitatieve methode als interviewen. Door triangulatie kun je een onderzoeksvraag van meerdere kanten belichten, maar het vereist ook meer tijd en budget.

Onderzoek doen - Verzamelfase - Hoe werk je dataverzamelingsmethoden uit? (6)

Als je een onderzoekstype hebt gekozen en je onderzoeksplan hebt uitgewerkt (en deze ook is goedgekeurd), dan is het tijd om je dataverzamelingsmethode(n) verder uit te werken. Daarvoor moeten de volgende stappen worden doorlopen:

  1. Operationaliseren van begrippen: begrippen moeten meetbaar worden gemaakt

  2. Afbakenen van je populatie en trekken van een steekproef

  3. Bespreken van de betrouwbaarheid, bruikbaarheid en zuiverheid van je resultaten

In de opzet van je onderzoek werk je van theorie naar praktijk, en word je dus gaandeweg steeds concreter. Je begint met het omschrijven van de probleemsituatie, die je concretiseert door een onderzoekbare probleem- en doelstelling te formuleren. Daarna ga je in de literatuur op zoek naar bruikbare theorieën, modellen en onderzoeksresultaten. Daarmee geef je een theoretisch antwoord op je probleemstelling, of formuleer je een hypothese. In je onderzoek ga je uitzoeken in hoeverre deze verwachtingen uitkomen. Daarvoor moet je nog concreter worden, je moet de begrippen die in je onderzoek centraal staan operationaliseren en meetinstrumenten ontwikkelen om de benodigde gegevens te verzamelen.

Twee dataverzamelingsmethoden worden hier uitgebreider beschreven: de vragenlijst en het interview. Ook wordt dieper ingegaan op het bepalen van je populatie en steekproef, en het bepalen van de betrouwbaarheid van je onderzoek.

Begrippen operationaliseren betekent dat je bepaalt welke vragen je moet stellen om een begrip daadwerkelijk te meten. Dit doe je door meetbare instrumenten te ontwikkelen. Dit zijn bijvoorbeeld de vragen in je vragenlijst, topics voor een interview, de experimentele variabele in je experiment en observatiecategorieën voor je observatieonderzoek. In deze stap ga je dus van onderzoeksvragen naar waarnemingsvragen (’t Hart et al., 1998 in Verhoeven, 2010, p. 143).

Je laat zien hoe jij een begrip bepaalt door aan te geven wat er in het algemeen onder een begrip wordt verstaan, welke definitie jij in je onderzoek hanteert, welke aspecten aan het begrip verbonden zijn en hoe het begrip vorm krijgt in een model. Voor elk aspect van een begrip wordt een aantal waarnemingsvragen ontwikkeld. Aspecten van een begrip kun je bijvoorbeeld meten door het maken van een lijst met aspecten, vaak items genoemd, die respondenten kunnen beantwoorden aan de hand van een meerpuntsschaal.

Vragenlijst

Een goede vragenlijst is bruikbaar, helder, leesbaar, niet voor meer dan één uitleg vatbaar, compleet, neutraal, en niet te lang. De vragenlijst moet de vragen bevatten die meten wat je wilt weten, niet meer, maar ook niet minder. Het is van belang dat de structuur voor alle respondenten gelijk is; de vragen en antwoorden moeten voor alle respondenten hetzelfde zijn, zodat je betrouwbare resultaten kunt genereren die gegeneraliseerd kunnen worden naar de gehele populatie. Een vragenlijst mag niet teveel open vragen bevatten, en er moet een logische volgorde in de vragen zitten. Vragen over hetzelfde onderwerp moeten bij elkaar staan en elkaar logisch opvolgen. Een korte uitleg bij de verschillende onderdelen van de vragenlijst is wenselijk.

Een aantal tips voor het ordenen van vragen in een vragenlijst zijn:

  • Begin met eenvoudige en algemene vragen

  • Ga duidelijk op je doel af

  • Zet moeilijke vragen niet op het eind, maar in het midden

  • Groepeer vragen met dezelfde categorieën, maar zorg ook voor voldoende afwisseling

De routing van je vragenlijst – de volgorde van de vragen – is ook belangrijk. Je vraagt niet over iemands echtgenoot als je nog niet gevraagd hebt of iemand getrouwd is. En je vraagt iemand niet naar een mening over een product als je niet eerst hebt gevraagd of de respondent bekend is met dat product. De eerste vraag die je stelt in dat geval (“Bent u getrouwd”, “Kent u product X?”) wordt ook wel de filtervraag genoemd.

Wees consequent in de vorm van vragen en antwoorden. Laat niet voor de ene vraag de antwoordmogelijkheden oplopen van negatief naar positief, en voor de volgende vraag teruglopen van positief naar negatief; er bestaat een grote kans dat de respondent dit soort variaties over het hoofd ziet.

Je kunt vragen stellen en stellingen poneren op verschillende manieren, en er zijn verschillende mogelijke antwoordmodellen mogelijk.

De verschillende soorten vraag- en antwoordmogelijkheden worden hier behandeld:

  • Enkelvoudig: “In welk jaar bent u geboren?” Het jaartal kan worden ingevuld.

  • Meervoudig: “In welke Nederlandse provincies heeft u gewoond?” Meerdere antwoorden mogelijk, alle antwoorden staan aangegeven.

  • Dichotoom: “Bent u getrouwd?” Er zijn maar twee antwoordmogelijkheden, in dit geval: ja of nee.

  • Schaal: “Hoe tevreden bent u met uw huidige woonplaats?” Beantwoording van deze vraag vindt plaats middels een schaal. Deze kan bijvoorbeeld opgebouwd zijn aan de hand van rapportcijfers, van 1 (zeer ontevreden) tot 10 (zeer tevreden). Als de vraag als stelling wordt geponeerd – “Ik ben tevreden met mijn huidige woonplaats” – kan beantwoording plaatsvinden aan de hand van een Likertschaal, vaak bestaande uit een 5 punts interval schaal, zoals: helemaal mee eens – mee eens – neutraal – mee oneens – helemaal mee oneens.

  • Open antwoord: “Wat zijn volgens u de pluspunten van uw huidige woonplaats?” Door respondenten vrij in te vullen.

  • Half open antwoord: “Hoe heeft u uw huidige huis gevonden?” Hierbij zijn een aantal categorieën zeer waarschijnlijk voor het merendeel van de respondenten voldoende, zoals: via de woningstichting, via een makelaar, via een website, via kennissen / familie. Toch is het mogelijk dat de juiste categorie er voor een aantal respondenten niet bijstaat. Daarvoor kun je een laatste antwoordcategorie aanmaken, de restcategorie: anders, namelijk ...

Als je iemands mening wilt weten kan het nuttig zijn om gebruik te maken van een schaal. Als je wilt meten in welke mate iemand het ergens mee eens of oneens is meet je dit op een glijdende schaal. De verschillende antwoorden worden dan opgenomen in een schaal, bestaande uit drie tot zeven (of soms zelfs meer) antwoordmogelijkheden, oplopend van negatief naar positief, of andersom. Meestal heeft een meerpuntsschaal een oneven aantal antwoordmogelijkheden, waarbij de middelste neutraal is. Een risicio hiervan is dat mensen de neutrale antwoordmogelijkheid ook gebruiken als ze het antwoord niet weten of ze geen mening hebben. Dit kan meetfouten veroorzaken. Daarom wordt soms juist een even aantal antwoordmogelijkheden gebruikt.

Goede vragen zijn helder, eenduidig (wekken geen suggestie), enkelvoudig (bevatten maar één vraag), onafhankelijk, objectief en bevatten geen dubbele ontkenning. Goede antwoorden zijn herkenbaar, uitputtend (alle mogelijke antwoorden zijn aanwezig, of er is een restcategorie), uitsluitend (geen overlap in de antwoorden), meetbaar (de antwoorden kunnen numeriek verwerkt worden) en zijn in een logische volgorde geplaatst.

Als je vragenlijst af is kun je een codeboek aanmaken. In een codeboek maak je een lijst waarop je aangeeft hoe de gemeten kenmerken – de verschillende antwoordmogelijkheden op de vragen – worden omgezet in variabelen die je gebruikt in je kwantitatieve analyse. Je kent getallen toe aan de verschillende antwoordcategorieën (zie voor een voorbeeld kader 5.7 in Verhoeven, 2010, p. 154). Voor sommige variabelen is het makkelijk een getal toe te kennen. Aantallen en maten zijn gemakkelijk numeriek te benoemen, en ook zaken als een geboortejaar is eenvoudig (bijvoorbeeld 1967). Moeilijker zijn antwoorden met verschillende categorieën. Je kunt dan bijvoorbeeld de verschillende antwoordcategorieën oplopende cijfers geven (bijvoorbeeld van 1 t/m 5), of bijvoorbeeld voor geslacht te kiezen voor: man=1, vrouw = 2. Bij meervoudige antwoorden kunnen meerdere categorieën worden aangevinkt. Daarom geef je in dit geval alle mogelijke antwoorden een zogenaamde dummy: als de categorie is aangekruist een 1, als die niet is aangekruist een 0. Elke antwoordmogelijkheid is zo een apart kenmerk geworden. Een onbeantwoorde vraag kun je ook een code geven, zodat je die gemakkelijk als ontbrekend (ook wel missing genoemd) kunt herkennen.

Interview

Bij een interview gebruik je meestal geen gestructureerde vragenlijst. Toch moet je de begrippen die je gebruikt operationaliseren, je moet immers bepalen welke informatie je wilt verzamelen. Soms wordt er tijdens het interview een half gestructureerde vragenlijst gebruikt, soms wordt er gebruik gemaakt van een topiclijst, en soms staat alleen het onderwerp vast. Interviews kunnen dan ook variëren van gestructureerd tot ongestructureerd.

Een half gestructureerde vragenlijst is een vragenlijst met zowel open als gesloten vragen. Een topiclijst is een lijst met onderwerpen die dienen als uitgangspunt voor het gesprek. Volledige vragen zijn echter niet geformuleerd. Je giet het onderwerp niet in een bepaalde vraag, omdat het in het interview gaat om de betekenis die de respondent aan het onderwerp geeft. Als het interview een andere kant op gaat dan je gehoopt had, speel daar dan op in en gebruik interviewtechnieken om de respondent bij het interview terug te brengen. Net als bij vragenlijsten kan de volgorde van vragen of onderwerpen een effect hebben op de beantwoording. Begin en eindig dus met eenvoudige vragen, en stel moeilijkere vragen in het middendeel. Het is aan te raden om je topiclijst eerst in een proefinterview uit te proberen, zodat je kunt zien of je nog iets mist of er juist iets overbodig is. Dat kun je dan nog aanpassen.

Populatie en steekproef

Als je vragenlijst of topiclijst klaar is kun je beginnen met het afnemen van je vragen of interviews. Daarvoor moet je echter wel bepalen wat je populatie en steekproef zijn. De populatie is de groep eenheden (personen, organisaties) over wie je met je onderzoek een uitspraak wilt doen; je onderzoeksdomein. Soms is de populatie nog dusdanig groot om te onderzoeken, en kun je er voor kiezen om een segment van de populatie daadwerkelijk te gaan onderzoeken. Deze deelverzameling van de populatie wordt de operationele populatie genoemd. Als bijvoorbeeld je populatie ‘havo- en vwo-leerlingen’ betreft kun je ervoor kiezen om een kleiner deel van deze populatie te nemen, bijvoorbeeld ‘havo- en vwo-leerlingen die in de tweede fase zitten’. Dit is dan je operationele populatie.

Omdat je niet iedereen uit de populatie kunt ondervragen voor je onderzoek stel je een steekproef samen. Dit is een klein deel van de populatie waarover je gegevens gaat verzamelen. Als deze groep voldoende lijkt op de populatie dan mag je de resultaten ook generaliseren naar de populatie.

Dit wordt de externe validiteit van je steekproef genoemd. Om de resultaten uit je steekproef te kunnen generaliseren naar de populatie moet wel aan een aantal regels worden voldaan:

  • De steekproef moet representatief zijn: populatie en steekproef moeten vergelijkbaar zijn met betrekking tot kenmerken die van belang zijn voor het onderzoek. In het geval van havo- en vwo-leerlingen moet bijvoorbeeld de verhouding jongens/meisjes grofweg hetzelfde zijn.

  • De steekproef moet willekeurig zijn: de steekproef moet aselect getrokken worden; elke eenheid uit de populatie moet een even grote kans hebben om gekozen te worden voor de steekproef. Op basis van de steekproefgegevens kun je een schatting maken van bepaalde eigenschappen (bijvoorbeeld de gemiddelde leeftijd) en daarmee aangeven binnen welke grenzen een bepaalde eigenschap in de populatie zal voorkomen (met bijvoorbeeld een zekerheid van 95%). Dit noemen we ook wel een betrouwbaarheidsinterval.

  • De steekproef moet voldoende groot zijn: de steekproef moet groot genoeg zijn om er statistische analyses op uit te voeren. Dit is een moeilijke regel, omdat niet duidelijk aan te geven is wat voldoende groot is. In het algemeen zijn statistische analyses mogelijk met een steekproef groter dan honderd eenheden, maar als je daarbinnen kleinere groepen gaat vergelijken kan dat alweer te weinig zijn. Kijk daarom goed naar welke groepen je wilt analyseren, hoeveel eenheden je nodig hebt voor die analyses en dus hoeveel eenheden je steekproef minimaal moet bevatten.

Als je kwantitatief onderzoek doet, maak je idealiter gebruik van een representatieve, aselect getrokken steekproef. Je bakent je (operationele) populatie af en bepaalt aan de hand van je onderzoeksvraag, onderzoeksmethode en de karakteristieken van de populatie hoe groot de steekproef moet zijn. Houd ook rekening met uitval. Als je honderd personen vraagt om mee te doen aan je onderzoek kun je er zeker van zijn dat je geen honderd vragenlijsten teruggestuurd krijgt. In het geval je zestig vragenlijsten ingevuld retour krijgt spreken we van een respons van 60%. Als je minimaal honderd ingevulde vragenlijsten nodig hebt om de uitkomsten van je onderzoek te kunnen generaliseren naar de populatie, dan moet je dus meer dan honderd vragenlijsten versturen naar de eenheden in je steekproef. Hoeveel dat er moeten zijn hangt af van de respons die je verwacht. Bij telefonische enquêtes kan de respons oplopen tot 70 of 80%, terwijl postenquêtes vaak maar een respons van 30% hebben.

Je kunt een aselecte steekproef op verschillende manieren trekken. De eerste stap is bekijken of er databestanden bestaan waarin de eenheden van je populatie opgenomen staan. Deze bestanden zijn vaak beschermd door privacywetgeving, maar het is wel mogelijk daaruit een blinde steekproef te trekken. Als zo’n bestand beschikbaar is, gebruik deze dan. Ze worden ook wel je steekproefkader genoemd. Verschillende mogelijkheden om een aselecte steekproef te trekken zijn:

  • Enkelvoudige aselecte steekproef: uit een databestand wordt door de computer willekeurig een steekproef gekozen.

  • Systematische steekproef met een aselect begin: uit een databestand of kaartenbak wordt bijvoorbeeld iedere tiende of vijftiende persoon getrokken, waarbij het begin van de trekking willekeurig bepaald wordt.

  • Clustersteekproef: wanneer er al bestaande groepen zijn binnen de populatie die qua kenmerken voldoende lijken op de gehele populatie (bijvoorbeeld een schoolklas in het geval van de populatie ‘havo- en vwo-leerlingen’) kunnen deze bestaande groepen onderzocht worden. Dit valt vaak ook positief uit voor de tijd en kosten die met het onderzoek gepaard gaan.

  • Getrapte steekproef: de basis hiervoor is de clustersteekproef, maar daarna neem je uit de clusters opnieuw een aselecte steekproef.

  • Gestratificeerde steekproef: voor je de steekproef trekt splits je de populatie op in deelpopulaties (bijvoorbeeld woonwijken in het geval je een stad onderzoekt). Deze deelpopulaties worden strata genoemd. Uit deze strata trek je een aselecte steekproef. Met deze methode kun je er voor zorgen dat bijvoorbeeld bewoners uit verschillende wijken van een stad evenredig in de steekproef vertegenwoordigd zijn.

Het is niet voor ieder onderzoek nodig of mogelijk om een aselecte steekproef te trekken. Als het doel van je onderzoek niet is om conclusies te generaliseren naar de gehele populatie, maar juist om informatie van betrokkenen of deskundigen te krijgen, dan is een aselecte steekproef niet nodig. Het kan ook dat er niet voldoende tijd of middelen beschikbaar zijn voor het uitvoeren van een aselecte steekproef. Er zijn verschillende manieren om een selecte steekproef te trekken:

  • Quotasteekproef: enquêteurs krijgen de opdracht om ieder een bepaald aantal vragenlijsten of interviews af te nemen. Deze steekproef is niet willekeurig en niet altijd representatief.

  • Zelfselectie: als proefpersonen aan bepaalde voorwaarden moeten voldoen kan een uitnodiging uitgestuurd worden waarin gevraagd wordt om personen die aan deze voorwaarden voldoen. Een voorbeeld hiervan is: mannen, boven de 30, met een goede geestelijke en fysieke gezondheid.

  • Doelgericht (purposive): als onderzoek gedaan wordt naar extreme, typische of kritische gevallen moeten deze doelgericht geselecteerd worden.

  • Praktisch bruikbaar (convenient): er wordt willekeurig gevraagd aan mensen of zij mee willen doen. Dit wordt ook wel een toevallige steekproef genoemd.

  • Sneeuwbal: als er geen databestand of ander steekproefkader beschikbaar is kun je gebruik maken van de sneeuwbalmethode, waarbij je gebruik maakt van netwerken om op zoek te gaan naar respondenten.

Onderzoekskwaliteit

De kwaliteit van onderzoek wordt beoordeeld door te kijken naar een aantal aspecten. Van belang zijn de betrouwbaarheid, validiteit, en in het geval het onderzoek voor een opdrachtgever is uitgevoerd, de bruikbaarheid. De kwaliteit van onderzoek geldt voor de verschillende onderdelen van een onderzoek: het ontwerp en de operationalisatie, het samenstellen van de steekproef en de respons, en de analyse van de resultaten.

Betrouwbaarheid

Om de betrouwbaarheid van een onderzoek te bepalen wordt nagegaan in hoeverre er toevallige fouten voorkomen in het onderzoek. Een voorwaarde voor het bepalen van de betrouwbaarheid van een onderzoek is dat het onderzoek herhaalbaar is, anders kunnen toevallige fouten niet worden opgemerkt. Als het onderzoek herhaald wordt en tot vergelijkbare resultaten (niet per sé dezelfde resultaten) leidt, dan is het onderzoek betrouwbaar.

Toevallige fouten kunnen zeer uiteenlopen, van een respondent die het antwoord op een vraag niet weet, een verkeerd kruisje zetten, tot het verkeerd overtypen van een antwoord. Het zijn over het algemeen fouten als het gevolg van menselijk handelen.

Er zijn verschillende methoden om de betrouwbaarheid van je onderzoek te vergroten:

  • Een grotere steekproef: hiermee kun je een nauwkeuriger antwoord geven.

  • Interbeoordelaarbetrouwbaarheid: de betrouwbaarheid wordt verhoogd door meerdere onderzoekers (beoordelaars) de gegevens te laten interpreteren.

  • Triangulatie: er worden meerdere dataverzamelingsmethoden gebruikt om de centrale vraagstelling te beantwoorden. Je controleert hiermee in feite de resultaten die door één dataverzamelingsmethode zijn verkregen met de resultaten van een andere dataverzamelingsmethode.

  • Test-hertest bij kwantitatief onderzoek: door methoden te herhalen kun je bekijken of dezelfde resultaten verkregen worden. Als de twee scores erg op elkaar lijken is het resultaat betrouwbaar.

  • Proefinterview: door de vragen voor je interview uit te testen kan de betrouwbaarheid van je topiclijst verhoogd worden.

  • Peer examination: het laten doorkijken of nalezen van je resultaten door collega-onderzoekers.

  • Rapportage en verantwoording: door een juiste verantwoording van je onderzoekshandelingen te presenteren kun je leren van de fouten of problemen waar je eerder tegenaan liep, en op deze manier de betrouwbaarheid van je onderzoek verhogen.

Bij kwantitatief onderzoek kun je de betrouwbaarheid van je onderzoek controleren door middel van statistische toetsen. De betrouwbaarheid van een onderzoek wordt ook aangeduid met interne consistentie.

Validiteit

Met validiteit wordt de zuiverheid of geldigheid van een onderzoek bedoeld; of er geen systematische fouten zijn gemaakt. De betrouwbaarheid van je onderzoek is een voorwaarde voor het bepalen van de validiteit van je onderzoek. Een voorbeeld van een systematische fout is het krijgen van sociaal gewenste antwoorden in plaats van het werkelijke, oprechte antwoord. Dit resulteert in een systematische vertekening van je onderzoek. De twee belangrijkste componenten van validiteit zijn de geldigheid van de meetinstrumenten en de geldigheid van de onderzoeksgroep.

Met interne validiteit wordt bedoeld dat je de juiste conclusies hebt getrokken, op basis van de onderzoeksresultaten. Juiste conclusies zijn conclusies die standhouden en die kritiek van andere onderzoeks kunnen weerstaan.

Een vorm van externe validiteit is populatievaliditeit; of je steekproef een juiste afspiegeling vormt van de populatie. Een andere vorm van validiteit is begripsvaliditeit. Hiermee wordt bedoeld of je wel ‘meet wat je wilt weten’. Er wordt bekeken of de meetinstrumenten die gebruikt zijn een betrouwbare maat zijn, zoals op een geijkte weegschaal vertrouwd kan worden.

Bruikbaarheid

Ook al laten de betrouwbaarheid en validiteit van onderzoek soms te wensen over, meestal is onderzoek toch bruikbaar voor de opdrachtgever. De onderzoeksresultaten kunnen gebruikt worden om beleid uit te stippelen of om een discussie aan te snijden. Soms ontstaan veranderingen binnen een organisatie al alleen al vanwege het feit dat er een onderzoek is gestart. Dit fenomeen wordt het Hawthorne-effect genoemd. Om de bruikbaarheid van je onderzoek te verhogen is het belangrijk om de opdrachtgever nauw bij je onderzoek te betrekken, zodat de juiste vragen gesteld worden. Ook kun je hierdoor makkelijker toegang krijgen tot deskundigen die de opdrachtgever in dienst heeft. Nauwe samenwerking met de opdrachtgever heeft vaak ook een positief effect op de betrouwbaarheid van je onderzoek.

Onderzoek doen - Verzamelfase - Hoe verzamel je gegevens? (7)

In dit hoofdstuk wordt het uitvoeren van je onderzoek, oftewel het verzamelen van gegevens door middel van interviews of enquêtes, behandeld. In je onderzoeksplan heb je een groot aantal keuzes gemaakt met betrekking tot je onderzoeksmethode. Nu is het tijd om over te gaan tot de volgende stap: de organisatie van je veldwerk, waar wederom een hoop keuzes bij komen kijken. Hoe ga je je veldwerk inrichten? Hoe benader je respondenten? Hoe ga je om met aspecten zoals tijd en kosten? Ook moet je al nadenken over de verwachte opbrengsten van je veldwerk; de respons. Daarmee moet immers al bij het opzetten van je steekproef rekening gehouden worden. Twee dataverzamelingsmethoden worden verder uitgewerkt in dit hoofdstuk: de enquête en het interview.

Interviews en enquêtes kunnen op verschillende manieren worden afgenomen. Enquêtes kunnen schriftelijk, telefonisch of persoonlijk worden afgenomen. Interviews kunnen telefonisch of persoonlijk worden afgenomen. De keuze voor één van deze manieren kan inhoudelijk zijn, maar wordt vaak ook beïnvloed door mogelijkheden en beperkingen in termen van beschikbare middelen en tijd, van jou of van de opdrachtgever.

Voordat je begint aan het verzamelen van gegevens is het goed om even terug te gaan naar je onderzoeksplan. Het is belangrijk om je centrale vraag- en doelstelling nogmaals te bekijken en de vragenlijst erbij pakken. Dit is namelijk het laatste moment waarop je deze vragen nog aan kunt passen of bij kunt schaven. Dataverzameling doe je niet zomaar even opnieuw. Ook is dit het moment om de aantekeningen in je logboek bij te werken. De keuzes die je nu in je onderzoek maakt zijn van groot belang voor het methode hoofdstuk in je eindverslag.

Veldwerk

Argumenten om wel of niet ‘het veld’ in te gaan zijn vaak gebaseerd op praktische overwegingen, zoals tijd, geld, menskracht, en mogelijkheden van de steekproef. Ze worden hier kort behandeld:

  • Tijd: het organiseren van een enquête per post kost veel tijd. Het versturen van de enquêtes, het wachten op respons, en het sturen van herinneringen zijn tijdrovende activiteiten. Ook het persoonlijk afnemen van enquêtes neemt veel tijd in beslag: je moet respondenten benaderen, afspraken maken en de enquêtes afnemen. Dezelfde nadelen gelden voor persoonlijke interviews. Een telefonische enquête is een minder tijdrovende manier om gegevens te verzamelen. In korte tijd kun je veel mensen benaderen, of zelfs een callcenter inzetten, waar de juiste faciliteiten en mensen voorhanden zijn.

  • Geld: het bereiken van een grote groep respondenten in beperkte tijd brengt vaak hoge kosten met zich mee. Soms wordt daarom gekozen voor een beperkter aantal kwalitatieve interviews. Echter, de beschikbare middelen zijn voor een onderzoeker niet de belangrijkste beweegreden: inhoudelijke argumenten zijn bij de keuze voor enquêtes of open interviews van veel groter belang.

  • Verwachte respons: de respons die je verwacht is van belang voor de keuze van je werkwijze. In het algemeen kan gezegd worden dat een schriftelijke enquête een lagere respons heeft dan een telefonische enquête. Een persoonlijke benadering van de respondenten is meestal het meest succesvol.

Naast deze drie belangrijke overwegingen zijn er nog andere aspecten om rekening mee te houden bij het bepalen van je dataverzamelingsmethode. Als je iemand vraagt naar een gevoelig onderwerp, zoals inkomen of intieme relaties, bestaat het gevaar dat er sociaal wenselijke antwoorden worden gegeven. Telefonische of schriftelijke enquêtes genieten dan de voorkeur boven het persoonlijk afnemen van een enquête of interview. Als je enquête veel open vragen bevat dan zul je moeten kiezen voor een open interview. Is de vragenlijst kort dan kan dat per telefoon, anders moet het persoonlijk. Telefonische interviews zijn geen mogelijkheid als de vragenlijst plaatjes bevat. Als de relatie tussen interviewer en geïnterviewde van belang is dan is een persoonlijk interview de beste optie.

Een steeds populairdere vorm van onderzoek is dataverzameling via gsm of internet (e-mail of websites). Dezelfde argumenten als voor telefonisch, schriftelijk en persoonlijke verzameling van gegevens zijn van toepassing, alleen is er nog minder bekend over de validiteit, betrouwbaarheid en bruikbaarheid van de gegevens (zie voor een overzicht van de voor- en nadelen van gsm en online onderzoek figuur 6.2 in Verhoeven, 2010, p. 182).

Online enquêtes komen steeds vaker voor. Ze bestaan in verschillende vormen, zoals:

  • Er verschijnt een pop-up scherm waarin gevraagd wordt of je mee wilt doen aan een onderzoek.

  • Je ontvangt een e-mail met een verzoek tot deelname aan een onderzoek, via een link krijg je toegang tot de vragenlijst.

  • Je ontvangt een e-mail met een bestand dat je kunt downloaden, invullen en retourneren.

Als de enquête op internet wordt ingevuld kunnen de gegevens direct online in een databestand worden opgenomen. Dit heeft als voordeel dat er niet of nauwelijks fouten in de verwerking van de gegevens optreden en een hoop tijd bespaart die je anders kwijt bent aan het invoeren van de data. Over het algemeen is de respons op internetenquêtes hoger dan die op andere vormen van enquêtes. Filters, routing, lange vragenlijsten, maar ook open vragen zijn mogelijk in een online enquête. Online enquêtes worden ook veel toegepast op intranet van bedrijven, scholen en universiteiten. Er zijn ook nadelen aan online enquêtes. Je bereikt alleen mensen met een internetaansluiting. De registratie van e-mailadressen laat te wensen over; mensen hebben vaak meerdere e-mailadressen of e-mailadressen zijn niet meer in gebruik, wat resulteert in vervuilde, incomplete bestanden.

Onderzoek per gsm, waarbij sms-berichten met vragen worden verstuurd, zijn een andere relatief nieuwe vorm van ‘draadloos’ onderzoek. De respons is wisselend: soms hoger en soms lager dan bij online en telefonisch onderzoek. De eerste respons is vaak hoger; je hebt je telefoon immers bijna altijd bij de hand.

De succesrate; het aantal mensen dat daadwerkelijk meedoet aan het onderzoek, is waarschijnlijk lager. Een aantal nadelen zijn dat mensen zelf hun sms-berichten moeten betalen, dat mensen zonder gsm niet mee kunnen doen, en dat adressenbestanden vervuild of incompleet zijn. Er bestaat meestal geen database met telefoonnummers, je kunt ze wel selecteren door gebruik te maken van een random nummer generator. Hiervoor bestaat software op internet.

Enquêtes

Voor je een enquête de deur uitstuurt kun je de vragenlijst eerst uitproberen. Dit heeft verschillende voordelen: je kunt eventuele fouten er nog uithalen, je kunt slechtlopende zinnen veranderen, je kunt de structuur nog aanpassen, en je kunt oefenen met de afname van de enquête. Oefenen verhoogt de betrouwbaarheid van je resultaten. De lay-out van je vragenlijst is van groot belang; een slordige vragenlijst ziet er niet professioneel uit en je loopt het risico dat de vragenlijst niet goed wordt ingevuld. Om personen te motiveren om mee te doen is een pakkende introductie van belang. Maak duidelijk wat het doel is van je onderzoek, wat de vraagstelling is, hoe je vragenlijst is opgebouwd, en vermeld dat de gegevens vertrouwelijk behandeld zullen worden. Op je vragenlijst geef je ook aan wat de uiterlijke datum is waarop de vragenlijst teruggestuurd kan worden. Als deze datum is verstreken kun je een herhaald verzoek versturen, inclusief nieuwe vragenlijst voor het geval deze is kwijtgeraakt. De termijn waarop je een herhaling stuurt hangt af van de oorspronkelijke invultermijn, de gehanteerde methode, de onderwerpen, de lengte van de vragenlijst en de deadline van de opdrachtgever. Bij een telefonische enquête kan het zijn dat mensen geen tijd of zin hebben om mee te werken op het moment dat je belt. Je kunt dan nog een keer bellen, een terugbelafspraak maken, of de enquête per post of via e-mail opsturen. Wat er ook gebeurt, zorg dat je relatie met de respondent goed blijft, anders krijg je waarschijnlijk geen medewerking.

Het is steeds moeilijker om medewerking van mensen te krijgen voor een onderzoek; mensen zijn ‘survey-moe’. Daarom is het van belang om mensen op de hoogte te houden van de resultaten van het onderzoek, zodat de deelnemers de relevantie van het onderzoek begrijpen. Daarnaast is het belangrijk om te zorgen dat mensen geen kosten hoeven te maken voor deelname aan het onderzoek. Bij postenquêtes voeg je daarom altijd een retourenvelop met postzegel bij, bij telefonisch onderzoek zorg je dat mensen altijd gebeld worden, en niet zelf hoeven te bellen. De beste manier om respondenten voor deelname te bedanken is als de uitkomsten van het onderzoek iets voor hun betekenen; zoals een verbeterd dienstenaanbod naar aanleiding van de uitkomsten van een onderzoek. Er zijn nog veel meer mogelijkheden om mensen te bedanken of een incentive voor deelname te geven, zoals een klein cadeautje of gadget, een gratis toegangskaartje, een kleine donatie aan een goed doel, of het verloten van een prijs onder de deelnemers.

De respons van een enquête betekent het deel van de vragenlijsten die zijn uitgestuurd dat daadwerkelijk ingevuld terugkomt. Het deel dat niet of (deels) oningevuld terugkomt wordt non-respons genoemd. Non-respons kan ontstaan doordat respondenten niet thuis zijn, niet in staat zijn om mee te doen, of geen zin hebben om mee te werken. Non-respons kan leiden tot steekproeffouten; dat de ingevulde vragenlijsten een specifieke groep vertegenwoordigen. Als dit het gevolg van toeval is dan wordt het een toevallige steekproeffout genoemd. Als men uit eigen beweging niet meedoet dan wordt er gesproken van een systematische steekproeffout. De generaliseerbaarheid van je onderzoeksresultaten komt onder druk te staan als gevolg van steekproeffouten.

Om na te gaan of dit het geval moet je bekijken of de steekproef nog dezelfde kenmerken bevat als de populatie. Als dit niet het geval is kun je de resultaten uit je steekproef niet generaliseren naar de populatie. De mogelijke oorzaken van non-respons zul je dan moeten onderzoeken en vermelden in je onderzoeksverslag. Een andere vorm van non-respons is gedeeltelijke non-respons. Als iemand de vragenlijst wel ingevuld heeft, maar één of meerdere vragen overgeslagen heeft, wordt er gesproken van item-non-respons. Dit kan worden veroorzaakt doordat de vraag niet duidelijk is, de vraag niet van toepassing is op de respondent, iemand geen zin heeft om de vraag te beantwoorden, of men het antwoord niet weet of geen mening heeft. Belangrijke tips en trucs voor het slagen van je onderzoek vind je opgesomd in paragraaf 6.4.4 in Verhoeven, 2010, p. 190.

Interviews

Het afnemen van een interview heeft als doel het verkrijgen van informatie. Een van de belangrijkste aspecten van een goed interview is het opbouwen van een goede relatie met de geïnterviewde. Een aantal belangrijke punten bij het inrichten van je interview zijn:

  • Zorg dat je interview een begin, midden (de kern) en een einde heeft.

  • Gebruik een lijst met onderwerpen die structuur geven aan je interview.

  • Gebruik opnameapparatuur voor een goede verwerking. Vraag hiervoor wel toestemming.

  • Geef aandacht aan de respondent.

  • Luister goed.

  • Gebruik gesprekstechnieken om de juiste informatie boven tafel te krijgen.

  • Word geen deelnemer van het gesprek, als interviewer dien je objectief te blijven.

Het werven en benaderen van respondenten vereist veel tijd. Een goede manier om achter de namen en adressen van voor jou interessante respondenten te komen is de sneeuwbalmethode; je vraagt respondenten naar wie nog meer interessant zou kunnen zijn om te interviewen voor jouw onderzoek. Deze manier van steekproeftrekking is select, maar wordt vaak toegepast bij interviews. Over het algemeen zul je geen grote groepen personen interviewen. Naast dat dit bijzonder tijdsintensief is, treedt vaak (meestal na 25 á 30 interviews) een verzadigingspunt op; je hoort geen nieuwe informatie meer. Statistische generalisatie is meestal niet het doel van kwalitatief onderzoek, dus een grote groep respondenten is om die reden ook niet nodig.

De gespreksintroductie bevat twee belangrijke elementen: een relationeel en een inhoudelijk element. Om jezelf en de respondenten op hun gemak te stellen kun je het interview beginnen met een oppervlakkige introductie, daarmee schep je vertrouwen en bijt je het spits af voor het interview. Denk er ook aan om de respondent al in de introductie te bedanken voor zijn/haar medewerking. Daarnaast geef je ook inhoudelijke informatie in de introductie: het onderwerp van het interview, hoe het interview is opgebouwd, hoe lang het gaat duren, het belang van de informatie en wat er gaat gebeuren met de informatie. Verder beloof je dat de informatie vertrouwelijk en anoniem behandeld zal worden.

Het is handig om het interview op te nemen (een geluids- of video-opname). Hier moet je wel eerst toestemming voor vragen. Het opnemen van het gesprek heeft als voordeel dat je je aandacht kunt richten op de respondent en niet alles in detail hoeft op te schrijven. Daarnaast heb je achteraf een letterlijke weergave van het gesprek, en kun je dit terugluisteren.

Het kan wel zijn dat mensen zich minder open opstellen als het gesprek wordt opgenomen. Zorg dat je van te voren weet hoe de opnameapparatuur werkt, zodat dit niet afleidt tijdens het interview.

Elk onderdeel van een gesprek begin je met een inleiding, gevolgd door een duidelijke vraag. Als de respondent geen duidelijk of volledig antwoord geeft kun je doorvragen. Er bestaan verschillende gesprekstechnieken om een gesprek op verbale of non-verbale wijze te beïnvloeden. Je houding als interviewer is belangrijk. Straal belangstelling uit en richt je op de geïnterviewde. Het is het best als je niet recht, maar schuin tegenover de respondent zit, dit is minder confronterend. Neem een geïnteresseerde, licht voorovergebogen houding aan; dit werkt stimulerend. Ondersteuning tijdens het praten kun je geven door af en toe te knikken en oogcontact te houden. Regelmatige stiltes in het gesprek zorgen voor een beter verloop van het gesprek; de respondent denkt dat er nog iets van hem/haar verwacht wordt en vertelt verder. Deze stiltes kunnen een aantal seconden worden aangehouden. Er wordt ook wel gesproken van de ‘viersecondenregel’. Je toon en volume zijn van invloed op het gesprek. Door je toon aan het einde van de vraag omhoog te laten gaan stimuleer je de respondent om een antwoord te geven. Praat verstaanbaar en rustig. Hummen kan hetzelfde effect hebben als knikken; het geeft aan dat je luistert. Als een antwoord erg lang is kun je het parafraseren; het antwoord herhalen in je eigen woorden om na te gaan of je het goed begrepen hebt. Je kunt het antwoord ook samenvatten, dan haal je de kernwoorden uit het antwoord aan. Het nazeggen van de laatste woorden wordt papagaaien genoemd. Dit kun je doen om de respondent te stimuleren nog meer over het onderwerp te vertellen.

Je rondt het interview af door het einde aan te kondigen. Zo kun je zeggen ‘En als laatste vraag...’ of ‘Heeft u nog iets toe te voegen aan het gesprek?’ Daarnaast bedank je de respondent voor de tijd en moeite. Soms krijg je nadat het gesprek is afgerond alsnog interessante informatie, bijvoorbeeld tijdens het informeel afscheid nemen. Als je deze informatie in je onderzoek wilt gebruiken moet je daar wel toestemming voor vragen, het interview is officieel immers afgelopen. Als het gesprek een emotioneel verloop had, bouw dan extra aandachtig af. Je kunt bepaalde zaken na het interview nog nabespreken, of bijvoorbeeld vragen wat de respondent van het interview vond.

Een aantal tips en trucs voor een geslaagd interview:

  • Houd de leiding over het gesprek.

  • Blijf objectief en onafhankelijk.

  • Laat je niet verrassen.

  • Weerhoud je van sturende vragen en waardeoordelen.

  • Geef geen ongevraagde mening of advies.

  • Trek geen voorbarige conclusies.

  • Wees jezelf.

  • Wees niet té invoelend.

  • Stel niet teveel gesloten vragen.

  • Vraag door, maar ga niet drammen.

  • Hummen mag, maar niet teveel.

Onderzoek doen - Analysefase - Hoe verwerk je kwantitatieve gegevens? (8)

Nadat je gegevens verzameld hebt is het tijd voor de analyse van deze gegevens. Dit hoofdstuk gaat over de analyse van kwantitatieve gegevens. In wetenschappelijk onderzoek worden gegevens geanalyseerd door gebruik te maken van speciale software, zoals Excel (eventueel uitgebreid met XLstat), SPSS, STATA, S-plus, SAS, AMOS en LISREL. In dit hoofdstuk wordt gebruik gemaakt van SPSS (versie 13).

Meetniveau

Variabelen kun je weergeven met verschillende meetniveau’s die aangeven in welke mate je de waarden die aan de categorieën zijn toegekend kunt gebruiken om mee te rekenen. Er bestaan vier meetniveau’s. Van laag naar hoog (van ‘niet mee te rekenen’ tot ‘mee te rekenen’) zijn dat: nominaal, ordinaal, interval en ratio. In de analysefase is het meetniveau van je variabelen een randvoorwaarde bij het kiezen van een geschikte analysetechniek.

Nominaal

Nominale variabelen zijn opgebouwd uit losse categorieën. Tussen twee categorieën komen geen waarden voor, deze variabelen zijn discreet: ze maken geen deel uit van een glijdende schaal. Met de categorieën kan niet worden gerekend; de toegekende cijfers zijn codes. Voorbeelden zijn politieke partijen, geslacht, regio, en burgerlijke staat. Een dichotome variebele is een vorm van een nominale variabele, maar waarbij slechts twee opties bestaan. Een voorbeeld is geslacht. Deze variabelen kent slechts twee waarden: mannelijk en vrouwelijk. Een variant hierop is de dummyvariabele. Deze bestaat ook slechts uit twee categorieën: nee en ja (gecodeerd als 0 en 1). Dummyvariabelen worden gebruikt bij de beantwoording van vragen waarbij meerdere antwoorden kunnen worden gegeven.

Ordinaal

Soms zit er wel een rangorde in de waarden van een variabele, ook al kun je er niet mee rekenen. Een voorbeeld is opleidingsniveau. Deze variabelen zijn discreet (kwalitatief) en bevatten niet veel categorieën, maar vanwege de rangorde worden ze op een ander niveau gemeten: het ordinale meetniveau.

Interval

Met variabelen op intervalniveau kan gerekend worden; ze zijn kwantitatief. De intervallen tussen twee categorieën zijn gelijk, de waarden die aan de categorieën worden toegekend zijn numeriek en de waarden zijn continu; ze maken deel uit van een glijdende schaal. Er zijn twee redenen dat deze variabelen niet op het hoogste meetniveau kunnen worden gemeten: ze hebben geen ‘natuurlijk nulpunt’ en de verhoudingen tussen de waarden zijn niet gelijk. Een voorbeeld is graden Celsius. Nul graden Celsius als nulpunt is een afspraak, geen natuurlijk nulpunt. En we kunnen niet zeggen dat 20˚C twee keer zo warm is als 10˚C. In sommige gevallen kun je variabelen die een ordinaal meetniveau hebben een interval meetniveau toekennen. Een voorbeeld hiervan is het samenstellen van antwoordschalen, bijvoorbeeld van ‘helemaal mee oneens’ tot ‘helemaal mee eens’.

Ratio

Ratiovariabelen zijn numeriek (kwantitatief); er kan mee gerekend worden. Daarnaast beschikken ze over een natuurlijk nulpunt en zijn de verhoudingen tussen de waarden gelijk. Voorbeelden van ratiovariabelen zijn leeftijd in jaren, arbeidsuren, inkomen in euro’s.

Als je deze variabele gaat opdelen, bijvoorbeeld in klassen, dan verandert ook het meetniveau: van ratio naar ordinaal.

In SPSS vind je drie mogelijkheden voor het kiezen van een meetniveau: Nominal voor nominale variabelen, Ordinal voor ordinale variabelen, en Scale voor interval- en ratiovariabelen. De laatste twee niveau’s zijn samengevoegd, omdat vanaf intervalniveau dezelfde analysetechnieken mogelijk zijn.

Univariate analyses

Een beschrijving van één variabele wordt een univariate analyse genoemd. Tijdens je analyse beschrijf je je dataset, die bestaat kenmerken (variabelen) van cases (respondenten of waarnemingen). Er bestaan veel verschillende univariate analyses. Hier worden er drie beschreven.

Frequentieverdelingen

Hierin wordt weergegeven hoe vaak een categorie van een kenmerk voorkomt in relatie tot het totale aantal cases. Variabelen kun je presenteren in een frequentietabel, waarin wordt weergegeven hoe vaak een bepaalde categorie voorkomt. Je kunt dit ook relatief weergeven, door het percentage van het totaal te berekenen. Dat doe je als volgt: percentage = frequentie / totaal x 100%. Als er een waarde ontbreekt, omdat iemand is vergeten een antwoord te geven, dan kan de weergave van het percentage (‘Percent’ in SPSS) verkeerd worden weergegeven. De optie ‘Valid Percent’ in SPSS houdt hier rekening mee en geeft wel de juiste weergave.

Grafieken

Om een duidelijk beeld te geven van een kenmerk kun je gebruik maken van grafieken. De functie van een grafiek is om een kenmerk overzichtelijk weer te geven. Daarom is het niet erg nuttig om dichotome variabelen in een grafiek weer te geven; als je het percentage van de ene waarde weet, dan weet je automatisch ook het percentage van de andere waarde. De keuze voor een grafiek hangt af van wat je wilt laten zien (je doel) en van het meetniveau van de variabele.

Een cirkeldiagram, ook wel taartpuntgrafiek genoemd, laat de verhouding tussen de verschillende categorieën zien. Een cirkeldiagram is enkel geschikt voor nominale of ordinale variabelen, omdat het alleen een duidelijke weergave geeft voor een variabele met een beperkt aantal categorieën. Het is niet geschikt voor variabelen met een hoger meetniveau, vanwege de grote hoeveelheid categorieën. Denk hierbij bijvoorbeeld aan leeftijd in jaren.

Een staafdiagram kun je gebruiken voor dezelfde typen variabelen als het cirkeldiagram: een laag meetniveau, enkele categorieën en voor het weergeven van de verhoudingen. In een staafdiagram kun je makkelijk zien in welke categorie de meeste waarnemingen zijn. Elke waarde wordt weergegeven door een aparte staaf.

Een histogram laat de vorm van een verdeling zien. Het is een staafdiagram voor continue variabelen en is dan ook geschikt voor interval- en ratiovariabelen. De staven in een histogram liggen tegen elkaar aan omdat de categorieën op elkaar aansluiten. Vaak zie je een top in het midden met uitlopers naar de zijkanten. Dit wordt ook wel een ‘klokvorm’ of de ‘Gauss-kromme’ genoemd. Sommige interval- of ratiovariabelen kunnen naast in een histogram ook in een staafdiagram worden weergegeven.

Een voorbeeld is ‘aantal kinderen per gezin’, omdat er een beperkt aantal categorieën is, die wel op elkaar aansluiten. De keuze voor een staafdiagram is dan gemaakt om de aantallen goed zichtbaar met elkaar te kunnen vergelijken.

Als je geïnteresseerd bent in het verloop van een kenmerk, kun je een lijngrafiek maken van een kenmerk. Een lijngrafiek kun je gebruiken als de variabele op z’n minst op intervalniveau ligt. Het aantal categorieën is onbeperkt, en meestal groot, om een ontwikkeling bijvoorbeeld over de tijd weer te kunnen geven. Een ander type lijngrafiek is de cumulatieve lijngrafiek, waarbij de waarden bij elkaar opgeteld worden, van 0 tot 100 procent.

Een boxdiagram is een diagram die gebruik maakt van de mediaan; de middelste waarneming. Vanaf de mediaan wordt aan beide zijden de dichtsbijzijnde 25% berekend en deze vormen samen de box, die dus de 50% middelste waarnemingen bevat. De stelen die aan beide zijden uit de box steken geven de overige 25% aan weerszijden aan. Eventuele uitschieters worden daarbuiten aangegeven met sterretjes. Een boxdiagram is geschikt voor variabelen vanaf ordinaal meetniveau en laat zowel de middelste 50% alsmede de uitschieters zien.

Een spreidingsdiagram is een diagram waarin je de scores ten opzichte van elkaar kunt presenteren. In een univariaat voorbeeld kunnen de verschillende categorieën tegen de waarden voor die categorieën worden afgezet, maar meestal wordt een spreidingsdiagram gebruikt om twee variabelen tegen elkaar af te zetten, een bivariate analyse dus. Een spreidingsdiagram maken kan alleen voor variabelen met een hoog meetniveau.

Een dotplot is een andere manier om de verdeling van scores in één variabele inzichtelijk te maken. Door middel van de dotplot kun je zien of een variabele scheef verdeeld is, alsmede waar de uitschieters zitten. Dotplots kunnen gemaakt worden voor zowel categorale als continue variabelen.

Kengetallen

Met een kengetal geef je een samenvatting van kenmerken op grond van één eigenschap. Je kunt kijken naar het midden van de verdeling (het centrum), maar ook kijken naar de breedte waarover de waarnemingen zich uitstrekken (de spreiding). Er zijn dus twee soorten kengetallen: centrum- en spreidingsmaten.

De modus is de categorie van een kenmerk die het meest voorkomt en kan worden toegepast vanaf nominaal meetniveau. De modus beschrijft dus de waarde met de hoogste frequentie; het getal dat het meest voorkomt. De schrijfwijze is xmod. Soms is er meer dan één modus, er zijn bijvoorbeeld twee getallen die allebei dezelfde hoogste frequentie hebben. Dit wordt ook wel bimodaal genoemd.

De mediaan is de middelste waarneming, of de categorie die in het midden voorkomt en kan worden toegepast vanaf ordinaal meetniveau. De mediaan geeft dus precies het midden van de verdeling aan. De schrijfwijze is xmed of x.50. Je kunt de mediaan vinden door te kijken naar de cumulatieve frequentieverdeling. De waarneming, of de categorie, die in het 50e percentiel ligt is de mediane categorie.

Het gemiddelde is te verkrijgen door alle scores bij elkaar op te tellen en te delen door het aantal waarnemingen en kan worden toegepast vanaf interval niveau.

Omdat het gemiddelde pas informatie geeft als je met de getallen ook daadwerkelijk kunt rekenen wordt het ook wel het rekenkundig gemiddelde genoemd. De schrijfwijze is xgem of .

Soms hebben waarden niet allemaal hetzelfde gewicht. Denk aan de berekening van je eindcijfer voor een vak; niet alle onderdelen tellen even zwaar mee. Je berekent een zogenaamd gewogen gemiddelde door het cijfer te vermenigvuldigen met de weging en daarna te delen door het totaal van de weging.

In SPSS kun je het programma laten uitrekenen wat de centrummaten zijn. De twee meest gebruikte manieren voor univariate analyses zijn:

  • Analyze → Descriptive Statistics → Descriptives

  • Analyze → Descriptive Statistics → Frequencies

De tweede optie maakt het mogelijk de centrummaten te laten uitrekenen bij een frequentietabel.

Soms geeft een centrummaat niet genoeg informatie. Als je wilt weten tussen welke uitersten een variabele gespreid is kun je beter spreidingsmaten gebruiken.

De variatiebreedte laat met één getal het verschil tussen de minimum- en maximumscore zien, en geeft daarmee een beeld van de spreiding. Spreidingsbreedte is vooral toepasbaar bij numerieke variabelen, met interval- of ratio meetniveau.

De variantie is de gemiddelde gekwadrateerde afwijking van het gemiddelde, oftewel hoe de waarnemingen gespreid zijn rondom het gemiddelde.

De standaardafwijking is een afgeleide van de variantie en kan toegepast worden op continue variabelen; variabelen vanaf interval of ratio meetniveau. De standaardafwijking bepaalt aan de hand van de opbouw van de verdeling of dit een normale verdeling is. Een normale verdeling heeft een klokvorm (ook wel de Gauss-kromme genoemd). Om te bepalen of een op het oog lijkende normale verdeling ook echt normaal is, moet aan een aantal voorwaarden worden voldaan. Op de horizontale as zet je alle waarden van de verdeling uit, met het gemiddelde precies in het midden. Als de waarnemingen gelijkmatig verdeeld zijn over de klokvorm, dan:

  • ligt 68% van alle waarnemingen tussen het gemiddelde plus of minus 1x de standaarddeviatie,

  • ligt 95% van alle waarnemingen tussen het gemiddelde plus of minus 2x de standaarddeviatie,

  • ligt 99% van alle waarnemingen tussen het gemiddelde plus of minus 3x de standaarddeviatie.

Deze regels gelden voor elke variabele met een normale verdeling. De drie regels worden ook wel de 1-sigma, 2-sigma en 3-sigma-intervallen genoemd.

Bivariate analyses

Een beschrijving van twee variabelen wordt een bivariate analyse genoemd. Hier worden twee vormen van bivariate analyses besproken.

Kruistabellen

Een kruistabel is een frequentieverdeling van twee kenmerken tegelijkertijd. Een kruistabel bestaat uit kolommen (verticaal) en rijen (horizontaal). Het ene kenmerk wordt in de kolommen weergegeven, het andere in de rijen. Elke cel geeft dus informatie over de twee kenmerken; het aantal waarnemingen van beide kenmerken. Net als in een frequentietabel kun je de frequenties als percentage van het totaal weergeven. Dit kan op drie manieren:

  1. Als rijpercentage, de waarnemingen in relatie tot het rijtotaal.

  2. Als kolompercentage, de waarnemingen in relatie tot het kolomtotaal.

  3. Als celpercentage, de waarnemingen in relatie tot het totaal.

In SPSS kun je een kruistabel maken door te kiezen voor Analyze → Descriptive Statistics → Frequencies → Crosstabs.

Variabelen die vastliggen, zoals achtergrondkenmerken (bv. geslacht), worden onafhankelijke variabelen genoemd. Ze worden ook wel de oorzaakvariabele of predictor genoemd. De onafhankelijke variabele ligt vast, maar veroorzaakt een verandering. Deze plaats je altijd in de kolommen. Variabelen die kunnen veranderen onder invloed van andere kenmerken worden afhankelijke variabelen genoemd. Ze worden ook wel effect- of gevolgvariabele genoemd. Afhankelijke variabelen worden in de rijen geplaatst. Als je kijkt naar het effect van opleidingsniveau op inkomen, dan is opleidingsniveau de onafhankelijke variabele en inkomen de afhankelijke variabele.

Grafieken

Je kunt de gegevens van twee variabelen ook in een grafiek presenteren.

Een staafdiagram is een goede manier om de verschillende uitkomsten van twee variabelen duidelijk met elkaar te vergelijken. Dit kan op twee manieren: door aparte staven voor de twee variabelen naast elkaar te zetten (geclusterd), en door de staven voor de twee variabelen op elkaar te plaatsen (gestapeld).

In SPSS maak je dit type staafdiagrammen door te kiezen voor:

  • Graphs → Bars → Clustered → Summaries for groups of cases

  • Graphs → Bars → Stacked → Summaries for groups of cases

Een spreidingsdiagram is een grafische weergave die toegepast kan worden voor variabelen vanaf intervalniveau. Een spreidingsdiagram is geschikt voor het weergeven van verbanden tussen twee variabelen. Elk punt in het diagram geeft aan waar een waarneming is voor beide kenmerken tegelijk.

In SPSS maak je een spreidingsdiagram door te kiezen voor Graphs → Legacy dialogs → Scatter → Simple → Define. Hierna voer je de variabelen in: de onafhankelijke variabele op de horizontale x-as en de afhankelijke variabele op de verticale y-as.

Een lijngrafiek kun je goed gebruiken om ontwikkelingen in de tijd weer te geven. Tijd is dan de onafhankelijke variabele.

Kwaliteit van de analyses

Om de kwaliteit van je analyses te bepalen kijk je naar twee aspecten: de betrouwbaarheid en de validiteit van je resultaten.

De betrouwbaarheid kan gemeten worden door de betrouwbaarheidsanalyse van SPSS. Met deze test wordt de interne betrouwbaarheid van een schaal bepaald. Je controleert of alle vragen omtrent een begrip ongeveer hetzelfde meten, of de resultaten consistent zijn, en dus of de items een homogeen beeld geven. De betrouwbaarheid wordt uitgedrukt in een getal lopend van min oneindig (onbetrouwbaar) tot 1 (betrouwbaar). Het getal 0,60 (ook wel Cronbach’s alpha genoemd) wordt als grens aangehouden om te bepalen of resultaten betrouwbaar zijn. Voor psychologisch onderzoek wordt echter vaak nog een hogere grens vereist, van 0,80 tot 0,90 Cronbach’s alpha. Andere methoden om de betrouwbaarheid te meten zijn de factoranalyse en de test-hertest. Voor deze laatste methode wordt eenzelfde test twee keer afgenomen bij verschillende groepen, waarna wordt bekeken of de resultaten voldoende samenhangen.

Met validiteit wordt bedoeld of een onderzoek valide is: of de begrippen wel meten wat je wilt weten (constructvaliditeit) en of de resultaten van de analyse mogen worden gegeneraliseerd naar de populatie, dus of er geen systematische fouten zijn gemaakt. De generaliseerbaarheid van je resultaten kun je nagaan door te toetsen in hoeverre de kenmerken van de steekproef ook gelden voor de populatie. Als de kans dat gevonden afwijkingen, verschillen of samenhangen toeval zijn kleiner is dan 5 procent noemen we de gevonden resultaten significant, en mogen de resultaten gegeneraliseerd worden naar de populatie. Bij kleinere steekproeven wordt deze grens soms naar beneden gehaald: dan mag de kans op toeval bijvoorbeeld maar 2,5 of 1 procent zijn.

Onderzoek doen - Analysefase - Hoe verwerk je kwalitatieve gegevens? (9)

Er komt steeds meer aandacht voor kwalitatieve analyse. Kwalitatief onderzoek wordt steeds vaker gebruikt, waaronder in combinatie met kwantitatieve methoden, de getrianguleerde (meervoudige) aanpak. Kwalitatieve analyse omvat veel methoden, waarvan een aantal in dit hoofdstuk worden behandeld. Bij kwalitatieve analyse zijn niet alleen de methodologische uitgangspunten van belang, maar ook de uitleg die de onderzoeker aan de analyse geeft. Zo ontstaat een stukje subjectiviteit. Een open benadering en de mogelijkheid om in te spelen op situaties en personen zijn onderdeel van kwalitatieve analyse. Dit betekent echter niet dat alles mag. Kwalitatieve analyse is een diepgaand en intensief proces, dat daardoor betrouwbare uitkomsten kan presenteren.

Kwalitatieve analyse

Kwalitatieve analyse van teksten begint met het beschrijven en samenvatten van informatie, maar gaat veel verder dan dat. Je vat de tekst (of foto’s, video’s of geluidsmateriaal) samen in codes, in begrippen. Daarna ga je deze codes waarderen en organiseren, zodat er een soort structuur, een model, onstaat. Deze manier van documenten samenvatten wordt ook wel exploratie genoemd.

Eén van de doelen van kwalitatief onderzoek is het opdoen van kennis voor theorievorming. Kwalitatieve analyse heeft een aantal theoretische uitgangspunten. Eén van de bekendste is de Grounded Theory (gefundeerde theoriebenadering) van Glaser & Strauss (1967 in Verhoeven, 2010, p. 251). Kwalitatief onderzoek gaat niet over cijfers, maar over de betekenis die mensen aan bepaalde situaties en gedrag verlenen.

De belevingswereld van de onderzoekseenheden staat centraal, kwalitatief onderzoek is een open benadering van onderzoek. Deze stroming wordt ook wel symbolisch interactionisme genoemd.

Kwalitatief onderzoek is niet zo gestroomlijnd als kwantitatief onderzoek. Er is wel een onderzoeksplan dat in fasen verloopt, maar het onderzoeksproces is meer iteratief; je herhaalt het onderzoeksproces totdat je het idee hebt dat je een betrouwbaar antwoord hebt gevonden op de onderzoeksvragen. Deze herhaling wordt iteratie of constante vergelijking genoemd. Het verhoogt de betrouwbaarheid van je resultaten, omdat je met nieuwe data controleert of resultaten uit eerdere analyses kloppen.

Kwalitatief onderzoek, met name de gefundeerde theoriebenadering, heeft een inductief karakter. Dat betekent dat je tijdens het onderzoek zoekt naar een theorie die past bij de verzamelde data. Hier tegenover staat inductief onderzoek, waarbij je van te voren geformuleerde hypothesen (gebaseerd op theorie) onderzoekt en toetst aan de hand van verzamelde data.

De begrippen die je formuleert in je probleemstelling geven richting aan je onderzoek. Je geeft ermee aan welke begrippen je gaat onderzoeken en uitdiepen in je onderzoek. Dit wordt in de gefundeerde theoriebenadering ook wel sensitizing concepts genoemd.

Praktijkgerichte onderzoeken hebben meestal niet als doel om theorie te vormen. De uitgangspunten van de gefundeerde theoriebenadering gelden echter ook voor praktijkgericht onderzoek. In praktijkonderzoek maakt kwalitatief onderzoek meestal deel uit van het geheel aan onderzoeksmethoden, een getrianguleerde opzet dus.

Om de kwalitatieve gegevens te analyseren, ga je de gegevens uiteen rafelen en er structuur in aan brengen. Dat kan op de volgende manier:

  • Lees de gegevens goed door. Selecteer de relevante informatie voor je onderzoek en verdeel het in kleine fragmenten die je kunt samenvatten in één woord.

  • Evalueer de gebruikte termen. Ga na welke waarde de onderzoekseenheden aan het begrip toekennen en interpreteer de betekenis die zij er aan geven.

  • Omschrijf de kleine fragmenten in één woord (een code). Deze code kun je in de kantlijn van het document zetten of neem je op in een software programma. Deze vorm van coderen wordt ook wel open coderen genoemd.

  • Groepeer de termen die je hebt gevonden.

  • Sorteer de gecodeerde termen en breng er een hiërarchie in aan.

  • Ga op zoek naar verbanden tussen de begrippen. Maak hoofdgroepen en subgroepen, door te kijken welke codes bij elkaar horen. Je kunt in deze fase ook beslissen om codes bij elkaar te voegen of op te splitsen. Deze vorm van coderen wordt axiaal coderen genoemd.

  • Structureer de begrippen en relaties tussen de begrippen door ze te organiseren in een model of een codeboom (Boeije, 2005 in Verhoeven, 2010, p. 254).

  • Breng het model in verband met je probleemstelling. Vraag je af of je tot een antwoord op de vraag kunt komen, of er nog aanvullende vragen zijn en of er nog informatie ontbreekt.

Deze stappen zul je meerdere malen moeten doorlopen om tot een overzichtelijk geheel te komen, een iteratief proces dus.

Het proces van structureren van je data lijkt een beetje op het maken van een mindmap. Mindmapping is een methode waarmee je structuur aanbrengt in je ideeën, ze in sleutelwoorden op papier zet, ze groepeert, evalueert, codeert, en op zoek gaat naar verbanden. Je begint met het onderwerp in het midden van een vel papier en gaat op zoek naar gerelateerde begrippen, waarbij je de verbanden aangeeft. Je kunt lijnen van verschillende diktes gebruiken om de sterkte van het verband aangeven. Het eindresultaat is een diagram waarin je ideeën schematisch zijn weergegeven.

Voor het verwerken en weergeven van de resultaten van je analyse zijn een aantal hulpmiddelen beschikbaar. Je kunt een schematische weergave van de resultaten in een diagram zetten, zoals hierboven beschreven is voor mindmapping. Je kunt een kaartsysteem maken door de begrippen op kaartjes te zetten en deze te ordenen, of gebruik maken van Post-it’s die je op een muur kunt plakken. Je logboek is een ander hulpmiddel, je kunt deze structureren door nummering in niveau’s te gebruiken. Er bestaat ook software die je kunt gebruiken voor kwalitatieve analyse. Er bestaat speciaal ontwikkelde software als Kwalitan en MAXqda. Als je hier geen beschikking over hebt kun je ook in Word, Powerpoint of andere software diagrammen maken. Het planningsprogramma Inspiration is zeer geschikt voor mindmapping en het maken van diagrammen.

Kwaliteit van resultaten

Kwalitatief onderzoek heeft veel kritiek gekregen; volgens critici zou kwalitatief onderzoek niet betrouwbaar en dus niet valide zijn.

De betrouwbaarheid is moeilijk na te gaan omdat voor een open benadering wordt gekozen, waarbij de ontwikkeling van modellen tijdens het onderzoeksproces plaatsvindt. Er is dus geen afgebakende setting die bij herhaling dezelfde resultaten geeft. Echter, dit is ook niet waar kwalitatief onderzoek voor bedoeld is. Statistische generaliseerbaarheid is niet het doel, er wordt eerder gekeken of een onderzoek inhoudelijk generaliseerbaar is, dus in welke mate de conclusies in soortgelijke situaties gelden. Een herhaling is niet mogelijk, omdat er bijvoorbeeld slechts één organisatie wordt onderzocht, de beleving van personen centraal staat en deze niet gelijk blijft, of omdat je een bepaalde periode onderzocht hebt, en iedere volgende periode anders zal zijn. Toch kun je er voor zorgen dat de kwaliteit en betrouwbaarheid van het onderzoek hoog genoeg zijn. Zorg voor een zo uitgebreid mogelijke argumentatie van je probleemstelling en onderzoeksopzet. Zorg voor goede registratie van je methoden en de stappen die je in het onderzoek genomen hebt. Bewaar de bewerkingen die je maakt in je gegevens apart van de originele gegevens. Doorloop het analyseproces meerdere malen, zodat je met nieuwe data al gedane inzichten kunt toetsen. Onderhoud goed contact met je opdrachtgever over de opzet en uitvoering van je onderzoek. Maak gebruik van peer evaluation; laat collega-onderzoekers je opzet, dataverzameling en analyse bekijken en becommentariëren. Gebruik eventueel triangulatie. Leg zo veel mogelijk van je resultaten systematisch vast.

In termen van validiteit staat zowel de generaliseerbaarheid als de inhoudsvaliditeit onder druk. Als een steekproef niet aselect is getrokken of slechts een kleine groep personen is betrokken kunnen de resultaten niet gegeneraliseerd worden naar de populatie. Statistische generaliseerbaarheid is ook niet het doel van kwalitatieve analyse. Als generaliseerbaarheid een rol speelt in kwalitatief onderzoek, dan is het inhoudelijke generaliseerbaarheid dat van belang is. Dit wordt verkregen door de situatie, de werkelijkheid, zo veel mogelijk intact te laten.

Ook de begripsvaliditeit staat onder druk, doordat de beleving van de onderzoekseenheden centraal staat. Hierdoor ‘meet je niet wat je wilt weten’ maar laat je de begrippen invullen door de onderzoekseenheden. Door goed door te vragen tijdens interviews kun je echter wel achter het werkelijke antwoord op een vraag komen. Het checken van de interne validiteit wordt gedaan om er achter te komen of het de onderzoeker lukt om de onderzoeksvraag goed te beantwoorden. Het is de vraag of de conclusies zuiver zijn, oftewel of er een duidelijk verband tussen de gevonden resultaten en de probleemomschrijving gevonden is. Een kwalitatief onderzoeker moet objectief blijven, het zijn de uitgangspunten en de interpretatie van de onderzochte personen die van belang zijn.

Je kunt in kwalitatieve analyse systematische fouten tot een minimum beperken door:

  • Gebruik te maken van systematische analyses

  • Aantekeningen bij te houden in een logboek

  • Gebruik te maken van onderliggende theorieën bij de analyse

  • Je informatie laten doorlezen en bekritiseren door anderen

  • Een meervoudige onderzoeksopzet te gebruiken

  • Een steekproef trekken die gericht is op je doel

Onderzoek doen - Evaluatiefase - Hoe kom je bij conclusies, discussie en aanbevelingen? (10)

Conclusies

Na je veldwerk en analyses is het tijd om conclusies te gaan trekken uit de resultaten van je onderzoek. De eerste stap is om terug te kijken op het onderzoeksproces. Hoe heb je je onderzoek ontworpen? Hoe verliep het veldwerk? Wat was je probleemstelling (centrale vraag)? Kun je deze beantwoorden met je resultaten? Met andere woorden, heb je je onderzoeksdoel gehaald?

Conclusies trekken betekent je onderzoeksresultaten verbinden aan je probleemstelling, en je onderzoeksvragen beantwoorden. Ook kijk je of je onderzoeksdoel is behaald. Conclusies trekken is dus meer dan het samenvatten van de resultaten!

Ook al zijn je conclusies geen samenvatting van je onderzoek, bepaalde delen vat je wel samen. Je beschrijft kort de aanleiding tot je onderzoek en de probleemstelling. Je geeft aan wat de opzet van je onderzoek was. Daarna ga je over tot het beantwoorden van de centrale vraag en deelvragen. De conclusie moet een duidelijk en bondig antwoord geven op de centrale vraagstelling. In je conclusies ga je ook een stap verder dan het beschrijven van de resultaten die je hebt gevonden. Je interpreteert deze resultaten ook; je zoekt naar een mogelijke verklaring voor hetgeen je hebt gevonden. Als jouw resultaten de resultaten uit een ander onderzoek bevestigen of tegenspreken kun je hier ook aandacht aan besteden, en eventuele verklaringen daarvoor geven.

Discussie en aanbevelingen

Het presenteren van je resultaten en conclusies markeert nog niet het einde van je onderzoek. Met name in het geval van praktijkgericht onderzoek zul je ook een aantal aanbevelingen opstellen voor de toekomst. Daarnaast is er ruimte voor discussie. Als onderzoeker neem je een iets persoonlijkere toon aan. In de discussie kun je de methodologische en inhoudelijke leermomenten tijdens je onderzoek bediscussiëren en evalueren. Daarnaast kun je je onderzoeksresultaten in een breder perspectief zetten en je eigen mening meer naar voren laten komen.

In de discussie bespreek je je conclusies in relatie tot de probleemstelling. Wat zijn de bredere implicaties van deze conclusies; wat betekenen ze voor de samenleving? Je kunt je conclusies verbinden aan een politiek standpunt of ze vergelijken met andere onderzoeksresultaten.

Een ander onderdeel van de discussie is het evalueren van je onderzoeksproces. Wat ging er goed, en wat fout, en wat heb je daarvan kunnen leren? Je kijkt terug op de kwaliteitsaspecten van je onderzoek (de betrouwbaarheid, validiteit en generaliseerbaarheid) en bepaalt de methodologische kwaliteit.

Soms zijn de validiteit en betrouwbaarheid niet erg hoog. Dat betekent niet dat er niets met de resultaten van een onderzoek gedaan kan worden. Naast de methodologische kwaliteit van een onderzoek is ook de bruikbaarheid een belangrijk aspect. Bruikbaarheid kent vele vormen:

  • Conceptueel gebruik: onderzoeksresultaten kunnen indirect worden gebruikt, bijvoorbeeld om discussie aan te zwengelen.

  • Indicatief gebruik: ook al zijn onderzoeksresultaten over de steekproef niet generaliseerbaar naar de populatie, ze zijn wel indicatief te gebruiken, bijvoorbeeld in vervolgonderzoek.

  • Instrumenteel gebruik: onderzoek kan bepaalde veranderingen begeleiden en ondersteunen, dit is met name het geval bij praktijkgericht onderzoek.

  • Hawthorne-effect: het onderzoeksproces heeft zelf effect binnen een organisatie, doordat personen (in een organisatie) worden beïnvloed als ze weten dat er een onderzoek plaatsvindt.

De case study (N=1) bewijst dat onderzoek heel waardevol kan zijn, ook al zijn de resultaten niet generaliseerbaar naar een grotere populatie. Case studies zijn een vorm van kwalitatief onderzoek, en de resultaten zijn vaak zeer bruikbaar voor de case (het geval, bijvoorbeeld een organisatie) zelf. Daarnaast kunnen ook de betrouwbaarheid en validiteit bij case studies worden aangegeven, bijvoorbeeld door triangulatie, rapportage, peer evaluation, systematische analyse en vergelijking met andere case studies.

Naast het trekken van conclusies en het bediscussiëren van de resultaten, is er vaak sprake van directe suggesties om een situatie te verbeteren of aan te pakken: de aanbevelingen. Grofweg zijn er twee typen aanbevelingen: aanbevelingen voor de organisatie en aanbevelingen voor toekomstig onderzoek.

Aanbevelingen voor een organisatie zijn meestal aanbevelingen voor beleid; het doorvoeren van veranderingen in een organisatie. Naast suggesties voor verandering kunnen je onderzoeksresultaten vaak ook gebruikt worden om draagvlak voor deze verandering te creëren. Pas wel op dat je onderzoeksresultaten niet ‘gekaapt’ worden door je opdrachtgever. Deze wil jouw onderzoeksresultaten misschien gebruiken ter ondersteuning van een maatregel die hij/zij wil doorvoeren. Let er op dat je als onderzoeker objectief blijft en je eigen aanbevelingen presenteert.

Aanbevelingen voor verder onderzoek zijn interessante vervolgvragen die voort kunnen komen uit je onderzoeksresultaten. Het kan ook zijn dat er iets mis is gegaan in je eigen onderzoek, bijvoorbeeld door non-respons, en dat je aanbevelingen doet om in een vergelijkbaar onderzoek het maken van dezelfde fouten te voorkomen.

Onderzoek doen - Evaluatiefase - Hoe stel je een onderzoeksrapport samen ? (11)

De laatste stap in je onderzoek is het samenvoegen van alle informatie die je gedurende het onderzoeksproces hebt verzameld en dit netjes in een onderzoeksrapport opschrijven. Het schrijven van een samenhangend onderzoeksrapport is niet makkelijk. Hoe je dit het beste aanpakt, welke volgorde gebruikelijk is, en aan welke wetenschappelijke eisen je rapport moet voldoen wordt per onderzoeksfase beschreven.

Een paar algemene punten die van belang zijn:

  • Je begint niet pas aan het schrijven van je onderzoeksrapport aan het einde van je onderzoek. Eigenlijk schrijf je er gedurende het hele proces aan; je maakt in het begin alvast een (voorlopige) inhoudsopgave en houdt keuzes, inzichten en resultaten bij op de juiste plek.

  • Je maakt een duidelijke keuze met betrekking tot je doelgroep. Voor wie schrijf je het onderzoeksrapport en door wie zal het rapport gelezen worden? Deze overwegingen neem je mee bij keuzes met betrekking tot de opbouw en schrijfstijl van je onderzoeksrapport.

  • Houd er rekening mee dat je verschillende keren een conceptversie van je rapport zult overhandigen aan je begeleider(s) en je dus ook meerdere keren commentaar te verwerken zult krijgen. Houd hier rekening mee in je tijdsplanning.

Opbouw

In feite schrijf je een onderzoeksrapport zoals je het onderzoek hebt opgebouwd. Hoe bondig of uitgebreid een rapport moet zijn is moeilijk te zeggen, maar er zijn wel een aantal aanknopingspunten. Een wetenschappelijk verslag moet de informatie bevatten zodat het onderzoek zelfstandig herhaald kan worden op basis van de informatie uit het verslag. De structuur ligt ook min of meer vast, en volgt vaak het volgende format:

  • Titelblad

  • Voorwoord

  • Samenvatting

  • Inleiding

  • Methode

  • Resultaten

  • Conclusie en discussie

  • Literatuurlijst

  • Bijlagen

Op het titelblad staat ten eerste de titel. Denk goed na over de vorm van je titel (en eventuele ondertitel). Het moet de lading dekken, het moet in één zin duidelijk zijn waar het onderzoeksrapport over gaat, maar ook nieuwsgierigheid opwekken. Om een te lange titel te voorkomen, kan de titel verder uitgelegd worden in de ondertitel. Naast een titel moet op het titelblad je naam, datum en plaats, naam van je begeleider en de naam van het instituut waar je het rapport voor schrijft verschijnen.

De samenvatting moet kort en bondig zijn (variërend van een halve pagina tot een aantal pagina’s, afhankelijk van de omvang van je onderzoeksrapport). In de samenvatting beschrijf je het hele onderzoek (opzet, vraagstelling, methode) en de belangrijkste resultaten. Op basis van de samenvatting zullen mensen bepalen of ze verder willen lezen in je rapport, dus alles moet erin staan. Je schrijft een samenvatting pas op het eind, wanneer je hele rapport klaar is en je overzicht hebt over wat de hoofd- en bijzaken zijn. Een wat uitgebreidere samenvatting wordt ook wel een managementsamenvatting genoemd. Deze moet de belangrijkste en meest bruikbare informatie bevatten, zodat een organisatie zo met de resultaten, conclusies en aanbevelingen aan de slag kan. Voor persoonlijke (bedank)woorden schrijf je een voorwoord. Deze plaats je voor de samenvatting.

De inleiding van je verslag bestaat uit de aanleiding voor je onderzoek, de probleem- en doelstelling en de onderzoeksvragen die centraal staan in je onderzoek. Je kunt hier ook een theoretische inleiding op ander onderzoek over je onderwerp introduceren. Hiermee toon je ook de relevantie van je onderzoek aan. Een belangrijk doel van de inleiding is om je lezers te interesseren (wetenschappelijk of praktijkgericht) voor het onderwerp. Als je onderzoek erg praktijkgericht is kun je de theoretische achtergrond tot een minimum beperken door de begrippen kort af te bakenen, ze op te nemen in een model, of een aparte paragraaf over theorie te schrijven voor de geïnteresseerden.

Het hoofdstuk over methodes is een belangrijk onderdeel van je verslag. Hierin beschrijf je nauwkeurig voor welke onderzoeksmethode(n) je hebt gekozen, waarom, en hoe je deze methode(n) hebt toegepast. Op basis van de informatie in dit hoofdstuk moet een onderzoek precies na te bootsen zijn. Je geeft aan wat je verstaat onder de (operationele) populatie, hoe je het steekproefkader bepaald hebt en op welke manier je de steekproef getrokken hebt. Je geeft aan voor welke dataverzamelingsmethode(n) je gekozen hebt, en op basis van welke argumenten. Zet de beperkingen en mogelijkheden op een rij, en verantwoord je keuze in methodologische maar ook in praktische zin, dus in termen van geld, tijd en onderzoekseenheden. Geef aan welke instrumenten je gebruikt hebt om de theorie te toetsen en om je onderzoeksvragen te beantwoorden. Laat zien hoe je begrippen hebt geoperationaliseerd; hoe je ze hebt omgezet in meetbare eenheden. Beschrijf welke analysemethoden je hebt gebruikt om de gegevens te verwerken, te beschrijven en te toetsen. Bij kwalitatieve analyse ligt er vaak een model ten grondslag aan de analyse, zoals de eerder genoemde gefundeerde theoriebenadering. Dit zijn theoretische uitgangspunten en worden dus niet hier besproken, tenzij ze gebruikt zijn als uitgangspunt voor het inhoudelijke deel van het onderzoek.

De resultaten moeten een zo objectief mogelijk beeld geven van de verzamelde informatie. Voordat je de daadwerkelijke resultaten presenteert beschrijf je eerst het verloop van het veldwerk. Je presenteert en beschrijft de gevonden resultaten, maar gaat nog niet over tot de interpretatie, dit komt in de conclusies aan bod.

In je conclusie kijk je terug op het onderzoeksproces. Wat waren de vragen waarmee je het onderzoek begon, en hoe is het onderzoek verlopen? Je herhaalt de probleem- en doelstelling en beantwoordt de centrale vraag en deelvragen. Hier ga je de resultaten interpreteren en er conclusies aan verbinden.

In de discussie is ruimte voor je eigen mening, en eventuele discussie en reflectie over de gebruikte methoden, het verloop van je onderzoek en de relatie tot ander onderzoek.

Aanbevelingen zijn voornamelijk van belang als je praktijkgericht onderzoek hebt uitgevoerd. Je doet een aantal aanbevelingen voor verandering in een organisatie of aanbevelingen voor vervolgonderzoek, geïnspireerd door vragen die zijn opgekomen door jouw onderzoek. Suggesties voor veranderingen moeten haalbaar en op de korte termijn te behalen zijn, anders belanden ze zeer waarschijnlijk in de prullenmand.

In de literatuurlijst verwijs je naar literatuur van anderen die je gebruikt hebt in je onderzoek. Het is belangrijk om hier op de juiste wijze naar te verwijzen. Kijk na wat de voor jou geldende richtlijnen zijn. Let er op dat verwijzingen die in je tekst vermeld staan ook in de literatuurlijst staan, en andersom.

In de bijlagen wordt aanvullende informatie opgenomen die niet nodig is voor het doorlezen en begrijpen van het onderzoeksverslag, maar wel als naslagwerk gebruikt kan worden. Denk hierbij bijvoorbeeld aan onderwerplijsten, volledige vragenlijsten, uitnodigingsbrieven, te grote tabellen, en responsgegevens.

APA-richtlijnen

De richtlijnen voor het schrijven van veel sociaal-wetenschappelijke onderzoeksverslagen zijn afkomstig van een instituut voor standaardisering: the American Psychological Association (APA). Deze regels hebben tot doel om een standaard te creëren voor de structuur van een artikel of onderzoeksverslag, de opmaak daarvan, de literatuurverwijzingen en de literatuurlijst. In kader 10.8 en 10.9 in Verhoeven (2010, p. 303) staat vermeld hoe naar verschillende typen bronnen verwezen moet worden volgens de APA-richtlijnen in de literatuurlijst en in de lopende tekst.

Schrijftips

Maak een uitgebreide inhoudsopgave tijdens het begin van je onderzoeksproces. Zo’n inhoudsopgave kan je goed op weg helpen tijdens het schrijven. Bij elk hoofdstuk maak je (sub)paragrafen, waarbij je aangeeft welke informatie daar moet komen. Op deze manier kun je snel zien welke informatie waar terecht moet komen en waar je nog informatie mist.

Plan genoeg tijd in voor het schrijfproces. Zorg dat je voldoende tijd hebt om het onderzoeksverslag te schrijven, tussentijds in te leveren, en commentaar te verwerken. De volgende onderdelen kun je gebruiken om je tijd in te plannen: doorlezen van je resultaten, vaststellen van de uitgebreide inhoudsopgave, maken van een eerste opzet met gebruik van steekwoorden, uitschrijven van de opzet, herlezen van de opzet, herschrijven van de opzet, (concept)versie inleveren. De laatste stappen zul je een aantal keer moeten herhalen.

Zorg dat je overzicht houdt over de verschillende versies die je hebt geschreven, door middel van duidelijke nummering. Geef in de documentnaam of in de kop- of voettekst de datum of een versienummer aan.

Laat je onderzoek door collega’s of mede-studenten doorlezen, de zogenaamde peer assessment. Organiseer een bespreking van je werk in groepsvorm om het te kunnen bediscussiëren. Beoordeel andermans werk zoals je dat zelf ook graag zou zien, geef geen botte, maar opbouwende kritiek, en geef handige tips en aanvullende informatie.

Schrijf je onderzoeksverslag voor de juiste doelgroep. Het kan zijn dat je rapport voor verschillende doelgroepen geschikt moet zijn. Om die reden kan het zelfs zo zijn dat je twee versies van het rapport schrijft, bijvoorbeeld als je verslag geschikt moet zijn voor zowel onderzoekers als het management van een organisatie. Let bij het schrijven voor een doelgroep bijvoorbeeld op: aansluiting op de kennis van je doelgroep, het vermijden van jargon, een duidelijke en kernachtige samenvatting met aanbevelingen voor het management, of een uitgebreide methodologische uitleg en theoretische onderbouwing voor mede-onderzoekers.

Beoordelen van publicaties

Sommige onderzoeksrapporten worden alleen intern gebruikt, anderen worden openbaar gemaakt door middel van publicatie in een (wetenschappelijk) tijdschrift of krant. Zulke publicaties worden beoordeeld aan de hand van een aantal aspecten. De bruikbaarheid van de resultaten bijvoorbeeld. Of de gehanteerde theorie en methoden. Dit hangt af van de functie die het onderzoeksverslag voor jou heeft. Het beoordelen van een publicatie hangt ook af van het doel van het artikel, en de doelgroep die met het artikel bereikt wordt. Hier worden er een aantal besproken:

  • Onderzoekers: publicaties komen meestal in een wetenschappelijk tijdschrift over hun vakgebied, om een theorie te belichten of een methode te toetsen.

  • Studenten: publicaties hebben meestal het doel om studenten iets te leren over een onderzoeksopzet en het uitvoeren van onderzoek.

  • Managers/beleidsmakers: publicaties hebben meestal het doel om aanbevelingen te doen voor beleid. De nadruk ligt op de samenvatting en de aanbevelingen.

  • Uitvoerenden: Wanneer de aanbevelingen tot doel hebben de uitvoerenden in een organisatie tot verandering aan te zetten is het van belang om na te gaan of de informatie en de aanbevelingen passen bij de voorkennis van deze personen.

  • Breed publiek: Dit is een moeilijke doelgroep om voor te schrijven, omdat het een zeer gevarieerde groep mensen betreft. Houd het kort en duidelijk, en vermijd jargon.

Aan publicaties in gerenommeerde wetenschappelijke tijdschriften wordt een hoge status verleend. Dit zegt echter niet per definitie dat de kwaliteit van het onderzoek ook hoog is. Wel gaat er aan publicatie een periode van peer review vooraf. Collega-onderzoekers beoordelen het onderzoek en het artikel en leveren commentaar. Daarmee wordt geprobeerd een extra kwaliteitscheck in te bouwen. Echter, niet alle peer reviews zijn van hoge kwaliteit, en aangezien je artikel niet geplaatst zal worden als je het commentaar niet meeneemt in een nieuwe versie, kan de keuze voor het overnemen van bepaalde standpunten een politiek of strategische keuze worden. Kijk daarom altijd kritisch naar de gepresenteerde informatie, hoe prestigieus het tijdschrift of boek ook is.

Join World Supporter
Join World Supporter
Log in or create your free account

Why create an account?

  • Your WorldSupporter account gives you access to all functionalities of the platform
  • Once you are logged in, you can:
    • Save pages to your favorites
    • Give feedback or share contributions
    • participate in discussions
    • share your own contributions through the 7 WorldSupporter tools
Follow the author: Vintage Supporter
Promotions
Image

Op zoek naar een uitdagende job die past bij je studie? Word studentmanager bij JoHo !

Werkzaamheden: o.a.

  • Het werven, aansturen en contact onderhouden met auteurs, studie-assistenten en het lokale studentennetwerk.
  • Het helpen bij samenstellen van de studiematerialen
  • PR & communicatie werkzaamheden

Interesse? Reageer of informeer

verzekering studeren in het buitenland

Ga jij binnenkort studeren in het buitenland?
Regel je zorg- en reisverzekering via JoHo!

Access level of this page
  • Public
  • WorldSupporters only
  • JoHo members
  • Private
Statistics
[totalcount]
Content categories
Comments, Compliments & Kudos

Add new contribution

CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
Image CAPTCHA
Enter the characters shown in the image.