Making Qualitative Program Evaluation More Rigorous
Menguatkan Evaluasi Program Kualitatif

Compiled by Ross Woods, 2026

Relying on simple satisfaction questions (“Did You Like It?”) produces shallow and often biased data. Moving beyond satisfaction only requires shifting from surface-level opinions to structured evidence of change.

Consider the kinds of invalidity resulting in satisfaction-only evaluation in student projects:

  1. Students are eager to show that their project is successful, so they look only for favourable feedback.
  2. Participants might be embarrased to report problems and failures in the program, especially if the student ran the program.

To make qualitative evaluation of human programs more rigorous, the goal is to systematically collect, analyze, and interpret rich evidence about experiences, processes, and outcomes. Consider these ways to put rigour into your qualitative evaluation:

1. Ask Purposeful, Theory-Driven Questions

Don't just ask open-ended questions. Map your questions to the program’s change management plan. You can also anchor the inquiry in a program theory, or a model of program rationale, or clearly stated evaluation questions.

Instead of asking only “Did you like the program?”, ask clearly stated questions that look for objective evidence, not just personal perceptions and attitudes. Explore evidence of change, usefulness, barriers, and mechanisms.

  1. What changes have you noticed in your daily life since participating?
  2. Which parts of the program were most or least useful, and why?
  3. What barriers did you encounter in applying what you learned?
  4. What would have made the service more accessible, relevant, or effective?

2. Use Multiple Data Collection Methods

Do not rely on one kind of source. Rigor improves when findings are supported across different types of evidence.

  1. Use in-depth interviews to understand individual experiences.
  2. Use focus groups to explore shared norms, differences, and group dynamics.
  3. Use observations to examine what actually happens in service delivery.
  4. Use document review to compare participant accounts with service records, case notes, or program materials.

Confidence in the findings increases when several kinds of sources point to similar conclusions. In other words, you can triangulate your data. Cross-reference participant interviews with:

  1. Front-line staff observations: Do their notes match the participant's self-report?
  2. Focus groups: Do individual stories hold up when discussed in a peer setting?
  3. Quantitative and behavioral data: For example, if a participant says they feel more "confident" searching for jobs, does the data show they’ve actually submitted more applications?

3. Sample Strategically

A rigorous qualitative evaluation should not rely only on the easiest or happiest participants to reach.

  1. Use purposive sampling to include participants with different roles, backgrounds, or levels of engagement.
  2. Use maximum variation sampling to capture diverse experiences across age, gender, culture, location, service intensity, or outcome level.
  3. Include people who disengaged, dropped out, or had less positive experiences where possible.

This helps reduce bias and provides a fuller picture of how the program works for different groups.

4. Use Structured Interview and Focus Group Guides

Semi-structured guides improve consistency while still allowing participants to explain their experiences in their own words.

  1. Ask a common set of core questions across participants.
  2. Use neutral probes such as “Can you give an example?” or “What happened next?”
  3. Avoid leading questions that imply a preferred answer.
  4. Train interviewers to listen actively and ask follow-up questions consistently.

5. Analyze the Data Systematically

Rigorous qualitative analysis requires more than selecting interesting quotes.

  1. Transcribe or carefully document the data.
  2. Develop a coding framework based on the evaluation questions and emerging themes.
  3. Apply codes consistently across the data.
  4. Compare patterns across participant groups, service sites, or outcome categories.
  5. Use more than one reviewer where possible to strengthen consistency.

Common approaches include thematic analysis, framework analysis, and content analysis.

6. Check Credibility and Validity

Qualitative rigor depends on whether the findings are credible, transparent, and well supported.

  1. Use member checking by sharing summaries with participants or stakeholders to test whether interpretations are accurate.
  2. Use peer debriefing by asking another evaluator to challenge assumptions and interpretations.
  3. Keep an audit trail documenting sampling, data collection, coding decisions, and analytic changes.
  4. Use reflexivity to identify how evaluator assumptions, roles, or relationships may shape the findings.

7. Look for specific kinds of evidence

  1. Most Significant Change (MSC): Ask participants to describe the biggest change they’ve experienced and why it matters. Then, have a panel "level" these stories to find the most impactful ones.
  2. Critical Incident Technique: Ask about a specific moment when the program was particularly helpful (or unhelpful) to identify exact mechanisms of success.
  3. Look for disconfirming evidence. This makes conclusions more balanced and useful for program improvement.
    1. Actively search for negative cases, contradictions, and unexpected findings.
    2. Ask for whom the program worked less well, and why.
    3. Compare positive accounts with neutral or critical accounts.

8. Link Qualitative Findings to Outcomes

Qualitative evidence should help explain not only whether participants valued the program, but how and why change occurred.

  1. Connect participant narratives to intended outcomes such as wellbeing, housing stability, employment, safety, confidence, or service access.
  2. Use qualitative data to identify mechanisms of change, such as trust, skill-building, advocacy, cultural safety, or practical support.
  3. Compare reported experiences with available quantitative indicators where possible.

9. Report Findings Transparently

Once you have your feedback, don’t just cherry-pick "nice" quotes. Transparent reporting allows readers to assess the strength of the evidence.

  1. Describe who participated and how they were selected.
  2. Explain how data were collected and analyzed.
  3. Show how themes were developed.
  4. Use participant quotes as evidence, not decoration.
  5. State limitations clearly, including gaps in the sample or data.

10. Integrate Quantitative Data Where Useful

Mixed-methods evaluation can combine breadth with depth.

  1. Use surveys or administrative data to estimate the scale of outcomes.
  2. Use qualitative data to explain why those outcomes occurred.
  3. Use qualitative findings to interpret unexpected quantitative results.

11. Use Thematic Analysis

In a larger program with lots of feedback data, thematic analysis will improve evaluation rigour.

  1. Transcribe interviews and use a coding process (tagging specific ideas).
  2. Look for negative cases (disconfirming evidence). If nine people loved the program but one felt it was culturally insensitive, that one voice is a critical data point for rigour.

12.Member checking

To ensure you aren't biasing the results, take your findings back to the participants. Ask, I summarized our talk into these three themes—does this actually represent your experience? This validates that the data belongs to the user, not the evaluator's ego.

Summary

Rigorous qualitative evaluation is systematic, theory-informed, triangulated, transparent, and attentive to both positive and negative evidence.

The key shift is from asking whether participants liked a program to asking what changed, for whom, under what conditions, and why.

Mengandalkan pertanyaan kepuasan sederhana (“Apakah Anda Menyukainya?”) menghasilkan data yang dangkal dan sering kali bias. Melampaui hanya kepuasan memerlukan pergeseran dari opini permukaan ke bukti perubahan yang terstruktur.

Pertimbangkan jenis-jenis ketidakvalidan yang muncul dari evaluasi berbasis kepuasan saja dalam proyek mahasiswa:

  1. Mahasiswa ingin menunjukkan bahwa proyek mereka berhasil, sehingga mereka hanya mencari umpan balik yang menguntungkan.
  2. Peserta mungkin merasa malu untuk melaporkan masalah dan kegagalan dalam program, terutama jika mahasiswa tersebut yang menjalankan program.

Untuk membuat evaluasi kualitatif program manusia lebih ketat, tujuannya adalah mengumpulkan, menganalisis, dan menafsirkan bukti yang kaya tentang pengalaman, proses, dan hasil secara sistematis. Pertimbangkan cara-cara berikut untuk meningkatkan ketelitian dalam evaluasi kualitatif Anda:

1. Ajukan Pertanyaan yang Terarah dan Berbasis Teori

Jangan hanya mengajukan pertanyaan terbuka. Petakan pertanyaan Anda dengan rencana manajemen perubahan program. Anda juga dapat mendasarkan penyelidikan pada teori program, atau model rasional program, atau pertanyaan evaluasi yang dinyatakan dengan jelas.

Alih-alih hanya bertanya “Apakah Anda menyukai program ini?”, ajukan pertanyaan yang jelas yang mencari bukti objektif, bukan hanya persepsi dan sikap pribadi. Jelajahi bukti perubahan, kegunaan, hambatan, dan mekanisme.

  1. Perubahan apa yang Anda rasakan dalam kehidupan sehari-hari sejak berpartisipasi?
  2. Bagian mana dari program yang paling atau paling tidak berguna, dan mengapa?
  3. Hambatan apa yang Anda temui dalam menerapkan apa yang telah dipelajari?
  4. Apa yang dapat membuat layanan lebih mudah diakses, relevan, atau efektif?

2. Gunakan Berbagai Metode Pengumpulan Data

Jangan hanya mengandalkan satu jenis sumber. Ketelitian meningkat ketika temuan didukung oleh berbagai jenis bukti.

  1. Gunakan wawancara mendalam untuk memahami pengalaman individu.
  2. Gunakan diskusi kelompok terarah (focus group) untuk mengeksplorasi norma bersama, perbedaan, dan dinamika kelompok.
  3. Gunakan observasi untuk mengkaji apa yang benar-benar terjadi dalam penyampaian layanan.
  4. Gunakan telaah dokumen untuk membandingkan laporan peserta dengan catatan layanan, catatan kasus, atau materi program.

Kepercayaan terhadap temuan meningkat ketika beberapa jenis sumber menunjukkan kesimpulan yang serupa. Dengan kata lain, Anda dapat melakukan triangulasi data. Lakukan perbandingan silang wawancara peserta dengan:

  1. Observasi staf garis depan: Apakah catatan mereka sesuai dengan laporan peserta?
  2. Diskusi kelompok: Apakah cerita individu tetap konsisten saat dibahas dalam kelompok sebaya?
  3. Data kuantitatif dan perilaku: Misalnya, jika peserta mengatakan mereka merasa lebih “percaya diri” dalam mencari pekerjaan, apakah data menunjukkan mereka benar-benar mengirim lebih banyak lamaran?

3. Lakukan Pengambilan Sampel Secara Strategis

Evaluasi kualitatif yang ketat tidak boleh hanya bergantung pada peserta yang paling mudah dijangkau atau paling puas.

  1. Gunakan purposive sampling untuk mencakup peserta dengan peran, latar belakang, atau tingkat keterlibatan yang berbeda.
  2. Gunakan maximum variation sampling untuk menangkap pengalaman yang beragam berdasarkan usia, gender, budaya, lokasi, intensitas layanan, atau tingkat hasil.
  3. Sertakan individu yang berhenti, keluar, atau memiliki pengalaman kurang positif jika memungkinkan.

Hal ini membantu mengurangi bias dan memberikan gambaran yang lebih lengkap tentang bagaimana program bekerja bagi berbagai kelompok.

4. Gunakan Panduan Wawancara dan Focus Group yang Terstruktur

Panduan semi-terstruktur meningkatkan konsistensi sambil tetap memungkinkan peserta menjelaskan pengalaman mereka dengan kata-kata sendiri.

  1. Ajukan serangkaian pertanyaan inti yang sama kepada semua peserta.
  2. Gunakan pertanyaan lanjutan yang netral seperti “Bisakah Anda memberi contoh?” atau “Apa yang terjadi selanjutnya?”
  3. Hindari pertanyaan yang mengarahkan yang menyiratkan jawaban tertentu.
  4. Latih pewawancara untuk mendengarkan secara aktif dan mengajukan pertanyaan lanjutan secara konsisten.

5. Analisis Data Secara Sistematis

Analisis kualitatif yang ketat membutuhkan lebih dari sekadar memilih kutipan yang menarik.

  1. Transkripsikan atau dokumentasikan data dengan cermat.
  2. Kembangkan kerangka pengkodean berdasarkan pertanyaan evaluasi dan tema yang muncul.
  3. Terapkan kode secara konsisten di seluruh data.
  4. Bandingkan pola antar kelompok peserta, lokasi layanan, atau kategori hasil.
  5. Gunakan lebih dari satu penelaah jika memungkinkan untuk meningkatkan konsistensi.

Pendekatan umum meliputi analisis tematik, analisis kerangka, dan analisis konten.

6. Periksa Kredibilitas dan Validitas

Ketelitian kualitatif bergantung pada apakah temuan tersebut kredibel, transparan, dan didukung dengan baik.

  1. Gunakan member checking dengan membagikan ringkasan kepada peserta atau pemangku kepentingan untuk menguji apakah interpretasi sudah akurat.
  2. Gunakan peer debriefing dengan meminta evaluator lain menantang asumsi dan interpretasi.
  3. Simpan jejak audit yang mendokumentasikan pengambilan sampel, pengumpulan data, keputusan pengkodean, dan perubahan analisis.
  4. Gunakan refleksivitas untuk mengidentifikasi bagaimana asumsi, peran, atau hubungan evaluator dapat memengaruhi temuan.

7. Cari Jenis Bukti yang Spesifik

  1. Most Significant Change (MSC): Minta peserta menggambarkan perubahan terbesar yang mereka alami dan mengapa hal itu penting. Kemudian, minta panel untuk “menilai” cerita-cerita ini guna menemukan yang paling berdampak.
  2. Critical Incident Technique: Tanyakan tentang momen spesifik ketika program sangat membantu (atau tidak membantu) untuk mengidentifikasi mekanisme keberhasilan secara tepat.
  3. Cari bukti yang bertentangan. Hal ini membuat kesimpulan lebih seimbang dan berguna untuk perbaikan program.
    1. Secara aktif cari kasus negatif, kontradiksi, dan temuan yang tidak terduga.
    2. Tanyakan untuk siapa program kurang efektif, dan mengapa.
    3. Bandingkan laporan positif dengan laporan netral atau kritis.

8. Hubungkan Temuan Kualitatif dengan Hasil

Bukti kualitatif harus membantu menjelaskan tidak hanya apakah peserta menghargai program, tetapi juga bagaimana dan mengapa perubahan terjadi.

  1. Hubungkan narasi peserta dengan hasil yang diharapkan seperti kesejahteraan, stabilitas tempat tinggal, pekerjaan, keamanan, kepercayaan diri, atau akses layanan.
  2. Gunakan data kualitatif untuk mengidentifikasi mekanisme perubahan, seperti kepercayaan, pengembangan keterampilan, advokasi, keamanan budaya, atau dukungan praktis.
  3. Bandingkan pengalaman yang dilaporkan dengan indikator kuantitatif yang tersedia jika memungkinkan.

9. Laporkan Temuan Secara Transparan

Setelah Anda memperoleh umpan balik, jangan hanya memilih kutipan “bagus”. Pelaporan yang transparan memungkinkan pembaca menilai kekuatan bukti.

  1. Jelaskan siapa yang berpartisipasi dan bagaimana mereka dipilih.
  2. Jelaskan bagaimana data dikumpulkan dan dianalisis.
  3. Tunjukkan bagaimana tema dikembangkan.
  4. Gunakan kutipan peserta sebagai bukti, bukan sekadar hiasan.
  5. Nyatakan keterbatasan dengan jelas, termasuk kekurangan dalam sampel atau data.

10. Integrasikan Data Kuantitatif Jika Berguna

Evaluasi metode campuran dapat menggabungkan keluasan dengan kedalaman.

  1. Gunakan survei atau data administratif untuk memperkirakan skala hasil.
  2. Gunakan data kualitatif untuk menjelaskan mengapa hasil tersebut terjadi.
  3. Gunakan temuan kualitatif untuk menafsirkan hasil kuantitatif yang tidak terduga.

11. Gunakan Analisis Tematik

Dalam program yang lebih besar dengan banyak data umpan balik, analisis tematik akan meningkatkan ketelitian evaluasi.

  1. Transkripsikan wawancara dan gunakan proses pengkodean (menandai ide-ide spesifik).
  2. Cari kasus negatif (bukti yang bertentangan). Jika sembilan orang menyukai program tetapi satu orang merasa program tersebut tidak sensitif secara budaya, suara tersebut adalah titik data penting untuk ketelitian.

12.Member checking

Untuk memastikan Anda tidak membiaskan hasil, kembalikan temuan Anda kepada peserta. Tanyakan, Saya merangkum percakapan kita menjadi tiga tema ini—apakah ini benar-benar mewakili pengalaman Anda? Ini memvalidasi bahwa data milik pengguna, bukan ego evaluator.

Ringkasan

Evaluasi kualitatif yang ketat bersifat sistematis, berbasis teori, ditriangulasi, transparan, dan memperhatikan bukti positif maupun negatif.

Perubahan utama adalah dari menanyakan apakah peserta menyukai program menjadi menanyakan apa yang berubah, untuk siapa, dalam kondisi apa, dan mengapa.

 

CC BY-NC-ND
This work is released under a CC BY-NC-ND license, which means that you are free to do with it as you please as long as you (1) properly attribute it, (2) do not use it for commercial gain, and (3) do not create derivative works.
Disclaimer: Artificial Intelligence (AI) was used in some parts of this book. If AI plagiarized your content, contact the author with evidence to initiate changes.