Explicit research methods and scholarly judgment 
Prosedur penelitian dan pertimbangan ilmiah 
Ross Woods, 2026
Some doctoral programs effectively allow students to pass their dissertations once they have established a research gap, defined a suitable topic, and correctly followed prescribed explicit procedures. Although identifying the gap and choosing the topic require scholarly judgment, the remaining work may be assessed mainly for procedural compliance. Because the problem is new and unique, students and students normally continue through to reach acceptable conclusions. I’ve seen this many times in qualitative research where the data is gathered in about twenty one-hour interviews and analyzed though thematic coding. The problem is that students can satisfy these expectations without demonstrating sustained scholarly judgment throughout the research and writing. Consequently, research training should distinguish tasks that can become reliable procedures from decisions that require scholarly judgment.
In defense of established research methods, they have evolved over years to define and promote the validity of data and of conclusions. They normally give instructions of how to avoid errors, and give options at various junctures, with criteria for choosing options. It is not necessarily erroneous to follow sound procedures, and beginning researchers should understand them and the reasons for them, and be able to follow them without making mistakes.
Methodology textbooks are written mainly as procedural knowledge, and entire methodologies have become almost algorithmic. It could be added that methodology textbooks can only give guidance on tasks that descisions that require independent judgement. Some reporting standards are to some extent procedural checklists, even though at least some of them warn against such an interpretation. Examples include PRISMA for systematic reviews, CONSORT for clinical trials, COREQ for qualitative reporting, and STROBE for observational studies.
Signs that a dissertation is highly procedure-driven are as follows:
- The student follows their methodology training exactly. They then frequently quote either their methodology textbook or other research articles as sufficient justification for their particular choices. Students often defend methodology by saying "I followed Creswell." or "This is what Braun and Clarke recommend." That is almost entirely procedural.
- The literature review is simply a summary and collation of studies without comparing, evaluating, or synthesizing them. They lack critical thinking and synthesis.
- They avoid or minimize theory-building.
- They do not identify situations when they should adapt methods to the particular needs of the research.
- The student describes the steps but cannot explain why they suit the research question and the nature of the data.
- The analysis excludes inconsistent evidence, anomalies, and outliers without justification. The student cannot explain how unexpected findings affected the analysis.
Knowledge needs to be deeper than procedural checklists. Since Michael Polanyi, scholars have distinguished between explicit knowledge that can be written as procedures and tacit knowledge that requires judgment and experience. Many authors argue that expertise develops by turning explicit procedures into tacit competence, while others warn that not everything important can ever be codified.
This distinction also distinguishes between experts and novices. Experts recognize patterns, and know when to deviate and exercise judgment; they know how “the rules” work and when to veer away from them and create new adjustments. In fact, innovations in methodology are a good source of research articles. In contrast, novices follow rules, depend on templates, and imitate published examples.
The researcher’s originality is supposed to lie in why one’s method fits this research problem, how limitations were managed, and how findings were interpreted. Researchers can devote their intellectual effort to those stages that require genuinely original scholarly judgment.
Consequently, different aspects of research can be analyzed according to the extent to which each activity is proceduralizable. That shifts the discussion from "How do we teach research methods?" to "Which parts of doctoral research should remain acts of scholarship, and which parts should become reliable, teachable workflows?” Put another way, “When can methodology training be separated into tacit scholarly judgment and explicit procedures?" This might provide a useful conceptual model for research training.
Perhaps parts of dissertations could be framed as existing on a continuum of proceduralization. Every stage of a dissertation lies somewhere between fully algorithmic and fully scholarly judgment. Each stage contains both procedural work and judgment. That suggests a conceptual dimension against which each part of the research activity could be analyzed.
| What can be made an explicit procedure | What still requires independent judgment | |
|---|---|---|
| Literature review | Recording searches and organizing references | Assessing relevance and synthesizing competing explanations Creating a “map” of the body of literature |
| Data collection | Scheduling, recording, and documenting sessions | Creating insightful question guides Responding appropriately to unexpected answers |
| Analysis | Organizing files and maintaining an audit trail | Developing and revising interpretations |
| Writing | Applying citation and formatting conventions | Constructing an argument and assessing its implications |
Questions
- How can you differentiate between description and analysis?
- How do you know you are answering the research question if data goes in very unexpected directions?
- What is the role of interpretation of context?
- What kinds of adjustments can or should be made to standardized methods? In what circumstances?
- Where is the balance between following established methods and creating new adjustments?
- If a student propose a highly proceduralized methodology because they see it as the simplest possible way to get a passing grade, how should the supervisor respond?
- If a researcher can only follow explicit procedures, are they really a fully qualified researcher?
Annotated bibliography
Braun, Virginia and Clarke, Victoria (2022) Thematic Analysis: A Practical Guide. London: Sage. Example of research methods being taught as structured, trainable procedures.
Chi, Michelene T.H., Glaser, Robert and Farr, Marjorie J. (eds.) (1988) The Nature of Expertise. Hillsdale, NJ: Lawrence Erlbaum Associates. The development of expertise from novice to expert.
CONSORT Group (2010) CONSORT 2010 Statement: Updated Guidelines for Reporting Parallel Group Randomised Trials.
COREQ (2007) Tong, A., Sainsbury, P. and Craig, J. 'Consolidated Criteria for Reporting Qualitative Research (COREQ): A 32-item Checklist for Interviews and Focus Groups', International Journal for Quality in Health Care, 19(6), pp. 349–357.
Creswell, John W. and Creswell, J. David (2018) Research Design: Qualitative, Quantitative, and Mixed Methods Approaches. 5th edn. Thousand Oaks, CA: Sage. Example of research methods being taught as structured, trainable procedures.
Dreyfus, Hubert L. and Dreyfus, Stuart E. (1986) Mind over Machine: The Power of Human Intuition and Expertise in the Era of the Computer. New York: Free Press. How novices rely on rules while experts rely on judgment.
Ericsson, K. Anders, Krampe, Ralf T. and Tesch-Römer, Clemens (1993) 'The role of deliberate practice in the acquisition of expert performance', Psychological Review, 100(3), pp. 363–406.
Polanyi, Michael (1966) The Tacit Dimension. London: Routledge & Kegan Paul. The distinction between explicit and tacit knowledge.
PRISMA Statement (2020) The PRISMA 2020 Statement: An Updated Guideline for Reporting Systematic Reviews. Available from the PRISMA Group.
Schön, Donald A. (1983) The Reflective Practitioner: How Professionals Think in Action. New York: Basic Books. Professional judgment versus technical rationality.
STROBE Initiative (2007) The STROBE Statement: Guidelines for Reporting Observational Studies.
Sweller, John, Ayres, Paul and Kalyuga, Slava (2011) Cognitive Load Theory. New York: Springer. Reducing cognitive load by proceduralising routine tasks.
Dalam sebagian program doktor, mahasiswa dapat lulus disertasi setelah menemukan kesenjangan penelitian, menentukan topik yang sesuai, dan mengikuti prosedur penelitian yang ditetapkan dengan benar. Menemukan kesenjangan dan memilih topik memang memerlukan pertimbangan ilmiah, yaitu kemampuan menilai dan mengambil keputusan berdasarkan bukti serta alasan yang dapat dipertanggungjawabkan. Namun, pekerjaan berikutnya mungkin lebih banyak dinilai berdasarkan kepatuhan terhadap prosedur. Meskipun masalah yang diteliti baru dan memiliki ciri khusus, mahasiswa biasanya terus mengikuti langkah-langkah tersebut hingga menghasilkan kesimpulan yang dianggap dapat diterima. Saya sering melihat hal ini dalam penelitian kualitatif yang mengumpulkan data melalui sekitar dua puluh wawancara, masing-masing selama satu jam, lalu mengolahnya dengan pengodean tematik. Masalahnya, mahasiswa dapat memenuhi tuntutan tersebut tanpa menunjukkan pertimbangan ilmiah yang berkelanjutan selama penelitian dan penulisan. Karena itu, pengajaran penelitian perlu membedakan pekerjaan yang dapat dilakukan dengan prosedur yang jelas dari keputusan yang memerlukan pertimbangan ilmiah.
Metode penelitian yang sudah mapan juga memiliki nilai penting. Metode tersebut berkembang selama bertahun-tahun untuk membantu peneliti menghasilkan data dan kesimpulan yang dapat dipertanggungjawabkan. Biasanya, metode menjelaskan cara menghindari kesalahan serta menyediakan beberapa pilihan pada tahap tertentu, termasuk dasar untuk memilihnya. Mengikuti prosedur yang baik bukanlah suatu kesalahan. Peneliti pemula perlu memahami prosedur tersebut, mengetahui alasan di baliknya, dan mampu menjalankannya dengan benar.
Buku metodologi terutama mengajarkan cara melakukan penelitian melalui langkah-langkah yang teratur. Bahkan, sebagian metode disajikan hampir seperti urutan instruksi yang tinggal diikuti. Namun, untuk pekerjaan dan keputusan yang memerlukan pertimbangan mandiri, buku hanya dapat memberikan arahan. Beberapa pedoman pelaporan penelitian juga berbentuk daftar periksa, walaupun sebagian pedoman memperingatkan pembaca agar tidak menganggapnya sekadar daftar prosedur. Contohnya adalah PRISMA untuk tinjauan sistematis, CONSORT untuk uji klinis, COREQ untuk pelaporan penelitian kualitatif, dan STROBE untuk penelitian observasional.
Berikut beberapa tanda bahwa sebuah disertasi terlalu bergantung pada prosedur:
- Mahasiswa mengikuti persis apa yang diajarkan dalam pelatihan metodologi. Untuk membenarkan pilihannya, ia sering hanya mengutip buku metodologi atau artikel penelitian lain. Misalnya, ia berkata, “Saya mengikuti Creswell,” atau “Inilah yang disarankan Braun dan Clarke.” Alasan tersebut menunjukkan kepatuhan pada prosedur, tetapi belum menjelaskan mengapa pilihan itu sesuai untuk penelitiannya.
- Tinjauan pustaka hanya merangkum dan mengumpulkan hasil penelitian. Mahasiswa tidak membandingkan, menilai, atau menghubungkan berbagai penelitian untuk membentuk pemahaman yang lebih menyeluruh. Akibatnya, tinjauan tersebut kurang menunjukkan pemikiran kritis.
- Mahasiswa menghindari atau hanya sedikit mengembangkan teori, yaitu penjelasan yang menghubungkan berbagai temuan atau konsep.
- Mahasiswa tidak mengenali keadaan yang mengharuskannya menyesuaikan metode dengan kebutuhan khusus penelitiannya.
- Mahasiswa dapat menjelaskan langkah-langkah penelitian, tetapi tidak dapat menjelaskan mengapa langkah tersebut sesuai dengan pertanyaan penelitian dan jenis datanya.
- Mahasiswa mengeluarkan bukti yang bertentangan, temuan yang tidak biasa, atau data yang sangat berbeda dari pola umum tanpa alasan yang jelas. Ia juga tidak dapat menjelaskan bagaimana temuan yang tidak terduga memengaruhi analisisnya.
Pengetahuan tentang penelitian perlu lebih mendalam daripada sekadar memahami daftar langkah. Sejak karya Michael Polanyi, para ahli membedakan pengetahuan eksplisit dari pengetahuan tacit. Pengetahuan eksplisit dapat dijelaskan secara langsung, misalnya dalam bentuk petunjuk tertulis. Pengetahuan tacit berkembang melalui pengalaman dan kemampuan menilai keadaan, sehingga tidak mudah dijelaskan seluruhnya dalam petunjuk. Banyak penulis berpendapat bahwa keahlian berkembang ketika seseorang tidak lagi sekadar mengikuti petunjuk, tetapi dapat menerapkannya dengan pemahaman dan pertimbangan yang matang. Penulis lain mengingatkan bahwa tidak semua pengetahuan penting dapat dituangkan sepenuhnya ke dalam aturan tertulis.
Perbedaan ini juga membantu menjelaskan perbedaan antara ahli dan pemula. Ahli dapat mengenali pola serta menilai kapan prosedur biasa perlu disesuaikan. Mereka memahami cara kerja aturan dan alasan di baliknya. Karena itu, mereka dapat membuat penyesuaian yang beralasan. Pengembangan metode baru bahkan dapat menjadi bahan artikel penelitian. Sebaliknya, pemula cenderung mengikuti aturan, bergantung pada templat, dan meniru contoh yang sudah diterbitkan.
Keaslian pemikiran peneliti seharusnya terlihat dalam alasan memilih metode yang sesuai dengan masalah penelitian, cara menangani keterbatasan, dan cara menafsirkan temuan. Peneliti dapat memusatkan usaha berpikirnya pada tahap-tahap yang memerlukan pertimbangan ilmiah dan pemikiran mandiri.
Dengan demikian, kita dapat menilai setiap kegiatan penelitian berdasarkan seberapa jauh kegiatan itu dapat dijadikan prosedur yang jelas. Pertanyaannya bukan hanya “Bagaimana kita mengajarkan metode penelitian?”, tetapi juga “Bagian mana dari penelitian doktor yang memerlukan penilaian dan pemikiran mandiri, dan bagian mana yang dapat diajarkan sebagai langkah kerja yang dapat diandalkan?” Dengan kata lain, bagian mana dari pengajaran metodologi yang berupa prosedur tertulis, dan bagian mana yang perlu mengembangkan kemampuan menilai melalui pengalaman? Pembedaan ini dapat menjadi dasar yang berguna untuk merancang pengajaran penelitian.
Bagian-bagian disertasi dapat dipahami sebagai berada pada suatu rentang. Pada satu ujung terdapat pekerjaan yang hampir seluruhnya dapat dilakukan dengan mengikuti langkah yang jelas. Pada ujung lain terdapat pekerjaan yang sangat bergantung pada pertimbangan ilmiah. Setiap tahap penelitian biasanya mengandung keduanya, tetapi dalam perbandingan yang berbeda. Rentang ini dapat membantu kita menilai kebutuhan setiap kegiatan penelitian.
| Pekerjaan yang dapat dijadikan prosedur yang jelas | Pekerjaan yang tetap memerlukan pertimbangan mandiri | |
|---|---|---|
| Tinjauan pustaka | Mencatat proses pencarian dan mengatur referensi. | Menilai relevansi sumber, membandingkan dan menghubungkan penjelasan yang berbeda, serta membuat “peta” yang menunjukkan pola dalam keseluruhan literatur. |
| Pengumpulan data | Mengatur jadwal, merekam, dan mencatat pelaksanaan sesi pengumpulan data. | Menyusun panduan pertanyaan yang membantu menggali pemahaman mendalam dan menanggapi jawaban yang tidak terduga secara tepat. |
| Analisis | Mengatur berkas dan menyimpan catatan tentang langkah serta keputusan penelitian agar prosesnya dapat ditelusuri. | Mengembangkan dan memperbaiki penafsiran terhadap data. |
| Penulisan | Mengikuti aturan kutipan dan format tulisan. | Membangun argumen berdasarkan bukti dan menilai implikasinya, yaitu apa arti argumen tersebut bagi pemahaman atau tindakan selanjutnya. |
Pertanyaan untuk diskusi
- Bagaimana Anda membedakan deskripsi, yaitu menggambarkan isi data, dari analisis, yaitu menelaah pola, hubungan, dan maknanya?
- Jika data menunjukkan hal yang sangat berbeda dari perkiraan awal, bagaimana Anda memastikan bahwa penelitian tetap menjawab pertanyaan penelitian?
- Apa peran pemahaman tentang konteks, seperti keadaan lembaga, hubungan antarorang, atau budaya setempat, dalam menafsirkan data?
- Penyesuaian apa yang boleh atau perlu dilakukan terhadap metode yang sudah baku? Dalam keadaan apa penyesuaian tersebut diperlukan?
- Bagaimana menentukan keseimbangan antara mengikuti metode yang sudah mapan dan membuat penyesuaian baru?
- Jika mahasiswa mengusulkan metode yang hampir seluruhnya berupa langkah-langkah tetap karena menganggapnya sebagai cara termudah untuk lulus, bagaimana sebaiknya pembimbing menanggapi?
- Jika peneliti hanya mampu mengikuti prosedur tertulis, apakah ia sudah memiliki kemampuan yang cukup untuk bekerja sebagai peneliti mandiri?
Daftar pustaka beranotasi
Braun, Virginia and Clarke, Victoria (2022) Thematic Analysis: A Practical Guide. London: Sage. Contoh pengajaran metode penelitian melalui langkah-langkah yang terstruktur dan dapat dilatih.
Chi, Michelene T.H., Glaser, Robert and Farr, Marjorie J. (eds.) (1988) The Nature of Expertise. Hillsdale, NJ: Lawrence Erlbaum Associates. Membahas perkembangan keahlian dari tingkat pemula hingga ahli.
CONSORT Group (2010) CONSORT 2010 Statement: Updated Guidelines for Reporting Parallel Group Randomised Trials.
COREQ (2007) Tong, A., Sainsbury, P. and Craig, J. 'Consolidated Criteria for Reporting Qualitative Research (COREQ): A 32-item Checklist for Interviews and Focus Groups', International Journal for Quality in Health Care, 19(6), pp. 349–357.
Creswell, John W. and Creswell, J. David (2018) Research Design: Qualitative, Quantitative, and Mixed Methods Approaches. 5th edn. Thousand Oaks, CA: Sage. Contoh pengajaran metode penelitian melalui langkah-langkah yang terstruktur dan dapat dilatih.
Dreyfus, Hubert L. and Dreyfus, Stuart E. (1986) Mind over Machine: The Power of Human Intuition and Expertise in the Era of the Computer. New York: Free Press. Membahas bagaimana pemula bergantung pada aturan, sedangkan ahli menggunakan pertimbangan berdasarkan pemahaman dan pengalaman.
Ericsson, K. Anders, Krampe, Ralf T. and Tesch-Römer, Clemens (1993) 'The role of deliberate practice in the acquisition of expert performance', Psychological Review, 100(3), pp. 363–406.
Polanyi, Michael (1966) The Tacit Dimension. London: Routledge & Kegan Paul. Membahas perbedaan antara pengetahuan yang dapat dijelaskan secara langsung dan pengetahuan yang berkembang melalui pengalaman tetapi tidak mudah dijelaskan seluruhnya.
PRISMA Statement (2020) The PRISMA 2020 Statement: An Updated Guideline for Reporting Systematic Reviews. Tersedia dari PRISMA Group.
Schön, Donald A. (1983) The Reflective Practitioner: How Professionals Think in Action. New York: Basic Books. Membahas perbedaan antara menggunakan pertimbangan profesional dan menyelesaikan masalah melalui penerapan teknik atau aturan.
STROBE Initiative (2007) The STROBE Statement: Guidelines for Reporting Observational Studies.
Sweller, John, Ayres, Paul and Kalyuga, Slava (2011) Cognitive Load Theory. New York: Springer. Membahas cara mengurangi beban berpikir dengan menjadikan pekerjaan rutin sebagai langkah-langkah yang jelas.
CC BY-NC-ND
This work is released under a CC BY-NC-ND license, which means that you are free to do with it as you please as long as you (1) properly attribute it, (2) do not use it for commercial gain, and (3) do not create derivative works. Link
Disclaimer: Artificial Intelligence (AI) was used in some parts of this book. If AI plagiarized your content, contact the author with evidence to initiate changes.