Bazıları, Modern Bilimin Temel Taşının Kırıldığını Diyor. İşte Nasıl Düzeltebiliriz

Akran değerlendirmesi süreci, modern bursun temel taşıdır. Yeni bir çalışma akademik bir dergide yayınlanmadan önce uzmanlar kanıtları, araştırmaları ve argümanları dikkatle inceleyerek biriktiklerinden emin olurlar.

Ancak, birçok yazar, hakem ve editör, modern akran değerlendirme sisteminin çalışma şekliyle ilgili sorunlar yaşıyor. Yavaş, anlaşılmaz ve klişe olabilir ve zaten çok çalışan akademisyenlerin gönüllü emeğiyle çalışır.

Geçen ay, birimiz (Kelly-Ann Allen) Twitter’da hakem bulmanın zorluklarından duyduğu hayal kırıklığını dile getirdi. Yüzlerce yanıttan sonra, meslektaş değerlendirmesine yönelik eleştirilerden ve bunu nasıl daha iyi hale getirebileceğimize dair önerilerden oluşan büyük bir kitle kaynaklı koleksiyona sahip olduk.

Bir dergi editörü olarak, insanların yayın yaptığını ve incelemeye katılmadığını okumak zor. Hakem bulmak giderek zorlaşıyor ve bu, zaman çizelgelerinin yayınlanmasında önemli gecikmelere neden oluyor. #Akademik Sohbet @AcademicChatter

— Kelly-Ann Allen, #okula ait olan #doktora (@drkellyallen) 6 Haziran 2022

Dergilere, yayıncılara ve üniversitelere yönelik öneriler, akran değerlendirmesini daha hesap verebilir, adil ve kapsayıcı hale getirmek için yapılacak çok şey olduğunu göstermektedir. Tüm bulgularımızı aşağıda özetledik.

Meslektaş incelemesinin üç zorluğu

Akran değerlendirme sisteminin karşı karşıya olduğu üç ana zorluk görüyoruz.

İlk olarak, meslektaş incelemesi sömürücü olabilir.

Akademik dergiler yayınlayan şirketlerin çoğu, aboneliklerden ve satışlardan kar elde ediyor. Bununla birlikte, yazarlar, editörler ve hakemler genellikle zamanlarını ve emeklerini gönüllü olarak vererek, etkin bir şekilde ücretsiz iş gücü gerçekleştirirler.

Ve meslektaş incelemesi genellikle akademik topluluğun kolektif bir girişimi olarak görülse de, uygulamada işin çoğunu araştırmacıların küçük bir kısmı yapıyor. Biyomedikal dergiler üzerinde yapılan bir araştırma, 2015 yılında araştırmacıların sadece yüzde 20’sinin akran değerlendirmesinin yüzde 94’ünü gerçekleştirdiğini buldu.

Akran değerlendirmesi bir ‘kara kutu’ olabilir

İkinci zorluk, akran değerlendirmesi sürecinde şeffaflık eksikliğidir.

Akran değerlendirmesi genellikle isimsiz olarak yapılır: araştırmacılar çalışmalarını kimin gözden geçirdiğini bilmez ve gözden geçirenler de kimin çalışmalarını gözden geçirdiklerini bilmezler. Bu, dürüstlük için alan sağlar, ancak aynı zamanda süreci daha az açık ve hesap verebilir hale getirebilir.

Opaklık ayrıca tartışmayı bastırabilir, önyargıları koruyabilir ve incelemelerin kalitesini düşürebilir.

Akran değerlendirmesi yavaş olabilir

Son zorluk, akran incelemesinin hızıdır.

Bir araştırmacı bir dergiye bir makale gönderdiğinde, ilk reddedilmeyi geçerse, inceleme ve nihai yayın için uzun bir bekleyişle karşı karşıya kalabilirler. Araştırmanın, gönderildikten bir yıl veya daha fazla bir süre sonra yayınlanması nadir değildir.

Bu gecikme herkes için kötü. Politika yapıcılar, liderler ve halk için bu, eski bilimsel kanıtlara dayalı kararlar verebilecekleri anlamına gelir. Akademisyenler için, terfi almak veya görevde kalmak için ihtiyaç duydukları yayınları beklerken gecikmeler kariyerlerini durdurabilir.

Bilim adamları, gecikmelerin tipik olarak gözden geçirenlerin eksikliğinden kaynaklandığını öne sürüyorlar. Birçok akademisyen, zorlu iş yüklerinin onları akran değerlendirmesine katılmaktan caydırabileceğini bildiriyor ve bu, COVID-19 pandemisinin başlangıcından bu yana daha da kötüleşti.

Ayrıca birçok derginin ağırlıklı olarak ABD ve Avrupalı ​​hakemlere güvendiği ve bu da hakem havuzunun büyüklüğünü ve çeşitliliğini sınırladığı tespit edilmiştir.

Akran değerlendirmesini düzeltebilir miyiz?

Peki, ne yapılabilir? Daha önce bahsedilen büyük Twitter sohbetinden gelen yapıcı önerilerin çoğu üç kategoriye ayrıldı.

İlk olarak, birçoğu akran değerlendirmeleri yapmak için daha iyi teşvikler olması gerektiğini önerdi.

Bu, yayıncıların hakemlere ödeme yapmasını (Amerikan Ekonomi Derneği’nin dergileri bunu zaten yapıyor) veya araştırma departmanlarına bir miktar kar vermeyi içerebilir. Dergiler ayrıca gözden geçirenlere ücretsiz abonelikler, yayın ücreti kuponları veya hızlı inceleme incelemeleri sunabilir.

Ancak, teşvik sunan dergilerin yeni sorunlar yaratabileceğini kabul etmeliyiz.

Diğer bir öneri, üniversitelerin akademik iş yükünün bir parçası olarak akran değerlendirmesini kabul etmede daha iyisini yapabilmeleri ve belki de akran değerlendirmesine katkıda bulunanları ödüllendirmeleridir.

Bazı Twitter yorumcuları, kadrolu akademisyenlerin her yıl belirli sayıda makaleyi gözden geçirmesi gerektiğini savundu. Yakın zamanda yapılan bir araştırmaya göre, 2011 ve 2021 yılları arasında yalnızca Avustralya’da 140 kadar derginin yayınını durdurduğu göz önüne alındığında, diğerleri kar amacı gütmeyen dergileri desteklemek için daha fazlasının yapılması gerektiğini düşündü.

Ankete katılanların çoğu, çıkar çatışmalarından kaçınılması gerektiği konusunda hemfikirdi. Önerilen bazı uzman veritabanları, ilgili gözden geçirenlerin bulunmasını kolaylaştıracaktır.

Daha kapsayıcı meslektaş değerlendirmesi işe alım stratejileri kullanın

Ankete katılanların çoğu, dergilerin gözden geçirenleri nasıl işe aldıklarını ve hangi işleri dağıttıklarını iyileştirebileceğini de önerdi. Uzman gözden geçirenler, yöntem veya içerik uzmanlığı temelinde seçilebilir ve her ikisinden ziyade bu öğeye odaklanmaları istenebilir.

Ankete katılanlar ayrıca dergilerin, teklifi kabul etmek veya reddetmek için daha basit bir süreçle, davetlerini en alakalı uzmanları hedef alacak şekilde uyarlamak için daha fazlasını yapmaları gerektiğini savundu.

Diğerleri, daha fazla kadrolu olmayan akademisyenlerin, doktora araştırmacılarının, ilgili sektörlerde çalışan kişilerin ve emekli uzmanların işe alınması gerektiğini düşündü. Lisansüstü öğrenciler için daha fazla akran değerlendirmesi eğitimi ve kadınlar ve yeterince temsil edilmeyen azınlıklar için daha fazla temsil iyi bir başlangıç ​​olacaktır.

Çift kör akran değerlendirmesini yeniden düşünün

Bazı katılımcılar, incelemeye daha insani ve şeffaf bir yaklaşım yaratabilecek daha açık akran inceleme süreçlerine doğru büyüyen bir harekete işaret etti. Örneğin, Royal Society Open Science tüm kararları, inceleme mektuplarını ve akran gözden geçirenlerin gönüllü kimliklerini yayınlar.

Yayın sürecini hızlandırmak için başka bir öneri, zamana duyarlı araştırmalara daha fazla öncelik vermekti.

Ne yapılabilir?

Tek bir tweet’e verilen muazzam yanıttan genel mesaj, meslektaş incelemesi sürecinde sistemik değişikliklere ihtiyaç olduğudur.

Bilim adamlarının ve daha geniş kamuoyunun yararına sürecin nasıl iyileştirileceği konusunda fikir sıkıntısı yoktur. Ancak bunları hayata geçirmek ve daha hesap verebilir, adil ve kapsayıcı bir sistem oluşturmak dergilere, yayıncılara ve üniversitelere bağlı olacaktır.

Yazarlar Emily Rainsford, David V. Smith ve Yumin Lu’ya Akran değerlendirmesini iyileştirmeye yönelik orijinal makaleye katkılarından dolayı teşekkür etmek isterler: Twitter’dan kitle kaynaklı içgörüler.

Kelly-Ann Allen, Doçent, Eğitim Psikolojisi ve Danışmanlığı Okulu, Monash Üniversitesi Eğitim Fakültesi; Jonathan Reardon, Durham Üniversitesi; Joseph Crawford, Kıdemli Öğretim Görevlisi, Eğitimsel İnovasyon, Tazmanya Üniversitesi ve Lucas Walsh, Profesör ve Gençlik Politikası ve Eğitim Uygulamaları Merkezi Direktörü, Monash Üniversitesi.

Bu makale, Creative Commons lisansı altında The Conversation’dan yeniden yayınlanmıştır. Orijinal makaleyi okuyun.