Kodlayıcılar Arası Güvenirlik Nasıl Hesaplanır? Cohen Kappa, Miles-Huberman Formülü ve Raporlama

Kısa cevap: Kodlayıcılar arası güvenirlik, iki veya daha fazla araştırmacının aynı nitel veriyi birbirinden bağımsız kodladığında ne ölçüde aynı kararları verdiğini gösterir. En basit ölçüt Miles-Huberman uzlaşı yüzdesidir: Görüş birliği / (Görüş birliği + Görüş ayrılığı) × 100. Daha sağlam ölçüt ise şans eseri uyumu da hesaba katan Cohen kappa katsayısıdır: κ = (po − pe) / (1 − pe). SPSS’te bu değer Analyze → Descriptive Statistics → Crosstabs → Statistics → Kappa yoluyla alınır.

Bu rehberde iki formülü tek bir çalışılmış örnek üzerinden gösteriyoruz. Örnekte iki kodlayıcı, öğretmenlerle yapılan görüşmelerden çıkarılan 60 anlam birimini dört koda ayırdı. Veri öğretim amacıyla kurgulandı; buna karşın tablodaki uyum yüzdesi, kappa, standart hata ve alfa değerlerinin tamamı gerçekten hesaplandı. Kodlama sürecinin kendisini tazelemek isterseniz Mayring’in nitel içerik analizi rehberimize de göz atabilirsiniz.

Kodlayıcılar arası güvenirlik rehberi: iki kodlayıcının uyum tablosu ve Cohen kappa değeri

Kodlayıcılar arası güvenirlik nedir, neden raporlanır?

Nitel analizde kod, araştırmacının bir metin parçasına verdiği anlamdır. Aynı parçayı iki kişi farklı kodlara atıyorsa bulgular kodlayıcının bakış açısına fazlasıyla bağlı demektir. Kodlayıcılar arası güvenirlik bu riski sayısal olarak görünür kılar ve kod tanımlarının başkaları tarafından da aynı şekilde anlaşıldığını gösterir.

Jüri ve hakemler bu bilgiyi özellikle üç durumda bekler:

  • İçerik analizi: Kategorilerin frekansla raporlandığı çalışmalarda tutarlılık kanıtı neredeyse zorunludur.
  • Önceden tanımlı kod kitabı: Tümdengelimli kodlamada kodlar baştan bellidir; bu yüzden uyumu ölçmek kolay ve anlamlıdır.
  • Ekip çalışması: Veriyi birden fazla kişi kodladığında her kodlayıcının aynı kuralı izlediğini göstermek gerekir.

Öte yandan yorumlayıcı fenomenoloji gibi tek araştırmacının derin okumasına dayanan desenlerde sayısal uyum her zaman beklenmez. Bu desenlerde güvenirlik daha çok uzman incelemesi, katılımcı teyidi ve ayrıntılı denetim iziyle desteklenir. Hangi yolu seçtiğinizi yöntem bölümünde gerekçesiyle belirtmek, savunmada gelecek soruları önceden yanıtlar.

Hesaplamadan önce hangi hazırlıklar yapılmalı?

Uyum katsayısı ancak hazırlık aşaması doğru kurulduysa anlam taşır. Bu nedenle hesaplamaya geçmeden önce şu dört adımı tamamlıyoruz:

  1. Kod kitabı: Her kodun adı, tanımı, dahil etme ve hariç tutma kuralları ile en az bir örnek alıntı yazılır. Belirsiz tanım, düşük uyumun en sık nedenidir.
  2. Analiz birimi: Kodlanacak birim (cümle, paragraf ya da anlam birimi) önceden sabitlenir. İki kodlayıcı farklı uzunlukta parçalar seçerse karşılaştırma yapılamaz.
  3. Alt örneklem: Verinin tamamını iki kez kodlamak çoğu zaman gerekmez. Uygulamada verinin yaklaşık %10–25’i rastgele seçilip ikinci kodlayıcıya verilir.
  4. Bağımsız kodlama: Kodlayıcılar birbirinin kararını görmeden çalışır. Ancak bu koşul sağlanırsa uyum gerçekten ölçülmüş olur.

Ayrıca kısa bir deneme turu yapmak çok işe yarar. Örneğin ilk 10 birimi birlikte tartışıp tanımları düzelttikten sonra asıl hesaplamayı yeni birimler üzerinde yapmak, kod kitabını sahada sınamanın en pratik yoludur. Deneme turunda kullanılan birimleri asıl hesaplamaya katmamak gerekir.

Miles-Huberman uzlaşı yüzdesi nasıl hesaplanır?

Miles ve Huberman (1994) tarafından önerilen formül, Türkçe nitel tezlerde en sık kullanılan ölçüttür:

Güvenirlik = Görüş birliği / (Görüş birliği + Görüş ayrılığı) × 100

Örneğimizde iki kodlayıcı 60 birimin 51 tanesinde aynı koda karar verdi, 9 biriminde ise ayrıştı. Dolayısıyla uzlaşı yüzdesi 51 / (51 + 9) × 100 = %85 olur. Miles ve Huberman ilk kontrolde %70 civarındaki uyumu olağan, sürecin sonunda ise %80–90 aralığını hedeflenen düzey olarak tarif eder.

Bu formülün güçlü yanı sadeliğidir; hesap birkaç saniye sürer ve okuyucu kolayca anlar. Bununla birlikte önemli bir zayıflığı vardır: Kodlayıcıların rastgele seçimle de belli oranda aynı koda düşeceğini hesaba katmaz. Kod sayısı az olduğunda veya bir kod çok baskın olduğunda yüzde değeri bu yüzden olduğundan iyimser görünür. İşte Cohen kappa tam da bu açığı kapatmak için geliştirildi.

Çalışılmış örnek: Cohen kappa adım adım nasıl hesaplanır?

Önce iki kodlayıcının kararlarını bir çapraz tabloya yerleştiriyoruz. Satırlar Kodlayıcı A’nın, sütunlar Kodlayıcı B’nin kararlarını gösterir; köşegendeki hücreler uyumu verir.

Tablo 1. İki kodlayıcının 60 anlam birimini dört koda atama sonuçları (öğretim amaçlı kurgusal veri; köşegen = uyum)
Kodlayıcı A ↓ / Kodlayıcı B → Motivasyon Materyal Zaman Değerlendirme Toplam (A)
Motivasyon 14 1 0 1 16
Materyal 2 12 1 0 15
Zaman 0 1 13 1 15
Değerlendirme 1 0 1 12 14
Toplam (B) 17 14 15 14 60

Hesap üç adımda ilerler:

  1. Gözlenen uyum (po): Köşegen toplamı (14 + 12 + 13 + 12 = 51) birim sayısına bölünür: po = 51 / 60 = ,850.
  2. Şans eseri beklenen uyum (pe): Her kod için iki kodlayıcının marjinal toplamları çarpılır ve toplam, n² ile bölünür: pe = [(16 × 17) + (15 × 14) + (15 × 15) + (14 × 14)] / 60² = 903 / 3600 = ,2508.
  3. Kappa: κ = (,850 − ,2508) / (1 − ,2508) = ,5992 / ,7492 = ,800.

Görüldüğü gibi %85 olan ham uyum, şans payı çıkarılınca ,800 düzeyine iniyor. Bu fark bir hata değildir; aksine kappa, “şanstan beklenenin ötesinde ne kadar uyum var?” sorusunu yanıtlar. Ayrıca uyuşmazlıkların dağılımına bakmak da öğreticidir. Örneğin Materyal kodunun iki kez Motivasyon olarak işaretlenmesi, bu iki kodun tanımları arasında bir sınır sorunu olduğuna işaret eder.

Bunun yanı sıra marjinal toplamlar farklı olduğunda kappanın ulaşabileceği üst sınır 1’in altında kalır. Örneğimizde marjinallere göre ulaşılabilecek en yüksek kappa ,978 oldu. Dolayısıyla kodlayıcılardan biri bir kodu sistematik olarak daha sık kullanıyorsa bunu ayrıca tartışmak gerekir.

Kodlayıcılar arası güvenirlik SPSS’te nasıl hesaplanır?

SPSS’te kodlayıcılar arası güvenirlik için veriyi her birim tek satır olacak biçimde giriyoruz. İki sütun yeterlidir: kodlayici_a ve kodlayici_b. Kodları sayıya çeviriyoruz (1 = Motivasyon, 2 = Materyal, 3 = Zaman, 4 = Değerlendirme) ve Variable View sekmesinde Values alanına etiketlerini yazıyoruz. Measure sütununu da “Nominal” olarak işaretliyoruz.

  1. Analyze → Descriptive Statistics → Crosstabs menüsünü açın.
  2. kodlayici_a değişkenini “Row(s)”, kodlayici_b değişkenini “Column(s)” alanına taşıyın.
  3. Statistics düğmesinde Kappa kutusunu işaretleyip Continue deyin.
  4. İsterseniz Cells düğmesinde “Observed” yanında satır yüzdelerini de seçin, ardından OK deyin.

Aynı analizi sözdizimiyle çalıştırmak için şu komut yeterlidir:

CROSSTABS
  /TABLES=kodlayici_a BY kodlayici_b
  /STATISTICS=KAPPA
  /CELLS=COUNT.

Çıktıdaki Symmetric Measures tablosunda örneğimiz için şu değerler gelir: Measure of Agreement Kappa = ,800, Asymptotic Standard Error = ,062, Approximate T = 10,72 ve Approximate Significance < ,001. Bu tabloda p değeri yalnızca "uyum sıfırdan farklı mı?" sorusunu test eder; bu yüzden tek başına güvenirlik kanıtı sayılmaz. Asıl yorumlanacak olan kappanın büyüklüğü ve güven aralığıdır. %95 güven aralığını κ ± 1,96 × SH ile [0,68; 0,92] olarak elle hesaplayabiliriz.

Dikkat edilmesi gereken bir ayrıntı vardır: SPSS, iki değişkende aynı kod kümesi yoksa (örneğin bir kodlayıcı bir kodu hiç kullanmadıysa) kare olmayan tablo oluşur ve kappa hesaplanmaz. Bu durumda o kodu kullanan sahte bir satır eklemek yerine, eksik kodun nedenini kod kitabında incelemek daha doğrudur.

Kodlama verinizi birlikte kontrol edelim

Nitel tezinizde iki ya da daha fazla kodlayıcıyla çalıştıysanız kod kitabınızı ve kodlama dosyanızı paylaşın. Uyum hesabını, uyuşmazlık analizini ve yöntem bölümündeki raporlama paragrafını sizinle birlikte adım adım kontrol ederiz. Bunun için WhatsApp üzerinden yazabilir ya da iletişim ve teklif sayfamızı kullanabilirsiniz. Kapsam netleştikten sonra çalışma planı ve ücret bütçenize göre birlikte belirlenir.

Kappa değeri nasıl yorumlanır?

Kappa −1 ile +1 arasında değer alır. Sıfır, uyumun şanstan beklenenle aynı olduğunu; 1 ise tam uyumu gösterir. Pek çok alanda Landis ve Koch’un 1977’de önerdiği sınıflama kullanılır:

Tablo 2. Kappa değerleri için yaygın yorum ölçütü (Landis ve Koch, 1977)
Kappa aralığı Uyum düzeyi Tezde pratik anlamı
< ,00 Zayıf (poor) Uyum şansın altında; kod kitabı baştan ele alınmalı
,00 – ,20 Önemsiz (slight) Kod tanımları büyük olasılıkla belirsiz
,21 – ,40 Düşük (fair) Tartışma turu ve yeniden kodlama gerekir
,41 – ,60 Orta (moderate) Sorunlu kodlar ayıklanıp tanımlar netleştirilir
,61 – ,80 Önemli (substantial) Çoğu nitel tez için kabul edilebilir
,81 – 1,00 Neredeyse tam (almost perfect) Güçlü uyum; yine de uyuşmazlıklar raporlanır

Buna göre örneğimizdeki κ = ,800 değeri “önemli” ile “neredeyse tam” sınırında yer alır. Yine de bu ölçütlerin keyfi sınırlar olduğunu unutmamak gerekir. Örneğin sağlık bilimlerinde tanı kararları gibi yüksek riskli kodlamalarda ,80 üzeri beklenirken, keşfedici bir eğitim araştırmasında ,70 civarı makul karşılanabilir. Kısacası eşiği alanınızdaki benzer çalışmalara dayandırmak en sağlam yoldur.

Kappa paradoksu: Bir kod çok baskın olduğunda yüksek ham uyuma rağmen kappa düşük çıkabilir. Örneğin iki kodlayıcı 50 birimi “var/yok” diye kodlasın; 40 birimde ikisi de “var”, 3 birimde ikisi de “yok” desin ve 7 birimde ayrışsınlar. Ham uyum %86 olur. Ne var ki beklenen uyum ,774 kadar yüksek olduğu için kappa yalnızca ,382 çıkar. Bu tür durumlarda uzlaşı yüzdesini, kappayı ve kodların dağılımını birlikte raporlamak okuyucuyu yanlış sonuca götürmez.

İkiden fazla kodlayıcı varsa hangi katsayı kullanılır?

Cohen kappa yalnızca iki kodlayıcı içindir. Ekipte üç veya daha fazla kişi varsa ya da bazı birimler eksik kodlandıysa başka katsayılara geçiyoruz:

  • Fleiss kappa: Üç veya daha fazla kodlayıcı için kappanın genellemesidir. SPSS 26 ve sonraki sürümlerde Analyze → Scale → Reliability Analysis → Statistics penceresindeki Fleiss’ kappa seçeneğiyle alınır.
  • Krippendorff alfa: Kodlayıcı sayısından, eksik veriden ve ölçek türünden (nominal, sıralı, aralıklı) bağımsız çalışır. Örneğimizin nominal alfa değeri ,801 çıktı ve kappaya çok yakın kaldı. Formülü α = 1 − Do / De biçimindedir; yani gözlenen uyuşmazlık beklenen uyuşmazlıkla karşılaştırılır.
  • Sınıf içi korelasyon (ICC): Kodlar kategori değil de puan ise (örneğin 1–5 arası bir derecelendirme) kappa yerine ICC kullanılır.

Nitel analiz programları da bu işi kolaylaştırır. NVivo’da Explore → Coding Comparison sorgusu her kod için yüzde uyumu ve kappayı verir. MAXQDA’da ise Analysis → Intercoder Agreement aracı belge, kod ya da segment düzeyinde karşılaştırma sunar. İki programın farklarını NVivo mu, MAXQDA mı karşılaştırmamızda ele aldık. Tematik analizde kodlama akışının tamamı için ise NVivo ile tematik analiz rehberimize bakabilirsiniz.

Daha fazla teknik ayrıntı için Cohen kappa kaynağına göz atabilirsiniz. Özellikle ağırlıklı kappa konusu, sıralı kodlarda yakın kararları kısmen uyum sayan bir seçenek olarak burada ayrıntılı anlatılır.

Kodlayıcılar arası güvenirlik tezde nasıl raporlanır?

Yöntem bölümünde okuyucu dört bilgiyi görmek ister: kaç kodlayıcının çalıştığı, verinin ne kadarının çift kodlandığı, hangi katsayının kullanıldığı ve uyuşmazlıkların nasıl çözüldüğü. Örneğimiz için raporlama paragrafı şöyle yazılabilir:

“Kodlamanın tutarlılığını sınamak amacıyla görüşme verisinden rastgele seçilen 60 anlam birimi, araştırmacı ve alan uzmanı bir ikinci kodlayıcı tarafından kod kitabı doğrultusunda bağımsız olarak kodlanmıştır. Miles ve Huberman (1994) formülüne göre uzlaşı yüzdesi %85 olarak hesaplanmıştır. Şans eseri uyumu dikkate alan Cohen kappa katsayısı κ = ,800 (SH = ,062, %95 GA [,679; ,920]) bulunmuş ve Landis ve Koch (1977) ölçütlerine göre önemli düzeyde uyuma karşılık gelmiştir. Görüş ayrılığı olan 9 birim kodlayıcılar arasında tartışılmış, Materyal ve Motivasyon kodlarının tanımları netleştirilerek uzlaşıyla son haline getirilmiştir.”

Bu paragrafta ilk uyumu raporladığımıza dikkat edin. Tartışma sonrası “%100 uyum” yazmak yanıltıcıdır, çünkü uzlaşı ile bağımsız uyum farklı şeylerdir. Ayrıca kod düzeyinde uyum tablosunu ek olarak vermek, hangi kodların zayıf olduğunu şeffaf biçimde gösterir. Yöntem ve bulgular bölümünün genel düzeni için tez hazırlık desteğimizden de yararlanabilirsiniz.

Kodlayıcılar arası güvenirlik hesabında sık yapılan hatalar nelerdir?

Danışmanlık sürecinde gördüğümüz hataların çoğu birkaç başlıkta toplanır:

  • Uzlaşı sonrası değeri raporlamak: Kodlayıcılar tartıştıktan sonra elbette uyum yükselir; ancak güvenirlik kanıtı tartışmadan önceki değerdir.
  • Yalnızca yüzde vermek: Kod sayısı az ise yüzde uyum şans payı nedeniyle şişer. Bu yüzden kappa veya alfa ile birlikte sunmak gerekir.
  • Analiz birimini sabitlememek: Kodlayıcılar farklı uzunlukta parçaları işaretlediğinde karşılaştırma tablosu kurulamaz.
  • Deneme turundaki birimleri hesaba katmak: Birlikte tartışılan birimler bağımsız değildir ve katsayıyı yapay olarak büyütür.
  • p değerini güvenirlik sanmak: Anlamlı bir kappa yalnızca uyumun sıfırdan farklı olduğunu söyler; κ = ,25 bile büyük örneklemde anlamlı çıkabilir.

Sonuç olarak kodlayıcılar arası güvenirlik, açık bir kod kitabı, bağımsız kodlama ve doğru katsayı seçimiyle birleştiğinde nitel bulgularınızın en güçlü savunmalarından biri olur. Uzlaşı yüzdesini, kappayı ve uyuşmazlıkların nasıl çözüldüğünü birlikte raporlamak, jüriye hem şeffaf hem de tekrarlanabilir bir süreç sunar.

Sık sorulan sorular

Kodlayıcılar arası uyum için kabul edilebilir değer nedir?
Uzlaşı yüzdesinde %80 ve üzeri, kappada ise ,61–,80 aralığı çoğu nitel tezde yeterli kabul edilir. Yüksek riskli kodlamalarda ,80 üzeri beklenir; eşiği alanınızdaki benzer çalışmalara dayandırmak en sağlıklısıdır.

Verinin ne kadarı ikinci kodlayıcıya verilmeli?
Kesin bir kural yoktur. Uygulamada verinin %10–25 arası rastgele seçilmiş bir bölümü çift kodlanır; kod sayısı arttıkça daha geniş bir alt örneklem tercih edilir.

Cohen kappa ile Fleiss kappa arasındaki fark nedir?
Cohen kappa yalnızca iki kodlayıcıyı karşılaştırır. Fleiss kappa ise üç veya daha fazla kodlayıcı için kullanılır ve her birimi farklı kodlayıcıların kodlamasına izin verir.

İkinci kodlayıcı kim olabilir?
Genellikle alanı bilen ve kod kitabıyla eğitilmiş bir araştırmacı ya da danışmanın önerdiği bir uzman olur. Önemli olan, kodlamayı birinci kodlayıcıdan bağımsız yapabilmesidir.

Kappa negatif çıkarsa ne anlama gelir?
Negatif kappa, uyumun şanstan beklenenden bile düşük olduğunu gösterir. Bu genellikle kod tanımlarının farklı anlaşıldığına ya da veri girişinde kodların ters eşlendiğine işaret eder.

İlgili rehberler ve hizmetler