Genellenebilirlik Kuramı Karar Çalışmalarında Kullanılan Farklı Katsayıların Karşılaştırılması

Eren Halil ÖZBERK, Selahattin GELBAL
2.986 1.135

Öz


Bu araştırmanın amacı; verilerin normal dağılım varsayımına sahip olmadığı durumlarda farklı varyans bileşenleri kestirme yöntemlerini, genellenebilirlik ve karar katsayılarının yanında kullanılması önerilen (Brennan, 2001; Kane, 1999) evren puanı-hata oranı ve hata-tolerans indisleri yardımı ile karşılaştırmaktır. Araştırma; iki değişkelik kaynaklı bir verinin normal dağılım varsayımına sahip olmadığı durumda varyans bileşenlerini belirlemede ANOVA yöntemi ile bootstrap yöntemlerini farklı katsayı ve indisler yardımı karşılaştırmaktadır. Araştırmada bxm desenine uygun ve birey-madde matrisi oluşturacak şekilde tek faktörlü olarak 60 x 5 şeklinde normal dağılıma sahip olmayan iki kategorili puanlanan veri seti üretilmiş, elde edilen veriler 25 replikasyon sonucu nihai halini almıştır. Örnekleme simülasyonu aşamasında ise verilerin simülasyonundan elde edilen veriler,   desenine uygun olarak değişkenlik kaynaklarına göre 1000 kere yeniden örneklenmiştir (bootstrap). Tüm değişkenlik kaynaklarına göre ANOVA ve bootstrap yöntemleri kullanılarak standart hatalar, varyans bileşenleri, mutlak ve bağıl hatalar kestirilmiştir.Araştırma sonuçlarına göre normal dağılım göstermeyen ve iki kategorili puanlanan veriler üzerinde hesaplanan evren puanı-hata değeri en iyi boot-b prosedüründe kestirilirken, hata tolerans değeri en iyi boot-m prosedüründe kestirilmiştir. Bu bakımdan boot-m prosedürünün daha geçerli bilgiler verdiği, boot-b prosedürünün de G Kuramı çalışmalarında evren puanlarını belirlemede daha kesin kestirimler yaptığı sonucuna varılmıştır.


Anahtar kelimeler


Genellenebilirlik kuramı, varyans bileşenleri kestirimi, yeniden örnekleme

Tam metin:

PDF


DOI: http://dx.doi.org/10.21031/epod.50257

Referanslar


Brennan, R. L., Kane, M. T. (1977). An Index of Dependability for Mastery Tests. Journal of Educational Measurement, 14, 277-289.

Brennan, R. L., Harris, D. J., Hanson, B. A. (1987). The bootstrap and other procedures for examining the variability of estimated variance components in testing contexts. ACT Research Report Series 87-7. Iowa City, lA: American College Testing Program

Brennan, R. L. (2001). Generalizability Theory. New York: Springer

Brennan, R. L. (2003). Coefficients and Indices in Generalizability Theory. (CASMA Research Report No.1). Iowa City: Center for Advanced Studies in Measurement and Assessment, The University of Iowa.

Brennan R. L. (2007) Unbiased Estimates of Variance Components with Bootstrap Procedures. Educational and Psychological Measurement, 67, 784-803.

Cohen A. S., Kane M. T., Kim S. (2001). The Precision of Simulation Study Results. Applied Psychological Measurement, 25, 136-145.

Crocker, L., Algina, J. (1986). Introduction to Classical and Modem Test Theory. Fort Worth, FL: Harcourt Brace Jovanovich College Publishers

Cronbach, L. J., Rajarantnam, N., Gieser, G. C. (1963). Theory of Generalizability: A Liberalization of Reliability Theory. British Journal of Statistical Psychology, 16, 137-163.

Cronbach, L. J., Gieser, G. C., Nanda, H., Rajarantnam, N. (1972). The Dependability of Behavioral Measurements: Theory of Generalizability for Scores and Profiles. New York: Wiley

Efron, B., Tibshirani, R. (1993). An Introduction to the Bootstrap. New York: Chapman & Hall.

Hagvet K. A., Hoglend P. A. (2008). Assessing Precision of Change Scores in Psychodynamic Psychotherapy: A Generalizabiiity Theory Approach. Measurement and Evaluation in Counseling and Development, 41, 162-178.

Kane, M. T. (1996). The precision of measurements. Applied Measurement in Education, 9, 355–379.

Kane, M. (1999). The Role of Generalizability in Validity. Annual Meeting of the National Council on Measurement in Education. Montreal, Canada.

Leucht, R. M., & Smith, P. L. (1989). The Effects of Bootstrapping Strategies on the Estimation of Variance Components. Annual Meeting of the American Educational Research Association, San Francisco, California.

Meyer, J. P. (2010). Reliability. Oxford. Oxford University Press

Moore. J. L. (2010). Estimating Standard Errors of Estimated Variance Components in Generalizability Theory Using Bootstrap Procedures. Yayınlanmamış Doktora tezi, University of Iowa.

Othman, A. R. (1995). Examining Task Sampling Variability in Science Performance Assessments. Yayınlanmamış Doktora Tezi, University of California, Santa Barbara.

Rentz, J. O. (1987). Generalizability Theory: A Comprehensive Method for Assessing and Improving the Dependability of Marketing Measures. Journal of Marketing Research, 24, 19-28.

Revelle, W. (2012). Package “psych”: Procedures for Psychological, Psychometric, and Personality Research. Version: 1.2.4.

Searle, S. R. (1987), Linear Models for Unbalanced Data, New York: John Wiley & Sons Publications.

Shavelson, J. R. ve Webb N. M. (1991). Generalizability Theory: A Primer. Newbury Park. CA: Sage Publications.

Shavelson, R. J. ve Webb, N. M. (2004). Generalizability Theory. Encyclopedia of Social Measurement. New York: Academic Press.

Wiley, E. W. (2001). Bootstrap strategies for variance component estimation: Theoretical and empirical results. Yayınlanmamış Doktora tezi, Stanford University.




Creative Commons License
This work is licensed under a Creative Commons Attribution 4.0 License.