Item Response Theory and Machine Learning in Modeling Difficulty of Educational Assessments

Abstract

Item Response Theory and Machine Learning in Modeling Difficulty of Educational Assessments Mgr. Jana Dlouhá Supervisor: doc. PhDr. MUDr. Mgr. Radvan Bahbouh, Ph.D. Consultant: doc. RNDr. Patrícia Martinková, Ph.D. Abstract: This study investigates methods for item difficulty prediction in educational assess- ments by integrating Item Response Theory (IRT) and Machine Learning (ML). The research addresses challenges in ensuring fairness and precision when evaluating English as a Foreign Language test items from the Czech Maturita Exam, highlighting the need for practical tools to support item calibration and test construction. The research is structured around four interrelated studies. The initial study es- tablishes a psychometric foundation by comparing Classical Test Theory (CTT) and IRT models, offering critical insights into item-level characteristics. The second study employs Natural Language Processing (NLP) techniques to identify text features that influence item difficulty, such as semantic complexity and readability. In the third study, ML algorithms-including Random Forests and Naïve Bayes-are applied to predict item difficulty based on these features, demonstrating their potential to complement tradi- tional approaches. The final study develops an interactive ShinyItemAnalysis package,...

Teorie odpovědi na položku a strojové učení při modelování obtížnosti hodnocení ve vzdělávání Mgr. Jana Dlouhá Školitel: doc. PhDr. MUDr. Mgr. Radvan Bahbouh, Ph.D. Konzultant: doc. RNDr. Patrícia Martinková, Ph.D. Abstrakt: Tato studie zkoumá metody pro predikci obtížnosti testových položek ve vzdělávacích hodnoceních prostřednictvím integrace teorie odpovědi na položku (IRT) a strojového učení (ML). Výzkum se zabývá výzvami souvisejícími se zajištěním spravedlnosti a přes- nosti při hodnocení testových položek anglického jazyka jako cizího jazyka z české ma- turitní zkoušky, přičemž zdůrazňuje potřebu praktických nástrojů pro podporu kalibrace položek a tvorby testů. Výzkum je strukturován do čtyř vzájemně propojených studií. První studie poskytuje psychometrický základ prostřednictvím srovnání klasické testové teorie (CTT) a modelů IRT, čímž nabízí klíčové poznatky o vlastnostech položek. Druhá studie využívá metody zpracování přirozeného jazyka (NLP) k identifikaci textových rysů ovlivňujících obtížnost položek, jako je sémantická složitost a čitelnost. Ve třetí studii jsou aplikovány algo- ritmy ML, včetně náhodných lesů (Random Forests) a Naïve Bayes, k predikci obtížnosti položek na základě těchto rysů, čímž demonstrují svůj potenciál jako doplněk tradičních přístupů. Závěrečná studie vyvíjí...