When and Why to Help: Timing and Reflection Strategies for Calibrated AI Support in Data-Science Problem Framing

  • The rapid advancement of large language models (LLMs) has introduced powerful artificial intelligence (AI) tools into educational environments. While AI assistants offer potential benefits for learning, concerns about over-reliance, reduced critical thinking, and impaired skill development have emerged. This thesis investigates how the timing of AI support (Just-in-Time vs. Always-On) and reflective mandates (Rationale-Required vs. Rationale-Optional) influence creative performance, learner autonomy, and critical engagement in AI-assisted data-science problem framing. Through a controlled 2x2 within-subjects factorial experimental design with 66 postgraduate participants, the study examines expert-rated idea quality, semantic diversity, perceived agency, AI reliance, cognitive load, and reflective reasoning across four AI-assistedThe rapid advancement of large language models (LLMs) has introduced powerful artificial intelligence (AI) tools into educational environments. While AI assistants offer potential benefits for learning, concerns about over-reliance, reduced critical thinking, and impaired skill development have emerged. This thesis investigates how the timing of AI support (Just-in-Time vs. Always-On) and reflective mandates (Rationale-Required vs. Rationale-Optional) influence creative performance, learner autonomy, and critical engagement in AI-assisted data-science problem framing. Through a controlled 2x2 within-subjects factorial experimental design with 66 postgraduate participants, the study examines expert-rated idea quality, semantic diversity, perceived agency, AI reliance, cognitive load, and reflective reasoning across four AI-assisted conditions. The results show that Just-in-Time support and required reflection are independently associated with higher idea quality, greater agency, lower AI dependence, and more selective engagement with AI suggestions. The study does not assess delayed or long-term learning transfer; future work with longitudinal designs is needed to determine whether the immediate benefits observed here translate into durable skill development.show moreshow less
  • Die rasante Entwicklung großer Sprachmodelle (Large Language Models, LLMs) hat leistungsstarke Werkzeuge der künstlichen Intelligenz (KI) in Bildungsumgebungen eingeführt. Während KI-Assistenten erhebliche Potenziale zur Unterstützung von Lernprozessen bieten, sind zugleich Bedenken hinsichtlich übermäßiger Abhängigkeit, verminderten kritischen Denkens sowie einer möglichen Beeinträchtigung langfristiger Kompetenzentwicklung entstanden. Diese Arbeit untersucht, wie der Zeitpunkt der KI-Unterstützung (Just-in-Time vs. Always-On) sowie Reflexionsvorgaben (Rationale-Required vs. Rationale-Optional) die kreative Leistung, die Autonomie der Lernenden und das kritische Engagement im Kontext der KI-gestützten Formulierung von Data-Science-Problemen beeinflussen. Mithilfe eines kontrollierten faktoriellen 2×2-Within-Subjects-ExperimentaldesignsDie rasante Entwicklung großer Sprachmodelle (Large Language Models, LLMs) hat leistungsstarke Werkzeuge der künstlichen Intelligenz (KI) in Bildungsumgebungen eingeführt. Während KI-Assistenten erhebliche Potenziale zur Unterstützung von Lernprozessen bieten, sind zugleich Bedenken hinsichtlich übermäßiger Abhängigkeit, verminderten kritischen Denkens sowie einer möglichen Beeinträchtigung langfristiger Kompetenzentwicklung entstanden. Diese Arbeit untersucht, wie der Zeitpunkt der KI-Unterstützung (Just-in-Time vs. Always-On) sowie Reflexionsvorgaben (Rationale-Required vs. Rationale-Optional) die kreative Leistung, die Autonomie der Lernenden und das kritische Engagement im Kontext der KI-gestützten Formulierung von Data-Science-Problemen beeinflussen. Mithilfe eines kontrollierten faktoriellen 2×2-Within-Subjects-Experimentaldesigns mit 66 Postgraduierten analysiert die Studie die von Expertinnen und Experten bewertete Ideenqualität, semantische Vielfalt, wahrgenommene Handlungskompetenz, KI-Abhängigkeit, kognitive Belastung sowie reflexives Denken über vier KI-gestützte Bedingungen hinweg. Die Ergebnisse zeigen, dass Just-in-Time-Unterstützung und verpflichtende Reflexion unabhängig voneinander mit höherer Ideenqualität, größerer wahrgenommener Handlungskompetenz, geringerer KI-Abhängigkeit sowie einer selektiveren und kritischeren Auseinandersetzung mit KI-Vorschlägen verbunden sind. Die Studie untersucht jedoch keinen verzögerten oder langfristigen Lerntransfer. Zukünftige Forschung mit längsschnittlichen Forschungsdesigns ist daher erforderlich, um festzustellen, ob die hier beobachteten kurzfristigen Vorteile zu einer nachhaltigen Kompetenzentwicklung führen.show moreshow less

Download full text files

Export metadata

Additional Services

Search Google Scholar
Metadaten
Author:Ark Ikhu
URN:urn:nbn:de:hbz:kob7-26912
DOI:https://doi.org/10.82549/opus4-2691
Referee:Frank Hopfgartner, Stefania Zourlidou
Document Type:Master's Thesis
Language:English
Date of Publication (online):2026/07/15
Date of first Publication:2026/07/15
Publishing Institution:Universität Koblenz, Universitätsbibliothek
Granting Institution:Universität Koblenz, Fachbereich 4
Date of final exam:2026/06/18
Release Date:2026/07/15
Page Number:xiii, 59
Institutes:Fachbereich 4 / Institute for Web Science and Technologies
Licence (German): CC BY-SA - Namensnennung-Share Alike 4.0 International
Einverstanden ✔
Diese Webseite verwendet technisch erforderliche Session-Cookies. Durch die weitere Nutzung der Webseite stimmen Sie diesem zu. Unsere Datenschutzerklärung finden Sie hier.