Studie zu GPT-4 und GPT-3 in medizinischen Examina

[MEDI-LEARN]

Im Rahmen einer Studie von MEDI-LEARN (Chat GPT besteht Physikum mit Note 3) hatten wir mit GPT-3.5 gearbeitet, mittlerweile wurde auch GPT-4 in medizinischen Examina (M2, 2. Staatsexamen) getestet:

Eine aktuelle Studie (Comparison of the Performance of GPT-3.5 and GPT-4 With That of Medical Students on the Written German Medical Licensing Examination: Observational Study; Meyer et al; JMIR MEDICAL EDUCATION) untersucht die Leistungsfähigkeit von GPT-3.5 und GPT-4 im Vergleich zu Medizinstudierenden bei der deutschen ärztlichen Prüfung.

Die Studie stellt fest, dass GPT-4 mit durchschnittlich 85% signifikant besser abschneidet und sich gegenüber GPT-3.5 um 27% verbessert hat.

GPT-4 zeigte besonders bei Fragen zur Inneren Medizin und Chirurgie Stärken, hatte jedoch Schwächen im akademischen Forschungsbereich.

Die Ergebnisse deuten darauf hin, dass GPT-4 das Potenzial hat, die medizinische Ausbildung und Patientenversorgung zu verbessern, vorausgesetzt, die Ergebnisse werden kritisch von medizinisch geschultem Personal bewertet.

Die Studie unterstreicht die Notwendigkeit weiterer Untersuchungen zur Sicherheit und Genauigkeit von ChatGPT für die Allgemeinbevölkerung.

Hier geht es zur Studie: https://mededu.jmir.org/2024/1/e50965

P.S.: Im Rahmen der Kurse von MEDI-LEARN Repetitorien werden bereits Prüfungssimulationen mit KI durchgeführt - klick hier MEDI-LEARN Kurse

[davo]

Ein interessantes Ergebnis. Zeigt letztlich aber auch, wie anspruchsvoll die ärztliche Tätigkeit im Vergleich zur Beantwortung von MC-Fragen ist.