Monthly Archives: octombrie 2012

Câtă medicină trebuie să știe un CAL?

Câtă medicină trebuie să ştie un CAL?
CAL: Candidatul Admis la Limită la examenul de confirmare în specialitate.

În calitate de medic examinator la examenul de confirmare în specialitate trebuie să ai mereu în minte candidatul admis la limită (CAL) şi să defineşti permanent câtă medicină trebuie să ştie el/ea. De exemplu: câţi CAL trebuie să ştie să diagnosticheze corect apendicita acută? Probabil că toţi şi de aceea această întrebare o cotezi cu 100%. Câţi candidaţi trebuie să recunoască sindromul Ehlers-Danlos? Probabil 1%. Odată stabilite aceste limite poţi să cotezi orice întrebare şi să calculezi ce pondere va avea fiecare în evaluarea finală a candidaţilor. În acest fel evaluarea este corectă şi transparentă, iar candidatul va înţelege unde a greşit şi deci unde trebuie să insiste cu pregătirea. Examenul nu trebuie să fie un prilej de umilire a candidatului ci doar o etapă în procesul permanent de instruire. De aceea cred că este o dovadă de grosolănie să afişezi public listele cu admişi şi respinşi. Fiecărui candidat trebuie să i se comunice personal rezultatul şi observaţiile comisiei, observaţii care să-l ajute să progreseze în meseria aleasă și nu doar în medicină.
Revenind la problema pur tehnică a evaluării competenţelor rezidenţilor, există patru clase mari de metode: metodele tip Angoff (cu variantele raportare la limită şi număr de promovaţi), metodele grupului de graniţă, metodele tip Hofstee şi metoda evaluării individuale. Le voi prezenta pe scurt în continuare folosind sinteza elaborată de Richard Wakeford de la Universitatea Cambridge.

Angoff
Metoda: Este folosită când ai la îndemână o listă detaliată de notare a răspunsurilor la întrebări pentru fiecare etapă a examinării (multiple căsuţe cu răspuns da/nu). Examinatorii trebuie să identifice câţi CAL din zece vor obţine fiecare notă (să spunem în scala de la 1 la 10). Se calculează apoi media tuturor examinatorilor pentru proba respectivă. Suma acestor evaluări de la toate etapele examinării devine nota de trecere.
Comentarii: Pentru această metodă ai nevoie de 8-12 examinatori, dar este rapidă şi poţi stabili nota de trecere înaintea examenului. Poate fi considerată un pic nerealistă (mai ales în pregătirea post-universitară) deoarece se concentrează pe detalii. De asemenea nota de trecere astfel stabilită poate fi nerealistă în ambele sensuri.

Raportarea la limită (Limen)
Metoda: Este folosită când schema de notare a fiecărei probe este mai globală, o scală a judecăţilor (ex. şapte lucruri bine definite) pentru performanţa generală sau pe domenii. Examinatorii estimează nota pe care CAL o va realiza (limen: margine, graniţă, limită). Se face apoi media pentru toţi examinatorii. Suma acestor medii de la fiecare etapă devine nota de trecere.
Comentarii: Pentru această metodă ai nevoie de 8-12 examinatori, dar este rapidă şi poţi stabili nota de trecere înaintea examenului. Pare mai realistă pentru învăţământul post-universitar deoarece se concentrează pe o performanţă mai largă decât metoda Angoff. Poate stabili note de trecere prea ridicate.

Metoda numărului de promovaţi
Metoda: Examinatorii stabilesc împreună câte etape de examinare trebuie să parcurgă CAL ca să ia nota de trecere. Nota de trecere la fiecare etapă poate fi acordată pe baza judecăţii directe a examinatorului folosind metoda regresiei spre grupul de graniţă (vezi mai jos). Aceasta poate fi modificată pe criterii secundare (ex. criterii minimale pentru performanţa într-un anumit domeniu).
Comentarii: E simplă şi bine primită de candidaţi deoarece nu implică calcule statistice elaborate. Este totuşi relativ grosolană, adică nu cerne cu fineţe valoarea candidaţilor. Dacă se foloseşte doar notarea admis/respins aceasta este cea mai nesigură formulă de judecată a competenţelor candidaţilor.

Metoda grupului de graniţă
Metoda: Este folosită când există o listă agregată de scoruri pentru fiecare etapă a examinării. Examinatorii sunt rugaţi să mai facă o apreciere asupra fiecărui candidat, incluzându-l în unul din trei grupuri: trece clar examenul, pică clar, sau nu sunt sigur – e la graniţă. Apoi se face media notelor celor din grupul de graniţă pentru fiecare probă a examenului. Suma acestor medii de la fiecare probă ale grupului de graniţă dă nota de trecere.
Comentarii: În practică funcţionează foarte bine mai ales din punct de vedere administrativ. Imlică un criteriu un pic confuz privind clasificarea în cele trei grupe deoarece includerea unui candidat în grupul de graniţă ţine mai ales de personalitate examinatorului.

Metoda grupului de graniţă (variantă)
Metoda: Ca mai sus, doar că clasificarea se face în patru grupuri: trece clar, trece la limită, pică la limită, pică clar. Se face media la fiecare probă şi apoi suma la gupa celor trecuţi la limită şi separat la grupa celor picaţi la limită. Media notei celor două grupe constituie nota de trecere.
Comentarii: Funcţionează bine în practică şi sunt mai puţine reţineri decât faţă de varianta precedentă. Dacă numărul de candidaţi e mic e posibil să nu ai grup de graniţă.

Metoda regresiei spre grupul de graniţă
Metoda: Ca mai sus, doar că toate notele examinatorilor pentru fiecare probă sunt trecute în grafic pe axa Y, iar categoriile (trece clar, trece la limită, pică la limită, pică clar) sunt trecute pe axa X. Nota de trecere se află la intersecţia dreptei ce reprezintă media notelor, cu verticala ce se ridică de la jumătatea distanţei dintre reperele trece la limită şi pică la limită, şi se citeşte pe axa Y.
Comentarii: Funcţionează bine dar ai nevoie de statistician priceput. Este privită cu suspiciune de candidaţi şi examinatori. Este ştiinţifică şi precisă şi poate fi argumentată. Dă flexibilitate în stabilirea notei de trecere.

Metodele tip Hofstee
Metoda: Se cere examinatorilor să emită patru judecăţi după examen (sau înainte dacă cunosc cazurile şi candidaţii). Acestea sunt: proporţia maximă acceptabilă de candidaţi ce trec examenul, proporţia minimă acceptabilă de candidaţi ce trec examenul, nota maximă acceptabilă de trecere, nota minimă acceptabilă de trecere. Aceste valori sunt puse într-un grafic şi se calculează nota de trecere. (O altă variantă cere examinatorilor ca după examen să aprecieze care sunt procentele maxime şi minime de candidaţi reuşiţi. Media acestor estimări constituie limitele între care trebuie să se înscrie standardul de trecere.)
Comentarii: Este în general privită cu rezerve de lumea medicală. Varianta expusă poate fi utilă politic pentru a justifica stabilirea unui prag de trecere contestat.

Evaluarea individuală
Metoda: Este folosită când numărul mic de candidaţi şi examinatori fac inadecvate metodele statistice. Fiecare examinator examinează personal fiecare candidat în toate etapele. Pot folosi orice sistem de evaluare cu condiţia să-l folosească cu toţii pe acelaşi. La sfârşit examinatorii se reunesc şi identifică grupul de picaţi şi cel de graniţă. Apoi discută fiecare caz în parte începând cu cel mai slab.
Comentarii: Singura abordare corectă pentru mai puţin de 10 candidaţi. Este considerată comprehensivă şi corectă.

Toate metodele cu excepţia ultimei vor genera un prag sau o notă de trecere. În funcţie de politica fiecărei instituţii se mai poate adăuga ceva la această notă pentru ca să se asigure că nimeni nu trece datorită norocului. De exemplu se poate adăuga 1,28 din eroarea standard de măsurare pentru a fi sigur în proporţie de 90% că nu trece nimeni examenul din întâmplare, sau 1,64 din eroarea standard de măsurare pentru a fi 95% sigur. Deci practic nimeni nu ajunge medic cu liberă practică din întâmplare, cel puțin în Regatul Unit unde se aplică toate aceste metode!
Dr. Oană Sever-Cristian