Dubii legate de eficiența Assessment Center și iluzia validității

Citeam „Thinking Fast and Slow” de Daniel Kahneman când am dat peste o poveste care m-a pus pe gânduri.

Daniel Kahneman a servit în Israeli Defense Forces în tinerețe. Armata s-a gândit (bine) că proaspătul recrut psiholog s-ar încadra bine în Unitatea Psihologică. Ocazional, Kahneman era solicitat să participe la selecția candidaților pentru Școala de Ofițeri.

Selecția se baza pe un test dezvoltat și folosit de Armata Britanică în timpul celui de al II-lea Razboi Mondial. Testul se numește „Leaderless Group Challenge”. Soldații primesc ca sarcină să treacă un buștean greu peste un zid, fără ca bușteanul sau vreunul dintre soldați să atingă zidul. Soldații nu aveau grade sau plăcuțe cu numele, așa încât porneau de pe picior de egalitate.

Sarcina era dificilă, pentru că bușteanul era greu, zidul înalt, iar de obicei tot exercițiul se desfășura sub soarele aprig al Israelului. Dacă una dintre condiții nu era îndeplinită, dacă zidul era atins din greșeală, trebuiau să o ia de la început. Exista mai mult de o singură soluție corectă.

Observatorii notau cum se formează și se structurează grupul, cine are inițiativa, cum comunică, cine este ascultat și cine nu, cine iși asumă responsabilitatea de a coordona, cât de mult contribuie fiecare la reușită etc. Se urmarea reacția la stres: cum este tratat un soldat care a greșit, cine își asumă responsabilitatea conducerii grupului când un alt lider a eșuat, dacă eforturile unuia sunt mai mici după ce ideea sa este respinsă etc.

Evaluatorii își notau toate observațiile și își formau o opinie despre potențialul fiecărui candidat de a deveni un bun ofițer. Cazurile erau discutate individual și adesea se ajungea la consens, pentru acei candidați care preluau conducerea grupului în momentele cele mai grele, pentru cei care dădeau dovada că pot lua decizii și pot convinge grupul să-i urmeze.

Când am citit despre acest model de recrutare, m-am gândit ca este un Assessment Center, o metodă foarte populară de a evalua un candidat, în special pentru funcții de management. Multe companii de recrutare din Romania au între serviciile pe care le oferă Assessment Center. Centrul de evaluare nu este doar o metodă pentru evaluarea unui candidat la un loc de muncă, ci este un proces de evaluare a comportamentului bazat pe evaluări multiple, inclusiv: simulări legate de job, interviuri sau teste psihologice. Simulările joacă însă rolul central și sunt cele care diferențiază metoda de alternativele sale.

Problema este că IDF i-a cerut lui Kahneman să verifice corectitudinea predicțiilor grupului. Câteva luni după ce candidații selectați au luat drumul Școlii de Ofițeri, evaluatorii au avut acces la informații despre performanța lor. Abilitatea lor de a prezice cine va deveni un bun ofițer si cine nu are inclinațiile necesare, era neglijabilă. Tot exercițiul, toate observațiile erau inutile: o alegere aleatoare ar fi furnizat rezultate similare.

De ce?

Mediul în care s-a desfășurat testul era unul artificial. Adaugă etichetele cu numele și gradele și oamenii se comportă altfel. Adaugă gloanțele și inamicii care vor să te omoare și comportamentul soldaților se schimbă. Adaugă nesomn, adrenalină, povara relațiilor de fiecare zi, sau dimpotrivă solidaritatea camaraderească și obții comportamente fundamental diferite.

Eroarea de judecată care se manifestă aici este „iluzia validității”. Iluzia validității este WYSIATI (What You See Is All That Is). Creierul nostru interpretează ceea ce vede, în cazul nostru un număr de soldați încercând sa treacă un buștean peste zid. Nimic altceva nu are importanță pentru evaluatori și nici nu știu sau nu sunt interesați de altceva. Astfel, concluziile trase din ceea ce observă sunt extinse asupra întregului comportament. Soldatul care a pășit în față când un lider a căzut prin nevalidarea soluției lui de trecere a bușteanului, este „împroprietărit” cu calități de lider, pentru orice situație viitoare. Prin efectul de hallo, el pare brusc mai curajos, mai responsabil și mai inteligent. Este doar o iluzie.

Dovezile sunt împotriva acestei metode, care mie mi se părea atât de logică și de utilă. Încrederea mea în Assessment Center este complet zdruncinată pentru soft skills. Probabil că pentru a determina nivelul îndemânărilor practice și al cunoștințelor legate de job merge folosit, dar pentru leadership și alte soft skills, nu este relevant.

Nu mă îndoiesc ca și după această lectură unii dintre voi veți rămâne apărători ai Assesment Center. E ok, vă rog doar să manifestați puțin scepticism, să analizați rezultatele în timp, să vă furnizați feedback și să vă testați ipotezele.