I en helt ny artikel från Judgment and Decision Making tas den ostrukturerade intervjun upp och varför folk, fortfarande, är övertygade om dess överlägsenhet. Jag har skrivit om rekrytering förut och det har länge varit känt inom forskningen på rekryteringsurval att:
1) ostrukturerade intervjuer är ett dåligt urvalsinstrument. Jag ska strax gå in på exempel på hur dåligt.
2) chefer (och "folk") har en stark preferens för ostrukturerade intervjuer. Så stark är den preferensen att den förvrider folks uppfattning om vilka kompetenser som är viktiga för en roll. En studie (Highhouse, 2008) visade att om extraversion mättes med os. intervju och intelligens med ett papper-och-penna-test ansågs extraversion vara viktigast, men om det omvänt och intelligens utvärderades i os. intervju och extraversion med ett test, ansågs intelligens vara viktigast. Preferensen för att få använda ostrukturerad intervju är så stark.
Den aktuella studien undersökte folks förmåga att predicera studenters GPA, grade point average, för kommande termin. Vissa kunde basera sig endast på tidigare GPA för att predicera kommande GPA, medan vissa dessutom fick göra intervjuer med de studenter vars GPA de skulle predicera. Situationen är inte identisk med en jobbsituation men man kan absolut dra paralleller i och med att betyg och mått på jobbprestation båda är mått på prestation.
Studierna fann att ostrukturerade intervjuer inte bara inte tillförde någon användbar information, de kunde försämra resultatet avsevärt, på grund av vad forskarna kallar en dilution effect, utspädningseffekt. Det är fullt logiskt: om du har ett bra mått och ett värdelöst kan du i princip bara försämra ditt resultat genom att ta hänsyn till det värdelösa måttet.
Tillgång till irrelevant information späder inte bara ut den bra informationen, utan kan också bidra till en orimlig säkerhet hos intervjuaren genom vår mänskliga förmåga att "make sense" av nästan vad som helst.
Just as one can, post hoc, fit a "significant" statistical model to pure noise, interviewers have too many degrees of freedom to build a coherent story of interviewees' responses.
Att känna att man "förstår" kandidaten är dock varken tillräckligt eller nödvändigt för att göra träffsäkra utvärderingar av en kandidats egenskaper. Tvärtom har en känsla av säkerhet (confidence) visat sig ofta har dålig korrelation med träffsäkerhet (accuracy), i vissa fall är det till och med så att ju mer man tror sig vara objektiv, desto mindre objektiv i sin bedömning är man.
Utöver att man i studien visade att ostrukturerade intervjuer försämrade bedömningen av prestation så visade de också att de tillfrågade bedömarna rankade det mest träffsäkra instrumentet, tidigare GPA utan intervju, som det minst säkra instrumentet, medan ostrukturerad intervju rankades som bäst.
Det är en intressant studie på så vis att den visar att os. intervjuer inte bara inte tillför värde utan rentav försämrar bedömningsförmågan. Däremot lever de inte riktigt upp till titeln, för de förklarar inte i någon större utsträckning varför folk fortsätter att föredra den ostrukturerade intervjun. Ok, folk invaggas i en falsk känsla av större säkerhet med mer information, även om den informationen är vilseledanden. Men sen då? Hur råder man bot? Ingen chef jag pratat med verkar beredd att faktiskt avstå den ostrukturerade intervjun.
Dana, J., Dawes, R. & Peterson, N. (2013). Belief in the unstructured interview: The persistance of an illusion. Judgment and Decision Making, 8 (5), 512-520.
Highhouse, S. (2008). Stubborn reliance on intuition and subjectivity in employee selection. Industrial and Organizational Psychology: Perspectives on Science and Practice, 1, 333–342