En beslutningsteoriens tilgang til industriens forudsigelse og kriterium

Problemet med udvælgelse kan ses fra et noget anderledes perspektiv end den, der anvendes. Denne anden tilgang viser sig interessant, fordi vi finder, at forudsigelsesgyldigheden måske ikke er lige så vigtig en variabel i udvælgelsen som det traditionelle synspunkt gør det til at være. Vores nye perspektiv er en baseret på en beslutningsteori model. Vi skal begynde med at omsætte målet i en typisk udvælgelsessituation. I mange udvalgssituationer ønsker vi at etablere en skærepoints på vores forudsigelse, som vil resultere i at minimere vores beslutningsfejl.

Implicit i denne type situation er antagelsen om, at udvælgelsesforholdet kan manipuleres efter vilje; det vil sige, det er ikke "fast" til nogen værdi. Også implicit er tanken om, at vores kriteriumvariabel kan være meningsfuldt adskilt i to eller flere forskellige grupperinger som "succesfulde" og "mislykkede". Vores mål er at manipulere skærepunktet (hvilket er det samme som at manipulere udvælgelsesforholdet) i orden at minimere antallet af fejl i vores proces med at afgøre, om en person skal ansættes eller afvises.

Tidligere påpegede vi, at der var to forskellige typer beslutningsfejl i udvælgelsesparadigmet, falske positive og falske negativer, som vist nedenfor:

Vores mål er da at finde afskæringspunktet, hvilket vil resultere i det mindste antal samlede fejl. Af hensyn til bekvemmeligheden skal vi starte med at antage, at begge fejltyper betragtes som lige omkostningseffektive. Det vil sige, vi har ingen grund til at foretrække at lave en falsk positiv fejl over en falsk negativ fejl eller omvendt. Ved at gøre denne antagelse er det muligt at kaste problemet direkte med det formål at minimere det samlede antal af begge slags fejl i stedet for at skulle afveje de to typer fejl ved deres respektive "omkostninger".

Placeringen af ​​afskæringspunktet:

For at illustrere, hvordan problemet med at finde en optimal placering for vores skårings score kan overvejes, skal vi overveje det tilfælde, hvor vi har en specificeret gyldighed (f.eks. Ca. 0, 70) og en specificeret procent af de nuværende medarbejdere betragtes som vellykkede (ofte henvist til i denne sammenhæng som "basisrenten").

Dette kan skitseres som følger:

Det næste skridt er at præsentere de samme data i en lidt anden form. For det første ved vi, at vores samlede gruppe af medarbejdere antages at have en normal fordeling i forhold til deres prædiktor score. For det andet, og lige så vigtigt, antages begge undergrupper (succesfulde og mislykkede) at have normale distributioner. Ved at se ovenstående eksempel er det let at konstatere, at den gennemsnitlige prædiktor score af den succesrige gruppe bliver højere end den mislykkede gruppe.

Vi kan diagramme dette som:

Begge fordelinger vil være lige store, da de er baseret på det samme antal mennesker (dvs. 50 procent i hver gruppe). Der er et algebraisk forhold mellem forskellen mellem de to undergruppers middel som set på denne måde og størrelsen af ​​korrelationskoefficienten. Hvis gruppens midler er signifikant forskellige fra hinanden (sig med et signifikansniveau på 0, 05), vil korrelationskoefficienten også være signifikant på samme niveau.

Ved at tage vores diagram et skridt videre, kan vi placere de to frekvensfordelinger af undergrupperne side om side på samme basislinie som vist nedenfor.

Efter at have gjort dette kan vi nu vende tilbage til vores oprindelige spørgsmål - hvor finder vi en cut-off på predictoren, så det totale antal fejl bliver minimeret? Det viser sig, at den matematiske løsning på dette problem resulterer i et meget simpelt svar: Afskæringspunktet, som minimerer total fejl, er det punkt, hvor de to distributioner skærer hinanden.

Dette kan let demonstreres på et konceptniveau ved at se på de tre tilfælde, der illustreres nedenfor. Den samme forskel mellem midlerne (det vil sige den samme korrelation) anvendes i hvert enkelt tilfælde. Alt, der er blevet ændret, er placeringen af ​​afskæringspunktet på forudsigeren.

I illustration (a) er antallet af falske positive (fejl, der er over afskåret) givet af område B. Antallet af falske negativer (succeser, der er under afskæringen) er givet af området A. Således,

Samlet fejl = A + B

Til illustration (b) er antallet af falske positiver givet af B, og antallet af falske negative er angivet af A + C. Således,

Samlet fejl = A + B + C

Til illustration (c) er antallet af falske positive givet af B + C, og antallet af falske negative er givet af A. Således

Samlet fejl = A + B + C

Da inspektion af alle tre illustrationer hurtigt bekræfter, at arealet A + B er det samme for alle tre tilfælde, så er det klart, at fejlen øges med et beløb C, når afskæringen flyttes væk (i begge retninger) fra punktet hvor de to fordelinger skærer hinanden.

Nogle usædvanlige ramifications:

Vi har nu et generelt princip for at lokalisere en skære score, der vil minimere det samlede antal fejl i en valgbeslutningssituation - nemlig ved skæringspunktet.

Det viser sig, at så længe begge typer fejl betragtes som lige dyre, er dette en meget generel regel og påvirkes ikke af:

(1) De relative størrelser af de to grupper (dvs. procent anses for vellykket), eller

(2) De respektive afvigelser eller dispersioner af de to fordelinger.

Dette fører til nogle interessante og meget vigtige aspekter af det generelle forudsigelsesproblem vedrørende forholdet mellem testgyldighed og testværktøjet. Rorer, Hoffman, LA Forge og Hsieh (1966) har påpeget tre så interessante sager.

Sag 1:

Både midlerne og afvigelserne af de to grupper adskiller sig fra hinanden. Antag, at vores succesrige gruppe er lige stor for den mislykkede gruppe og har et betydeligt højere gennemsnit på forudsigeren, men dens varians er meget mindre.

Et diagram af en sådan situation er som følger:

Vores princip om etablering af afskæringspunkter siger, at vi bør placere dem, hvor de to distributioner skærer hinanden. Bemærk at dette sker to gange i dette særlige tilfælde. Således har vi en øvre cut-off og en lavere cut-off. Vi bør kun vælge de personer, der falder inden for intervallet mellem cut-offs i forhold til deres test score. Andre afskæringspunkter vil resultere i større totalfejl, end der ville opnås med dem, der ligger ved skæringspunkterne.

Sag 2:

Grupper har lige muligheder men forskellige afvigelser. I dette meget interessante tilfælde er de to grupper ikke forskellige med hensyn til deres gennemsnitlige forudsigelsesscore-det vil sige, at de mislykkede medarbejdere i gennemsnit gør lige så godt som testet, som de succesfulde medarbejdere. Dette indebærer, at korrelationskoefficienten er nul mellem forudsigeren og kriteriet. Men vi har yderligere anført, at de to grupper er forskellige med hensyn til deres variabilitet.

Hvis vi antager den succesfulde gruppe er gruppen med den mindre variabilitet med henblik på udstilling, kan vi udtrykke dette diagrammatisk som følger:

Selv om de to grupper har samme gennemsnitlige kriterie score, er det muligt at udvikle afskæringspunkter, som vil forbedre forudsigelsen over det, der i øjeblikket nyder gennem de nuværende metoder, da de to fordelinger skærer på to punkter på grund af deres ulige variabilitet. Således har vi den unikke situation, hvor der ikke ville være nogen tilsyneladende gyldighed (målt ved en korrelationskoefficient), men hvor forudsigelsen kan forbedres meget ved hjælp af passende afskæringer.

Sag 3:

Gruppemedlemmer er væsentligt forskellige, men gruppestørrelsen er også meget forskellig. Antag, at vi har at gøre med en situation, hvor basisfrekvensen for mislykkede medarbejdere er meget lille, det vil sige omkring 90 procent af vores nuværende medarbejdere betragtes som vellykkede. En sådan situation er vist i det følgende diagram.

Her har vi en anden unik situation. Selvom gruppemedlemmerne kan være væsentligt forskellige og dermed give en væsentlig sammenhæng mellem kriterium og forudsigelse, vil det ikke være muligt at etablere nogen afskæring, som vil resultere i at reducere fejlen over det, der i øjeblikket opnås med nuværende metoder. På grund af den markante forskel i størrelse mellem de to grupper ser vi, at de to fordelinger ikke krydser på noget tidspunkt.

Under vores nuværende udvælgelsessystem gør vi kun fejl 10 procent af tiden. Hvis vi bevæger vores afskæring fra venstre til højre i tilfælde 3 (det er placeret i yderste venstre til begyndelsen, da vi for øjeblikket vælger alle disse mennesker), vil vi selvfølgelig begynde at fjerne nogle af de mislykkede mennesker, der for øjeblikket er ansat under det nuværende system.

Samtidig vil vi dog begynde at afvise medarbejdere, der viser sig at være succesfulde. Når vi ser på diagrammet, fortæller vi hurtigt, at denne stigning i falske negativer ville være større end det tilsvarende fald i falske positiver, uanset hvor vi sætter vores cut-off. Således vil enhver testbaseret afskæring resultere i flere fejl, end vi har uden testen, selvom testen er meget gyldig.