Hvordan Bias Portion of Criterion Contamination bidrager til en Spuriously High Validity Coefficient?

Tidligere blev begrebet forurening defineret som den del af det faktiske kriterium, som ikke overlappede med det ultimative kriterium. Endvidere blev det påpeget, at kriteriumforurening består af to dele, fejl og forspænding. Fejl pr. Definition betragtes som regel tilfældig variation og kan ikke, undtagen tilfældigt, korrelere med noget, herunder forudsigelsesvariablen. Imidlertid er biasdelen af ​​kriteriumforurening systematisk variation, og den kan korrelere med forudsigeren. Dette kan ses fra vores model, hvor forudsigelseskorreleret forurening (som derfor skal være forudsigelseskorreleret bias) bidrager til en uforholdsmæssigt høj opnået validitet.

Hvilke former for bias vil sandsynligvis komme ind i kriteriumforurening, og hvilke slags er også tilbøjelige til at være korreleret med forudsigelsesvariablen? Måske hjælper Brogden og Taylors (1950) formelle definition af kriteriumforskydning sig til at svare på dette spørgsmål.

De definerer bias i form af "enhver variabel, bortset fra fejlmålinger og prøveudtagningsfejl, der producerer en afvigelse af opnåede kriteriescores fra et hypotetisk" sandt "kriteriescore. Figur 6.4 illustrerer dette punkt. Sådanne forspændingsfaktorer er hyppigere end man mistanke om og bør være nøje bevogtet imod. De kan forekomme på grund af forskellige omstændigheder og som en funktion af en række variabler.

1. Opportunity Bias:

Denne form for kriterieforstyrrelse refererer til de situationer, hvor faktorer, der er uden for arbejdstagerens kontrol, påvirker den producerede mængde betydeligt. Eksempler på muligheden for bias er mange. I salgsarbejde kan det bestemte område eller salgstæller påvirke en medarbejders salgsmængde - måske endda mere end hans egen evne. I fabrikkearbejdet kan mulighedsforstyrrelser henføres til så enkle ting som kvaliteten af ​​værktøjerne og tilstanden af ​​det udstyr, en arbejdstager har, om han skal arbejde med dagskiftet eller natskiftet, hvor hans arbejdsstation er placeret, hvor god hans belysning er, og en række andre variabler.

Kort sagt, medmindre arbejdsmiljøerne og jobene er identiske, har sammenligning af arbejdsresultater mellem individer sine begrænsninger. Hvis arbejdspræstationen er korreleret med forudsigelsesenheder under sådanne omstændigheder, har man ingen mulighed for virkelig at vide, om den resulterende korrelation er en korrelation med ægte jobpræstation eller primært er en sammenhæng med, siger kvaliteten af ​​ens arbejdsstation. Selv om opportunitetsforstyrrelser ikke nødvendigvis korrelerer med forudsigeren, selv om det er forudsigelsesfrit, vil det have indflydelse på den opnåede validitet.

Andre mere subtile eksempler på opportunitetsforstyrrelser kan ofte findes ved nærmere undersøgelse af forudsigelsesgyldigheden af ​​sådanne elementer som alder og erfaring. I mange job er folk, der er ældre, og som har haft mere erfaring, bedre præstationsresultater, blot på grund af omstændighederne i foreningernes anciennitet, idet disse mennesker får de bedre arbejdspladser, bedre salgstællere mv.

2. Gruppe Karakteristisk Bias:

En anden vigtig kilde til kriteriumforstyrrelse vedrører egenskaberne hos den gruppe, som en person tilhører. For eksempel, hvis en person tilhører en gruppe, som kunstigt begrænser produktiviteten af ​​sine medlemmer, vil der være en klar forspænding af kriteriedata. Tilsvarende, hvis en person tilhører en gruppe, der er forudvalgt på et eller andet tidspunkt, og hvis denne gruppe sammenlignes med en gruppe, der ikke er valgt så, er enhver valgvariabel relateret til a priori-variablen egnet til at vise falsk validitet.

Brogden og Taylor (1950) giver et eksempel på den situation, hvor en udøvende har besluttet, at alle kontorsdrenge ansat skal have en videregående uddannelse. Hvis der i forbindelse med testvalideringen sammenlignes en gruppe af nuværende medarbejdere mod en stikprøve af jobsøgere, er det næsten en sikkerhed, at enhver forudsigelse, der kan korrelere med uddannelsesniveauet, viser gyldighed!

Problemet med alder og beskæftigelse er en anden illustration af muligheden for bias. Når jobbet er en, hvor produktiviteten har tendens til at stige med yderligere erfaring, og hvor der findes en bred vifte af erfaringer (det vil sige både erfarne og uerfarne medarbejdere), er det uundgåeligt, at kriteriet (produktivitet) og erfaring vil blive korreleret . Kriteriet er således forspændt af den karakteristiske erfaring, og enhver forudsigelse, der kan korrelere med erfaringen, er tilbøjelig til at ende med en uforholdsmæssigt høj gyldighed.

3. Bias i vurderinger:

Et af de hyppigst anvendte kriterier i industrien - en kompetencevurdering af vejledere - er også genstand for bias. Det skal her påpeges, at alle de sædvanlige kilder til bias i produktionsregistre sandsynligvis også vil påvirke individuel kompetence. Kan tilsynsførende ved at gøre deres kvalifikationsgrader foretage justeringer for ulige muligheder blandt dem, der vurderes? Hvis de kan, så deres vurderinger vil føre til et mindre forudindtaget kriterium end den faktiske produktion rekord ville være.

Den oftest nævnte forspændende effekt i ratings er fænomenet kendt som "halo-effekten." Kort sagt henviser dette til den situation, hvor en rater anser en person for at være fremragende på alle træk, blot fordi han (den person, der vurderes) besidder en enestående egenskab.

For eksempel, hvis en person har udført fremragende på et aspekt af jobpræstationer, ville en halofejl blive gjort, hvis vi antog at personen også skal være god på alle andre aspekter af hans arbejde. Halo fejl opstår ofte, når en rater bliver bedt om at bedømme personer med behagelige personlighedskarakteristika ("Hvis en person er flink, skal han også være i stand") og behagelige funktioner ("Hvis en pige er smuk, skal hun også være talentfuld"). Selvfølgelig kan test, der korrelerer højt med ratings med en halo-bias, simpelthen være korrelerende med halo-variablen snarere end med "ægte" jobkompetence.

4. Viden om Predictor Bias:

Når kriteriedata opnås ved brug af ratings, er den alvorligste fejl, der kan opstå, for, at rater har forudgående kendskab til forudsigelsesscore. Dette kaldes kendskab til prædiktorisk forstyrrelse. Hvis en rater kender de score, som folkene opnår på forudsigelsesvariabelen, er det helt muligt, at han kan lade hans kriteriumdomme påvirkes af denne viden. En sådan fejl kan medføre en forøgelse af en fuldstændig falsk natur i den opnåede gyldighed.

Desværre er ikke kun denne type fejl mest alvorlig i kriteriumgraderinger (da det pr. Definition er en bias, der altid vil være forudsigelseskorreleret), men det er også en af ​​de mest konstaterede fejl. Eksempler er måske nemmeste at finde iii skoleindstillinger, hvor lærere vurderer deres akademiske talent efter at have set deres indløbstestscore.

Man kan ikke overemphasize det strenge behov for altid at holde prædiktoroplysninger isoleret fra personer, som leverer kriteriedata. Tilsynsmyndigheder bør således aldrig få adgang til en ansøgerens testbatterie score. Når en sådan forurening har fundet sted, kan eventuelle efterfølgende forsøg på at validere testen empirisk resultere i overinflaterede korrelationskoefficienter.