Tvunget valgsystemer: Anvendes til opnåelse af jobpræstationsvurderinger

En af de mest populære metoder til opnåelse af præstationsevalueringer er gennem teknikken kendt som "tvunget valg". Denne vurderingsmetode, som var en udbredelse af de sædvanlige problemer, der opstod i udviklingen af ​​personlighedsmåleinstrumenter, blev hurtigt tilpasset til brug i præstation vurdering.

Historisk set synes metoden at have stammer fra Horst i begyndelsen af ​​1940'erne og blev også brugt af Wherry på omtrent samme tid. Metoden er blevet brugt i mange forskellige situationer og til en lang række formål. I en fremragende kritik af tvangsvalgmetoden opsummerer Zavala (1965, s. 117) følgende:

FC-teknikken er blevet brugt til at vurdere professionelle medarbejdere som luftvåbenofficerer og servicemænd (Gough, 1958, Wherry, 1959), motorvejspatruljer og politifolk (Peres, 1959; Stander, 1960), ingeniører (Lepkowski, 1963), lærere (Leftwich, 1962, Tolle og Murray, 1958) og læger (Newman og Howell, 1961, Newman, Howell og Harris, 1957). FC-konceptet er også blevet brugt til at udvikle tests til bedømmelse eller måleinteresser (Bendig, 1958, Peel, 1961), ledelse og tilsyn (Izard og Rosenberg, 1958; Wollack, 1959) og medarbejderstillinger (Miller og Gekoski, 1959) .

Gordon (1951), Denton (1954) og Hatch (1962) har sat FC-teknikker til brug ved personlighedsmåling og opnå empati. FC-tilgangen er også blevet brugt i problemer relateret til signaldetekterbarhed og auditive tærskler (Lukaszewski og Elliott, 1962; Swets, 1959). Blackwell (1952) brugte FC-metoden til den psykofysiske måling af sensoriske funktioner. Webster (1959) udviklede en figur-præference test ved hjælp af FC teknikken.

Konstruktion af tvunget valgvurdering Skala:

Guilford (1954, s. 275) har tydeligt skitseret de passende skridt, der skal følges i udviklingen af ​​et tvunget valg instrument - så klart, at de er værd at gentage her.

Han foreslår følgende otte trin:

1. Beskrivelser opnås vedrørende personer, der er anerkendt som værende ved de højeste og laveste ekstremer af præstationskontinuum for den pågældende gruppe, der skal bedømmes.

2. Beskrivelser analyseres i enkle adfærdskvaliteter, angivet i meget korte sætninger eller sætninger eller ved egenskaber, som kan kaldes elementer, der bruges til at konstruere elementer.

3. To værdier bestemmes empirisk for hvert element: en diskriminationsværdi og en præferenceværdi. Diskriminationsværdien er et indeks for validitet, og præferenceværdien er et indeks for den grad, hvor kvaliteten er værdsat af folk som de ratere, der vil bruge instrumentet.

4. Ved dannelse af et element er elementer parret. To udsagn eller udtryk med omtrent samme høj præferenceværdi er parret, hvoraf den ene er gyldig og den anden ikke. Begge skal have "ansigtets gyldighed" for rateren, det vil sige, at rater bør tro, at de begge er gunstige for overlegen præstation i den klassificerede gruppe. To udsagn eller udtryk med omtrent lige lav præferenceværdi er også parret, en er gyldig og den anden ikke.

5. To par udsagn, et par med høj præferenceværdi og en med lav præferenceværdi, kombineres i en tetrad for at danne en genstand. Årsagen til denne form for kombination er, at selvom den gennemsnitlige rater ikke vil modsætte sig at vælge en af ​​to gunstige beskrivelser for en person, som han ved, afbryder han til tider med at vælge en af ​​to ugunstige beskrivelser. Nogle gange tilføjes en femte, neutral, beskrivelse til dannelse af en pentad, men dette er mindre almindeligt.

Et eksempel på en tetrad følger:

Ligegyldig

Alvorlige-minded

energisk

snobbish

Egenskaberne "seriøs" og "energisk" ville have vist sig at have samme præferenceværdi, fordi de blev anvendt om lige så ofte som gunstige træk ved at beskrive den type personale, som skalaen blev udviklet til. Egenskaben "seriøs" viste sig imidlertid at være gyldig, da den blev anvendt til højkriteriumgruppen betydeligt oftere end til gruppen med lave kriterium. Egenskaberne "skødesløs" og "snobbet" blev fundet lige så upopulære, men "skødesløs" diskriminerer den lave fra højkriteriumgruppen.

6. Vejledningen til rateren er forberedt. Rateren er at reagere på hver tetrad som en vare og sige, hvilken af ​​de fire bedst passer til rateren og hvilken af ​​de fire er mindst passende.

7. En forsøgsform af instrumentet udprøves i en prøve, for hvilken der er et udenforkriterium med det formål at validere svarene, når beskrivelserne spiste oprettet i denne form. Diskriminerende responser bestemmes, og om ønsket er differentialvægte tildelt.

8. En scoringsnøgle udtænkes baseret på resultaterne i trin 7. Normalt modtager et gyldigt gunstigt træk, der er markeret som mest beskrivende af rateren, en positiv vægt, også et gyldigt, ugunstigt træk, der vurderes som mindst beskrivende.

Grundlag:

Selvfølgelig er logikken fra navnet "tvunget" valg fra ovenstående beskrivelse umiddelbart synlig, idet rater kontinuerligt bliver tvunget til at vælge blandt lige gunstige (eller ugunstige) alternativer. Dette forhindrer tilsyneladende, at rateren bevidst kun kontrollerer de mest fordelagtige træk ved bedømmelse af de arbejdstagere, til hvem han måske ønsker at vise en vis grad af favoritisme.

Hvis han vælger sine svar strengt på grundlag af, hvor gunstige de synes at være, så vil han i teorien ikke have nogen grund til at vælge et træk over det andet i et par, da de er blevet ligestillet på dette grundlag. Således ville hans valg være tilfældigt, og ved en tilfældighed vil han ende med at vælge den diskriminerende egenskab halvdelen af ​​tiden.

Da hver tetrad har et gunstigt par (med en positiv diskriminator i det) og et ugunstigt par (med en negativ diskriminator i den) ville et tilfældigt valg i hvert par betyde, at rater ville have en tendens til at vælge en gunstig diskriminator omkring halvdelen af tid og en ugunstig diskriminator omkring halvdelen af ​​tiden.

Således vil en tilfældig eller chance score være nul (forudsat vi giver +1 for hver positiv diskriminator og en -1 for hver negativ diskriminator kontrolleret). I det omfang rateren virkelig forsøger at give en korrekt vurdering af arbejderen, vil han have tendens til at vælge træk, der diskriminerer i det positive par og ikke at vælge træk, der diskriminerer i det negative par (forudsat at han vurderer en god arbejdstager) .

Hvis han vurderer en dårlig arbejdstager, vil hans mønster blive vendt om, at han ville have tendens til at vælge den diskriminerende egenskab oftere end chance blandt det negative par og vælge den ikke-diskriminerende egenskab oftere end chance i det positive par. Gode ​​arbejdere skal således ende med høje positive score og fattige arbejdere med høje negative score.

Tvangs-valgindekser:

Nøglen til en succesfuld tvangsvalgskala ligger i de forskellige typer af indekser, der opnås for hvert træk, inden konstruktionen af ​​den endelige version af ratingskalaen.

De forskellige indeks er som følger:

A. Diskriminerende indekser

B. Ligestillingsindeks

1. Præferenceindeks

2. Favoritindeks

3. Vigtighedsindeks

4. Ønskelighed indeks

Diskriminerende indekser:

Det diskriminerende indeks er blot et mål for, i hvilken grad et træk er fundet at skelne mellem gode og fattige arbejdere. Alle de indekser, der normalt anvendes i vareanalyser, er potentielt hensigtsmæssige til brug som mål for egenskabsdiscriminitet, da man udelukkende er bekymret over, hvor gyldig hver enkelt egenskab er ved at forudsige, hvor god en medarbejder kan være. For en diskussion af elementanalysemetoder, konsulter enhver grundlæggende tekst i psykologisk testning.

Ligestillingsindeks:

Begrundelsen for tvangsvalgssystemet kræver, at træk er parret på en sådan måde, at de er lige så "attraktive" for rateren. Med andre ord må et træk ikke have mere af nogen karakteristika, som ville medføre, at den bliver plukket over det andet træk af en rater, der har et ønske om at forvirre hans svar. Udvælgelse af træk i ethvert par skal udelukkende baseres på deres diskriminerende kraft snarere end hvad angår en hvilken som helst befolknings stereotype om egenskaberne selv.

Vi er straks ført til problemet med at forsøge at bestemme, hvilke typer egenskabskarakteristika der er tilbøjelige til at påvirke svaret fra en rater, der ønsker at forvirre hans svar.

Fire sådanne karakteristika kan betragtes som potentielt vigtige:

1. Præference for et træk:

Dette kan bedst defineres som den generelle tendens til, at ratifikatorer bruger træk med alle mennesker, uanset om de er gode eller dårlige arbejdstagere. Sisson (1948) definerede denne karakteristika som "i hvilket omfang folk generelt har tendens til at bruge det ved at beskrive andre mennesker." På en vis måde er egenskabsegenskab et mål for almindelighed af et træk i det beskrivende ordforråd for ratere. Ligestillingspar i forhold til deres generelle præference ville helt sikkert virke som et logisk skridt, hvis man forsøgte at fjerne fremmede egenskaber, som sandsynligvis ville påvirke valget af en rater.

2. Favorit af et træk:

Egenskaber er tydeligt forskellige med hensyn til deres tilsyneladende gunstige egenskab, når de bruges som en beskrivelse af mennesker. Som det er blevet nævnt, kombinerer tvangsvalgformatet sædvanligvis to gunstige træk med to ugunstige træk. Det er også vigtigt, at de to gunstige træk forekommer lige gunstige, og de to ugunstige træk er lige så gunstige, eller rateren kan blive fristet til at vælge den mest fordelagtige i hvert par i et forsøg på at gøre kurset så godt som muligt.

Egenskab for træk er sandsynligvis det mest almindeligt anvendte indeks for ligestillingspar. Det er et indeks, der er relativt let at opnå ved at have en række dommere vurderer hver egenskab med hensyn til dets gunstighed over for den person, den skal bruges til at beskrive og bruge den gennemsnitlige skala værdi som favorithåndighedsindekset.

3. Vigtighedsindeks:

Dette indeks er blevet nævnt af Zavala (1965) og er et mål på "betydningen af ​​erklæringen som kvalifikation for den pågældende stilling" (Zavala, 1965, s. 118). Dette indeks erkender, at en person med en bias tendens er mere tilbøjelig til at bruge en bestemt situation som referenceramme end en mere generel reference. Det vil sige, at en rater, der ønsker at gøre en rate, ser godt ud, kan være mere tilbøjelig til at vælge det specifikke træk, som han mener er vigtigst for det pågældende job, end han er at vælge det træk, som er den mest gunstige generelle deskriptor.

Raterens valg af hvilket træk er bedst at bruge er derfor sandsynligt at være jobspecifik. For at succesfuldt kunne sammenligne egenskaber for deres betydning er det nødvendigt, at vigtighedsskalaværdier opnås (sædvanligvis på samme generelle måde, at man opnår gunstighedsskalaværdier) for hver forskellige ratingsituation - en opgave, der til tider kan være vanskelig at opnå.

4. Ønskelighed indeks:

Idéen om social ønskelighed blev diskuteret som en indflydelse i bestemmelsen af ​​individers respons på personlighedsopgørelser. Virkningen af ​​denne egenskabskarakteristik er sandsynligvis lige så vigtig i vurderingssituationer. At skelne mellem favorithed og social ønskelighed er ikke altid en nem ting at gøre.

Visse karakteristiske træk kan også betragtes som socialt ønskelige. Sondringen kan illustreres ved at overveje favoriseringen af ​​et træk som intelligens, der kan være ret højt, mens dets sociale ønskelighed kan være tilbøjelig til at være noget lavere på grund af en generel kulturreaktion mod "æghoved" osv.

Referencerammer:

Ikke kun er der en række forskellige indekser, som kan bruges til at ligestille partræk i et tvunget valgformat, men der er også flere instruktionssæt eller referencerammer, som kan gives til dommerne, når man opnår skalaværdier for ligestillingsformål . Som følge heraf er forskellige instruktioner tilbøjelige til at være helt kritiske.

Hvis man for eksempel er interesseret i at få vigtige indekser, kan han give dommerne et af følgende sæt instruktioner:

(I) Giver hvert træk en score baseret på, hvor vigtigt du føler, at træk er til succesfulde jobpræstationer eller

(2) Giv hvert træk en score baseret på, hvor vigtig du tror, ​​at rateren i sidste ende bruger skalaen, vil føle det træk, der er til succes for jobbet.

I første omgang opnår man skalaværdier baseret på dommernes egen referenceramme. I anden instans bliver dommerne bedt om at placere sig i "skoene" af den person, der efterhånden bliver bedt om at bruge præstationsvurderingsinstrumentet og at dømme som om de var den pågældende person. Vægtskalaværdierne opnået under disse to sæt betingelser kan vise sig at være helt anderledes.

Strategien "Ideal-Man":

Et relateret problem til referencerammen er raterstrategien kaldet "ideal-man" -strategien. En meget typisk måde at forvirre svar på på en skala med tvangsvalgtest er, at rateren vælger sin bedste medarbejder og mentalt erstatter hans karakteristika for de medarbejdere, som han faktisk vurderer, og hvem han ønsker at have scorer godt.

Hvis han ikke har nogen medarbejder god nok til at blive brugt som vejledning i bedømmelse, kan rederen trække et mentalt billede af en ideel arbejdstager og bruge dette som sin referenceramme til at lave sine vurderinger. Denne form for bevidst forspænding er yderst vanskeligt at klare, da rateren på en måde ikke tager nogen opmærksomhed på de slags egenskaber, som den tvangsvalgte skala har tendens til at beskytte mod.

Det vil sige, at rater har en tendens til at gøre et "ærligt" bedømmelsesjob, bortset fra den "mand" han vurderer, når han fuldender skalaen, er en helt anden person end den, han skal klassificere. Når en rytter er klog nok til at vedtage denne klassificeringsstrategi som en metode til at hæve præstationsresultaterne af sine venner mv., Er der lidt, der kan gøres for at undgå den resulterende forspænding, selv med tvunget valg.

Forskning om tvangsvalgmetode:

Metoden for tvangsvalg har været genstand for en stor del forskning siden introduktionen i 1940'erne. Som med mange nyere metoder har det vist sig at være noget mindre af en kur - alt end mange havde håbet på, men det synes stadig at være en af ​​de mest effektive måder at reducere rater bias til rådighed for den industrielle psykolog. En kort oversigt over nogle af de resultater, der omhandler forskellige aspekter af tvangsvalgmetoden, vil give en ide om metodenes generelle status.

Forced-Choice-elementformat:

I det, der er blevet betragtet som en af ​​de klassiske undersøgelser af tvangsvalgmetoden, sammenlignede Highland og Berkshire (1951) seks forskellige typer produktformater med hensyn til (1) deres ulige ensartethed, (2) deres modtagelighed over for bias, når ratere blev instrueret til at sikre en høj score, (3) deres gyldighed mod et kriterium bestående af instruktørernes rangordrer af eleverne, og (4) deres generelle popularitet som fastlagt af raterne.

De seks forskellige typer af anvendte vareformater var:

1. To erklæringer pr. Vare, enten gunstige eller begge ugunstige. Rater blev bedt om at vælge mest beskrivende af parret af udsagn.

2. Tre udsagn pr. Vare, enten alle gunstige eller alle ugunstige. Rater blev bedt om at vælge den mest og mindst beskrivende erklæring.

3. Fire udtalelser pr. Vare, alle gunstige. Rater blev bedt om at vælge de to mest beskrivende udsagn.

4. Fire udtalelser pr. Vare, alle gunstige. Rater blev bedt om at vælge den mest beskrivende og mindst beskrivende.

5. Fire udtalelser pr. Vare, to gunstige og to ugunstige. Rater blev bedt om at vælge både de mest og mindst beskrivende udsagn.

6. Fem sætninger pr. Vare, to gunstige, to ugunstige og en neutral. Rater blev bedt om at vælge både de mest og mindst beskrivende udsagn.

Resultaterne af undersøgelsen førte Highland og Berkshire til følgende konklusioner:

Pålidelighed:

Alle formater førte til høj pålidelighedskoefficienter, selvom formater 5 og 6 kunne betragtes som at give den bedste visning på dette kriterium.

Gyldighed:

Format 4 blev generelt fundet det mest gyldige, med format 3, der kørte en stærk anden. Dette tyder på, at brugen af ​​kun gunstige alternativer synes at påvirke gyldigheden.

Rater præference:

Foretrukne for raterne for de seks formater som (fra de fleste til mindst foretrukne) 3, 1, 6, 5, 4 og 2.

Følsomhed over for bias:

Formularerne varierede betydeligt med hensyn til, i hvilken grad de var modstandsdygtige over for bevidst forsøg på at forspænde. Ordren af ​​biasresistens (fra de fleste til de mindst) var 3, 2, 1, 4, 5 og 6.

Highland og Berkshire antyder, at format 3 er det bedste af de seks, der studeres, når de fire kriterier, der er nævnt ovenfor, overvejes.

Sammenligningsgyldighed af tvunget valg:

Highland og Berkshire undersøgelsen undersøgte forskellige formater af tvunget valg indbyrdes. Et lige så vigtigt spørgsmål vedrører metodenes gyldighed og pålidelighed i forhold til andre præstationsvurderingsprocedurer.

Ved at gennemgå de undersøgelser, der har påstået at undersøge fordelen af ​​tvunget valg med hensyn til gyldighed, gør Zavala (1965) følgende punkter:

1. For mange undersøgelser af gyldigheden af ​​tvunget valg har tendens til at anvende andre former for bedømmelse som et kriterium. Dette er sandsynligvis mere en pålidelighedsforanstaltning end en gyldighedsforanstaltning.

2. De fleste sammenlignende undersøgelser synes at vise en lille overlegenhed for tvangsvalg over konventionelle vurderingsmetoder.

3. Jo længere rating skalaer er, desto mere apt er tvangsvalgmetoden at være overlegen.

4. Valget af en tvangsvalgskala er også egnet til at være en funktion af typen af ​​ligestillingsindeks, der anvendes til konstruktion af emnerne.

Følsomhed over for bias:

Selvom spørgsmålet om validitet sandsynligvis er det vigtigste, der kan bruges til at evaluere tvangsvalgtemetoden, er spørgsmålet om, i hvilken grad metoden er genstand for forspænding eller bevidst forvrængning, også kritisk. Faktisk blev metoden specifikt designet til at reducere responsforstyrrelser, da responsforstyrrelser tendens til at reducere validiteten.

Beviset om effektiviteten af ​​tvangsvalgsproceduren som en forspændingsreduktion er noget uensartet. Der synes at være ringe tvivl om, at faking forbliver mulig under et kraftvalgsformat, som angivet af Sisson (1948), Howe (1960) og Howe og Silverstein (1960).

Der ser imidlertid ud til at være væsentlige beviser for, at graden af ​​funktionsevne reduceres med tvangsvalgsposter. Karr (1959), Taylor og Wherry (1951), og Izard og Rosenberg (1958) tilbyder tre eksempler på forskningsundersøgelser, der indikerer en modstand mod falskning ved tvunget valg, der overstiger andre skalaer.

Waters (1965) har for nylig antydet, at en af ​​de største vanskeligheder med forskning i evnen til tvunget valg har været, at "sæt" til at falske den test, der er blevet etableret, har normalt afvignet fra "sæt", hvor ligestillingsindekserne var oprindeligt opnået. Således er indekserne aldrig rigtig helt egnede til den faktiske vurderingssituation. Han foreslår, at der er tre forskellige responssæt, under hvilke ligningsindekser kan opnås (uanset hvilket indeks der anvendes).

1. Ærlig vurdering:

Besvarelse, som svareren virkelig mener erklæringen gælder for den person, der vurderes

2. Social accept:

Besvarelse for at være acceptabel for sig selv og for andre generelt

3. Succes udseende:

Besvarelse for at få personen til at have de nødvendige eller ønskelige kvaliteter i forhold til et bestemt job eller en aktivitet

Det fremgår endvidere af Waters, at fakthitetsundersøgelser kan klassificeres i tre generelle klasser, afhængigt af hvordan svaret og gruppesammensætningen varieres.

For at citere fra Waters (1965, s. 189) har vi:

1. Fagbarhedsundersøgelser:

Sæt og grupper i det mindste ens i de situationer, hvor attraktivitetsindekserne opnås, og skalaen administreres.

2. Generaliseringstest:

Enten sæt eller grupper, men ikke begge, ændret sig fra den situation, hvor attraktivitetsindekserne opnås til den situation, hvor skalaen administreres.

3. Forlængelsesundersøgelser:

Begge sæt og grupper ændrede sig fra den situation, hvor attraktivitetsindekserne opnås i forholdet, hvor skalaen administreres.

Fagbarhedsundersøgelser må ikke forveksles med sidstnævnte typer af undersøgelser. De er den eneste type, som direkte giver en test af, hvor godt de ligende indekser er i deres arbejde. De to sidstnævnte evaluerer simpelthen indeksets generelle karakter i andre situationer. Desværre, ifølge Waters, har de fleste fakabilitystudier hidtil været enten generaliserings- eller forlængelsesstudier; der er et stærkt behov for nogle undersøgelser, som direkte angriber fakabilitetsspørgsmålet.

Norman Studie:

En af de mere interessante undersøgelser af problemet med tvangsvalgsfakning og afsløring er undersøgelsen af ​​Norman (1963). Han var bekymret for dynamikken i vare popularitet og indeks diskrimination indekser under normale forhold og under faking betingelser. Desuden var han interesseret i at bestemme, i hvilket omfang faking, hvis det forekom, kunne styres og / eller detekteres.

De væsentligste resultater af forskningen i forhold til opførelsen af ​​indekserne popularitet og diskrimination er angivet nedenfor:

1. Diskriminationsindeks under normale og falske forhold var korreleret ca.

2. Popularitetsindeks under normale og falske forhold var korreleret lavt (0, 24 og 0, 23).

3. Pålideligheden af ​​diskriminationsindeks under falske forhold var nul.

4. Pålidelighed af diskriminationsindeks under normale forhold var moderat høj.

5. Pålidelighed af populationsindeks var næsten perfekt under både normale og falske forhold (0, 97 og 0, 98).

Den sidste af disse resultater (find nummer 5) indebærer, at forskellen i popularitet mellem normale og falske forhold også skal være meget pålidelig (det konstaterende nummer 2, der siger at der er betydelige forskelle, kan ændres for at antyde, at sådanne forskelle er pålidelige og konsekvent). Dette blev dog ikke evalueret direkte i undersøgelsen.

Norman foreslår derefter en procedure til udvikling af et tvunget valginstrument, som vil have det samme middel under falske forhold, da det under normale forhold vil have en mindre varians under falske forhold og have en meget følsom registreringsskala til identifikation af fakers.

For at opnå dette skitserer han følgende trin:

1. Vælg varer med højt diskriminationsindeks under normale forhold (vælg mere end det skal efterhånden kræves).

2. Rangordne de valgte emner med hensyn til størrelsen af ​​deres forskelle i popularitet under de normale og de falske betingelser (se nummer 2 i ovenstående liste).

3. Vælg elementer fra begge sider af nul (så mange som ønsket), og sørg for, at den algebraiske sum af popularitetforskelle er lig med nul, når den er færdig.

Trin 3 vil sikre (da vi ved, at popularitet forskelle er pålidelige), at den gennemsnitlige test score af mennesker under de normale forhold vil svare til det under de falske forhold. Dette sker, da gennemsnittet af fordelingen af ​​testresultater er lig med summen af ​​varepublikationerne. Således er gennemsnitlige score under normale og falske forhold ligestillet. Test konstrueret med denne procedure vil også have tendens til at afvige deres test scorefordelinger, når de tages under et sæt til falsk. Dette er et resultat, der har tendens til at reducere muligheden for, at folk, der er tilbøjelige til at falske, får høj nok score til at blive accepteret.

For at illustrere, overvej diagrammet vist nedenfor (Figur 7.4), hvor vi har fordelingen af ​​testresultater taget under normale forhold. (7.4a), fordelingen af ​​testresultater taget under et sæt til falsk (7.4b) og en kompositfordeling bestående af fakers og non-fakers (7.4c).

Undersøgelse af figur 7.4c giver en indikation af den styrende virkning, som denne metode udøver på bevidste fakers. I den sædvanlige præstationsevalueringsindstilling er vi interesserede i at belønne de mennesker, der scorer højt på tvunget valgformularen. Da variansen af ​​den falske distribution er reduceret, kan man vælge de bedste scoring-personer (dem til højre for cut-off line i 7.4c) uden risiko for at få for mange fakers indgår blandt den valgte eller belønnede gruppe.

Figur 7.5 viser fem forskellige empiriske demonstrationer af denne begrænsning i varians opnået i den normaniske undersøgelse.

En sidste karakteristika ved den normanske metode er, at det er meget nemt at konstruere en "detektionskala" for at bestemme hvem der falder og hvem der ikke er.

Man indbefatter blot på skalaen en række elementer, der opfylder følgende krav:

1. De skal have næsten nul validiteter for kriteriumvariablerne.

2. De skal have vist et stort skift i popularitet fra den normale til den falske tilstand.

3. Deres popularitet under den normale tilstand skal enten være meget høj eller meget lav.

En konstruerer derefter en nøgle, som scorer det sjældne svar under den normale tilstand for hvert element (det vil sige det hyppige svar under den falske tilstand), da et svar har tendens til at indikere faking og det andet svar indikerer normal respons.

En anden måde at beskrive disse påvisningsposter på er at deres popularitet korrelerer med tendens til at falske. Figur 7.6 viser fordelingen af ​​scoringer på detektorskalaen opnået af Norman under normale og under falske forhold. Bemærk det store skift af scoringer, når folk blev bedt om at falske. Et afskæringspunkt på ca. 20 ville have en tendens til at identificere de fleste af fakers uden falsk anklager meget mange af normalerne.