Assessment-Center Flashcards
Allgemeine mittlere korrigierte Validität
q = .37
Aktualisierte Ergebnisse zeigten aber eine geringere mittlere korrigierte Validität von q = .28 basierend auf 26 Studien und 27 Validitätskoeffizient
OAR?
Overall Assessment Ratings
Gründe für die unterschiedlichen Validitäten zwischen USA und deutschsprachigem Raum
- Unterschiedliche gesetzliche Anforderungssysteme (USA besser)
- Bildungssysteme (USA schlechter)
- Wirtschaftliche Rahmenbedingngen
- Fähigkeit zum Erwerb und zur Nutzung von Technologie
- Arbeitsmarktschwankungen
- Wertunterschiede zwischen den Kulturen
- Verfügbarkeit von Standard-Assessment-Tools
- Niveau der HR-Erfahrung
- Rolle der Personalabteilung bei der Einstellung
- Vertrautheit mit einem Tool oder einer Praxis
- etc
Was gaben Krause und Gebert für Erklärungen der Unterschiede zwischen USA und Deutschland
- Ideologisch verwurzelte Vorbehalte zu einer bemerkenswert geringen Nutzung psychometrischer Tests (sowohl Intelligenz als auch Persönlichkeit) im deutschsprachigen Raum
- Im Vergleich zu US AC’s eine vergleichsweise mangelhafte Professionalität in der Handhabung (z.B. weniger ausgearbeitete Jobanalysen)
- Unterschiedliche Gesetzgebung (z.B. werden im deutschsprachigen Raum mehr Datenschutzrichtlinien den AC -Nutzern abgegeebben
Wo werden geringere prädiktive Validäten erwartet?
USA oder im deutschsprachigen Raum
Im deutschsprachigen Raum
Was sind die 5 Dimensionen der allgemeinen kulturellen Unterschiede USA vs. deutschsprachiger Raum
- Machtdistanz (USA +)
- Individualismus/Kollektivismus (Individualismus USA +)
- Männlich/Weiblich (Geschlechterrollen USA -)
- Unsicherheitsvermeidung (USA -)
- Lang-/kurzfristige Orientierung (Langfristig USA -)
Kollektivismus Institutionaler Kollektivismus (z.B. Lösung aufkommender organisatorischer Konflikte auf kollektiver Basis z.B. durch Vertreter von Gewerkschaften) ist in Deutschland typischer als in den USA
GLOBE
Global leadership and organizational behaviour effectiveness
Validierungskriterien für AC’s in Deutschland
- Vorgesetztenbewertung
- Beförderungen
- Entwicklung der Gehaltsskala
- Arbeitsleistung
- Ausbildungserfolg
Die Ziele der AC’s waren
Auswahl (für bestimmte Stellen)
Entwicklung (meist für die Selbstentwicklung)
Potenzialanalyse
Mittlere korrigierte Gültigkeit
Die mittlere beobachtete Korrelation, gewichtet nach Stichprobenumfang betrug r = .329 (80% Glaubwürdigkeitsintervalle (80%-CRs) für alle gemeldeten Koeffizienten
Darüber hinaus führte die Korrektur der Unzuverlässigkeit des Kriteriums und der direkten Reichweitenbeschränkung zu einer inkrementellen korrigierten Gültigkeit von q = .396
Bewertung des Vorgesetzten q = .564
Beförderungen q = .389
Ausbildungserfolge q = .324
Entwicklung Gehalt q = .236
Verkaufszahlen waren schlecht vorhersagbar q = .043
Eine Untersuchung der moderierenden Wirkung des AC-Zwecks ergab ebenfalls unterschiedliche Prädiktivengültigkeiten.
Für die Potenzialanalyse verwendete ACs ergaben die höchste prädiktive Validität (q = .512), gefolgt von ACs,
die als Entwicklungsinstrumente verwendet wurden (q = .333) und verwendeten ACs zur Auswahl (q = .258). Im Vergleich der Zielgruppen stellten wir fest , dass interne Kandidaten (q = .442) besser vorhergesagt wurden als externe Kandidaten (q = .216).
die Beurteilten im Durchschnitt jünger als 30 Jahre waren (q = 0,495 vs. q = 0,278 für ältere Teilnehmer), wenn ein Intelligenztest eingeschlossen war (q = .556 vs. q = .251 für ACs ohne Intelligenztests), wenn mehr als 10 Instrumente verwendet wurden (q = .527 vs. q = .266 für ACs mit weniger Instrumenten), wenn der AC nicht länger als einen Tag dauerte (q = .494 vs. q = .264 für längere ACs) und wenn mehr als zwei Jahre zwischen dem AC vergangen waren und die Bewertung des Kriteriums (q = .475 vs. q = .216 für frühere Kriteriumsbewertung
Warum ist die Kriteriumsvalidität von Vorgesetztenbeurteilungen so hoch?
Es könnte argumentiert werden, dass die Korrelation zwichen den AC-Ratings und subjektiven Kriterien aufgrund dergemeinsamen Bewertungsweise aufgebläht sei könnte
Warum sind Verkaufszahlen relativ schlecht durch AC’s vorhersagbar
AC-Dimensionen decken typischerweise breite Dimensionen ab, z. B. Rücksichtnahme / Bewusstsein für andere, Kommunikation, Antrieb, Beeinflussung anderer, Organisation und Planung oder Problemlösung (Arthur, Day, McNelly , & Edens, 2003), die typischerweise durch Verhaltensindikatoren gemessen werden
Es sollte berücksichtigt werden , dass die Prädiktor-Kriteriumsvaliditäten auf struktureller Ebene maximiert werden , wenn
a) eine Übereinstimmung zwischen Prädiktorbreite und Kriteriumsbreite besteht
und wenn
(b) die Die Zuordnung zwischen Prädiktoren und Kriterien direkt erfolgt
Beide Kriterien werden durch subjektive Leistungsbewertungen erfüllt, nicht jedoch durch objektive Leistungsindikatoren
Das Ergebnis, dass in Studien mit internen Kandidaten höhere Validitäten gefunden wurden, steht im Widerspruch zu unseren ursprünglichen Hypothesen zu diesem Moderator.
Eine mögliche Erklärung für diesen Effekt könnte sein, dass die AC- Bewerter oft innerhalb der Organisationen rekrutiert werden. Obwohl einige von ihnen den Assessor vor dem AC gekannt haben könnten und in den Bewertungen auf diese Erfahrungen zurückgreifen konnten
Fasst man die Ergebnisse für alle relevanten (und modifizierbaren) Validitätsmoderatoren zusammen , so lassen sich einige Empfehlungen für das Design und die Bewertung von ACs in der Praxis formulieren
: Eine etwas vereinfachte Empfehlung könnte sein ‘‘behalten es ist kurz, aber komplex und vielfältig.” Es konzentriert sich auf die Gestaltung und die Auswahl der einzelnen Übungen. Basierend auf unseren Ergebnissen sollte eine Vielzahl von Kurzzeitübungen mit relevanter kognitiver Komplexität gegenüber Langzeitsimulationen bevorzugt werden. Dies impliziert auch, dass ACs als “harmonisierte Multimethodenvereinbarungen” betrachtet werden sollten, die nicht nur aus (kurzen) Simulationen, sondern auch aus Interviews und psychometrischen Tests bestehen
Höhe der Validität
Man spricht bei einer inneren Kriteriumsvalidität von 0,3 von zufriedenstellenden Ergebnissen. Ein Wert von 0,5 für die Validität gilt es sehr hoch
Warum ist Validität das wichtigste Gütekriterium
Aus der Tatsache heraus, dass die Objektivität für die Reliabilität vorausgesetzt wird und die Reliabilität für das Kriterium Validität vorausgesetzt wird, ist die Validität das aussagekräftigste Gütekriterium für psychologische Testverfahren. Oder anders ausgedrückt: Um die Validität zu gewährleisten, müssen die anderen Gütekriterien erfüllt sein
Wie hängen Validität und Reliabilität zusammen
Ein valider Test muss reliabel sein, ein reliabler Test kann, muss aber nicht, valide sein. Folgende Rangordnung gibt es bei den 3 Hauptgütekriterien:
- Validität (ein valider Test ist auch reliabel und objektiv)
- Reliabilität (ein reliabler Test ist auch objektiv aber nicht unbedingt valide)
- Objektivität (ein objektiver Test ist nicht unbedingt auch reliabel oder valide)
Prognostische Validität
Ein Beispiel zur Bestimmung der Validität ist die prognostische Validität. Im Falle eines Assessment Centers könnte ein Probe-Assessment mit guten und eher schwachen Mitarbeitern durchgeführt. Die Annahme dabei lautet: Die guten Mitarbeiter sollten im AC deutlich besser abschneiden, als die mittelmäßigen /schwachen. Mit statistischen Verfahren wird dann anhand der Daten aus dem Probe-Assessment das Messinstrument so justiert, dass eine starke Differenzierung der beiden Extremgruppen möglich ist.
Inkrementelle Validität
Validität, inkrementelle [engl. incrementalvalidity; lat. incrementum Zuwachs, Ergänzung], ist ein von Sechrest (1963) eingeführter Begriff zur Bez. des von einem Prädiktor zusätzlich erklärten Varianzanteils (Varianzaufklärung) eines Kriteriums nach Berücksichtigung anderer Prädiktoren (Validität, kriteriumsbezogene Validität).
Inkrementelle Validität ist somit identisch mit der eigenständigen Prognosekraft eines Messinstruments. Bsp.:
(1) Studierfähigkeitstests gelten in dem Maße als inkrementell valide, in dem sie eigenständige Varianz eines Studienerfolgskriteriums (z. B. Abschlussnote eines Studiengangs) nach Berücksichtigung anderer Studienerfolgsprädiktoren wie der Abiturdurchschnittsnote erklären.
(2) Auch bei der Diagnose der beruflichen Eignung (Eignungsdiagnostik) spielt die inkrementelle Validität der einzelnen Instrumente (eignungsdiagnostisches Interview, Assessment Center, Zeugnisse etc.) eine wichtige
Varianzaufklärung
Gibt an, welcher Anteil der Streuung (vgl. Varianz) eines abhängigen Merkmals auf die Veränderung von unabhängigen Merkmalen zurückzuführen ist. Im Idealfall kann die gesamte Streuung auf die jeweilige Kombination unabhängiger Merkmale zurückgeführt werden, was einer 100-prozentigen Varianzaufklärung entsprechen würde. In der Marktforschung ist eine 100-prozentige Varianzaufklärung jedoch unrealistisch. Auch eine 30- bis 50-prozentige Varianzaufklärungen kann u. U. schon als sehr gut bezeichnet werden. Die Varianzaufklärung dient auch zum Aufzeigen von Wechselwirkungen.
Simulationsorientierte Verfahren
Konfrontieren Bewerber bereit sind der Phase der Personalauswahl mit ausgewählten Arbeitsaufgaben des Berufsalltags und überprüfen dabei, inwieweit sie in der Lage sind, entsprechende Aufgaben erfolgreich zu bewältigen.
Vorteile von Simulationsorientierten Verfahren
Bewerber:
Erhalten realistischen Einblick in den Berufsalltag
Können sich selbst und ihre Interessen besser prüfen
Unternehmen
Erhält Informationen über das Leistungsverhalten in explizit alltagsrelevanten Situationen
Formen simulationsorientierter Verfahren
- Arbeitsproben
- Computergestützte Szenarios
- Situational Judgement Tests
- Situative Interviews
- Assessment Center
Prototyp simulationsorientierter Verfahren
Arbeitsprobe
Realitätsbezug einer diagnostischen Methode
Stimuluskomponente
Material mit dem der Bewerber konfrontiert wird (Je stärker der Stimulus den Berufsalltag 1:1 simuliert = höherer Realitätsbezug
- Werkstück bearbeiten
- Frage beantworten (wie würden sie vorgehen)
- Vidofilm über die Arbeit zeigen
Response-Komponente
Möglichkeiten des Bewerbers, auf das Untersuchungsmaterial zu reagieren.
(Soll der Bewerber beispielsweise mit eigenen Worten beschreiben, wie er eine berufliche Aufgabe lösen würde, so wäre der Realitätsbezug geringer als wenn er es direkt ausführen kann. Noch weiter sinken würde er, wenn der Bewerber die Antwort nicht frei formuliert, sondern lediglich aus vorgegebenen Alternativen diejenige auswählen darf, die seinem Verhalten in der Realsituation am besten entspricht.)
Arbeitsproben
Handwerker:
Die interessierenden Fertigkeiten lassen sich direkt beobachten und bewerten.
Wirtschaftswissenschaftliche Berufsfelder
Case Study
Gegenstand der Bewertung kann sowohl der Prozess als auch das Ergebnis sein.
Variationen von Arbeitsproben (nach Allinan & Robertson, 2002)
Prognostische Validität von Arbeitsproben
Ist gut belegt.
Korrigierter Koeffizient von .54
Bei Berufen mit höherer Komplexität fällt die Validität geringer aus: .25
Vor- und Nachteil von Arbeitsproben
Vorteil:
Hohe Akzeptanz
Hohe prognostische Validität
Nachteil
Die Validität einer konkreten Arbeitsprobe vor Ort müsste empirisch überprüft werden. Dies scheitert in der Praxis oft durch die kleinen Stichproben.
Computergestützte Szenarios in Arbeitsproben
Worum könnte es in einem computergestützten Szenario gehen
Eine mittelständische Firma zu führen.
Die Aufgabe des Bewerbers:
Durch richtige Entscheidungen die Entwicklung des Unternehmens positiv zu beeinflussen
Er muss dabei alle Einflüsse auf die verschiedenen Parameter berücksichtigen
Computerimulationen fordern insbesondere die intellektuellen Fähigkeiten heraus.
Jae nach Szenario sind auch fachliche Kompetenzen (wie etwa das Wissen über grundlegende Prinzipien betriebswirschaftlicher Prozesse – von Bedeutung.
Letztlich geht es darum, komplexe Probleme zu lösen, die durch fünf Prinzipien gekennzeichnet sind.
Merkmale komplexer Problemlöseszenarios in computergestützten Verfahren
Die Kriterien der Leistungen in computergestützten Verfahren können u.a. sein
- Anzahl korrekter Entscheidungen,
- Anzahl falscher Entscheidungen,
- Anzahl nicht getroffener Entscheidungen,
- Anzahl unternommener Lösungsversuche, bevor der Bewerber aufgibt,
- Qualität der Zielerreichung,
- Geschwindigkeit der Zielerreichung.
Validität von computergestützten Verfahren
Diese Verfahren sind nur unzureichend auf ihre Validität untersucht worden.
Jedoch wird von kriterienbezogenen Validitäten zwischen .30 und .40 gesprochen
Kosten computergestützter Verfahren vs. Intelligenztests
Computergestützte Verfahren sind teuer
Akzeptanz computergestützter Verfahren
Schneiden positiver ab als Intelligenztests, da Aufgaben weniger abstrakt ausfallen.
Wobei der Test nach dem Black-Box-Prinzip funktioniert. Der Bewerber trifft eine Entscheidung und am Ende zeigt das Computerprogramm Reaktionen. In wieweit dieser Reaktionen die Realität simulieren ist eher unbekannt.
I.d.R hat man es bei vielen computergestützten Problemlöseszenarios daher wohl eher mit animierten kognitiven Leistungstests und weniger mit Simulationen des Berufsalltags zu tun.
Situational Judgement Tests
Sind erst seit 20 Jahren Gegenstand personalpsychologischer Forschung
Vorteil des SJT gegen über der Arbeitsprobe oder dem AC
Sehr viele berufsrelevante Situationen können untersucht werden und auch solche Situationen miteinbeziehen, die sich kaum oder gar nicht real nachstellen lassen.
z.B. Videoclip einer gewalttätigen Demonstration, Geiselnahme, schwerer Verkehrsunfall
Stimulus des SJT
Stimulus:
- Schriftliche Beschreibungen
- Videoclips
Videoclip = aufwändiger dafür realitätsnähere Darstellung der Situationen, da z.B. auch Mimik und Gestik übermittelt werden.
Stimulus, Response und Ineraktivität des SJT
Response beim SJT
Nahezu immer schriftliche Antwortvorgaben.
Denkbar wären auch Videos mit unterschiedlichen Verhaltensalternativen aus denen man auswählen muss.
Aber auch freie Antworten sind denkbar
Should-do-Instruktionen im SJT
Beste Verhaltensalternative kennzeichnen (Wie sollte man sich verhalten)
Erfasst Wissen über soziale Sachverhalte
Would-do-Instruktionen im SJT
Wie man sich selbst verhalten würde.
Erfasst Selbstbeschreibung des Kandidaten
Kriterienbezogene Validität von SJT (aus Christian et al. 2010)
Situative Interviews
Situative Interviews:
Wie würden Sie sich in dieser Situation verhalten?
Entwicklung Situativer Interviews (in Anlehnung an Latham, 1989)
Warum sind Situative Interviews valide, obwohl die Bewerber die Ergebnisse doch leicht verfälschen könnten?
Assessment Center
Sind sehr aufwändige Verfahren der Personaldiagnostik, die ursprünglich der Auswahl von (Nachwuchs-)Führungskräften vorbehalten war.
Inzwischen hat sich der Einsatz der Methode hinsichtlich Zielgruppen als auch in Bezug auf den Zweck deutlich erweitert.
Struktureller Aufbau eines Assessment Centers
Einsatzhäufigkeit verschiedener Übungen
Beispiele für Übungsinstruktion
- Stegreifrede
- Rollenspiel
AC’s wie man es besser nicht machen sollte:
Komplexer Zeitplan im AC
Aus der Abfolge der Uebungen wird ein Beispiel eines eintätigen Verfahrens mit 5 Bewerbern gegen.
Das Verfahren besteht aus
5 klassischen Verhaltensübungen
- Rollenspiele
- Präsentation
- Stegreifrede
- Gruppendiskussion
1 strukturiertem Interview mit biografischen und situativen Fragen sowie
3 psychologischen Testverfahren
- Zwei Fragebögen
- 1 Leistungstest
Beispiel:
Die Kompetenzdimension Rhetorik wird in dieser Übung durch drei Subdimensionen repräsentiert. In jeder der drei Zeilen müssen die Beobachter ein Kreuz setzen und anschließend einen Mittelwert bilden
Systematische Fehler der Personalbeurteilung
Prognostische Validität des AC
Durchschnittlicher Wert .37
Je nach Validitätskriterium schwank dieser Wert, fällt aber nie unter .33, wodurch das AC prinzipiell als nützliches Instrument in der Personalauswahl identifiziert wird.
Obwohl wir heute über die Methode des AC sehr viel mehr wissen als noch vor 30 od. 40 Jahren, scheint ihre Validität über die Jahre hinweg zu sinken.
Warum?
Tipps für die AC-Praxis
Tipps für die Praxis
