Assessment-Center Flashcards
(112 cards)
Allgemeine mittlere korrigierte Validität
q = .37
Aktualisierte Ergebnisse zeigten aber eine geringere mittlere korrigierte Validität von q = .28 basierend auf 26 Studien und 27 Validitätskoeffizient
OAR?
Overall Assessment Ratings
Gründe für die unterschiedlichen Validitäten zwischen USA und deutschsprachigem Raum
- Unterschiedliche gesetzliche Anforderungssysteme (USA besser)
- Bildungssysteme (USA schlechter)
- Wirtschaftliche Rahmenbedingngen
- Fähigkeit zum Erwerb und zur Nutzung von Technologie
- Arbeitsmarktschwankungen
- Wertunterschiede zwischen den Kulturen
- Verfügbarkeit von Standard-Assessment-Tools
- Niveau der HR-Erfahrung
- Rolle der Personalabteilung bei der Einstellung
- Vertrautheit mit einem Tool oder einer Praxis
- etc
Was gaben Krause und Gebert für Erklärungen der Unterschiede zwischen USA und Deutschland
- Ideologisch verwurzelte Vorbehalte zu einer bemerkenswert geringen Nutzung psychometrischer Tests (sowohl Intelligenz als auch Persönlichkeit) im deutschsprachigen Raum
- Im Vergleich zu US AC’s eine vergleichsweise mangelhafte Professionalität in der Handhabung (z.B. weniger ausgearbeitete Jobanalysen)
- Unterschiedliche Gesetzgebung (z.B. werden im deutschsprachigen Raum mehr Datenschutzrichtlinien den AC -Nutzern abgegeebben
Wo werden geringere prädiktive Validäten erwartet?
USA oder im deutschsprachigen Raum
Im deutschsprachigen Raum
Was sind die 5 Dimensionen der allgemeinen kulturellen Unterschiede USA vs. deutschsprachiger Raum
- Machtdistanz (USA +)
- Individualismus/Kollektivismus (Individualismus USA +)
- Männlich/Weiblich (Geschlechterrollen USA -)
- Unsicherheitsvermeidung (USA -)
- Lang-/kurzfristige Orientierung (Langfristig USA -)
Kollektivismus Institutionaler Kollektivismus (z.B. Lösung aufkommender organisatorischer Konflikte auf kollektiver Basis z.B. durch Vertreter von Gewerkschaften) ist in Deutschland typischer als in den USA
GLOBE
Global leadership and organizational behaviour effectiveness
Validierungskriterien für AC’s in Deutschland
- Vorgesetztenbewertung
- Beförderungen
- Entwicklung der Gehaltsskala
- Arbeitsleistung
- Ausbildungserfolg
Die Ziele der AC’s waren
Auswahl (für bestimmte Stellen)
Entwicklung (meist für die Selbstentwicklung)
Potenzialanalyse
Mittlere korrigierte Gültigkeit
Die mittlere beobachtete Korrelation, gewichtet nach Stichprobenumfang betrug r = .329 (80% Glaubwürdigkeitsintervalle (80%-CRs) für alle gemeldeten Koeffizienten
Darüber hinaus führte die Korrektur der Unzuverlässigkeit des Kriteriums und der direkten Reichweitenbeschränkung zu einer inkrementellen korrigierten Gültigkeit von q = .396
Bewertung des Vorgesetzten q = .564
Beförderungen q = .389
Ausbildungserfolge q = .324
Entwicklung Gehalt q = .236
Verkaufszahlen waren schlecht vorhersagbar q = .043
Eine Untersuchung der moderierenden Wirkung des AC-Zwecks ergab ebenfalls unterschiedliche Prädiktivengültigkeiten.
Für die Potenzialanalyse verwendete ACs ergaben die höchste prädiktive Validität (q = .512), gefolgt von ACs,
die als Entwicklungsinstrumente verwendet wurden (q = .333) und verwendeten ACs zur Auswahl (q = .258). Im Vergleich der Zielgruppen stellten wir fest , dass interne Kandidaten (q = .442) besser vorhergesagt wurden als externe Kandidaten (q = .216).
die Beurteilten im Durchschnitt jünger als 30 Jahre waren (q = 0,495 vs. q = 0,278 für ältere Teilnehmer), wenn ein Intelligenztest eingeschlossen war (q = .556 vs. q = .251 für ACs ohne Intelligenztests), wenn mehr als 10 Instrumente verwendet wurden (q = .527 vs. q = .266 für ACs mit weniger Instrumenten), wenn der AC nicht länger als einen Tag dauerte (q = .494 vs. q = .264 für längere ACs) und wenn mehr als zwei Jahre zwischen dem AC vergangen waren und die Bewertung des Kriteriums (q = .475 vs. q = .216 für frühere Kriteriumsbewertung
Warum ist die Kriteriumsvalidität von Vorgesetztenbeurteilungen so hoch?
Es könnte argumentiert werden, dass die Korrelation zwichen den AC-Ratings und subjektiven Kriterien aufgrund dergemeinsamen Bewertungsweise aufgebläht sei könnte
Warum sind Verkaufszahlen relativ schlecht durch AC’s vorhersagbar
AC-Dimensionen decken typischerweise breite Dimensionen ab, z. B. Rücksichtnahme / Bewusstsein für andere, Kommunikation, Antrieb, Beeinflussung anderer, Organisation und Planung oder Problemlösung (Arthur, Day, McNelly , & Edens, 2003), die typischerweise durch Verhaltensindikatoren gemessen werden
Es sollte berücksichtigt werden , dass die Prädiktor-Kriteriumsvaliditäten auf struktureller Ebene maximiert werden , wenn
a) eine Übereinstimmung zwischen Prädiktorbreite und Kriteriumsbreite besteht
und wenn
(b) die Die Zuordnung zwischen Prädiktoren und Kriterien direkt erfolgt
Beide Kriterien werden durch subjektive Leistungsbewertungen erfüllt, nicht jedoch durch objektive Leistungsindikatoren
Das Ergebnis, dass in Studien mit internen Kandidaten höhere Validitäten gefunden wurden, steht im Widerspruch zu unseren ursprünglichen Hypothesen zu diesem Moderator.
Eine mögliche Erklärung für diesen Effekt könnte sein, dass die AC- Bewerter oft innerhalb der Organisationen rekrutiert werden. Obwohl einige von ihnen den Assessor vor dem AC gekannt haben könnten und in den Bewertungen auf diese Erfahrungen zurückgreifen konnten
Fasst man die Ergebnisse für alle relevanten (und modifizierbaren) Validitätsmoderatoren zusammen , so lassen sich einige Empfehlungen für das Design und die Bewertung von ACs in der Praxis formulieren
: Eine etwas vereinfachte Empfehlung könnte sein ‘‘behalten es ist kurz, aber komplex und vielfältig.” Es konzentriert sich auf die Gestaltung und die Auswahl der einzelnen Übungen. Basierend auf unseren Ergebnissen sollte eine Vielzahl von Kurzzeitübungen mit relevanter kognitiver Komplexität gegenüber Langzeitsimulationen bevorzugt werden. Dies impliziert auch, dass ACs als “harmonisierte Multimethodenvereinbarungen” betrachtet werden sollten, die nicht nur aus (kurzen) Simulationen, sondern auch aus Interviews und psychometrischen Tests bestehen
Höhe der Validität
Man spricht bei einer inneren Kriteriumsvalidität von 0,3 von zufriedenstellenden Ergebnissen. Ein Wert von 0,5 für die Validität gilt es sehr hoch
Warum ist Validität das wichtigste Gütekriterium
Aus der Tatsache heraus, dass die Objektivität für die Reliabilität vorausgesetzt wird und die Reliabilität für das Kriterium Validität vorausgesetzt wird, ist die Validität das aussagekräftigste Gütekriterium für psychologische Testverfahren. Oder anders ausgedrückt: Um die Validität zu gewährleisten, müssen die anderen Gütekriterien erfüllt sein
Wie hängen Validität und Reliabilität zusammen
Ein valider Test muss reliabel sein, ein reliabler Test kann, muss aber nicht, valide sein. Folgende Rangordnung gibt es bei den 3 Hauptgütekriterien:
- Validität (ein valider Test ist auch reliabel und objektiv)
- Reliabilität (ein reliabler Test ist auch objektiv aber nicht unbedingt valide)
- Objektivität (ein objektiver Test ist nicht unbedingt auch reliabel oder valide)
Prognostische Validität
Ein Beispiel zur Bestimmung der Validität ist die prognostische Validität. Im Falle eines Assessment Centers könnte ein Probe-Assessment mit guten und eher schwachen Mitarbeitern durchgeführt. Die Annahme dabei lautet: Die guten Mitarbeiter sollten im AC deutlich besser abschneiden, als die mittelmäßigen /schwachen. Mit statistischen Verfahren wird dann anhand der Daten aus dem Probe-Assessment das Messinstrument so justiert, dass eine starke Differenzierung der beiden Extremgruppen möglich ist.
Inkrementelle Validität
Validität, inkrementelle [engl. incrementalvalidity; lat. incrementum Zuwachs, Ergänzung], ist ein von Sechrest (1963) eingeführter Begriff zur Bez. des von einem Prädiktor zusätzlich erklärten Varianzanteils (Varianzaufklärung) eines Kriteriums nach Berücksichtigung anderer Prädiktoren (Validität, kriteriumsbezogene Validität).
Inkrementelle Validität ist somit identisch mit der eigenständigen Prognosekraft eines Messinstruments. Bsp.:
(1) Studierfähigkeitstests gelten in dem Maße als inkrementell valide, in dem sie eigenständige Varianz eines Studienerfolgskriteriums (z. B. Abschlussnote eines Studiengangs) nach Berücksichtigung anderer Studienerfolgsprädiktoren wie der Abiturdurchschnittsnote erklären.
(2) Auch bei der Diagnose der beruflichen Eignung (Eignungsdiagnostik) spielt die inkrementelle Validität der einzelnen Instrumente (eignungsdiagnostisches Interview, Assessment Center, Zeugnisse etc.) eine wichtige
Varianzaufklärung
Gibt an, welcher Anteil der Streuung (vgl. Varianz) eines abhängigen Merkmals auf die Veränderung von unabhängigen Merkmalen zurückzuführen ist. Im Idealfall kann die gesamte Streuung auf die jeweilige Kombination unabhängiger Merkmale zurückgeführt werden, was einer 100-prozentigen Varianzaufklärung entsprechen würde. In der Marktforschung ist eine 100-prozentige Varianzaufklärung jedoch unrealistisch. Auch eine 30- bis 50-prozentige Varianzaufklärungen kann u. U. schon als sehr gut bezeichnet werden. Die Varianzaufklärung dient auch zum Aufzeigen von Wechselwirkungen.
Simulationsorientierte Verfahren
Konfrontieren Bewerber bereit sind der Phase der Personalauswahl mit ausgewählten Arbeitsaufgaben des Berufsalltags und überprüfen dabei, inwieweit sie in der Lage sind, entsprechende Aufgaben erfolgreich zu bewältigen.
Vorteile von Simulationsorientierten Verfahren
Bewerber:
Erhalten realistischen Einblick in den Berufsalltag
Können sich selbst und ihre Interessen besser prüfen
Unternehmen
Erhält Informationen über das Leistungsverhalten in explizit alltagsrelevanten Situationen
Formen simulationsorientierter Verfahren
- Arbeitsproben
- Computergestützte Szenarios
- Situational Judgement Tests
- Situative Interviews
- Assessment Center