Lehrbuch Evaluation
von: Heinrich Wottawa, Heike Thierau
Hogrefe AG, 1998
ISBN: 9783456929897
Sprache: Deutsch
177 Seiten, Download: 780 KB
Format: PDF, auch als Online-Lesen
Inhaltsverzeichnis | 6 | ||
Vorwort zur zweiten Auflage | 10 | ||
Vorwort zur ersten Auflage | 12 | ||
1. Wissenschaft, Moral und die Grenzen der Planbarkeit | 14 | ||
1.1 Definitionsversuche von «Evaluation» | 14 | ||
1.2 Wissenschaft und moralische Verantwortung | 16 | ||
1.3 Handlungsoptimierung durch Evaluation | 19 | ||
2. Grundlagen sozialwissenschaftlich gestützter Evaluation | 24 | ||
2.1 Zielsetzungen bei Evaluationsvorhaben | 24 | ||
2.1.1 Grundlagen für die Akzeptanz von Evaluation | 24 | ||
Psychologische Voraussetzungen | 24 | ||
Geschichtliche Entwicklung des Evaluationsgedankens | 28 | ||
2.1.2 Nutzenerwartungen des Auftraggebers | 30 | ||
Bewertung ohne detaillierte Zielsetzung | 30 | ||
Verantwortungsdelegation | 30 | ||
Durchsetzungshilfe | 30 | ||
Entscheidungshilfe | 31 | ||
Optimierungsgrundlage | 31 | ||
Kontrolle der Zielerreichung | 32 | ||
2.1.3 Schwerpunkte konkreter Evaluationsprojekte | 32 | ||
Rahmenbedingungen | 33 | ||
Grundsätzliche Ziele | 34 | ||
Zeitperspektive | 34 | ||
Nutzenüberlegungen | 35 | ||
Bearbeitungsformen | 35 | ||
Erfahrungsaufbereitung | 36 | ||
2.2 Wissenschaft als mögliche Grundlage von Evaluation | 37 | ||
2.2.1 Evaluation als wissenschaftsgestütztes Handeln | 37 | ||
Beziehung zwischen Wissenschaft und Evaluation | 37 | ||
Rolle des Evaluators | 38 | ||
Wissenschaft als Hilfe für die Evaluationsarbeit | 39 | ||
2.2.2 Nutzen der Wissenschafts-Beiträge | 39 | ||
Potentielle Sachbeiträge von Wissenschaft | 40 | ||
Zusatznutzen «wissenschaftlicher» Evaluation | 40 | ||
2.2.3 Alternativen zur wissenschaftsgestützten Evaluation | 43 | ||
Legalistische Position | 43 | ||
Nicht-sozialwissenschaftliche Evaluation | 44 | ||
2.2.4 Qualitätsmanagement nach DIN-EN-ISO-9000ff. | 44 | ||
2.3. Verfügbarkeit von Evaluatoren | 46 | ||
2.3.1. Rollenvielfalt des Evaluators | 47 | ||
2.3.2 Rechtliche Rahmenbedingungen von evaluatorischer Tätigkeit | 47 | ||
Vertragsmöglichkeiten | 48 | ||
2.3.3 Persönliche Voraussetzungen | 52 | ||
Fachliches Können | 52 | ||
Persönlichkeit, Interessen, Motivation | 52 | ||
3. Einsatzgebiete psychologischer Evaluation | 56 | ||
3.1 Gestaltungsaspekte von Evaluationsstudien | 56 | ||
3.1.1 Evaluationsziele | 56 | ||
3.1.2 Evaluationsbereich | 58 | ||
3.1.3 Evaluationsobjekt | 60 | ||
3.1.4 Ort der Evaluierung | 63 | ||
3.1.5. Evaluationsmodell | 63 | ||
3.1.6. Evaluationsnutzung | 64 | ||
3.2 Evaluation als interdisziplinäres Feld | 67 | ||
3.2.1 Notwendigkeit einer einzelne Evaluationsbereiche überschreitenden Vorgehensweise | 67 | ||
3.2.2 Vergleich BRD/USA: Stand der Evaluationsforschung | 68 | ||
3.2.3 Strukturelle Gemeinsamkeiten «idealer» Evaluationsstudien | 69 | ||
Strukturelle Kennzeichen von Evaluationsstudien: | 69 | ||
3.3 Grundlagen und Probleme der Evaluationsforschung Probleme der Evaluationsforschung dargestellt am Beispiel konkreter Evaluationsprojekte | 71 | ||
3.3.1 Evaluation in der Wirtschaft | 71 | ||
3.3.2 Evaluation im Schul- und Bildungswesen | 75 | ||
3.3.3 Evaluation im forensischen Bereich | 80 | ||
4. Zielexplikation und Bewertungskriterien | 84 | ||
4.1 Zielexplikation | 84 | ||
4.1.1 Zielgruppenbestimmung | 86 | ||
4.1.2 Konkretisierung des Evaluationsobjektes | 88 | ||
4.1.3 Antizipatorische Ergebnisverwertung | 90 | ||
4.2 Bewertungsprozeß | 90 | ||
4.2.1 Auswahl der Bewertungskriterien | 92 | ||
4.2.2 Nebenfolgenabschätzung | 93 | ||
4.2.3 Operationalisierungsfragen | 95 | ||
Systematische Itemkonstruktion | 101 | ||
Eindimensionale probabilistische Modelle | 102 | ||
4.3 Bewertungs- und Entscheidungshilfen | 103 | ||
4.3.1 Explizite Verfahren der Nutzenbestimmung | 103 | ||
Nutzenmessung | 104 | ||
Nutzenverrechnung | 107 | ||
4.3.2 Expertengestützte Entscheidungsfindung | 108 | ||
4.3.3. Entscheidungsfindung durch Betroffene | 109 | ||
4.3.4 Grenzen objektiver Nutzenbewertung | 111 | ||
5. Planung von Evaluationsprojekten | 114 | ||
5.1 Projektmanagement | 115 | ||
5.1.1 Informationen zu Projektdetails und Rahmenbedingungen | 115 | ||
5.1.2 Vorläufiger Arbeitsplan | 117 | ||
5.1.3 Zeit- und Kostenabschätzung | 118 | ||
Strukturanalyse | 118 | ||
Zeitanalyse | 120 | ||
Balkenplantechnik | 121 | ||
Netzplantechnik | 123 | ||
Kostenschätzung | 124 | ||
Entscheidungsbaumverfahren | 125 | ||
5.2 Designfragen | 125 | ||
5.2.1 Fehlerquellen | 126 | ||
5.2.2 Untersuchungspläne | 127 | ||
Sonderfall: Überprüfung der Zielereichung | 129 | ||
Grenzen der Realisierbarkeit von Idealforderungen | 130 | ||
Notwendig: Praktikable Kompromisse | 131 | ||
5.2.3 Datenerhebungsverfahren | 132 | ||
Tests bzw. Fragebögen | 132 | ||
Beobachtung | 133 | ||
Interviewtechniken | 134 | ||
5.3 Auswertungsverfahren | 135 | ||
5.3.1 Beurteilung der Effektstärke | 136 | ||
Normierte Skalenwerte | 136 | ||
Signifikant = relevant? | 137 | ||
Interpretation deskriptiver Kennzahlen | 137 | ||
Meta-Analysen | 139 | ||
5.3.2 Auswertungsverfahren auf der Basis allgemeiner linearer Modellansätze | 139 | ||
Populationsabhängigkeit | 139 | ||
Deskription, nicht Funktionsanalyse | 140 | ||
Kontextabhängigkeit | 141 | ||
5.3.3 Qualitative Auswertungsverfahren | 141 | ||
Konfigurale Techniken | 142 | ||
Strukturierungshilfen | 142 | ||
Verstehen | 143 | ||
6. Durchführung von Evaluationsstudien | 146 | ||
6.1 Organisatorische Fragen | 146 | ||
6.1.1 Fragen der Personalführung | 147 | ||
Organisationsaufgaben | 148 | ||
Positive Aspekte | 148 | ||
6.1.2 Kontrolltechniken des Projektverlaufes und des Konfliktmanagements | 149 | ||
6.1.3 Unerwartete Störfälle | 150 | ||
6.2 Auswertungsarbeiten | 151 | ||
6.2.1 Kontrolle der Datenqualität | 151 | ||
Datenerhebung durch Interview | 151 | ||
Interviewerkontrolle | 152 | ||
Schriftliche Befragung | 153 | ||
Fehler bei der Datenaufbereitung | 153 | ||
Datenauswertung | 154 | ||
6.2.2 Datenschutz | 155 | ||
Schutz der Privatsphäre | 157 | ||
Datenschutz auch bei Änderung der Rahmenbedingungen! | 157 | ||
6.2.3 Auswertungspläne | 159 | ||
Rechtzeitige Auswahl der Auswertungsdetails | 159 | ||
Antizipatorische Konsensfindung | 160 | ||
6.3 Berichtlegung | 160 | ||
6.3.1 Zielgruppenanalyse | 161 | ||
6.3.2 Informationsverdichtung | 162 | ||
Nahezu unvermeidbare Angriffspunkte | 163 | ||
6.3.3 Mündliche Präsentation | 163 | ||
7. Ausblick: Bewertung sozialwissenschaftlicher Evaluation | 166 | ||
7.1 Bewertungskriterien einzelner Evaluationsvorhaben | 166 | ||
Ergebnisabhängige Aspekte | 166 | ||
Ergebnisunabhängige Aspekte | 167 | ||
7.2 Evaluation als gesellschaftliches Gestaltungsprinzip | 167 | ||
7.3 Zukunftsperspektiven | 168 | ||
8. Literaturverzeichnis | 170 | ||
9. Stichwortverzeichnis | 176 |