5. Formative Evaluation

5.1. Durchführung der formativen Evaluation

Die formative Evaluation fand in jeder Trainingswoche statt und war nicht entsprechend formalisiert. Da die Technikwechseldiagnostik und das Training in einem Gebäude­komplex der Neuen Universität Heidelberg (Im Neuenheimer Feld) stattfanden, war ein ständiger Austausch zwischen Evaluatoren und Inventoren gegeben. Dieser wurde besonders durch die Beobachtung im Training intensiviert und führte zu einer Reihe von direkten Verbesserungen bei der Diagnostik und beim Verständnis der Trainingsinhalte bei den Evaluatoren. Um ein Gesamtbild der Diagnostik und der Intervention zu erhalten, wurden nach der ersten Phase zur Verbesserung der Grundtechniken Evaluations­fragebogen an einige Projektteilnehmer verteilt (vgl. Anhang I). Auf einer gemeinsamen Sitzung übernahm der Moderator (RAAB) die Aufgabe, die Ergebnisse der Inventoren sowie internen und externen Evaluatoren zu präsentieren und die Diskussion über unterschiedliche Evaluationsergebnisse zu strukturieren. Während dieser etwa zweistün­digen Sitzung wurde ein Protokoll für die kommunikative Validierung geschrieben.

5.2. Ergebnisse der formativen Evaluation

Die Ergebnisse orientieren sich an den inhaltlichen Bereichen der Tischtennisdiagnostik, der Rückmeldung für das Training, dem Techniktraining in der Halle und der Leistungskontrolle im Wettkampf. Anschließend werden die geplanten Maßnahmen zur Rückmeldung des Trainings der Technikübergänge präsentiert. Aufgrund der geringen Evaluationsteilnehmer pro Gruppe der Eigenevaluatoren, Fremdevaluatoren, Inventoren und Spieler (je zwei) wird auf statistische Gruppenunterschiedseffekte verzichtet. Auch für die Unterschiede in den Bewertungen der einzelnen Untergruppen sind statistische Berechnungen zu vernachlässigen, da die Bewertungen


[Seite 105↓]

nur als Orientierung für die Moderatorensitzung relevant sind, auf der Veränderungen hinsichtlich der weiteren Interventionsschritte diskutiert werden.

Zuerst ist die Umsetzung der Zielsetzung (vgl. Abbildung 48) des Projektes zu evaluieren.

Abbildung 48: Umsetzung der Zielsetzung als Mittelwerte über alle Evaluationsteilnehmer (links) und getrennt nach Inventoren (Spieler, Trainer) und Evaluatoren (Selbst- und Fremdevaluatoren)

Wie in Evaluationen üblich, finden sich selbstkritischere Werte bei der Beurteilung der Umsetzung des Projektes im Vergleich zur Zielsetzung. Alle Werte liegen jedoch über der Mitte der Skala und können für die Bereiche Training und Dokumentation als gut bezeichnet werden. Die Analyse der einzelnen Punkte in der Evaluationssitzung zeigt für das Video hilfreiche Änderungsvorschläge, um die Effektivität zu erhöhen (vgl. Kapitel 3.1). Dies ist besonders wichtig, da alle Evaluationsteilnehmer dem Videotraining den dritthöchsten Stellenwert im Projekt zuerkannt haben (vgl. Abbildung 48). Ein typischer Befund findet sich in der Beurteilung der Umsetzung. Im Mittel bewerten die Evaluatoren die Umsetzung kritischer als die Inventoren, und die Fremdevaluatoren bewerten kritischer als die Selbstevaluatoren. Da sämtliche Ergebnisse jedoch mit nahezu gut bewertet werden, sind an der generellen Vorgehensweise weniger Korrekturen vorzunehmen als am Detail (zum Beispiel Videotraining).

5.2.1. Tischtennisdiagnostik

Die Durchführung der Diagnostik wird für die Dauer, die Instruktionsgabe und für die Behandlung der Inventoren als gut bis sehr gut eingestuft. Besonders die Behandlung der Spieler und Trainer (Kriterium der Evaluationsstandards, vgl. Kapitel 4.1) bestätigt die bereits von den Inventoren und Evaluatoren als „Standard erfüllt“ kategorisierte Umsetzung der Evaluationsstandards (vgl. Abbildung 49).


[Seite 106↓]

Abbildung 49: TTLT-Bewertung des Aufbaus (oben) und der Durchführung (unten) als Mittelwerte über alle Evaluationsteilnehmer (links) und getrennt nach Inventoren (Spieler, Trainer) und Evaluatoren (Selbst- und Fremdevaluatoren)

Auswahl und Rückmeldung sind zwischen gut und weniger gut bewertet worden; die anderen Bewertungen liegen bei gut bis sehr gut. Bei der Rückmeldung wurde der Abstand zwischen Diagnostik und Rückmeldung kritisiert. Daraus wurde die Konsequenz gezogen, dass direkte Rückmeldungen über Treffer und ausgewählte Parameter in der dritten Phase des Projektes innerhalb einer Woche erfolgen sollten, während die Gestaltung des Videos und der Bewegungsanalysen durch die Verkürzung der Sequenzanalysen schneller realisiert werden kann. Die Auswahl der Spieler wurde insbesondere von den Fremdevaluatoren (vgl. Abbildung 51, rechts oben) kritisiert, da der Bundestrainer gerne mit älteren Spielern Daten zum Technikwechsel gesammelt hätte. Dieser Wunsch wurde für mögliche Erweiterungen des Projektes aufgenommen.


[Seite 107↓]

Für den Aufbau des TTLT gab es einheitlich gute bis sehr gute Bewertungen. Lediglich die Raum- und Lichtverhältnisse, die aufgrund der Videoanalysen für die Kameras optimiert werden mussten, entsprechen nicht den üblichen Verhältnissen und lassen sich im Labor auch nur geringfügig verändern. Unterschiede zwischen den Evaluationsgruppen sind gering und bedürfen keiner weiteren Diskussion.

5.2.2. Rückmeldung für das Training

Abbildung 50 zeigt die Ergebnisse insgesamt sowie zur Evaluation der Rückmeldung für das Training für die einzelnen Inventoren und Evaluatoren getrennt. Die Bewertung des Videotrainings wurde in die Bewertung der Videorückmeldung und in die Bewertung der Gestaltung des Videos unterteilt.

Die Rückmeldung der Bewegungsanalyse erfolgte über individuell zugeschnittene Videobänder (vgl. Kapitel 3.1). Die Dauer (10 Minuten) und die Erstellungen eines Videos für die einzelnen Spieler wurde als gut bewertet. Zwischen gut und weniger gut wurden der Vorspann, die Musik sowie die Art der Ist- und Soll-Wert-Präsentation bewertet. Das Moderatorengespräch ergab, dass vor allem die Trainer und die Fremdevaluatoren (vgl. Abbildung 50, rechts oben) die Sydney-Olympia-Musik im Vergleich zur DTTB-Musik „Magic-Ball“ weniger motivierend fanden. Auch der Vorspann wurde als zu lang bewertet, und die Ist- und Soll-Wert-Vorgaben sollten dem neuen DTTB-Video angepasst werden. Die Kritikpunkte wurden aufgenommen und im Protokoll festgehalten. Das Videotraining selbst (vgl. Abbildung 50, untere Reihe) wurde als gut bis sehr gut eingestuft. Besonders der Vergleich der dargebotenen Ist- und Soll-Werte, der Umfang und das Videotraining mit den Trainern zur verbalen Aufmerksamkeitslenkung auf Fehlerbilder in den präsentierten Videosequenzen wurde als sehr positiv bewertet. Das eigenständige Videotraining durch die Athleten wurde jedoch unterschiedlich gut angenommen. Besonders die Trainer legten Wert auf die Kontrolle der Videoanalysen und verlagerten selbstständiges Videotraining in einen älteren Jahrgangsbereich. Überzeugend war die Bewertung der Fremdevaluatoren, die über dem Mittel der Evaluationsteilnehmer lagen. Insgesamt kann das Videotraining als gelungen bezeichnet werden. Die diskutierten Änderungen werden die Gestaltung des Videos für die Intervention zum Technikwechsel verbessern.


[Seite 108↓]

Abbildung 50: Bewertung der Videorückmeldung (oben) und der Gestaltung des Videotrainings (unten) als Mittelwerte über alle Evaluationsteilnehmer (links) und getrennt nach Inventoren (Spieler, Trainer) und Evaluatoren (Selbst- und Fremdevaluatoren)

5.2.3. Techniktraining in der Halle

Abbildung 51 zeigt die Ergebnisse insgesamt sowie getrennt für die einzelnen Inventoren und Evaluatoren für die Bewertung des Techniktrainings und der verwendeten Übungen.


[Seite 109↓]

Abbildung 51: Bewertung des Techniktrainings (oben) und der verwendeten Übungen (unten) als Mittelwerte über alle Evaluationsteilnehmer (links) und getrennt nach Inventoren (Spieler, Trainer) und Evaluatoren (Selbst- und Fremdevaluatoren)

Die Evaluierung des Techniktrainings erscheint auf den ersten Blick etwas ungewöhnlich. Schließlich müssen die Trainer das bewerten, von dem sie überzeugt sind. Zudem müssen der DTTB und zum Teil konkurrierende Bundestrainer das Training ihrer Kollegen beurteilen. Deshalb wurden die Fremdevaluatoren gebeten, diesen Bereich nicht zu bewerten (vgl. Abbildung 51, rechts oben). Erwartungsgemäß gibt es in den Beurteilungen nur gute und sehr gute Werte. Die Ergebnisse unterschieden sich auch nur geringfügig zwischen den Evaluationsgruppen. Die


[Seite 110↓]

Spieler fanden die Details des Trainings (Umfang, Übungsauswahl, Steigerung und Korrekturen) annähernd so gut wie ihre Trainer. Die Beurteilung spezifischer Übungen, die mögliche Verbesserungen ergeben könnten, ergab kaum nennbare Ergebnisse. Insgesamt wurden alle Übungen als gut bewertet. Die Bewertungen streuten um maximal einen halben Punkt auf der Skala. Die einzelnen Übungen wurden erwartungsgemäß von den Trainern, die sie anwenden, als sehr gut beurteilt. Die deutliche Differenz zu den Fremdevaluatoren konnte aufgrund des Moderationsgesprächs geklärt werden. Der Männer-Bundestrainer unterscheidet sich in der Trainerphilosophie von den Inventoren darin, dass er von Anfang an variabler trainiert und damit Technikwechselübungen schon früher in den Ablauf des Trainings integriert. Es wurde festgehalten, dass solche Effekte in weiteren Projekten getestet aber nicht im beantragten Projekt geklärt werden können und deshalb den individuellen Neigungen der verschiedenen Trainer zugeordnet werden müssen.

5.2.4. Trainingsdokumentation

Abbildung 52 zeigt die Ergebnisse insgesamt sowie getrennt für die einzelnen Inventoren und Evaluatoren für die Trainingsdokumentation. Die Bewertung der Trainingsdokumen­tation wurde separat nach Videotraining und Hallentraining vorgenommen.

Die systematische Trainingsdokumentation wird viel zu selten eingesetzt. Um unter quasi-experimentellen Bedingungen zumindest teilweise eine Störvarianz zu erfassen, wurde eine tägliche Trainingsdokumentation durch die Spieler verlangt, sowohl für das Videotraining (vgl. Abbildung 52, obere Reihe) als auch das Hallentraining (vgl. Abbildung 52, untere Reihe). Die Benutzung von individuellen Trainingstagebüchern, die Gestaltung und die Strukturierung der Inhalte wurden überwiegend als gut oder sehr gut eingestuft. Besonders die Spieler haben das Angebot sehr gut angenommen (vgl. Abbildung 52, rechts oben). Auch wenn die Trainer selbst die zusätzliche Maßnahme nicht so gut bewerteten wie die anderen Evaluationsteilnehmer, sprachen sich beim Moderationsgespräch alle Beteiligten für eine Fortsetzung der Trainingsdokumentation des Videotrainings aus. Noch positiver wurde die Trainingsdokumentation des Hallentrainings bewertet. Das betraf alle Unterkategorien und unterschied sich zwischen den Evaluationsgruppen kaum. Die Fremdevaluatoren beurteilten die Maßnahme als sehr gut, da sie im DTTB in dieser Altersstufe anscheinend als vorbildhaft angesehen wird und als Beispiel für andere Leistungszentren gelten kann.


[Seite 111↓]

Abbildung 52: Bewertung der Trainingsdokumentation des Videotrainings (oben) und des Hallentrainings (unten) als Mittelwerte über alle Evaluationsteilnehmer (links) und getrennt nach Inventoren (Spieler, Trainer) und Evaluatoren (Selbst- und Fremdevaluatoren)

5.2.5. Leistungskontrolle im Wettkampf

Abbildung 53 zeigt die Ergebnisse insgesamt sowie getrennt für die einzelnen Inventoren und Evaluatoren für die Leistungskontrolle im Wettkampf. Die Bewertung der Wettkampfdiagnostik wurde in die Bereiche „Typ der Diagnostik“ und „Durchführung der Diagnostik“ getrennt.


[Seite 112↓]

Abbildung 53: Bewertung der Art (oben) und der Durchführung (unten) der Wettkampfdiagnostik als Mittelwerte über alle Evaluationsteilnehmer (links) und getrennt nach Inventoren (Spieler, Trainer) und Evaluatoren (Selbst- und Fremdevaluatoren)

Die Evaluationsgruppe spricht sich dafür aus, dass die Wettkampfdiagnostik in Turnierform ausgetragen wird. Dabei werden Expertenurteile zur Leistungssteigerung und zur Beurteilung des Ist-Standes der Technikwechsel bevorzugt. Offene Spiele und die Bewertung des Spielausganges erscheinen allen Inventoren und Evaluatoren als ungeeignet, da solche Ergebnisse von zu vielen Faktoren beeinflusst werden, als dass sie allein auf den Schwerpunkt im Training zurückgeführt werden können. Die Evaluationsgruppen unterscheiden sich in der Wettkampfdiagnostik am deutlichsten, was an den unterschiedlichen Interessen liegt. Während für Spieler und Trainer die Leistung im Wettkampf das Maß für Erfolg oder Misserfolg darstellt, an dem sie gemessen


[Seite 113↓]

werden, haben die Evaluatoren methodische Befürchtungen, die die Generalisierung der Ergebnisse einschränken. Da dieses Projekt jedoch als prozessbegleitende Trainings- und Wettkampfforschung angelegt wurde, ist interne gegenüber externer Validität von geringerer Relevanz. Die Durchführung wird entsprechend der Stichproben zwischen Teilnehmern vs. Nichtteilnehmern am Projekt realisiert. Da die Stichproben nach Ansicht der Trainer in gleich starke Gruppen unterteilt wurden, ist eine alleinige Turniereinteilung nach Spielstärke nicht notwendig. Die einzelnen Evaluationsgruppen unterscheiden sich nicht maßgeblich in der Bewertung der Durchführung der Wettkampfdiagnostik, somit sind weitere Unterschiedsdarstellungen zu vernachlässigen.

5.2.6. Diskussion der formativen Evaluation

Die Konsequenzen aus der formativen Evaluation, die in der Moderatorensitzung protokolliert wurden, werden zusammengefasst und den Teilnehmern erneut zugesandt, um die protokollierten Vereinbarungen zu validieren. Diese sogenannte kommunikative Validierung der formativen Evaluationssitzung bestätigte die protokollierten Ergebnisse der Evaluation. Für die einzelnen Bereiche kam die Expertenkommission zu den folgenden relevanten Ergänzungen, beziehungsweise Veränderungen für die dritte Phase des Projektes der Intervulation.

Tabelle 22: Kommunikative Validierung der Ergebnisse der formativen Evaluation

Bereich

Gemeinsame Aussagen aller Evaluationsteilnehmer

Leistungsdiagnostik

In Zukunft ergänzend zum TTLT eine Partnerübung und langfristig Vergleichswerte mit älteren Spitzenspielern

Videorückmeldung

Musikunterstützung durch „Magic Ball“, Soll-Werte für Technikwechsel aus dem neuen DTTB Video

Techniktraining

Frühe Kombination von Techniken im Technikerwerbstraining

Trainingsdokumentation

Keine Veränderungswünsche, somit Fortführung der Dokumentation

Wettkampfdiagnostik

Messen der Leistungssteigerung unabhängig von Spielergebnissen

Bereich

Gemeinsame Aussagen aller Evaluationsteilnehmer

Übungsgestaltung

Längere Sequenzen beim Technikwechsel als beim Technikerwerb

Trainingsumfang mindestens vier Wochen

Fragestellungen/Perspektiven

Erweiterung des Projektes durch Technikwechselaufnahmen im Wettkampf

Mögliche Erarbeitung eines Methodikbuches mit dem DTTB

Ergänzend zu den Befunden der Intervention kann in Zukunft die Diagnostik von Technikwechseln mit weniger Sequenzen auskommen (vgl. Kapitel 2.5). Zudem soll für die externe Validierung der Technikwechsel auch in einer Partnerübung oder, wenn methodisch möglich, im Wettkampf analysiert werden. Videorückmeldung und Trainings- beziehungsweise Übungsgestaltung sowie Dokumentation müssen nur partiell angepasst werden. Für die Perspektiven gewinnt neben der messmethodischen Fragestellung besonders für die Phase III die Anwendungsorientierung der Zielsetzungen an Bedeutung. Die Trainer sind vor allem an verwertbaren Ergebnissen interessiert.

In der zweiten Stufe der Moderationssitzung wurden für die Gestaltung des Technikwechselstrainings Übungen von den kompetenten Tischtennisexperten entwickelt. Da Abhängigkeiten zwischen Bundes-, Stützpunkt- und Heimtrainern bestehen, sodass gemeinsame Lösungen zum Teil nur die Hierarchie der Gruppe oder weitere Faktoren von Gruppenentscheidungen (Janis, 1972) abbilden, wurde dazu die Delphi-Technik (vgl. Wittmann, 1985) benutzt, die eine individualisierte Befragung von Experten durchführt. Zur Durchführung der Technik wurde jedem Experten ein Blatt vorgelegt, auf dem er zu dem Bewertungsproblem („Beschreiben Sie sechs gute Übungen zum Technik­wechseltraining“) mögliche Übungen angeben sollte. In der anschließenden Präsentation der von jedem gewählten Übungen wurden die


[Seite 114↓]

sechs Übungen mit höchster Akzeptanz übernommen und Kommentare gesammelt, falls die Meinung eines Teilnehmers sehr von dem Mittel der Übungen abwich.

Die formative Evaluation zeigte, dass die Programmimplementation erfolgreich umgesetzt werden konnte. Kritikpunkte wurden aufgenommen und werden in der Phase III für die Verbesserung der Intervention benutzt. Die Durchführbarkeit der Interventionsmaßnahme konnte im Rahmen der existierenden Bedingungen gut bis sehr gut umgesetzt werden. Die Akzeptanz ist sowohl bei den Inventoren als auch bei den Programmteilnehmern (Spielern) sehr gut. Rückmeldungen am Rande des Trainings von den Eltern oder den Heimtrainern zeigen darüber hinaus, dass die intensive Betreuung als Gewinn angesehen wird. Die Wirksamkeit des Programms wird als gut eingestuft und wird durch die Verbesserungen der Spieler in der Wettkampfdiagnostik bestätigt. Die Bewertung von Neben- und Folgewirkungen (Zeitaufwand usw.) ist positiv, da alle Interventionen und Diagnostikeinheiten im Rahmen des üblichen Trainings absolviert werden konnten. Nur die Dokumentation und Evaluation wurden als annehmbarer zusätzlicher Aufwand bezeichnet. Die Effizienz des Programms im Sinne einer Kosten-Effektivitäts-Relation (vgl. Mittag & Hager, 2000, S. 112) kann nur anteilig bewertet werden, da im Leistungssport trotz eines hohen Aufwandes nur geringe Leistungsverbesserungen erzielt werden können. Außerdem sind die Kosten der Entwicklung und Prüfung der TTLT-Diagnostik nicht ausschließlich der Interventionsmaßnahme zuzuschreiben, da sie Pilotcharakter für folgende Projekte besitzt. Eine Elaboration und Weiterentwicklung des Programms erscheint deshalb der geeignete Maßstab zur Klärung der Frage, ob die entwickelten Diagnostik- und Interventionsverfahren einer größeren Gruppe von Sportlern dienen können. Die Phase III (die Intervulation, siehe Kapitel 8) wird alle nötigen Veränderungen aus den Erfahrungen der formativen Evaluation und der Intervention bei der Technikoptimierung nutzen, um eine individuell angemessene Optimierung der Technikwechsel im Tischtennis zu realisieren.


© Die inhaltliche Zusammenstellung und Aufmachung dieser Publikation sowie die elektronische Verarbeitung sind urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen Zustimmung. Das gilt insbesondere für die Vervielfältigung, die Bearbeitung und Einspeicherung und Verarbeitung in elektronische Systeme.
DiML DTD Version 4.0Zertifizierter Dokumentenserver
der Humboldt-Universität zu Berlin
HTML-Version erstellt am:
19.05.2005