Studie

Forschungsfrage

Methodischer Ansatz

Literatursuche / Sampling frame

Kritische

Studienbewertung

Ergebnisse

(Anzahl der Studien)

Schlußfolgerung (Autoren)

Britton A.,

Health

Technol Ass 1998

Erzeugen RCTs systematisch größere oder kleinere Effektgrößen als nicht-randomisierte Studien (d.h. klinische Studien mit parallelen Kontrollen; klassische Kohorten)

Vergleich der Effektgrößen von RCTs und Nicht-RCTs in einzelnen Studien bzw. Kohorten von Studien, in denen vergleichbare Interventionen in vergleichbaren Settings mit vergleichbaren Endpunkten durchgeführt wurden

Deskriptive Analyse

Systematische Literatursuche in MEDLINE, Embase, Science Citation Index, Cochrane Library

Einschluß von 14 Einzelstudien und 4 Meta-Analysen

Detaillierte Beschreibung der Studien

Methodische Bewertung: Wurde in der Analyse bei Imbalancen in den Baseline-Variablen adjustiert?

Kein Hinweis auf einheitliche Über- oder Unterschätzung des Behandlungseffekts durch Nicht-RCTs.

• Gleiche Effekte (6 Einzelstudien/ 1 Kohorte)
• Größere Effekte in Nicht-RCTs (5 Einzelstudien / 2 Kohorten)
• Größere Effekte in RCTs (2 Einzelstudien / 1 Kohorte)
• Widersprüchliche Ergebnisse (1 Einzelstudie)

• Kein schlüssiges oder einheitliches Muster
• Art der Intervention spielte keine Rolle
• Kein Hinweis, dass Nicht-RCTs systematisch größere Schätzungen von Behandlungseffekten verursachen

Benson K.

N Engl J Med 2000

Vergleich der Effekte von Beob.-Studien und RCTs bei vergleichbaren Therapien

Kriterien für Beob.-Studien:

• nicht-experimentelle Studie
• Vergleich von 2 Behandlungsalternativen
• Arztbezogene Intervention
• Kontrollgruppe

Einschluß von Einzelstudien und MA

Deskriptive Analyse

Literatursuche in MEDLINE / Cochrane Library (1985 –1998)

Einschluß: 3 Übersichten und 18 Einzelvergleichen (53 Beob.-Studien; 83 RCTs)

Keine systematische Bewertung der Studienmethodik (punktuelle Hinweise, z.B. Nachbeobachtung)

Keine Kerninformationen über die eingeschlossenen Studien

• Einzelstudien (7 kardiologische, 11 nicht-kardiologische Interventionen)
  Punktschätzer der Beob.-Studien innerhalb der KI der RCTs (2 Ausnahmen).
  In 3 Studien qualitative Unterschiede (d.h., ∅ Effekt vs. Benefit / Harm), aber innerhalb der KI.
  
• Übersichten (n=3): Hormonersatz und Knochendichte / Calcium-Antagonisten und Nierentransplantat-Überleben / Infektionsrate bei laparoskopischer vs. offener Appendektomie.

Vergleichbare Gesamtschätzer mit engen KI in beiden Designs

• Bei Bewertung von Interventionen liefern RCTs und Nicht-RCTs oft vergleichbare Ergebnisse
  
• Der Unterschied zu früheren Studien erklärt sich durch verbesserte Methoden der Beob-Studien.
  
• Stärkerer Nutzen von klinischen Datenbanken gefordert.

Concato J

N Engl J Med 2000

Vergleich der Effekte von Beob.-Studien (FKS / Kohorten mit gleichzeitigen Kontrollen) und RCTs bei gleichen Behandlungen

Identifikation von MAs aus RCTs, Beob.-Studien oder gemischten Designs

Kriterien:

Gleiche Interventionen

Dichotome Endpunkte Angabe der KI

Deskriptive Analyse

Literatursuche in MEDLINE, Current Contents und Hand Searching

MA aus 5 großen Medical Journals von ’91–’95 (Annals of Internal Medicine; BMJ; JAMA; Lancet; New Engl J Med)

Einschluß von Studien aus 5 Themenkomplexen (6 Publikationen mit 55 RCTs und 44 Beob.-Studien)

Bewertung anhand von veröffentlichten Kriterien, Ergebnisse nicht präsentiert

Keine Kerninformationen über die einge-schlossenen Studien

Gesamteffekt ( 95% KI)

BCG-Vakzine + Tbc (RCTs vs. FKS):

RR_sum:0 .49; (0.34–0.70) vs. OR_sum:0.50; (0.39–0.65)

Mammographie + Tod dr. Mamma-Ca (RCTs vs. FKS):

RR_sum:0.79; (0.71–0.88) vs. OR_sum:0.61; (0.49–0.77)

Cholesterin-Spiegel + Unfall (RCTs vs. Koh): RR_sum:1.42;(0.94–2.15) vs. HR_sum:1.40; (1.14–1.66)

Hochdruck-Behandlung + Schlaganfall (RCTs vs. Koh):

RRsum:0.58; (0.0.5–0.67) vs. adj PEsum:0.62;(0.60–0.65)

Hypertonie + KHK (RCTs vs. Koh):

RR_sum:0.88; (0.78–0.96) vs. adj PE_sum:0.77; (0.75–0.80)

Kein Zusammenhang zwischen Qualitätskriterien und Größe des Effekts

Im Vergleich zu RCTs keine systematische Effektüberschätzung in hochwertigen Kohorten / FKS

Studie

Forschungsfrage

Methodischer Ansatz

Literatursuche / Sampling frame

Kritische

Studienbewertung

Ergebnisse

Schlußfolgerung (Autoren)

Ioannidis JP, JAMA 2001

Liefern RCTs und Beob.-Studien bei gleichen Interventionen gleiche Ergebnisse ?

(Def. Beob.-Studien: retro-, prospektive Kohorten, FKS, nicht-random. Trials mit gleichzeitigen und historischen Kontrollen)

Exploration von Variablen zur Erklärung möglicher Diskrepanzen zwischen RCTs und Beob.-Studien

MA aus RCTs und Beob.-Studien mit mind. 1 primären dichotomen Endpunkt

Analyse

Gesamtschätzer von RCTs und Beob.-Studien (Random - / Fixed effects – Modell)

Übereinstimmung

• Korrelation zwischen Gesamt-OR_{RCTs /} Gesamt-OR _{Beob.-Studien}
• Häufigkeit, daß Gesamt-OR_{Beob-Stud. >} Gesamt-OR_RCT?
• Unterschied zwischen RCTs und Beob.-Studien größer als durch Zufall erwartet ?
• Sensitivitätsanalyse f. verschiedene Definitionen von Diskrepanz:
  - OR_Beob.-Stud. > / < OR_RCT
• ln OR_Beob.-Stud. 50% > / < ln OR_RCT

Erklärung von Diskrepanzen dr. Design; Publikationsjahr; Alter; Ereignisrate; Nachbeobachtung

Quantitative Analyse

• Reviews der Cochrane Library
• MEDLINE (MA mit RCTs + Beob.-Studien)
• Persönliche Datenbank mit MA (1991-1997)
• Referenzlisten (Kunz, Britton, Benson, Concato)
• Eigene MAs

Einschluß 45 MAs mit 240 RCTs und 168 Beob.-Studien

(71 prospektive, 40 retrospektive Kohorten; 25 FKSs; 29 Studien mit historischen Kontrollen; 3 sonstige Studien)

Keine systematische Bewertung der Studienmethodik der MA

Keine Kerninformationen über die eingeschlossenen Studien

Heterogenität innerhalb der Studientypen:

RCTs: 23% (9/39 Topics); Nicht-RCTs: 41%; (13/32 Topics); prospektive Kohorten: 40% (6/15)

Korrelationskoeffizient: 0.75 (alle); 0.83 (ohne historische Kontrollen); p < 0.01

Effektgrößen:

• Nicht-RCTs > RCTs: 25/45 Topics
• Nicht-RCTs < RCTs: 14/45 Topics

Diskrepanzen RCTs / Nicht-RCTs in Abhängigkeit von Analyse:

Random effect: 16% (7/45 topics); Fixed effect: 27% (12/45 topics)

Unterschied in ln OR:

alle Designs: < 50%: 28/45 Fällen (62%)

2fache OR: 15/45 Fällen (33%)

Vergleich prospektiver Studien:

50%: 16/26 Topics (62%)

2 fache OR: 7/26 Fälle (27%)

Disagreement beyond chance

Günstigere Efekte sign. häufiger in Beob.-Studien als in RCTs (p=0.03 random effects; 0.02 fixed effects)

Keine weiteren Erkenntnisse durch Analysen bzgl. Alter, Follow-up etc.

Deutliche Divergenz bzgl. der Effektgröße trotz guter Korrelation zwischen Effekten von RCTs and Beob.-Studien:

• Trend für Effekt-Überschätzung durch Beob.-Studien
• nicht allgemeingültig, da auch gegenteilige Beobachtungen

Potentielle Ursachen für die Variabilität innerhalb und zwischen Designs:

• intrinsische Design-Unterschiede
• Populationen (divergente Einschluß-kriterien; natürliche Variabilität bei gleichen Kriterien)
• kleines Sample
• Zielsetzung: Efficacy vs. Effectiveness
• Method. Mängel (in beiden Designs möglich)
• Bias

Studie

Forschungsfrage

Methodischer Ansatz

Literatursuche / Sampling frame

Kritische

Studienbewertung

Ergebnisse

Schlußfolgerung (Autoren)

Kunz R. Cochrane Database of Methodology Reviews

Cochrane Library 2001

Wie ist die Auswirkung von Randomisierung / Nicht-Randomisierung auf Effektschätzer auf der Basis empirischer Daten?

4 Vergleiche:

• RCT vs. Nicht-RCTs bei gleicher Interven-tion
• RCT vs. Nicht-RCTs bei heterogenen Interventionen
• Randomisierung mit maskierter vs. nicht- maskierter Verblindung
• Qualitatitv hochwertige vs. weniger hochwertige Studien

explorativer Ansatz

Vergleich des Gesamteffekts von systematischen Übersichten, Meta-Analysen, Kohorten von Studien, in denen eine Intervention untersucht wurde.

Sensitivitätsanalysen

• ohne historische Kontrollen
  
• ausschließlich methodisch hochwertige Studien

Ausschluß von klassischen Beob.-Studien wie FKS oder Kohortenstudien

Deskriptive Analyse

• Cochrane Review Methodology Database
• Methodologische Bibliographien
• MEDLINE
• Science Citation Index
• Handsearching
• Persönliche Kommunikation mit Methodikern
• Referenzlisten von relevanten Artikeln

Gesamtbewertung von 32 systematischen Übersichten / Meta-Analysen oder Kohorten (> 3000 Einzelstudien)

Methodische Bewertung von 6 a priori festgelegten methodischen Items

Qualitative Einteilung in:

- Ohne wesentlichen methodischen Fehler

- potentiell wichtiger methodischen Fehler

- schwerwiegender methodischer Fehler

Tabellarische Präsentation der Studien

Quantitative Zusammenfassung der Ergebnisse (Bezugsgrösse ist RCT, angemessene Randomisierung oder hochwertige Studie)

1. Frage (n=15 Übersichten mit 35 Vergleichen)

• Effekt-Überschätzung dr. Nicht-RCTs (n=22)
• Effekt-Unterschätzung dr. Nicht-RCTs (n=4)
• Gleicher Effekt (n=8)
• Umkehrung des Effekts in Nicht-RCTs (n=1)

2. Frage (n=7)

• Keine schlüssige Bewertung (n=3)
• Keine konstante Beziehung zwischen Design/Qualität und Effekt (n=4)

3. Frage (n=3):

• ∙ Überschätzung dr. nicht angemessen maskierte Randomisierung (n=3)

4. Frage (n=9 Übersichten mit 11 Vergleichen):

• Überschätzung in weniger hochwertigen Studien (n=5)
• Unterschätzung in weniger hochwertigen Studien (n=2)
• Umkehrung des Effekts (n=2)
• kein schlüssiger Zusammenhang (n=2)

Sensitivitätsanalyse:

• ohne historische Kontrollen (1. Frage):
  Ergebnisse vergleichbar zur Hauptfrage (p=0.7) s.o.
• Hochwertige Studien:
  Trend zur Effekt-Überschätzung bei den verschiedenen Fragen, aber nicht ausschließlich

Hauptergebnis:

Die Effekte mit (angemessener) Randomisiserung sind häufig, aber nicht ohne Ausnahme kleiner; Verzerrungen können sich in alle Richtungen bewegen.

Die Sensitivitätsanalyse ohne historische Kontrollen bestätigte das Hauptergebnis und widerlegt die von Concato geäußerte Hypothese, daß die 1998 im BMJ beschriebene Überschätzung auf Designs mit historischen Kontrollen zurückzuführen sind.

Die Bestätigung der Hauptergebnisse bei ausschliesslicher Berücksichtigung hochwertiger Studien unterstreicht die Aussagekraft der Studie

Regina Kunz

Norbert Donner-Banzhoff

Lerninhalte für Trainerkurse

(Matrix für Basisveranstaltungen)

Einführung und Allgemeine Aspekte

• Definition EBM
  Begriffsklärung: Klinische Epidemiologie vs. evidenzbasierte Medizin
• Arten von Studien: Experimentell vs. Beobachtung
  Experimentelle Studien
  - randomisierte kontrollierte Studie
  Beobachtungsstudien
  - Kohortenstudie
  - Fall-Kontroll-Studie
  - Querschnittsstudie, Registerstudie, Korrelationsstudie, ökologische Studie, Fallserie
  Zuordnung von klinischen Fragestellungen zu geeigneten Studiendesigns
• Ursachen von fehlerhaften Studienergebnissen
  Bias: Definition und häufige Formen
  Confounding: Definition und Beispiele
  Chance: Definition und Beispiele
  Stichprobenziehen / Sampling
• Effektmaße (Allgemeines; Details bei einzelnen Studienarten)
• Reliabilität und Validität von Daten
• Outcome-Messung
  Surrogatparameter vs. klinisch relevante Endpunkte
• Strukturiertes Vorgehen zu Problemlösung (nach Sackett)
  - Beantwortbare Frage formulieren, Literatursuche, Kritische Bewertung, Anwendung auf den Patienten
• Levels of Evidence
• Ethische Aspekte

Statistik

• Grundlagen
  - Deskriptive vs. inferentielle Statistik
  - Skalen-Niveau (Kategorische vs. stetige Daten)
• Differenzierung Population / Stichprobe
  Grundsätzliches Ziel statistischer Tests
  - Bedeutung der Signifikanz, p-Wert; Fehler 1. und 2. Art
  Robustheitsmerkmale statistischer Angaben
  - Signifikanzniveau, Konfidenzintervall
  Fehlerquellen bei statistischen Verfahren
  - Zufällige (e.g. Power) und systematische (Bias) Fehler
  - Multiples Testen, Untergruppen
• Prinzipien wichtiger statistischer Verfahren
  Uni- und bivariate Analysen
  - t-test, Chi² Test, Exact-tests
  Adjustierte Analysen
  - Stratifizierte Analysen
  - Multi-variate Analysen
  Überlebensanalyse
  - Kaplan-Meier-Analyse
• Differenzierung statistische Signifikanz / klinische Bedeutung

Therapie / Intervention

• Studiendesign
  explanative Studie (efficacy) vs. Management-Studie (effectiveness)
• Experimentelle Studien
  - Randomisierte kontrollierte Studie
  Randomisierung per se,
  Randomisierung Individuen / Cluster
  Probleme von fehlender Randomisierung (parallele / historische Kontrolle)
• Wichtige Biasformen für Interventionsstudien
  Selektionsbias, Performancebias (Struktur-, Behandlungs-, Gleichheitsbias) Attrition (Verlust-) Bias
• Methodische Manöver / Merkmale
  - Verblindete Zuordnung (concealed allocation)
  - Blinding
• Art der Ergebnisanalyse
  - Intention to treat / Explanativ (Valid-case Analyse)
  - Untergruppenanalyse
• Beschreibung des Therapie-Effektes
  - Relatives und absolutes Risiko
  - Relative und absolute Risikoreduktion (bzw. -anstieg)
  - Bedeutung des Ausgangsrisikos
  Number needed to treat / to harm
  Übertragung auf individuellen Patienten (Adaptationsmöglichkeiten, z.B. Sackett’s Faktor „f“)

Diagnostik / Screening

• Ziel von diagnostischen Tests
  Reflexion über „Medical decision making“
• Gold-Standard
  Definition
  Fehlen eines objektiven Standards
• Auswahl der Studienpopulation
• Wichtige Bias-Formen für Studien zu diagnostischen Tests
  - Measurement bias, Patienten-Spektrum; Verifikations- oder Work-up-Bias;
  - Lead time Bias; Length time Bias (Screening)
• Kennzahlen diagnostischer Tests
  - Sensitivität, Spezifität
  - Likelihood-Ratio
  - Positiver / negativer prädiktiver Wert
  - ROC-Kurven
  - Bayes Theorem
  Genauigkeit, Präzision, Accuracy
  Klinische Umsetzung
  - Vortest-Wahrscheinlichkeit, Nachtest-Wahrscheinlichkeit
  - Fagan’s Likelihood Nomogramm
• Screeningtests
  - Unterschiede zwischen klinischen diagnostischen Tests und Screening
  - Kriterien für den Einsatz von Screening
  - Probleme von Screening (e.g. Langzeitnutzen)
  Indikationen

Prognose

• Natürlicher Krankheitsverlauf vs. klinischer Verlauf
• Arten von Prognosestudien
  - Kohortenstudie (zeitlicher Verlauf) Inzeptions-, Überlebenskohorte
  - Prospektive vs. retrospektive Kohortenstudie
• Wichtige Bias-Formen für Kohortenstudien (Auswahl)
  - Selektionsbias, Migrationsbias, Measurement Bias
• Prognostische Kennzahlen
  - Prävalenz und Inzidenz
  - Morbidität und Mortalität
• Risikofaktoren vs. prognostische Faktoren
• Maßzahlen zur Beschreibung prognostischer Wahrscheinlichkeiten
  - Relatives Risiko, Absolutes Risiko, Odds-Ratio
  - Beziehung : OR ⇔ RR
• Häufige statistische Verfahren
  - Überlebenskurve (Kaplan-Meier)
  - Cox Proportional Hazards Modell (Erklärung des Prinzips)
• Umsetzung prognostischen Informationen
  - Zielgruppe: Patienten / Ärzte vs. Öffentlichkeit
  Kommunikation der Informationen

Systematische Übersicht / Meta-Analyse

• Narrative vs. systematische Übersicht; Meta-Analyse
  - Systematische Übersicht versus Meta-Analyse
  - Sonderformen (Quelle publizierte Studien vs. Original-Patientendaten)
• Rationale, Indikation, und Kontraindikation für Meta-Analysen
  - Power, Subgruppen-Analyse, Erhöhte Präzision des Schätzwerts
• Durchführung (Prinzip)
• Maßzahlen der Ergebnis-Zusammenfassung von Meta-Analysen
  - Odds Ratio, Relatives Risiko; Risikodifferenz;
  - Konfidenz-Interval
  - Graphische Darstellung
• Grenzen von Meta-Analysen
  Ursachen für falsch-positive Ergebnisse
  - Publication-Bias
  - Language Bias
  - Methodische Qualität der Primärpublikationen
  - Mega-Trials als „Goldstandard“ für Meta-Analysen
  - Chance (wenige Studien mit kleinen Patientenzahlen)
• Kontrollmechanismen (Validitätskriterien)
  - Homogenität und Heterogenität (visuell und statistisch)
  - Sensitivitätsanalyse
  - Funnelplot (Publikationsbias)
  Bedeutung der Literatur-Recherche

Kausalität/ Nebenwirkung

• Fall-Kontroll (FK)-Studien / Kohorten / Surveillance
  - Studiendesign der Wahl bei seltenen Ereignisssen
  - Abgrenzungen der einzelnen Studiendesigns; Stärken/Schwächen
  - Zeitverlauf Fall-Kontroll vs. Kohorten vs. Surveillance
  - Assoziation vs. Kausalität; Kriterien für Kausalität
• Methodische Manöver
  - Identifikation von Fällen
  - Wahl der Kontrollen
  - Matching / Stratifizierung
  - Erhöhtes Verhältnis Fall-Kontrollen
• Confounding und mögliche Kontrollmanöver
• Wichtige Biasformen bei FK- / Kohorten/ Surveillance-Studien
  - z.B. Selektionsbias, Verordnungsbias (prescribing bias), Interviewer Bias, Überweisungsbias (referral bias)
• Maßzahlen für die Beschreibung einer Assoziation
  - Odds Ratio
  - Konfidenzintervall
  - Uni- vs. multivariate Analysen
  - Identifikation von Risikofaktoren
  Planung / Durchführung / Auswertung der Studien

Leitlinien

• Allgemeines: Abgrenzung gegenüber Standards und Richtlinien
• Qualitätskriterien von Leitlinien
  - Angabe und Einstufung der zugrundegelegten Studien (Evidenz / Levels of Evidence/ Grade of Recommendation)
  -Transparenz des Erstellungsverfahrens: Angabe der Beteiligten; Beschreibung der zugrundegelegten Sichtweise: Allgemein- und Fachärzte, Patienten, Kostenträger, Gesellschaft,
  - Angabe Erstellungszeitraums / Gültigkeitsdauer
• Klarheit
  - Klare Problemstellung
  - Beschreibung der Patientenzielgruppe
  - Klare Zielstellung der Leitlinie
  - Verständliche und eindeutige Formulierung der Empfehlungen
• Kosteneffekte der Leitlinienumsetzung
• Flexibilität
  - Berücksichtigung absehbarer Ausnahmefälle
  - Berücksichtigung individueller Patientenwünsche
• Multidisziplinarität
  - Berücksichtigung der Ansätze möglichst aller beteiligten Fachgruppen
  - Akzeptables Ergebnis bei Zustimmung aller beteiligten Gruppen
• Arten von Leitlinien
  - Zentrale (Fachgremien / Fachgesellschaften) vs. dezentrale Erstellung
  - Potentielle Vor- und Nachteile
• Aktuelle Quellen von Leitlinien in Deutschland und international
  - Clearingstelle für Leitlinien, Schottische Richtlinien, Agency of Healthcare, Research and Quality (AHRQ), AWMF

Informationsbeschaffung und –zugriff

• Literaturquellen
  Literaturdatenbanken
  - Kriterien zur Auswahl der erfaßten Literatur
  - a, erfaßte Zeitschriften b, methodische Kriterien
  - Konventionelle Quellen
  EBM-Zeitschriften / EBM-basierte Lehrbücher
  - Zeitaufwand / Aktualität
• Gemeinsame Merkmale von Literaturdatenbanken
  - Strukturierung in Feldern (Autoren, Titel, Abstract)
  - Schlagwort-Systeme
  - Recherche-Systeme für verschiedene Literaturdatenbanken
  - Funktionen von Recherche-Systemen
  - Syntax in Abhängigkeit von Datenbank und Recherche-System
  - Sensitive vs. spezifische Suchen
  - Verwaltung von Literatur (von Reference manager bis CATs )
• Thesaurus
  - Einsatz bei der Suche nach Schlagwörtern
  - Synonymsuche für Begriffe
  - Hierarchische Organisation
  - Einschluß untergeordneter Begriffe
  - Problematik der verzögerten Anpassung der Thesauren an aktuelle Entwicklungen
• Internet
  - Vor- und Nachteile (Qualitätsproblematik)
  - Vorhandene Links im Internet