Forschungsmethoden in der Fremdsprachendidaktik

4.5 Der zweite Blick: Meta-Analysen1 und ReplikationReplikationenMeta-Analysen

Claudia Harsch

4.5.1 Einführung

Mit steigender Zahl an Studien und der Kumulierung von Forschungsergebnissen zu einem bestimmten Bereich steigt auch der Bedarf an einer SyntheseSynthese dieser Ergebnisse, ebenso wie das Interesse an einer ReplikationReplikation bestimmter Studien, um zu generalisierbarengeneralisierbar Aussagen über verschiedene Zielgruppen und Kontexte hinweg zu gelangen (z.B. Plonsky 2012a). Zur Synthese empirischer Daten eignen sich Meta-AnalysenMeta-Analysen: Ausgehend von einer umfassenden Literaturrecherche werden systematisch empirische Daten gesammelt und analysiert, um zu empiriegestützten Aussagen über eine Vielzahl von Studien hinweg zu gelangen; darüber hinaus erlauben Meta-Analysen die Analyse etwaiger Moderatorvariablen zur Bestimmung des Einflusses, die diese auf die zu untersuchenden Variablen ausüben (Plonsky/Oswald 2012a). ReplikationsstudienReplikationsstudien hingegen haben das Ziel, ausgewählte Studien zu replizieren, um Ergebnisse zu validierenvalidieren oder die Übertragbarkeit von Ergebnissen auf andere Kontexte oder Zielgruppen zu überprüfen. Die Ergebnisse solcher Replikationsstudien können ebenfalls in Meta-Analysen einfließen, um zu evidenzbasierten und möglichst generalisierbaren Synthesen zu kommen. Solche Synthesen können zum einen eine gegebene Studie im Kontext des derzeitigen Wissensstands platzieren, sie stellen aber auch die Basis für weitere Forschung dar, da sie den derzeitigen Erkenntnissstand zusammenfassen und somit aufzeigen helfen, wo es Forschungsbedarf gibt. Des Weiteren leisten sie einen Beitrag zur evidenzbasierten Entscheidungsfindung, indem sie die Forschungserträge auf einem bestimmten Gebiet kumulativ zusammenstellen (z.B. Rousseau/McCarthy 2007). Meta-Analysen und Replikationen sind jedoch zu unterscheiden von vergleichenden Überblicksforschungen, wie sie etwa Schmenk (2008) darstellt. Solch ein zweiter theoretischer Blick fasst existente Forschung zusammen, doch werden keine neuen Analysen mit bestehenden Daten und keine neuen Datenerhebungen durchgeführt.

Eine gute Übersicht zu mehr als 140 Meta-AnalysenMeta-Analysen und Forschungssynthesen im Bereich der Zweit- und Fremdsprachenforschung bietet die Internetseite von Luke Plonsky (http://oak.ucc.nau.edu/ldp3/bib_metaanalysis.html). Die Universität Murcia bietet unter http://www.um.es/metaanalysis eine Übersicht über Bücher zum Thema und eine Datenbank zu Publikationen von Meta-Analysen.

4.5.2 Durchführung von Meta-Analysen

Meta-Analysen werden wegen ihres Umfangs meist von einem Team von Forschenden durchgeführt; sie bestehen aus einer Abfolge von Schritten, welche im Folgenden kurz beschrieben werden:

 Problemstellung;

 LiteraturrechercheLiteraturrecherche;

 Evaluation und Kodierung der ausgewählten Kodierungvon ausgewählten StudienStudienEvaluation von ausgewählten Studien;

 DatenanalyseDatenanalyse, Untersuchung der ErgebnisseErgebnisseUntersuchung der, InterpretationInterpretation;

 Berichterstattung, PublikationPublikation.

Die Formulierung der Problemstellung, der zu untersuchenden Fragestellung ist von zentraler Bedeutung. Sie kann sowohl theoriegeleitet als auch empirisch begründet sein. Eng geführte Fragen eignen sich, um bekannte Hypothesen und Effekte zu prüfen, Forschungen zu dieser Themestellung zusammenzufassen oder bestimmte Populationen und Kontexte zu vergleichen. Offenere Problemstellungen eignen sich, um neue Erkenntnisse aus der Synthese zu gewinnen. Die Fragestellung bestimmt somit, welche Studien in die Meta-Analyse einfließen sollen; beispielsweise hängen die Auswahl und der Fokus auf konzeptionelle Fragen, Methoden, Probanden, Messmodelle und berichtete empirische IndizesIndizesempirische (outcome measuresoutcome measures) von der Fragestellung ab.

Die LiteraturrechercheLiteraturrecherche ist direkt von der Problemstellung geleitet. Hier gilt es, so umfassend und systematisch wie möglich vorzugehen, um möglichst viele Studien und Replikationen in der zu untersuchenden Problemstellung zu erfassen. Dabei sollten neben den einschlägigen Zeitschriften, Buch- und Kongresspublikationen und Internetrecherchen (z.B. google scholar) auch DatenbankenDatenbanken abgefragt werden (In’nami/Koizumi 2011). Bei der Recherche stellt sich das Problem des so genannten publication biaspublication bias, da in der Regel nur Studien mit signifikanten Effekten publiziert werden; dadurch gehen für die Synthese wertvolle Informationen verloren, welche zumindest teilweise durch statistische Verfahrenstatistische Verfahren abgefangen werden können (Hunter/Schmidt 2004; s. unten die Ausführungen zu Datenanalyse und Untersuchung der Ergebnisse). Darüber hinaus gibt es Datenbanken zu unveröffentlichten Studien, die herangezogen werden können. Auch auf den so genannten English language biasEnglish language bias darf verwiesen werden: Publikationen in internationalen englischsprachigen Journals berichten oft stärkere Effekte als Publikationen in anderen Sprachen; hier hilft es, auch anderssprachige Publikationen zu beachten. Es gilt, transparente Kriterien zum Einschluss (und ggf. Ausschluss) von Studien zu entwickeln; der Kriterienkatalog kann in einem iterativen Prozess während der Auseinandersetzung mit der Literatur verfeinert werden. Hierbei sollten Forschungsstandards angelegt werden, wie sie beispielsweise Porte (2010) beschreibt. Wichtig ist es, eine gesunde Balance zwischen Ein- und Ausschlusskriterien zu finden, um nicht die GeneralisierbarkeitGeneralisierbarkeit durch den Ausschluss zu vieler Studien zu gefährden, andererseits aber nicht die Qualität und ValiditätValidität der Ergebnisse der Meta-Analyse durch den Einschluss methodisch mangelhafter Studien zu riskieren. Alle Schritte der Literaturrecherche und der eingesetzten Strategien und Kriterien zur Suche und Auswahl sollten transparent dokumentiert werden.

Sind die Studien ausgewählt, müssen sie hinsichtlich ihrer Charakteristika und der berichteten EffektstärkenEffektstärke evaluiert und kodiert werden. Hier helfen ein KodierplanKodierplan und ein KodierbuchKodierbuch, um die relevanten Charakteristika und das KodierschemaKodierschema zu definieren. Idealerweise wird das KodierschemaKodierschema pilotiert und alle Studien werden von mindestens zwei Forschenden kodiert, um zu reliablen und validen KodierungenKodierung zu kommen. In’nami1 schlägt vor, mindestens die folgenden Charakteristika zu den Studien und den empirischen Daten zu kodieren:

Abbildung 1:

Kodiervorschläge nach In’nami (s. Fußnote 7)

Spätestens bei der KodierungKodierung der Studien kann es sein, dass fehlende Daten zu Tage treten. Hier kann es helfen, die Autoren direkt anzuschreiben, um gezielt nach fehlenden Informationen zu fragen. Im Zweifelsfall müssen Studien, zu denen keine hinreichenden Daten vorliegen, ausgeschlossen oder die fehlenden Werte mittels statistischer Verfahren imputiert werden. Auch dies sollte dokumentiert werden.

Das Konzept der EffektstärkenEffektstärke sei hier kurz skizziert (s. auch Kapitel 5.3.10), da sie die zentrale Analyseeinheit von Meta-Analysen darstellen (s. Borenstein et al. 2011, insbesondere Kapitel 3–9, Plonsky 2012b). Die Ergebnisse empirischer Studien werden in der Regel mittels zweier Statistiken berichtet: Zum einen interessiert die Größe oder die Stärke eines untersuchten Effekts (die so genannte Effektstärke), zum anderen ist die Signifikanz der EffekteEffekteSignifikanz der wichtig – man bedenke, dass nicht-signifikante Ergebnisse ebenso bedeutsam sind wie signifikante Effekte, doch werden sie meist nicht publiziert (s. oben, publication bias). Effektstärken sind statistische Indizes, welche grundsätzlich auf zwei Wegen bestimmt werden können: mittels KorrelationenKorrelation (die Gruppe der sogenannten r Indizesr Indizes) oder mittels (standardisierter) Unterschiede in Mittelwerten oder Standardabweichungen (die Gruppe der d Indizesd Indizes). Die in den für eine Meta-Analyse ausgewählten Studien berichteten Statistiken lassen sich problemlos in die Effektstärken r oder d überführen2, je nachdem, welche Herangehensweise für die Meta-Analyse verwendet werden soll. Johnson/Eagly (2000) empfehlen r für Studien, die vorwiegend Korrelationen berichten, und d für Studien, welche ANOVA und t-tests einsetzen.

Zur eigentlichen DatenanalyseDatenanalyse und zur Untersuchung der Ergebnisse gibt es eigens für Meta-Analysen entwickelte Computerprogramme, beispielsweise das Programm Comprehensive Meta-Analysis3. Eine Evaluation verschiedener Programme ist unter http://www.um.es/metaanalysis/software.php zu finden. Es empfiehlt sich, Einführungen und Workshops zur Nutzung eines bestimmten Programms zu besuchen, um sich mit den Spezifika, Modellen, Annahmen und Anforderungen vertraut zu machen. Generell besteht die zentrale Datenanalyse einer Meta-Analyse aus der Berechnung des Mittelwerts und der Varianz der in den ausgewählten Studien berichteten EffektstärkenEffektstärke (Plonsky/Oswald 2012b: 275). Dazu gibt es verschiedene Modelle (die so genannten fixed-, random- oder mixed-effect Modelle, s. Borenstein et al. 2011, insb. Kapitel 10–14 und 19), von denen das angemessenste gewählt werden muss. Ebenso müssen Entscheidungen getroffen werden hinsichtlich der zu nutzenden EffektstärkeindizesEffektstärkeindizes (s. oben) und der Gewichtung bestimmter Studien. Zur Interpretation der Ergebnisse ist es nötig, sich die Effektstärken, Konfidenzintervalle und die Richtung der Effekte der einzelnen Studien sowie Mittelwert und Varianz der Effekte über die Studien hinweg zu betrachten, um die Homogenität der gefundenen Effektstärken beurteilen zu können. Zur Interpretation helfen neben den statistischen Indizes so genannte forest plots, graphische Darstellungen, welche von den Programmen erstellt werden. Es kann nötig sein, den erwähnten publication biaspublication bias statistisch zu korrigieren; hierzu gibt es verschiedene Möglichkeiten (s. z.B. Banks/Kepes/Banks 2012, Borenstein et al. 2011, Kapitel 30), von denen die graphische Methode des funnel plottings in der Fremdsprachenforschung die verbreiteste ist (z.B. Norris/Ortega 2000). Es empfehlen sich weiterführende Moderator-Analysen, um den Effekt bestimmter Moderatorvariablen auf die zu untersuchende Variable festzustellen; beispielsweise haben Jeon/Yamashita (2014) Befunde zum Leseverstehen in der Fremdsprache in einer groß angelegten Meta-Analyse zusammengestellt und dabei u.a. die Moderatoren Alter und Vokabelwissen untersucht. Abschließend darf auf so genante Power AnalysenPower-Analyse verwiesen werden (z.B. Cohen 1988, Plonsky 2013), um die Wahrscheinlichkeit zu bestimmen, dass ein bestimmter statistischer Test einen gegebenen Effekt auch erfassen kann. Dazu werden die notwendige minimale Stichprobengöße oder die minimal zu erwartende EffektgrößeEffektgröße bei einer gegebenen Stichprobengröße bestimmt. Power Analysen können für die Einzelstudien, die in eine Meta-Analyse einfließen, ebenso wie retrospektiv für eine gegebene Meta-Analyse durchgeführt werden.

Sind die Effektgrößen bestimmt und die Ergebnisse interpretiert, so schließt sich die Phase der Berichterstattung und PublikationPublikation an. Hier darf auf die APA Meta-Analysis Reporting Standards (APA 2008, American Psychological Association 2010) verwiesen werden, ebenso wie auf die Hinweise in Plonsky (2012b); letztere eignen sich auch gut zur Evaluation publizierter Meta-Analysen. Folgende Elemente sollte die Publikation minimal abdecken:

Abbildung 2:

Minimale Publikationselemente von Meta-Analysen

4.5.3 Replikationsstudien

ReplikationsstudienReplikationsstudien dienen der Wiederholung bestimmter Experimente, Interventionen oder Studiendesigns, einerseits zum Zweck der Überprüfung der Generalisierbarkeit der Ergebnisse der Originalstudie für andere Zielgruppen oder Kontexte, andererseits zur ValidierungValidierung der berichteten Ergebnisse (Abbuhl 2012, Porte 2010). In empirischen Untersuchungen kommt der Replizierbarkeit einer Studie und deren Ergebnissen besondere Bedeutung zu, können doch auf diese Weise die Fehlertypen I und II (fälschliches Verwerfen bzw. Akzeptieren der Nullhypothese) kontrolliert werden (Schmidt 2009).

Abbuhl (2012) unterscheidet verschiedene Typen von Replikationsstudien, die sie auf einem Kontinuum von exakter Replikation (eher selten in den Sozialwissenschaften zu finden) über systematische oder approximative ReplikationapproximativeReplikationReplikationsystematische bis hin zur konzeptuellen oder konstruktiven ReplikationkonstruktiveReplikationReplikationkonzeptuelle anordnet. Bei der approximativen Replikation wird die Originalstudie so getreu wie möglich repliziert, doch eine der SchlüsselvariablenSchlüsselvariablen wird variiert, um etwa eine andere Zelgruppe oder einen anderen Kontext zu untersuchen. Die konzeptuelle Replikation bleibt dem Untersuchunggegenstand treu, doch verwendet sie zusätzlich zu den qualitativen der Originalstudie andere Zugänge, wie etwa andere Instrumente oder quantitative Methoden.

Replikationsstudien beginnen mit der Forschungsfragestellung und der Evaluation und Auswahl einer geeigneten Studie, welche die Forschungsfrage in relevanter Weise operationalisiert und untersucht. Es schließt sich die Entscheidung an, welche Art der Replikation für die zu untersuchende Fragestellung angemessen ist. Hierbei muss die Vergleichbarkeit und Anschlussfähigkeit zwischen Replikation und Originalstudie bedacht werden mit Hinblick auf Zielpopulationen und Stichproben, Untersuchungsgegenstand, Design, eingesetzte Instrumente und Analysemethoden. Etwaige Abweichungen sollten wohlbegründet sein (Gass/Mackey 2005). Nach der Durchführung und Analyse der Replikationsstudie erfolgt die Interpetation der Ergebnisse, immer auch in Bezug auf die Resultate der Originalstudie. Unterstützen die Replikationsbefunde die Ergebnisse der Originalstudie, so kann dies als ein weiterer Hinweis auf die Validität der ursprünglichen Befunde gedeutet werden. Widersprechen die Replikationsergebnisse denen der Originalstudie, kann dies als Anlass genommen werden, die GeneralisierbarkeitGeneralisierbarkeit bestimmter Ergebnisse kritisch zu diskutieren, oder die Parameter, die in die Studien einflossen, zu hinterfragen und gezielt in weiteren Untersuchungen zu erforschen (z.B. Eden 2002). Abschließend steht der Schritt der Publikation an, in welcher der Anlass der Replikationsstudie und etwaige Abweichungen von der Originalstudie begründet werden, die Vorgehensweise transparent dargestellt und die Ergebnisse im Vergleich zur Originalstudie diskutiert und kommentiert werden sollten.

4.5.4 Anwendung in Studien

Während es, wie Schmidt (2009) ausführt, nur wenige Replikationsstudien in den Sozialwissenschaften gibt, erfreuen sich Meta-Analysen zunehmender Beliebtheit. Hier sollen drei Meta-Analysen exemplarisch das Feld illustrieren.

Eine frühe, einflussreiche Meta-Analyse wurde von Norris/Ortega (2000) zur Effektivität von L2 Instruktionen durchgeführt. Sie verglichen die EffektstärkenEffektstärke von 49 experimentellen und quasi-experimentellen Studien, die in den Jahren 1908 bis 1998 durchgeführt wurden. Sie fanden u.a. heraus, dass explizite Formen des Unterrichtens effektiver sind als implizite und dass fokussiertes Unterrichten zu langfristigen Lernerfolgen führt. Allerdings mussten sie feststellen, dass die Effektstärke vom jeweils eingesetzten MessinstrumentMessinstrument beeinflusst wird und dass die Ergebnisse ihrer Meta-Analyse nur beschränkt generalisierbargeneralisierbar sind, da es damals dem Feld noch an empirisch rigorosen Operationalisierungen und Replikationen der Konstrukte mangelte.

Eine wesentlich umfangreichere Meta-Analyse, die eine gewisse Generalisierbarkeit aufweist, führte Hattie (2009) durch. Die so genannte ‚Hattie-Studie‘ beeinflusste die bildungspolitische Diskussion im In- und Ausland, weshalb sie hier erwähnt werden soll, wenngleich die meisten Studien, die in Hatties Meta-Analyse eingingen, nicht aus dem fremdsprachlichen Unterricht stammen. Er unterzog über 800 Meta-Analysen einer Meta-Metaanalyse und untersuchte 138 unterrichtsrelevante Variablen und ihre Effektivität auf das Lernen. Das Novum an seinem Ansatz ist, dass er die Effektstärken inhaltlich interpretiert, indem er sie in unterschiedliche Bereiche einteilt. Für den untersten Bereich (bis 0,15) behauptet Hattie, dass diese Effekte auch erzielt würden, wenn kein Unterricht stattfinde; Effektstärken im Bereich 0,15 bis 0,40 würden auch durch regulärem Unterricht einer durchschnittlichen Lehrkraft erzielt; nur Effektstärken über 0,40 würden auf tatsächliche Effekte der untersuchten Variablen deuten. Die stärksten Effekte fand Hattie in den Variablen ‚self-reported grades‘, ‚Piagetian programmes‘ und ‚providing formative evaluation‘. Es wäre interessant, diese Variablen gezielt für den fremdsprachlichen Unterricht zu untersuchen. Hattie leitet auf Basis seiner Ergebnisse ein theoretisches Modell erfolgreichen (fachunabhängigen) Lehrens und Lernens ab; er nutzt die Meta-Analyse also zur Theorie-Generierung.

Die dritte Meta-Analyse, die hier vorgestellt werden soll, wurde von Jeon/Yamashita (2014) durchgeführt für den Bereich des Leseverstehens in der Fremdsprache. Diese Studie soll die o.g. ModeratorenanalysenModeratorenanalysen illustrieren. Jeon/Yamashita (2014) untersuchten u.a. die Moderatoren Alter und Vokabelwissen. Die Befunde legen nahe, dass das fremdsprachliche Leseverständnis am höchsten mit fremdsprachlichem Grammatik- und Vokabelwissen korreliert und dass Leseverstehen vom Alter und der Distanz zwischen erster und zweiter Sprache beeinflusst wird.

4.5.5 Fazit

Die hier vorgestellten Möglichkeiten des ‚zweiten Blicks‘ auf existente Studien, sei es mittels quantitativer Meta-Analysen oder mittels Replikationsstudien, stellen eine Möglichkeit dar, existente Ergebnisse zu nutzen und zu transformieren. Auf diese Weise können, wie es beispielsweise Hattie (2009) zeigt, TheorienTheorie entwickelt und untermauert werden, oder es können Ergebnisse eines Bereichs oder Kontexts in neuen KontextenKontext überprüft werden, wie es in Replikationsstudien geschieht. Diese Herangehensweisen bieten effektive Wege, existente Ergebnisse zusammenzuführen, sie zu validierenvalidieren und etwa zur evidenzbasierten Entscheidungsfindung oder zur weiteren Forschungsplanung zu nutzen. Allerdings sollten sie in ihrem Aufwand nicht unterschätzt werden.

› Literatur

Forschungsarbeiten, in denen die hier erläuterten Verfahren angewendet werden, sind mit einem Sternchen markiert.

Abbuhl, Rebekha (2012). Why, when, and how to replicate research. In: Mackey, Alison/Gass, Susan M. (Hg.). Research Methods in Second Language Acquisition: A Practical Guide. London: Basil Blackwell, 296–312.

APA Publications and Communications Board Working Group on Journal Article Reporting Standards (2008). Reporting standards for research in psychology: Why do we need them? What might they be? In: American Psychologist 63, 848–849. [https://www.apa.org/pubs/authors/jars.pdf] (4.12.2015)

American Psychological Association (2010). Publication Manual of the American Psychological Association. 6. Auflage. Washington, DC: American Psychological Association.

Banks, Georges C./Kepes, Sven/Banks, Karen P. (2012). Publication bias: The antagonist of meta-analytic reviews and effective policy making. In: Educational Evaluation and Policy Analysis 34, 259–277.

Borenstein, Michael/Hedges, Larry V./Higgins, Julian P.T. / Rothstein, Hannah R. (2011). Introduction to Meta-Analysis. Chichester, UK: Wiley.

Cohen, Jacob (1988). Statistical Power Analysis for the Behavioral Sciences. 2nd edition. Hillsdale, NJ: Erlbaum.

Eden, Dov (2002). Replication, meta-analysis, scientific progress, and AMJ’s publication policy. In: Academy of Management Journal 45, 841–846.

Gass, Susan M./Mackey, Alison (2005). Second Language Research: Methodology and Design. Mahwah, NJ: Lawrence Erlbaum.

*Hattie, John (2009). Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement. Oxon: Routledge.

Hunter, John E./Schmidt, Frank L. (2004). Methods of Meta-Analysis: Correcting Error and Bias in Research Findings. 2nd edition. Newbury Park, CA: Sage.

In’nami, Yo/Koizumi, Rie (2010). Database selection guidelines for meta-analysis in applied linguistics. In: TESOL Quarterly 44, 169–184.

*Jeon, Eun H./Yamashita, Junko (2014). L2 reading comprehension and its correlates: A meta-analysis. Language Learning 64(1), 160–212.

Johnson, Blair T./Eagly, Alice H. (2000). Quantitative synthesis of social psychological research. In: Reis, Harry T./Judd, Charles M. (Hg.). Handbook of Research Methods in Social and Personality Psychology. New York: Cambridge University Press, 496–528.

*Norris, John M./Ortega, Lourdes (2000). Effectiveness of L2 instruction: A research synthesis and quantitative meta-analysis. Language Learning 50, 417–528.

Plonsky, Luke (2012a). Replication, meta-analysis and generalizability. In: Porte, Graeme K. (Hg.). Replication Research in Applied Linguistics. New York: Cambridge University Press, 116–132.

Plonsky, Luke (2012b). Effect size. In: Robinson, Peter (Hg.). The Routledge Encyclopedia of Second Language Acquisition. New York: Routledge, 200–202.

Plonsky, Luke (2013). Study quality in SLA: An assessment of designs, analyses, and reporting practices in quantitative L2 research. In: Studies in Second Language Acquisition 35, 655–687.

Plonsky, Luke/Oswald, Frederick L. (2012a). Meta-analysis. In: Robinson, Peter (Hg.). The Routledge Encyclopedia of Second Language Acquisition. New York: Routledge, 420–423.

Plonsky, Luke/Oswald, Frederick L. (2012b). How to do a meta-analysis. In: Mackey, Alison/Gass, Susan M. (Hg.). Research Methods in Second Language Acquisition: A Practical Guide. London: Basil Blackwell, 275–295.

Porte, Graeme K. (2010). Appraising Research in Second Language Learning. A Practical Approach to Critical Analysis of Quantitative Research. Amsterdam: John Benjamins.

Rousseau, Denise M./McCarthy, Sharon (2007). Evidence-based management: Educating managers from an evidence-based perspective. In: Academy of Management Learning and Education 6, 94–101.

Schmenk, Barbara (2008). Lernerautonomie. Karriere und Sloganisierung des Autonomiebegriffs. Tübingen: Narr. [Referenzarbeit, Kapitel 7]

Schmidt, Stefan (2009). Shall we really do it again? The powerful concept of replication is neglected in the social sciences. In: Review of General Psychology 13, 90–100.

» Zur Vertiefung empfohlen

Borenstein, Michael/Hedges, Larry V./Higgins, Julian P.T. / Rothstein, Hannah R. (2011). Introduction to Meta-Analysis. Chichester, UK: Wiley.

Das Buch beschreibt in klarer und umfassender Weise alle grundsätzlichen und weiterführenden Aspekte, die zu einer Meta-Analyse gehören. Es erläutert zugrunde liegende Konzepte und führt die Leser an die statistischen Grundlagen und Formeln, welche durch Beispiele veranschaulicht werden. Das Buch eignet sich gut zum Selbststudium und wird durch Online-Materialien ergänzt.

Cooper, Harris/Hedges, Larry V./Valentine, Jeff C. (Hg.). (2009). The Handbook of Research Synthesis and Meta-Analysis. 2nd edition. New York: Russel Sage Foundation.

Das Handbuch bietet einen guten Einstieg in die Thematik der Meta-Analsyen. Es ist als Enzyklopädie angelegt, wobei die Kapitel sich je einem spezifischen Aspekt widmen. Eine Besonderheit ist, dass sich alle Kapitel auf denselben Datensatz beziehen. Das Buch ist geeignet für Forschende und Statistiker.

Plonsky, Luke/Oswald, Frederick L. (2012b). How to do a meta-analysis. In: Mackey, Alison/Gass, Susan M. (Hg.). Research Methods in Second Language Acquisition: A Practical Guide. London: Basil Blackwell, 275–295.

Das Kapitel gibt eine leicht verständliche Einführung in die Planung und Durchführung von Meta-Analysen, mit praktischen Tipps und Anregungen. Es eignet sich gut als erster Einstieg.

Porte, Graeme K. (Hg.) (2012). Replication Research in Applied Linguistics. New York: Cambridge University Press.

Das Buch bringt Experten zusammen, die die Bedeutsamkeit von Replikationsstudien in der Angewandten Linguistik unterstreichen. Die Autoren beleuchten Replikationsstudien von theoretischer Seite, geben praktische Ratschläge zur Planung, Vorbereitung, Durchführung solcher Studien und nicht zuletzt Hinweise dazu, wie die Studien und Ergebnisse berichtet werden können.