Wie wirkten sich staatliche Lockdown-Maßnahmen auf die COVID-19 Mortalität aus? Ergebnisse einer Meta-Analyse.

Von Clarissa Reinhold* und Jan Thiele.

Das Institute for Applied Economics der Johns-Hopkins-Universität veröffentlichte Ende Januar 2022 einen Literatur-Review und eine Meta-Analyse zur Wirkung von Lockdowns auf die Covid-19 Sterblichkeit¹. Die Autoren dieser Studie kommen zum Schluss, dass Lockdowns unbegründet und als Pandemie-Politikinstrumente ungeeignet sind, da sich über alle Studien hinweg eine durchschnittliche Reduktion der Covid-19-Todesfälle von nur 0,2% ergab und somit praktisch keine Verringerung der Sterblichkeit bewirkt wurde.

Die Studie war kaum veröffentlicht, da wurde Kritik laut, unter anderem von dem Leiter des Instituts für Versorgungsforschung und Klinische Epidemiologie an der Universität Marburg, Max Geraedts². Nach seiner Ansicht seien die Schlussfolgerungen “nicht haltbar”. Die Studie habe absichtlich nicht die Ergebnisse anderer hochwertiger Studien berücksichtigt. Auch Ökonom Andreas Backhaus zweifelte die Studie an. Ihm zufolge seien manche der herangezogenen Studien “nicht übermäßig überzeugend”, bekamen jedoch das meiste Gewicht in der Analyse. Der Veterinärvirologe Friedemann Weber von der Universität Gießen wies darauf hin, dass die Studie in einer Schriftenreihe des Institute for Appliec Economics veröffentlicht wurde: “Dadurch umgehen die Autoren die Begutachtung durch Fachleute, eine der wichtigsten Maßnahmen zur Qualitätssicherung in der Wissenschaft. Studien im Eigenverlag herausgeben ist absolut unüblich und unwissenschaftlich.”
Handelt es sich bei dieser Studie tatsächlich um schlechte Wissenschaft oder sind die Ergebnisse doch valide? Wir haben uns die Studie genau angesehen und auf fachliche Mängel geprüft. Im Folgenden fassen wir die Studie zusammen und gehen anschließend näher auf die Stärken und Schwächen ihrer wissenschaftlichen Methodik ein.
Ab Frühjahr 2020 verhängten die meisten Staaten mehr oder weniger strenge Maßnahmen, um die Verbreitung des Corona-Virus SARS-CoV-2 einzudämmen. Diese nicht-pharmazeutischen Interventionen (NPI) bestanden zumeist aus Lockdowns mit Schulschließungen, Kontaktbeschränkungen, Reisebeschränkungen und Geschäftsschließungen. Nach Modellrechnungen des London Imperial College sollten diese Maßnahmen die Sterblichkeit durch Covid-19 um 98% reduzieren³.
Allerdings fiel den Autoren der Meta-Analyse auf, dass zwischen der Intensität der staatlichen Maßnahmen und der Sterberate in europäischen Ländern kein Zusammenhang bestand. Somit war unklar, welche Wirksamkeit die Lockdown-Maßnahmen tatsächlich hatten. Um diese Frage zu beantworten, führten sie eine umfassende und systematische Literaturrecherche mit dem Ziel durch, alle für die Beantwortung der Frage relevanten wissenschaftlichen Veröffentlichungen zu identifizieren. Die Auswahl der Studien erfolgte nach den Vorgaben der PRISMA-Leitlinie⁴.

Ergebnisse der Meta-Analysen

Es wurden 34 relevante, bis Juli 2021 publizierte Studien identifiziert, die sich auf die erste Infektionswelle vom Frühjahr 2020 bezogen. Davon hatten 22 eine wissenschaftliche Begutachtung („peer review“) durchlaufen, bei 12 sogenannten working papers war dies nicht der Fall. Am Ende konnten 24 Studien in eine zusammenfassende statistische Auswertung, d.h. Meta-Analyse einbezogen werden.
Es wurde keine Evidenz gefunden, dass staatlich verordnete Lockdowns im Vergleich zu bloßen Empfehlungen einen nennenswerte Effekt auf die Covid-19-Mortalität hatten. Wie Abbildung 1 zeigt, führte hohe Intensität staatlichen Maßnahmen gemessen am “stringency index” nicht zu einer starken Reduzierung der Todesfälle durch Covid-19.
Die Autoren bewerteten die Qualität der Einzelstudien anhand von vier Kriterien. Jeweils ein Qualitätspunkt wurde einer Studie zugewiesen, wenn sie begutachtet war („peer review“), einen langen Zeitraum untersuchte (über den 31.05.2020 hinaus), keinen unrealistischen sofortigen Effekt des Lockdowns auf die Sterbezahlen fand (da der Effekt erst mit durchschnittlich drei Wochen Zeitverzögerung einsetzen kann) und die Studie von Sozialwissenschaftlern durchgeführt wurde. Studien mit hoher Zahl an Qualitätspunkten zeigten geringere Wirksamkeit von Lockdowns (Abb. 1).

Abb. 1: Wirkung staatlicher Lockdowns (Stringency Index 74/ 76 in USA/ Europa) auf die Sterblichkeit durch Covid-19 (Todesfälle pro Million Einwohner) im Vergleich zu einer Politik die nur Empfehlungen von Maßnahmen ausspricht (Stringency Index 44).

Eine weitere Meta-Analyse wurde zur Wirksamkeit von Ausgangssperren durchgeführt. Deren Effekte schwankten sehr stark zwischen einzelnen Studien, teilweise wurde sogar eine Erhöhung der Sterblichkeit festgestellt. Insgesamt zeigte sich eine durchschnittliche Reduktion der COVID-19 Sterblichkeit von 2.9 %.
Schließlich untersuchten die Autoren in einer dritten Meta-Analyse die Wirksamkeit einzelner NPI. Schließungen von Läden, Restaurants und Bars zeigten einen merklichen Effekt, wohingegen Schulschließungen keine Wirksamkeit hatten (Abb. 2). In zwei Studien wurde eine Reduzierung von Todesfällen bei Einführung einer Maskenpflicht gefunden. Dieses mit anderen Studien zu Masken nicht im Einklang stehende Ergebnis werden wir weiter unten näher erörtern.

Abb. 2: Effekte einzelner NPI auf Corona-Todesfälle. Untersucht wurden die Effekte von Maskenpflicht, Schließung von Läden, Restaurants und Bars, Grenz- und Schulschließungen sowie Verbote von Ansammlungen in der Öffentlichkeit.

Die Autoren wiesen darauf hin, dass die Kosten bzw. die negativen Effekte der Maßnahmen in keiner der Studien bewertet wurden. Die Lockdown Maßnahmen der meisten westlichen Länder stürzten die Wirtschaft in eine schwere Rezession. Die Grundrechte und die Gewaltenteilung wurden in großen Teilen der Welt ausgehöhlt und verfassungsmäßige Grenzen für staatliches Handeln wurden von Regierungen ignoriert⁵. Die Ergebnisse der Meta-Analysen von Herby et al. 2022 zeigen, dass sich dies auf die Sterblichkeit allenfalls marginal auswirkte. Die wirtschaftlichen und sozialen Kollateralschäden sind aktuell noch gar nicht absehbar.

Kritik an der Studie

An der Meta-Analyse wurde kritisiert, dass andere hochwertige Studien zur Wirkung von Lockdowns nicht berücksichtigt worden wären. Tatsächlich hatten die Autoren vorab Kriterien für den Einschluss von Studien in die Meta-Analyse aufgestellt. Diese waren: 1.) Es wurden tatsächlich beobachtete Sterbefallzahlen untersucht. 2.) Es ließen sich aus der Studie die relativen Effekte von Lockdowns bzw. NPI im Verhältnis zu freiwilligen Maßnahmen ableiten. Somit wurden Studien ausgeschlossen, die auf simulierten Sterbefallzahlen beruhten, was sinnvoll erscheint, da Simulationen auf Annahmen unbekannter Parameter beruhen und möglicherweise unrealistische Werte liefern. Anschließend wurden Studien, die nur Vergleiche von „Vor“ und „Nach“ dem Lockdown anstellten („interrupted time series“) aussortiert, weil darin saisonale Effekte, z.B. das Auslaufen der winterlichen Erkältungswelle im Frühjahr, versteckt sein könnten. Schließlich wurden Studien mit synthetischen Kontrollgruppen ausgeschlossen, da es keine lange Vorlaufzeit mit dem Coronavirus SARS-CoV-2 gab, aus der Verläufe ohne Lockdown präzise geschätzt werden konnten, um eine valide synthetische Kontrolle zu bilden. Die Kriterien für die Einbeziehung von Einzelstudien in die Meta-Analyse erscheinen sinnvoll und sie wurden anscheinend unvoreingenommen angewendet.
Ein weiterer Kritikpunkt ist die Gewichtung der Einzelstudien, die in dieser Meta-Analyse zusammenfassend ausgewertet wurden. Als statistische Maßzahl für die Gewichtung wurde hier der Standardfehler (SE) des geschätzten Lockdown-Effekts verwendet, genauer gesagt dessen Kehrwert (1 / SE), wodurch präzisere Einzelstudien stärkeren Einfluss auf den Gesamtmittelwert in der Meta-Analyse bekommen als solche mit weniger präzisen Schätzungen der Lockdown-Effekte. Diese Gewichtung ist kritikwürdig, da kleine Effekt-Schätzwerte, wie z.B. -0,1 % Todesfälle, auch kleine Standardfehler haben, z.B. 0,01 % (0,0001), was ein hohes Gewicht ergibt. Die Gewichtung anhand des Standardfehlers führt somit zu einer Bevorzugung von Studien mit geringen Lockdown-Effekten bei der Mittelwertberechnung. In der Meta-Analyse bekam eine Studie, die keinen Lockdown-Effekt zeigte⁶, auf diese Weise ein besonders hohes Gewicht. Würde man diese Studie ganz auslassen, wäre der gemittelte Lockdown-Effekt -3,5 % Corona-Todesfälle. Ohne Gewichtung ergeben die sieben Studien der Meta-Analyse zum „stringency Index“ (Abb. 1), einen Gesamtmittelwert von -7,3 % und einen Median von -2,4 % Corona-Todesfälle, was in der Studie auch so angegeben wird. Somit könnte doch eine moderate Wirksamkeit von Lockdowns vorliegen, wobei der Effekt vermutlich im niedrigen einstelligen Prozentbereich liegt.
Weiterhin wurde bemängelt, dass die Studie nicht begutachtet wurde. Wie unsere Prüfung zeigt, gibt es tatsächlich einen methodischen Mangel bei der Gewichtung der Einzelstudien für die Meta-Analyse. Dieser wäre im „peer review“ möglicherweise entdeckt und korrigiert worden. Unabhängig davon ermöglicht die Studie eine interessante Übersicht, dadurch dass relative Effekte aus den Ergebnissen der Einzelstudien berechnet wurden, die sich vergleichen lassen.

Belege für Wirksamkeit von Masken?

Die Meta-Analyse zur Wirksamkeit einzelner NPI ergab eine Verringerung der Corona-Todesfälle durch Maskenpflicht. Es erscheint jedoch fragwürdig hieraus einen generelle Wirksamkeit von Masken abzuleiten. In diese Auswertung gingen nur zwei Einzelstudien ein, und die Autoren weisen in einer Fußnote darauf hin, dass sie nicht gezielt nach Studien zu Masken gesucht hatten und daher die meisten spezifischen Studien zu Masken nicht eingeschlossen wurden. So wurden die großen Studien zum Effekt von Masken, die keine oder nur geringe Effekte zeigen nicht berücksichtigt, darunter die Dänische Maskenstudie⁷ und eine Studie der englischen Regierung, die keinen signifikanten Unterschied in den Corona-Infektionsraten zwischen Schulen mit und ohne Maskenpflicht fand (https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/1044767/Evidence_summary_-_face_coverings.pdf). Daher halten wir diese Analyse zur Maskenfrage für unzureichend.

¹ Herby J, Jonung L, Hanke SH (2022) Literature Review and Meta-analysis of the effects of Lockdowns on Covid-19 Mortality. Studies in Applied Economics 200: 1–61.
² Laut Studie: Lockdown-Maßnahmen retteten kaum Leben – deutsche Forscher widersprechen (rtl.de)
³ Ferguson NM, Laydon D, Nedjati-Gilani G et al. (2020) Report 9: Impact of Non-Pharmaceutical Interventions (NPIs) to Reduce COVID-19 Mortality and Healthcare Demand. Imperial College London.
⁴ Moher D, Liberati A, Tetzlaff J, Altman DG and the PRISMA Group (2009) Preferred Reporting Items for Systematic Reviews and Meta-Analyses: The PRISMA Statement. BMJ 339:b2535. https://doi.org/10.1136/bmj.b2535.
⁵ Bjørnskov C (2021) Did Lockdown Work? An Economist’s Cross-Country Comparison. CESifo Economic Studies 67: 318–331. https://doi.org/10.1093/cesifo/ifab003.
⁶ Chisadza C, Clance M, Gupta R (2021) Government Effectiveness and the COVID-19 Pandemic. Sustainability 13: 3042. https://doi.org/10.3390/su13063042.
⁷ Bundgaard H, Skov Bundgaard J, Raaschou-Pedersen et al. (2021) Effectiveness of Adding a Mask Recommendation to Other Public Health Measures to Prevent SARS-CoV-2 Infection in Danish Mask Wearers. Annals of Internal Medicine 174: 335–343. https://doi.org/10.7326/M20-6817.

*Ist promovierte Tierärztin und hat jahrzehntelange Erfahrung in der Entwicklung und Zulassung von Arzneimitteln und schreibt hier unter einem Psyeudonym.