Was mijn artikel over griepvaccinstudies een ‘heet hangijzer’ voor redacteuren?

Was mijn artikel over griepvaccinstudies een ‘heet hangijzer’ voor redacteuren?

Door Eyal Shahar bij Brownstone Institute

Ik denk dat het antwoord ‘ja’ is, maar hier is het verhaal zodat jij het kunt beoordelen.

Elk jaar publiceert de CDC schattingen van de effectiviteit van het griepvaccin in het vorige seizoen. Deze schattingen, die door verschillende netwerken worden gerapporteerd, zijn gebaseerd op een onderzoeksopzet die een test-negatieve case-control studie wordt genoemd.

Door de jaren heen hebben de verschillende auteurs een vergelijkbare analytische strategie gedeeld: Vroege respiratoire gebeurtenissen werden anders behandeld dan latere respiratoire gebeurtenissen (op de aanname dat er geen effect wordt verwacht tot immuniteit is opgebouwd). ‘Vroeg’ is typisch binnen twee weken na vaccinatie geweest.

Enkele maanden geleden realiseerde ik me dat deze speciale behandeling van vroege gebeurtenissen een bron van bias is die ‘immortal time’ wordt genoemd. Om de bias bloot te leggen, gebruikte ik causale diagrammen, formeel ‘directed acyclic graphs (DAGs)’ genoemd. DAGs werden geïntroduceerd in baanbrekende publicaties uit de jaren 1990 en worden breed erkend in de epidemiologie als een methodologisch hulpmiddel.

Ik schreef een kort artikel met een angstaanjagende titel: ‘Immortal time bias in test-negative studies of the flu vaccine.’ Ik illustreerde de bias met twee eenvoudige DAGs die de analytische benaderingen encodeerden zoals beschreven in die CDC-gerelateerde studies. Het artikel kan worden samengevat in drie opsommingspunten:

Immortal time is een over het hoofd geziene bias in test-negatieve, case-control studies van het griepvaccin.

De causale structuur komt overeen met misclassificatiebias of selectiebias, afhankelijk van hoe vroege gebeurtenissen werden behandeld.

De bias kan worden vermeden door alle gebeurtenissen te overwegen en de opgebouwde vaccineffectiviteit te schatten per opeenvolgende dagen na vaccinatie.

Ik diende het artikel sequentieel in bij drie gerespecteerde epidemiologische tijdschriften. Verrassend genoeg wees de hoofdredacteur van elk tijdschrift het artikel binnen een week af met standaardtekst. Het werd niet ter peer review gestuurd. Waarom?

Er zijn drie mogelijke redenen:

Het bericht was niet voldoende belangrijk.

Het artikel was slecht geschreven.

Peer review aanvragen was niet nodig. De redacteur besloot dat de bias niet bestond.

Ik kan de eerste reden snel elimineren. Het blootleggen van ingesleten bias in studies van het jaarlijkse griepvaccin is van het grootste belang. Ik hoefde niet te concurreren met ‘belangrijkere’ artikelen.

Was het slecht geschreven? Ik heb vele wetenschappelijke artikelen en twee boeken gepubliceerd. Ik ben geen nieuwkomer in de epidemiologie en heb zelfs gediend als associate editor voor een van de drie tijdschriften. Dus, dat was niet de reden.

We blijven over met de derde reden. Drie redacteuren (mogelijk meer intern) besloten dat mijn analyse duidelijk fout was. Ze hadden geen externe peer review nodig. Was dat inderdaad het geval? Hoe waarschijnlijk is het dat drie redacteuren een unaniem, onafhankelijk oordeel hebben bereikt over mijn analyse zonder peer reviews aan te vragen?

Ik had een hele pagina kunnen schrijven over mijn expertise in de domeinen van causale diagrammen en biases, maar hier is een korte versie van mijn staat van dienst. Ik stelde een nieuwe taxonomie van biases voor op basis van DAGs en identificeerde nieuwe types bias. Ik schreef ongeveer 20 DAG-gerelateerde publicaties, inclusief een boekhoofdstuk. (Sommige van mijn artikelen werden geciteerd in het paper.) Voor zover ik weet, was mijn methodologische analyse niet ‘duidelijk fout’. Waarschijnlijker was het duidelijk correct.

Dus, waarom werd mijn artikel afgewezen zonder peer review? Mag ik speculeren?

Dit artikel heeft een schokkend bericht dat de CDC in diskrediet brengt. Al die studies over de effectiviteit van het jaarlijkse griepvaccin bevatten een foutieve analytische beslissing. De gerapporteerde schattingen zijn biased. Als mijn artikel was gepubliceerd, had het misschien door sommige journalisten opgepikt kunnen worden. Je kunt de koppen al voorstellen.

De redacteuren hadden te maken met een heet hangijzer. Ze wilden het risico niet nemen dat peer-reviewers het artikel zouden goedkeuren, wat hen zou dwingen het te publiceren. Een upfront afwijzing was een veilige uitweg.

Ik probeerde het nog eens. In mijn vierde indiening bij een epidemiologisch tijdschrift, voegde ik de volgende begeleidende brief toe:

‘Beste redacteur,

Dit korte artikel behandelt immortal time in test-negatieve studies van het griepvaccin. Hier worden twee gangbare benaderingen voor het hanteren van vroege post-vaccinatie gebeurtenissen gecodeerd door causale diagrammen om een bron van bias te identificeren en te classificeren. Aan het eind legde ik uit hoe de bias kan worden vermeden.

Voor zover ik weet, is het bericht nieuw en relevant voor toekomstige studies die het test-negatieve ontwerp gebruiken om vaccineffectiviteit te schatten. Daarom geloof ik dat het artikel peer review verdient.’

Deze keer duurde het iets langer om een reactie te krijgen. Misschien waren de redacteuren druk, of overwogen ze hoe ze met de ‘heet hangijzer’ moesten omgaan. Er was echter geen verrassing in het verschiet. Ongeveer drie weken later landde een standaardbericht in mijn inbox. Twee alinea's zijn hieronder geplakt:

‘Uw manuscript is beoordeeld door twee leden van de redactiecommissie. Het spijt me u te moeten meedelen dat de prioriteitsbeoordeling niet voldoende hoog was om publicatie te rechtvaardigen... Het oordeel over prioriteit wordt gemaakt in het licht van de vele andere papers die we ontvangen en onze ruimtebeperkingen. Zo moeten zelfs informatieve papers soms worden afgewezen. Deze voorlopige beoordeling wordt gedaan voor alle papers zodat auteurs snel een beslissing kunnen krijgen als deze negatief zal zijn. Daarom hebben we geen reviewers' commentaren om u door te sturen.’

Daarna voegden ze hoffelijk toe:

‘Andere redenen waarom we uw manuscript afwijzen zijn onder andere: Na een initiële redactionele beoordeling hebben we besloten het paper niet voor externe peer review te sturen. Hoewel het onderwerp interessant is, sluit het manuscript niet voldoende aan bij het journal format.’

Dus, wat denk je dat het was: een prioriteitsbeoordeling, aansluiting bij het journal format, of een heet hangijzer?

Ik gaf het op en plaatste het paper als preprint. Het is nu in het publieke domein, maar niet veel mensen zullen het lezen. Het was niet gecertificeerd als ‘peer-reviewed’. En de CDC zal blijven jaarlijkse schattingen van vaccineffectiviteit rapporteren uit studies die die bias bevatten (niet de enige, trouwens).

Echter, elke redacteur die mijn paper afwees en elke auteur van de CDC-papers over het griepvaccin zal de preprint in hun inbox krijgen. Ik zal ook proberen redactiecommissieleden en anderen te bereiken. Als iemand denkt dat mijn analyse fout is, reageren ze misschien. Anders verwacht ik dat mijn inbox vrij blijft van antwoorden. Goed genoeg voor mij. Minder voor de volksgezondheid.

We hebben nog steeds vrijheid van wetenschappelijke dissent, zij het met enkele uitzonderingen.

Originele auteur: Eyal Shahar | Bron: Brownstone Institute