%0 Journal Article %B Berliner und Münchener Tierärztliche Wochenschrift %C Hannover %D 2005 %G German %I Schlütersche Verlagsgesellschaft mbH & Co. KG %T Testevaluation ohne Goldstandard am Beispiel eines Anaplasma marginale-Felddatensatzes %V 118 %1 {"oldId":69329,"title":"Testevaluation ohne Goldstandard am Beispiel eines Anaplasma marginale-Felddatensatzes","teaserText":"Die Evaluierung neuer diagnostischer Tests ( Tests) erfolgt unter anderem durch den Vergleich mit einem perfekten Referenztest (Goldstandard). Dieser Ansatz erlaubt die direkte unverzerrte Sch\u00e4tzung der Test-Sensitivit\u00e4t und -Spezifit\u00e4t. Unter ...","content":"

Zusammenfassung<\/span>
Die Evaluierung neuer diagnostischer Tests ( Tests) erfolgt unter anderem durch den Vergleich mit einem perfekten Referenztest (Goldstandard). Dieser Ansatz erlaubt die direkte unverzerrte Sch\u00e4tzung der Test-Sensitivit\u00e4t und -Spezifit\u00e4t. Unter Praxisbedingungen werden neue Testverfahren aber oft gegen einen imperfekten Referenztest evaluiert, da die Anwendung eines Goldstandards zu kostspielig oder aufwendig ist. Dadurch kommt es zu Verzerrungen (Bias) bei der Ermittlung (Sch\u00e4tzung) dieser Testcharakteristika. Um dieses Problem zu umgehen, kann man so genannte \"latent class\" und Bayes'schen Modelle einsetzen, welche es erm\u00f6glichen, auch ohne Goldstandard, aber mit zwei oder mehr imperfekten Testverfahren, Sch\u00e4tzer f\u00fcr die Sensitivit\u00e4t und Spezifit\u00e4t beider Tests zu erhalten. Diesen Methoden liegen aber - wie auch beim Ansatz mit einem Gold-standard - Annahmen zugrunde, deren Verletzung zu fehlerhaften Ergebnissen f\u00fchrt. Mit der Auswertung eines Felddatensatzes zu einem Anaplasma marginale-Ausbruch bei Rindern in der Schweiz mit Daten zu vier diagnostischen Verfahren (direkter Erregernachweis, Serologie, PCR und H\u00e4matokritbestimmung) wird versucht, dem Leser die Problematik der Testevaluierung in Abwesenheit eines Gold-standards anhand eines praktischen Beispieles vor Augen zu f\u00fchren. Wir konnten in diesem relativ kleinen Felddatensatz (275 Einzeltiere) keine gro\u00dfen Unterschiede in den Sch\u00e4tzern f\u00fcr Sensitivit\u00e4t und Spezifit\u00e4t der jeweiligen Testverfahren zwischen den einzelnen Methoden entdecken. Einfl\u00fcsse der jeweiligen Methoden auf einzelne Sch\u00e4tzwerte konnten aufgezeigt werden. Alle benutzten Tests wiesen eine teils unerwartet hohe und somit nicht zu vernachl\u00e4ssigende Korrelation insbesondere der Test-Sensitivit\u00e4ten auf, ein Indiz, dass konditionale Abh\u00e4ngigkeit von Testergebnissen auch dort vorkommen kann, wo sie uns biologisch nicht plausibel erscheint.


Summary<\/span>
The evaluation of newly developed diagnostic tests (tests) commonly involves the comparison of the test outcomes (pos.\/neg.) of a sample of animals to those of a reference test (gold standard) in order to derive sensitivity and specificity estimates. Often, however, new tests have to be evaluated against an imperfect reference test since a true gold standard test is either too expensive or too costly to apply. This results in bias in the test characteristic estimates. To solve this problem, latent class and Bayesian models can be used to estimate sensitivity and specificity when evaluating a diagnostic test in the absence of a gold standard. They require at least two imperfect reference tests applied to all individuals in the study. In our approach we used a two-test two-population scenario. Both the gold standard and these modelling approaches rely on various assumptions. When violated, biased results will be obtained. The analysis of field data from an Anaplasma marginale outbreak in cattle in Switzerland with four diagnostic procedures (detection of the agent, serology, PCR and hematocrit measurements) was used as a practical example to demonstrate and critically discuss the approaches taken. In this relatively small data set (n = 275) the estimates for the test characteristics obtained by the different methods were quite similar. Overall, the bias in the point estimates depended mainly on the chosen estimation approach. All tests showed a non-negligible correlation mainly in the test sensitivities. This emphasizes the importance of taking into account test dependence even if it seems not biologically plausible at first thought. <\/p>","categories":["Tier\u00e4rztliche Wochenschrift","Abostufe BMTW","Fachartikel"],"fromDate":"Aug 2, 2005 12:00:00 AM","toDate":"Jan 1, 2030 12:00:00 AM","oldUrls":["http:\/\/vetline.de\/247072\/150\/3130\/69329"],"doiProductFormat":"Online","doiPublisher":"Schl\u00fctersche Verlagsgesellschaft mbH & Co. KG","doiDocumentUri":"http:\/\/www.vetline.de\/247072\/150\/3130\/69329","doiSource":"Berl. M\u00fcnch. Tier\u00e4rztl. Wschr. 118: Ausgabe 9-10, Seite 416-422 (2005) ","doiTransmitted":false,"doiAuthor":"P. M\u00fcllner, U.M. Dreher, M.L. Meli, H. Lutz, R. Hofman-Lehmann, M.G. Doherr","pdf":{"path":"http:\/\/data\/bmtw_2005_09_0416.pdf","title":"bmtw_2005_09_0416.pdf","description":"Testevaluation ohne Goldstandard am Beispiel eines Anaplasma marginale-Felddatensatzes

"},"authors":[{"firstName":"P","middleName":"","lastName":"M\u00fcllner"},{"firstName":"U","middleName":"M.","lastName":"Dreher"},{"firstName":"M","middleName":"L.","lastName":"Meli"},{"firstName":"H","middleName":"","lastName":"Lutz"},{"firstName":"R","middleName":"","lastName":"Hofman-Lehmann"},{"firstName":"M","middleName":"G.","lastName":"Doherr"}],"contentOptimised":"

Zusammenfassung<\/strong>
Die Evaluierung neuer diagnostischer Tests ( Tests) erfolgt unter anderem durch den Vergleich mit einem perfekten Referenztest (Goldstandard). Dieser Ansatz erlaubt die direkte unverzerrte Sch\u00e4tzung der Test-Sensitivit\u00e4t und -Spezifit\u00e4t. Unter Praxisbedingungen werden neue Testverfahren aber oft gegen einen imperfekten Referenztest evaluiert, da die Anwendung eines Goldstandards zu kostspielig oder aufwendig ist. Dadurch kommt es zu Verzerrungen (Bias) bei der Ermittlung (Sch\u00e4tzung) dieser Testcharakteristika. Um dieses Problem zu umgehen, kann man so genannte \"latent class\" und Bayes'schen Modelle einsetzen, welche es erm\u00f6glichen, auch ohne Goldstandard, aber mit zwei oder mehr imperfekten Testverfahren, Sch\u00e4tzer f\u00fcr die Sensitivit\u00e4t und Spezifit\u00e4t beider Tests zu erhalten. Diesen Methoden liegen aber - wie auch beim Ansatz mit einem Gold-standard - Annahmen zugrunde, deren Verletzung zu fehlerhaften Ergebnissen f\u00fchrt. Mit der Auswertung eines Felddatensatzes zu einem Anaplasma marginale-Ausbruch bei Rindern in der Schweiz mit Daten zu vier diagnostischen Verfahren (direkter Erregernachweis, Serologie, PCR und H\u00e4matokritbestimmung) wird versucht, dem Leser die Problematik der Testevaluierung in Abwesenheit eines Gold-standards anhand eines praktischen Beispieles vor Augen zu f\u00fchren. Wir konnten in diesem relativ kleinen Felddatensatz (275 Einzeltiere) keine gro\u00dfen Unterschiede in den Sch\u00e4tzern f\u00fcr Sensitivit\u00e4t und Spezifit\u00e4t der jeweiligen Testverfahren zwischen den einzelnen Methoden entdecken. Einfl\u00fcsse der jeweiligen Methoden auf einzelne Sch\u00e4tzwerte konnten aufgezeigt werden. Alle benutzten Tests wiesen eine teils unerwartet hohe und somit nicht zu vernachl\u00e4ssigende Korrelation insbesondere der Test-Sensitivit\u00e4ten auf, ein Indiz, dass konditionale Abh\u00e4ngigkeit von Testergebnissen auch dort vorkommen kann, wo sie uns biologisch nicht plausibel erscheint.


Summary<\/strong>
The evaluation of newly developed diagnostic tests (tests) commonly involves the comparison of the test outcomes (pos.\/neg.) of a sample of animals to those of a reference test (gold standard) in order to derive sensitivity and specificity estimates. Often, however, new tests have to be evaluated against an imperfect reference test since a true gold standard test is either too expensive or too costly to apply. This results in bias in the test characteristic estimates. To solve this problem, latent class and Bayesian models can be used to estimate sensitivity and specificity when evaluating a diagnostic test in the absence of a gold standard. They require at least two imperfect reference tests applied to all individuals in the study. In our approach we used a two-test two-population scenario. Both the gold standard and these modelling approaches rely on various assumptions. When violated, biased results will be obtained. The analysis of field data from an Anaplasma marginale outbreak in cattle in Switzerland with four diagnostic procedures (detection of the agent, serology, PCR and hematocrit measurements) was used as a practical example to demonstrate and critically discuss the approaches taken. In this relatively small data set (n = 275) the estimates for the test characteristics obtained by the different methods were quite similar. Overall, the bias in the point estimates depended mainly on the chosen estimation approach. All tests showed a non-negligible correlation mainly in the test sensitivities. This emphasizes the importance of taking into account test dependence even if it seems not biologically plausible at first thought. <\/p>","primaryLanguage":"deutsch","zusammenfassung":"Die Evaluierung neuer diagnostischer Tests ( Tests) erfolgt unter anderem durch den Vergleich mit einem perfekten Referenztest (Goldstandard). Dieser Ansatz erlaubt die direkte unverzerrte Sch\u00e4tzung der Test-Sensitivit\u00e4t und -Spezifit\u00e4t. Unter Praxisbedingungen werden neue Testverfahren aber oft gegen einen imperfekten Referenztest evaluiert, da die Anwendung eines Goldstandards zu kostspielig oder aufwendig ist. Dadurch kommt es zu Verzerrungen (Bias) bei der Ermittlung (Sch\u00e4tzung) dieser Testcharakteristika. Um dieses Problem zu umgehen, kann man so genannte \"latent class\" und Bayes'schen Modelle einsetzen, welche es erm\u00f6glichen, auch ohne Goldstandard, aber mit zwei oder mehr imperfekten Testverfahren, Sch\u00e4tzer f\u00fcr die Sensitivit\u00e4t und Spezifit\u00e4t beider Tests zu erhalten. Diesen Methoden liegen aber - wie auch beim Ansatz mit einem Gold-standard - Annahmen zugrunde, deren Verletzung zu fehlerhaften Ergebnissen f\u00fchrt. Mit der Auswertung eines Felddatensatzes zu einem Anaplasma marginale-Ausbruch bei Rindern in der Schweiz mit Daten zu vier diagnostischen Verfahren (direkter Erregernachweis, Serologie, PCR und H\u00e4matokritbestimmung) wird versucht, dem Leser die Problematik der Testevaluierung in Abwesenheit eines Gold-standards anhand eines praktischen Beispieles vor Augen zu f\u00fchren. Wir konnten in diesem relativ kleinen Felddatensatz (275 Einzeltiere) keine gro\u00dfen Unterschiede in den Sch\u00e4tzern f\u00fcr Sensitivit\u00e4t und Spezifit\u00e4t der jeweiligen Testverfahren zwischen den einzelnen Methoden entdecken. Einfl\u00fcsse der jeweiligen Methoden auf einzelne Sch\u00e4tzwerte konnten aufgezeigt werden. Alle benutzten Tests wiesen eine teils unerwartet hohe und somit nicht zu vernachl\u00e4ssigende Korrelation insbesondere der Test-Sensitivit\u00e4ten auf, ein Indiz, dass konditionale Abh\u00e4ngigkeit von Testergebnissen auch dort vorkommen kann, wo sie uns biologisch nicht plausibel erscheint.","summary":"The evaluation of newly developed diagnostic tests (tests) commonly involves the comparison of the test outcomes (pos.\/neg.) of a sample of animals to those of a reference test (gold standard) in order to derive sensitivity and specificity estimates. Often, however, new tests have to be evaluated against an imperfect reference test since a true gold standard test is either too expensive or too costly to apply. This results in bias in the test characteristic estimates. To solve this problem, latent class and Bayesian models can be used to estimate sensitivity and specificity when evaluating a diagnostic test in the absence of a gold standard. They require at least two imperfect reference tests applied to all individuals in the study. In our approach we used a two-test two-population scenario. Both the gold standard and these modelling approaches rely on various assumptions. When violated, biased results will be obtained. The analysis of field data from an Anaplasma marginale outbreak in cattle in Switzerland with four diagnostic procedures (detection of the agent, serology, PCR and hematocrit measurements) was used as a practical example to demonstrate and critically discuss the approaches taken. In this relatively small data set (n = 275) the estimates for the test characteristics obtained by the different methods were quite similar. Overall, the bias in the point estimates depended mainly on the chosen estimation approach. All tests showed a non-negligible correlation mainly in the test sensitivities. This emphasizes the importance of taking into account test dependence even if it seems not biologically plausible at first thought. <\/p>","doiLanguage":"deutsch","translatedTitle":"","abstractE":"Die Evaluierung neuer diagnostischer Tests ( Tests) erfolgt unter anderem durch den Vergleich mit einem perfekten Referenztest (Goldstandard). Dieser Ansatz erlaubt die direkte unverzerrte Sch\u00e4tzung der Test-Sensitivit\u00e4t und -Spezifit\u00e4t. Unter ...","date":{"year":2005,"date":"08\/2005","accepted":"2005-08-02"},"volume":"118","openAccess":false,"journal":"Berliner und M\u00fcnchener Tier\u00e4rztliche Wochenschrift","titleImageId":944,"pages":"","redirects":["247072\/150\/3130\/69329"],"tierartCategories":[],"artikelartCategories":["Tier\u00e4rztliche Wochenschrift","Abostufe BMTW","Fachartikel"]} %8 08/2005