Methods of Scoring the TISEM-Checklist with an example of application

Kurt Ammer

European Association of Thermology, Vienna, Austria
Faculty of Computing, Engineering and Science, University of South Wales, Pontypridd, United Kingdom

SUMMARY

BACKGROUND: The TISEM-checklist was used as a quality assessment tool of studies reporting infrared imaging studies, but the best method for scoring is yet unclear.

OBJECTIVE: To compare 3 methods of scoring and to investigate whether articles that cite the TISEM achieve higher scores than articles that do not cite the checklist.

METHOD: Database were searched for articles that cite the TISEM. Clinical studies were extracted from the found hits and evaluated using two versions of an ordinal scale and a quantitative scale. An identified review article used an ordinal scale for quality assessment of 33 articles. All clinical studies that cited the TISEM and all articles already scored in the review article were evaluated by the three scoring methods. Two groups of articles were built, articles that quoted the TISEM and articles that did not cite the checklist and their scores were compared using the Mann-Witney-test. Agreement of scores in the review article and of the repeated scoring was evaluated by Bland-Altman-plots.

RESULTS. The quantitative scoring performed best in quantifying incomplete reporting. Agreement of the repeated scoring with the original ordinal score was fair with wide limits of agreement (22 points). TISEM citing articles showed significantly higher scores (70% completeness of reporting) than papers that did not quote the TISEM (40% completeness of reporting).

CONCLUSION: Awareness of the checklist may be an effective strategy for improving complete reporting of thermal imaging studies. However, quality assessment of clinical thermography studies should not be restricted to the application of the TISEM checklist.

KEYWORDS: quality assessment, thermal imaging studies, TISEM, infrared thermography

METHODEN ZUR SCOREWERTBILDUNG BEI DER TISEM-CHECKLISTE MIT EINEM ANWENDUNGSBEISPIEL

HINTERGRUND: Die TISEM-Checkliste wurde als Instrument für Qualitätsbewertung von Studien mit Infrarot-Thermographie eingesetzt, jedoch ist die beste Methode für die Bewertung noch unklar.

ZIELSETZUNG: 3 Methoden der Bewertung zu vergleichen und zu untersuchen, ob Artikel, die die TISEM zitieren, höhere Punktzahlen erzielen als Artikel, welche die Checkliste nicht zitieren.

METHODE: Die Datenbank wurde nach Artikeln durchsucht, die die TISEM zitieren. Klinische Studien wurden aus den gefundenen Treffern extrahiert und mit zwei Ordinal-Skalen und einer quantitativen Skala ausgewertet. In einem identifizierten Review-Artikel wurde bereits eine der ordinalen Skalen für die Qualitätsbewertung von 33 Artikeln verwendet. Alle klinischen Studien, welche  die TISEM zitierten, und alle Artikel, die bereits im Review-Artikel bewertet worden waren, wurden nach den drei Methoden der Score-Bildung bewertet. Es wurden zwei Gruppen von Artikeln gebildet: Artikel, welche die TISEM-zitierten, und Artikel, die die Checkliste nicht zitierten, und ihre Score-Werte wurden mit dem Mann-Witney-Test verglichen. Die Übereinstimmung der Scores im Übersichtsartikel mit den Ergebnissen der wiederholten Bewertung wurde mit Bland-Altman-Plots untersucht.

ERGEBNISSE. Die quantitative Bewertungsmethode schnitt bei der Quantifizierung einer unvollständigen Berichterstattung am besten ab. Die Übereinstimmung der wiederholten Score-Bestimmung mit dem ursprünglichen ordinalem Score-Wert war akzeptabel, bot aber weite Zustimmungsgrenzen (22 Punkte). TISEM zitierende Artikel zeigten deutlich höhere Werte (70% Vollständigkeit der Berichterstattung) als Arbeiten, welche die TISEM nicht zitierten (40% Vollständigkeit der Berichterstattung).

SCHLUSSFOLGERUNG: Die Kenntnis die Checkliste kann eine wirksame Strategie zur Verbesserung der vollständigen

Berichterstattung bei Wärmebildstudien sein. Die Qualitätsbewertung klinischer Thermographie-Studien sollte sich jedoch nicht auf die Anwendung der TISEM-Checkliste beschränken.

SCHLÜSSELWÖRTER: Qualitätsbewertung, Wärmebildstudien, TISEM, Infrarot-Thermographie

Thermology international 2019, 29(4) 127-135