logo flag
TI-Score

Entwicklung der Kriterien im TI-Score

Die Erarbeitung der Kriterien zur Festlegung des TI-Scores (3/2026 v4.0.0) erfolgte in einem mehrstufigen Verfahren in Zusammenarbeit mit dem IGES Institut, in welchem hilfreiche und hinderliche IT-Umsetzungen der Anwendungen identifiziert und statistisch auf ihren Einfluss auf die Bewertung der Alltagstauglichkeit geprüft werden. Die Kriterien werden aufgrund dieser Prüfung ausgewählt, angepasst oder gestrichen sowie neue Kriterien identifiziert. 

Zur ersten Identifizierung von Kriterien für die Usability der Softwaremodule zur elektronischen Patientenakte (ePA) und zur elektronischen Medikationsliste (eML) fand eine Analyse des Implementierungsleitfadens der ePA sowie Befragungen von medizinischen Einrichtungen in den Modellregionen der gematik statt. Abstimmungen mit dem Bundesverband Gesundheits-IT (bvitg) zu den ePA- und eML-Kriterien für den TI-Score flossen ebenfalls in die Erarbeitung und Auswahl der Kriterien ein.

Evaluation der Kriterien

Um die Eignung der definierten Kriterien für die TI-Scores zu evaluieren, wurden diese anhand einer quantitativen Stichprobe überprüft. Dafür führte die gematik im Dezember 2025 eine Online-Befragung von Arztpraxen zu deren Nutzungserfahrungen ihrer Praxisverwaltungssysteme zur ePA und zur eML durch. Eingeladen zu dieser Befragung wurden Ärztinnen und Ärzte, die sich im Rahmen der jährlichen repräsentativen Befragung zur Wissenschaftlichen Evaluation zu weiteren Befragungen bereit erklärt hatten oder Teil der eHealth-Community der gematik sind. Die Stichprobe umfasst insgesamt 465 Ärztinnen und Ärzte mit Erfahrungen mit der ePA und der eML.

Die Kriterien der TI-Scores wurden durch das IGES Institut dahingehend statistisch analysiert, inwiefern sie sich auf die Bewertung der Alltagstauglichkeit der ePA bei den befragten Praxen auswirken. Im Rahmen dieser Analyse wurden für die ePA 22 und für die eML vier Kriterien identifiziert und für die TI-Scores ausgewählt, welche einen statistisch signifikanten Zusammenhang mit der eingeschätzten Alltagstauglichkeit haben. Diese Kriterien wurden als Usability-Kriterien in die Scores aufgenommen.

Eine multivariate Regressionsanalyse der Kriterien zur Voraussage der Alltagstauglichkeit zeigte zudem, dass für die ePA fünf Kriterien sowie für die eML zwei Kriterien als besonders relevant dafür eingeschätzt werden können, ob ein System als alltagstauglich eingestuft wird.

ePA:

  1. Der Zugriff auf eine ePA ist auch ohne gesteckte eGK möglich, sofern (noch) eine Befugnis für den Zugriff vorliegt.
  2. Der Zugriff auf die ePA erfolgt direkt nach Stecken der eGK im Hintergrund, sodass die Benutzeroberfläche nicht blockiert wird.
  3. Beim Hochladen von Dokumenten in die ePA werden die Metadaten anhand der im PVS verfügbaren Daten vorbelegt.
  4. Das Hochladen eines Dokuments in die ePA erfolgt im Hintergrund und die Benutzeroberfläche wird durch diesen Vorgang nicht blockiert.
  5. Werden eAU mit KIM versendet, kann eingestellt werden, dass diese gleich-zeitig in die ePA gestellt werden sollen.

eML:

  1. Daten der eML können, nach entsprechender Filterung bzw. Auswahl, mit einem Klick in die Primärdokumentation übernommen werden.
  2. Für die eML-Daten stehen Filter- und Sortierfunktionen zur Verfügung. 

Diese Kriterien sind als Alltagstauglichkeitskriterien in den TI-Scores berücksichtigt. Für Befragte, die die Erfüllung der Kriterien weder als zutreffend noch als nicht zutreffend bewerten („weiß nicht“), wurde für die multivariate Regressionsanalyse ein einfaches Imputationsverfahren aus den anderen Befragungen bekannter Funktionen der jeweiligen PVS angewendet. Die Imputation erhöht die Anzahl der Praxen, die in die multivariate Regressionsanalyse eingeschlossen werden können, d. h. auch solche Praxen wurden in die multivariate Berechnung einbezogen, die bisher in den Testphasen mit einzelnen Aspekten noch keine Erfahrung gesammelt hatten und für diese Aspekte jedoch bereits bekannt ist, ob das jeweilige genutzte Praxisverwaltungssystem diesen Aspekt erfüllt. Eliminiert wurden in einem zweiten Schritt Kriterien, die in der multivariaten Analyse einen negativen Effekt auf die Alltagstauglichkeit aufzeigten, da diese offenkundig für die Nutzenden entweder widersprüchlich formuliert waren, oder im Vergleich zu anderen Kriterien einen Rückschritt bedeuten.
Bei einigen Kriterien zeigte sich Multikollinearität, d. h. eine sehr starke Ähnlichkeit in der Bewertung mehrerer Kriterien. Dahingehende „doppelte“ Kriterien wurden aus der Analyse entfernt und diese nur dann in die TI-Scores übernommen, wenn sie inhaltlich stark unterschiedliche Funktionen beschreiben.
Zusammenfassend wurden Kriterien nicht in die Scores aufgenommen, die keinen signifikanten Einfluss auf die wahrgenommene Alltagstauglichkeit der ePA aufwiesen, sehr große Ähnlichkeit mit anderen Kriterien aufwiesen („Multikollinearität“) oder einen negativen Einfluss auf das Alltagstauglichkeitskriterium zeigten. Die parallel direkt abgefragte Wichtigkeit der Kriterien wurde zur Validierung der Zusammenhangsanalysen herangezogen, standen jedoch nicht im Wiederspruch dazu.
Die ePA-Kriterien sind umfangreich und werden daher aufgeteilt in der Darstellung auf der TI-Score-Website die Bereiche Zugriff & Ansicht, Herunterladen & Lesen von Dokumenten sowie Hochladen von Dokumenten dargestellt, jedoch in einem Score berücksichtigt. Für die eML wird ein separater TI-Score ausgewiesen (wie bereits die eAU bei KIM oder zukünftig der dgMP). Generell gilt, dass je mehr Kriterien erfüllt sind, desto alltagstauglicher die Anwendungen bewertet werden.

Kriterien des TI-Scores für die ePA und die eML

Die beschriebene datenbasierte Evaluation der Kriterien wurde in der Struktur der auf Usability basierenden TI-Scores berücksichtigt. Dies betrifft sowohl die Benennung und Zuordnung der Kriterien als auch die Berechnung der TI-Scores.
Die multivariat signifikanten Kriterien wurden unter der Bezeichnung Alltagstauglichkeitskriterien in den TI-Score aufgenommen, da sie eine besonders starke Relevanz für die Bewertung der Alltagstauglichkeit besitzen. Die weiteren Kriterien stellen Usability-Kriterien dar, da das Fehlen dieser Funktionalitäten eine Alltagstauglichkeit verhindern.
Daneben gibt es zusätzliche Komfortfunktionen, die aktuell noch als optional im ePA-Modul verfügbare Funktionalitäten beschreiben. Auch diese Funktionen weisen einen statistisch signifikanten Zusammenhang mit der eingeschätzten Alltagstauglichkeit auf, können jedoch nicht direkt aus dem Implementierungsleitfaden der ePA abgeleitet werden. Die Erfüllung der Kriterien wird auf der Homepage des TI-Scores für die einzelnen Hersteller ausgewiesen, das Vorhandensein der Funktionen ist allerdings nicht relevant für die Score-Berechnung.

Die Berechnung des ePA TI-Scores sieht entsprechend der Relevanz der Kriterien vor, dass

  • die unterste Klassifizierung E für Praxisverwaltungssysteme vorgesehen ist, die weniger als sieben bis neun Kriterien erfüllen, unabhängig davon, ob diese zu den Alltagstauglichkeits- oder Usability-Kriterien zählen. Hersteller, die keine Angaben zur Erfüllung der Kriterien abgeben, werden mit einem „?“ im TI-Score dargestellt.
  • Werden mindestens sieben bis neun Kriterien erfüllt, erreicht ein Praxisverwaltungssystem den TI-Score D.
  • Für eine Einstufung auf Score C müssen mindestens sieben bis zehn Usability-Kriterien und zusätzlich mindestens zwei bis drei der fünf Alltagstauglichkeitskriterien erfüllt werden.
  • Für einen B Score müssen 11 bis 14 oder mehr Usability-Kriterien und mindestens drei bis vier Alltagstauglichkeitskriterien durch das Praxisverwaltungssystem erfüllt sein.
  • Für die höchste Bewertung A muss das Praxisverwaltungssystem mindestens 14 bis 18 der 22 Usability-Kriterien sowie alle fünf Alltagstauglichkeitskriterien aufweisen.

Die Berechnung des eML TI-Scores sieht entsprechend der Relevanz der Kriterien vor, dass

  • die unterste Klassifizierung E für Praxisverwaltungssysteme vorgesehen ist, die keine eML anbieten. Hersteller, die keine Angaben zur Erfüllung der Kriterien abgeben, werden mit einem „?“ im TI-Score dargestellt.
  • Ist die eML zumindest als PDF abrufbar erreicht ein Praxisverwaltungssystem den TI-Score D.
  • Für eine Einstufung auf Score C müssen mindestens zwei bis drei Usability-Kriterien und zusätzlich mindestens zwei bis drei Kriterien erfüllt sein, unabhängig davon, ob diese zu den Alltagstauglichkeits- oder Usability-Kriterien zählen. Damit wird sichergestellt, dass Praxisverwaltungssysteme mit diesem oder einem höheren Score die Anforderung erfüllen, dass die eML auf Basis strukturierter Daten dargestellt wird.
  • Für einen B Score müssen zwei oder mehr Usability-Kriterien und mindestens ein bis zwei Alltagstauglichkeitskriterien durch das Praxisverwaltungssystem erfüllt sein.
  • Für die höchste Bewertung A muss das Praxisverwaltungssystem mindestens zwei bis drei der vier Usability-Kriterien sowie alle beiden Alltagstauglichkeitskriterien aufweisen.

Die Angemessenheit der Berechnung des TI-Scores wurde in einem letzten Schritt anhand der bereits vorliegenden Angaben einzelner Hersteller zur Erfüllung der Kriterien überprüft. Im Ergebnis zeigt sich, wie bereits in der Bewertung der Nutzerinnen und Nutzer, dass sich die Praxisverwaltungssysteme hinsichtlich der Erfüllung der Kriterien unterscheiden, so dass der TI-Score Unterschiede aufzeigen kann und dass es zudem Praxisverwaltungssysteme gibt, die den A-Score erreichen und demnach keine Kriterien erfragt werden, die nicht umsetzbar sind. Die für einzelne Scores angegebenen Spannen an vorhandenen Kriterien werden nach Abschluss der Herstellerbefragung auf konkrete Untergrenzen festgelegt, die einen Score ermöglichen, der möglichst nah am aktuellen Entwicklungsstand liegt und eine Erreichbarkeit der hohen Scores grundsätzlich für alle Systeme ermöglicht.

Limitationen

Der TI-Score bewertet die Usability der Praxisverwaltungssysteme aus Nutzersicht. Dies ist nicht mit einer Softwareergonomie-Prüfung gleichzusetzen, die in Laborbedingungen Praxisverwaltungssysteme auf dem Markt hinsichtlich definierter Usability-Kriterien unter experimentellen Bedingungen testet. Es wird vielmehr auf sozialwissenschaftlichen Standards beruhend mithilfe qualitativer und quantitativer Befragungen die Validität des Scores sichergestellt. Die Kriterien erfüllen die Anforderung einer statistischen Belastbarkeit dieser in Hinblick auf die Nutzerbewertung. Die Kriterien müssen zudem von mindestens einem Teil der Praxisverwaltungssysteme umgesetzt sein, also keine von den Herstellern nicht zu realisieren-den Anforderungen enthalten.

Die Usability ist einem zeitlichen Wandel unterworfen, da sich die gesetzlichen Rahmenbedingungen zu der TI und ihren Anwendungen verändern. Mit Updates entwickeln sich die Systeme ihrerseits weiter und sind in ihrer Bewertung im TI-Score zu aktualisieren. Dies kann kontinuierlich durch die Hersteller erfolgen. Die gematik ihrerseits wird die Kriterien der TI-Scores in regelmäßigen Abständen bzw. bei relevanten Änderungen zu den Anwendungen ePA und eML in der Auswahl für die Usability relevanter Kriterien aktualisieren.