Methodischer Hintergrund

Um die Eignung der definierten Kriterien für die TI-Scores zu evaluieren, wurden diese anhand einer quantitativen Stichprobe überprüft. Dafür führte die gematik im Dezember 2025 eine Online-Befragung von Arztpraxen zu deren Nutzungserfahrungen ihrer Praxisverwaltungssysteme zur ePA und zur eML durch. Eingeladen zu dieser Befragung wurden Ärztinnen und Ärzte, die sich im Rahmen der jährlichen repräsentativen Befragung zur Wissenschaftlichen Evaluation zu weiteren Befragungen bereit erklärt hatten oder Teil der eHealth-Community der gematik sind. Die Stichprobe umfasst insgesamt 465 Ärztinnen und Ärzte mit Erfahrungen mit der ePA und der eML.

Die Kriterien der TI-Scores wurden durch das IGES Institut dahingehend statistisch analysiert, inwiefern sie sich auf die Bewertung der Alltagstauglichkeit der ePA bei den befragten Praxen auswirken. Im Rahmen dieser Analyse wurden für die ePA 22 und für die eML vier Kriterien identifiziert und für die TI-Scores ausgewählt, welche einen statistisch signifikanten Zusammenhang mit der eingeschätzten Alltagstauglichkeit haben. Diese Kriterien wurden als Usability-Kriterien in die Scores aufgenommen.

Eine multivariate Regressionsanalyse der Kriterien zur Voraussage der Alltagstauglichkeit zeigte zudem, dass für die ePA fünf Kriterien sowie für die eML zwei Kriterien als besonders relevant dafür eingeschätzt werden können, ob ein System als alltagstauglich eingestuft wird.

ePA:

1. Der Zugriff auf eine ePA ist auch ohne gesteckte eGK möglich, sofern (noch) eine Befugnis für den Zugriff vorliegt.
2. Der Zugriff auf die ePA erfolgt direkt nach Stecken der eGK im Hintergrund, sodass die Benutzeroberfläche nicht blockiert wird.
3. Beim Hochladen von Dokumenten in die ePA werden die Metadaten anhand der im PVS verfügbaren Daten vorbelegt.
4. Das Hochladen eines Dokuments in die ePA erfolgt im Hintergrund und die Benutzeroberfläche wird durch diesen Vorgang nicht blockiert.
5. Werden eAU mit KIM versendet, kann eingestellt werden, dass diese gleich-zeitig in die ePA gestellt werden sollen.

eML:

1. Daten der eML können, nach entsprechender Filterung bzw. Auswahl, mit einem Klick in die Primärdokumentation übernommen werden.
2. Für die eML-Daten stehen Filter- und Sortierfunktionen zur Verfügung. 

Diese Kriterien sind als Alltagstauglichkeitskriterien in den TI-Scores berücksichtigt. Für Befragte, die die Erfüllung der Kriterien weder als zutreffend noch als nicht zutreffend bewerten („weiß nicht“), wurde für die multivariate Regressionsanalyse ein einfaches Imputationsverfahren aus den anderen Befragungen bekannter Funktionen der jeweiligen PVS angewendet. Die Imputation erhöht die Anzahl der Praxen, die in die multivariate Regressionsanalyse eingeschlossen werden können, d. h. auch solche Praxen wurden in die multivariate Berechnung einbezogen, die bisher in den Testphasen mit einzelnen Aspekten noch keine Erfahrung gesammelt hatten und für diese Aspekte jedoch bereits bekannt ist, ob das jeweilige genutzte Praxisverwaltungssystem diesen Aspekt erfüllt. Eliminiert wurden in einem zweiten Schritt Kriterien, die in der multivariaten Analyse einen negativen Effekt auf die Alltagstauglichkeit aufzeigten, da diese offenkundig für die Nutzenden entweder widersprüchlich formuliert waren, oder im Vergleich zu anderen Kriterien einen Rückschritt bedeuten. 

Bei einigen Kriterien zeigte sich Multikollinearität, d. h. eine sehr starke Ähnlichkeit in der Bewertung mehrerer Kriterien. Dahingehende „doppelte“ Kriterien wurden aus der Analyse entfernt und diese nur dann in die TI-Scores übernommen, wenn sie inhaltlich stark unterschiedliche Funktionen beschreiben. 

Zusammenfassend wurden Kriterien nicht in die Scores aufgenommen, die keinen signifikanten Einfluss auf die wahrgenommene Alltagstauglichkeit der ePA aufwiesen, sehr große Ähnlichkeit mit anderen Kriterien aufwiesen („Multikollinearität“) oder einen negativen Einfluss auf das Alltagstauglichkeitskriterium zeigten. Die parallel direkt abgefragte Wichtigkeit der Kriterien wurde zur Validierung der Zusammenhangsanalysen herangezogen, standen jedoch nicht im Wiederspruch dazu. 

Die ePA-Kriterien sind umfangreich und werden daher aufgeteilt in der Darstellung auf der TI-Score-Website die Bereiche Zugriff & Ansicht, Herunterladen & Lesen von Dokumenten sowie Hochladen von Dokumenten dargestellt, jedoch in einem Score berücksichtigt. Für die eML wird ein separater TI-Score ausgewiesen (wie bereits die eAU bei KIM oder zukünftig der dgMP). Generell gilt, dass je mehr Kriterien erfüllt sind, desto alltagstauglicher die Anwendungen bewertet werden.

Alltagstauglichkeitskriterien

1. Der Zugriff auf die ePA erfolgt direkt nach Stecken der eGK im Hintergrund, sodass die Benutzeroberfläche nicht blockiert wird.
2. Der Zugriff auf eine ePA ist auch ohne gesteckte eGK möglich, sofern (noch) eine Befugnis für den Zugriff vorliegt.
3. Das Hochladen eines Dokuments in die ePA erfolgt im Hintergrund und die Benutzeroberfläche wird durch diesen Vorgang nicht blockiert.
4. Beim Hochladen von Dokumenten in die ePA werden die Metadaten anhand der im PVS verfügbaren Daten vorbelegt.
5. Werden eAU mit KIM versendet, kann eingestellt werden, dass diese gleichzeitig in die ePA gestellt werden sollen.

Usability-Kriterien

Zugriff & Ansicht:

1. Wenn eine Patientin oder ein Patient der ePA widersprochen hat, signalisiert das PVS den Widerspruch beim Stecken der eGK mit einer verständlichen Meldung.
2. Nutzern wird angezeigt, wie lange ein Zugriff auf die ePA (voraussichtlich) noch möglich ist.
3. Es gibt die Möglichkeit aus einer Vorschau in eine (Voll-)Ansicht des Dokuments zu wechseln.
4. Die Dokumentenübersicht in der Vorschau ist standardmäßig nach dem Erstellungsdatum der Dokumente sortiert.
5. Wenn ein neues Dokument in die ePA eingestellt wurde, wird dieses Dokument beim nächsten ePA-Zugriff als neu visuell hervorgehoben.
6. In der Dokumentenübersicht der ePA ist visuell hervorgehoben, wenn es von einem Dokument eine Neuversion gibt.

Herunterladen & Lesen:

1. In der ePA-Dokumentenübersicht ist zu erkennen, ob die ePA-Dokumente bereits in der lokalen Behandlungsdokumentation enthalten sind.
2. Aus der Dokumentenübersicht in der ePA ist, nach entsprechender Filterung bzw. Auswahl, eine ein-Klick-Übernahme von diesen Dokumenten in die lokale Behandlungsdokumentation möglich.
3. In der ePA-Dokumentenübersicht ist eine Auswahl mehrerer Dokumente möglich, um diese direkt und ohne ein vorheriges Lesen in die lokale Behandlungsdokumentation zu übernehmen.
4. Es können individuellen Suchfilter erstellt werden und diese als Standardfilter deklariert werden.
5. Dokumente können auch über „ähnliche“ Metadaten in der ePA gefunden werden (d. h. nicht nur präzise, sondern auch ähnliche Ergebnisse werden angezeigt, wie „Arztbrief“, „Arztbericht“, „Entlassungsbericht“ ).
6. Die ePA-Metadaten von nicht selbst eingestellten Dokumenten können geändert werden, ohne dass das Dokument heruntergeladen werden muss, d. h. es entsteht eine neue Version.
    

Hochladen:

1. Dokumente können jederzeit im aktuellen Dokumentenkontext in die ePA hochgeladen werden, z. B. beim Erstellen, Archivieren oder Scannen. Hierzu wandelt das PVS die Dokumente ggf. beim Upload im Hintergrund in ePA-kompatible Dokumente um.
2. In der lokalen Behandlungsdokumentation ist ersichtlich, welche eigenen Dokumente bereits in die ePA geladen wurden.
3. Falls ein zum Hochladen vorgesehenes Dokument bereits durch einen andere Leistungserbringer in die ePA eingestellt wurde, wird dies vom Primärsystem erkannt und nicht nochmal hochgeladen.
4. Vom PVS erstellte Dokumente werden im ePA-kompatiblen PDF/A-Format hochgeladen, ohne dass vor dem Upload eine lokale Zwischenspeicherung oder manuelle Konvertierung erforderlich ist.
5. Beim Versuch des Hochladens eines mit Widerspruch zum Hochladen gekennzeichneten Dokuments in die ePA wird eine Hinweismeldung ange-zeigt und das Hochladen unterbunden.
6. Die Kennzeichnung zum Widerspruch gegen das Hochladen eines Dokuments kann nach Anzeige eines Hinweises wieder entfernt werden.
7. Beim Hochladen von Dokumenten in die ePA können die vorbelegten Metadaten individuell angepasst werden.
8. Werden eArztbriefe mit KIM versendet, kann konfiguriert werden, dass diese gleichzeitig automatisiert in die ePA hochgeladen werden (unter Wahrung der gesetzlichen Vorgaben beim Upload, z. B. dem Umgang mit genetischen Analysen und Aufklärungspflichten über stigmatisierende oder diskriminierende Daten bzw. mögliche Widersprüche der Patient:innen). Diese Funktion kann im Einzelfall unterbunden werden.
9. Die Metadaten des Dokuments sind beim Hochladen in die ePA während des KIM-Versands mit den im PVS hinterlegten Stammdaten des Leistungserbringers und der Einrichtung vorbefüllt.
10. Für häufige in die ePA einzustellende Dokumentenarten können für die jeweiligen Metadaten passende Einträge zur Vorbelegung definiert werden, z. B. das Labor als Autor bei Laborbefunden.

Komfortfunktionen

• Eine gleichzeitige Darstellung der Dokumentenübersicht der ePA und der lokalen Behandlungsdokumentation ist möglich, z. B. Side2Side-Darstellung.
• Die Dokumentenübersicht in der ePA zeigt alle relevanten Metadaten an.
• Eine Volltextsuche in der ePA ist möglich (voraussichtlich ab Sommer 2026).
• Eine Volltextsuche in Kombination mit der Suche nach Metadaten in der ePA ist möglich (voraussichtlich ab Sommer 2026).
• Es wird eine Erfolgsmeldung nach dem Hochladen eines Dokuments in die ePA angezeigt, die aber keine Aktion des Nutzers erfordert (z. B. Wegklicken eines Fensters).
• Neben den Pflichtuploads kann für weitere Dokumentenarten eingestellt werden, dass diese mit Erstellung in die ePA hochgeladen werden.
• Kommt es zu einem Fehler beim Hochladen eines Dokuments in die ePA erfolgt ein erneuter Hochladeversuch im Hintergrund und ohne Nutzerinteraktion.
• Dokumente können nach deren Erstellung und vor Hochladen in eine Art internen „Wartestatus“ gesetzt werden, z. B. Dokumente in eine Aufgabenliste stellen, die erst nach ärztlichem Gespräch hochgeladen werden sollen.
• In einer Übersichtsliste ist der Uploadstatus der in die ePA hochzuladenden Dokumente erkennbar, z. B. für den aktuellen Tag bzw. das Datum des Hochladens.
• Noch nicht hochgeladene Dokumente können vom Nutzer aus der Übersichtsliste der hochzuladenden Dokumente wieder entfernt werden.
• Fremddokumente können im PVS in PDF/A konvertiert werden, um sie in die ePA hochladen zu können.
• Auch Texte aus KIM-Nachrichten, nicht nur Dokumente im Anhang, können optional auch als PDF/A in die ePA eingestellt werden.
• Widersprüche gegen das Hochladen von Dokumenten werden auch dann vom PVS umgesetzt, wenn das Dokument zum Widerspruchszeitpunkt noch nicht erstellt ist (z. B. Widerspruch des Patienten gegen das Hochladen des Arztbriefes oder der vollständige Brief wird erst später erstellt).

Alltagstauglichkeitskriterien

1. Daten der eML können, nach entsprechender Filterung bzw. Auswahl, mit einem Klick in die Primärdokumentation übernommen werden.
2. Für die eML-Daten stehen Filter- und Sortierfunktionen zur Verfügung.

Usability-Kriterien

1. Fremdverordnungen sind in der eML visuell hervorgehoben.
2. Die Anzeige der eML erfolgt im PVS auf Basis strukturierter Daten (nicht nur als statisches PDF-Dokument).
3. Aus der eML heraus können Folgeverordnungen erstellt werden.
4. Die Darstellungstiefe der eML-Daten kann eingestellt werden (z. B. ausklappbare Detailansichten).

eML-Readiness-Kriterium

• Die eML wird als PDF angezeigt.

Komfortfunktionen

• Das Primärsystem signalisiert beim Öffnen der ePA mit einer verständlichen Meldung, wenn ein Widerspruch gegen die Teilnahme am digital gestützten Medikationsprozess vorliegt, sodass kein Zugriff auf die elektronische Medikationsliste (eML) möglich ist.
• Die eML kann mit einem Klick aus der lokalen Patientenakte geöffnet werden.
• Einträge der eML, die sich im Vergleich zur letzten abgerufenen eML geändert haben (Aktualisierungen) sind visuell hervorheben

Der TI-Score bewertet die Usability der Praxisverwaltungssysteme aus Nutzersicht. Dies ist nicht mit einer Softwareergonomie-Prüfung gleichzusetzen, die in Laborbedingungen Praxisverwaltungssysteme auf dem Markt hinsichtlich definierter Usability-Kriterien unter experimentellen Bedingungen testet. Es wird vielmehr auf sozialwissenschaftlichen Standards beruhend mithilfe qualitativer und quantitativer Befragungen die Validität des Scores sichergestellt. Die Kriterien erfüllen die Anforderung einer statistischen Belastbarkeit dieser in Hinblick auf die Nutzerbewertung. Die Kriterien müssen zudem von mindestens einem Teil der Praxisverwaltungssysteme umgesetzt sein, also keine von den Herstellern nicht zu realisierenden Anforderungen enthalten.

Die Usability ist einem zeitlichen Wandel unterworfen, da sich die gesetzlichen Rahmenbedingungen zu der TI und ihren Anwendungen verändern. Mit Updates entwickeln sich die Systeme ihrerseits weiter und sind in ihrer Bewertung im TI-Score zu aktualisieren. Dies kann kontinuierlich durch die Hersteller erfolgen. Die gematik ihrerseits wird die Kriterien der TI-Scores in regelmäßigen Abständen bzw. bei relevanten Änderungen zu den Anwendungen ePA und eML in der Auswahl für die Usability relevanter Kriterien aktualisieren.