EU AI Act dla Ochrony zdrowia

Czym jest EU AI Act?

EU AI Act (Rozporządzenie Parlamentu Europejskiego i Rady w sprawie sztucznej inteligencji) to pierwsze na świecie kompleksowe prawo regulujące systemy sztucznej inteligencji, które weszło w życie w sierpniu 2024 roku. Regulacja wprowadza podejście oparte na poziomach ryzyka — od systemów o minimalnym ryzyku po systemy zakazane — nakładając konkretne obowiązki na twórców i użytkowników AI w zależności od potencjalnych skutków dla bezpieczeństwa i praw podstawowych obywateli. Celem rozporządzenia jest zapewnienie, że systemy AI stosowane w Unii Europejskiej są bezpieczne, przejrzyste i zgodne z wartościami europejskimi.

EU AI Act a branża Ochrona zdrowia

Sektor ochrony zdrowia należy do obszarów, na które EU AI Act wywiera największy wpływ. Systemy AI wspomagające diagnozowanie chorób, analizę wyników badań obrazowych, przewidywanie ryzyka pacjenta czy wspomaganie decyzji klinicznych zostały sklasyfikowane jako systemy wysokiego ryzyka. Oznacza to, że podlegają one najsurowszym wymaganiom regulacyjnym przed wprowadzeniem na rynek i w trakcie eksploatacji.

Przykłady bezpośredniego zastosowania regulacji w branży:

• Diagnostyka obrazowa oparta na AI — algorytmy analizujące zdjęcia rentgenowskie, tomografię komputerową lub rezonans magnetyczny w celu wykrywania nowotworów, chorób płuc czy zmian neurologicznych muszą spełniać wymogi przejrzystości i audytowalności.
• Systemy wspomagania decyzji klinicznych — narzędzia AI sugerujące lekarze wybór leczenia lub dawkowanie leków muszą być walidowane na odpowiednio reprezentatywnych zbiorach danych i dostarczać możliwości nadzoru przez człowieka.
• Monitorowanie pacjentów w trybie ciągłym — urządzenia IoT i algorytmy predykcyjne na oddziałach intensywnej terapii, które alarmują personel o pogorszeniu stanu pacjenta, wymagają dokumentacji technicznej i zarządzania ryzykiem.
• Chatboty i wirtualni asystenci medyczni — systemy prowadzące wstępny wywiad z pacjentem lub udzielające porad zdrowotnych muszą jasno informować użytkownika, że rozmawia z systemem AI.
• Systemy triażu w izbach przyjęć — algorytmy priorytetyzujące kolejność przyjęcia pacjentów na podstawie objawów i parametrów życiowych podlegają rygorystycznym wymogom dotyczącym danych treningowych i testowania.

Dla podmiotów leczniczych, producentów oprogramowania medycznego i dostawców technologii oznacza to konieczność fundamentalnego podejścia do wdrażania rozwiązań AI — nie jako narzędzia zwiększającego efektywność za wszelką cenę, lecz jako regulowanego produktu o bezpośrednim wpływie na życie i zdrowie ludzi.

Kluczowe wymagania

• Klasyfikacja ryzyka systemu AI — każda organizacja musi ocenić, czy jej rozwiązania AI wchodzą w zakres systemów wysokiego ryzyka zgodnie z Załącznikiem III do rozporządzenia. W ochronie zdrowia niemal wszystkie systemy wspomagające decyzje kliniczne automatycznie kwalifikują się do tej kategorii.
• Dokumentacja techniczna i rejestr systemów AI — dostawcy i wdrożeniowcy systemów wysokiego ryzyka muszą prowadzić szczegółową dokumentację techniczną obejmującą opis działania algorytmu, dane treningowe, metryki oceny i ograniczenia systemu.
• Zarządzanie jakością danych — dane wykorzystywane do trenowania i testowania systemów AI muszą być odpowiedniej jakości, reprezentatywne dla docelowej populacji pacjentów oraz wolne od błędów systematycznych, które mogłyby prowadzić do dyskryminacji lub błędnych diagnoz.
• Przejrzystość i wyjaśnialność — systemy AI wysokiego ryzyka muszą dostarczać wyjaśnień uzasadniających podejmowane decyzje w sposób zrozumiały dla personelu medycznego. Lekarz musi rozumieć, na jakiej podstawie algorytm zaproponował konkretne działanie.
• Nadzór ludzki — w każdym systemie wysokiego ryzyka muszą być wbudowane mechanizmy pozwalające personelowi medycznemu na interwencję, nadpisanie decyzji AI oraz wyłączenie systemu w nagłych przypadkach.
• Rejestracja w unijnej bazie danych — systemy AI wysokiego ryzyka stosowane w ochronie zdrowia muszą zostać zarejestrowane w unijnej bazie danych systemów AI prowadzonej przez Komisję Europejską.
• Monitorowanie po wprowadzeniu na rynek — dostawcy są zobowiązani do prowadzenia aktywnego monitorowania działania systemu w warunkach rzeczywistych i raportowania poważnych incydentów do właściwych organów krajowych.
• Cyberbezpieczeństwo i odporność systemu — systemy AI muszą być zaprojektowane tak, aby były odporne na próby manipulacji danymi wejściowymi, ataki adversarialne oraz awarie techniczne mogące zagrozić bezpieczeństwu pacjentów.
• Ocena zgodności przed wdrożeniem — przed wprowadzeniem systemu do użytku klinicznego konieczne jest przeprowadzenie formalnej oceny zgodności, często wymagającej udziału jednostki notyfikowanej.

Kroki wdrożenia w firmie z branży Ochrona zdrowia

1. Przeprowadzenie inwentaryzacji systemów AI — pierwszym krokiem jest zidentyfikowanie wszystkich systemów i narzędzi opartych na sztucznej inteligencji stosowanych w organizacji, w tym rozwiązań wbudowanych w oprogramowanie medyczne innych dostawców. Należy stworzyć centralny rejestr z opisem funkcji, danych wejściowych i obszaru zastosowania każdego systemu.
2. Klasyfikacja ryzyka każdego systemu — na podstawie Załącznika III do EU AI Act przypisz każdemu systemowi odpowiednią kategorię ryzyka. Skonsultuj się z prawnikiem specjalizującym się w prawie medycznym i regulacjach AI, aby uniknąć błędnej klasyfikacji, która może skutkować niedostateczną lub nadmierną zgodnością.
3. Audyt dostawców i umów — zweryfikuj, czy zewnętrzni dostawcy systemów AI spełniają wymagania EU AI Act. Zaktualizuj umowy z dostawcami, dodając klauzule dotyczące zgodności, dostarczania dokumentacji technicznej i obsługi incydentów. Dostawcy systemów AI wysokiego ryzyka są zobowiązani do współpracy z podmiotami wdrożeniowymi.
4. Opracowanie dokumentacji technicznej — dla każdego systemu wysokiego ryzyka stwórz kompletną dokumentację techniczną wymaganą przez rozporządzenie. Obejmuje ona opis architektury systemu, dane treningowe, metryki walidacji, ograniczenia systemu oraz procedury zarządzania ryzykiem.
5. Wdrożenie systemu zarządzania ryzykiem AI — ustanów ciągły proces identyfikacji, oceny i minimalizacji ryzyk związanych z systemami AI. System zarządzania ryzykiem powinien być integralną częścią istniejącego systemu zarządzania jakością w placówce medycznej i uwzględniać specyfikę ryzyk klinicznych.
6. Szkolenie personelu — przeszkol lekarzy, pielęgniarki, techników i personel administracyjny w zakresie prawidłowego korzystania z systemów AI, interpretacji ich wyników oraz procedur zgłaszania nieprawidłowości. Personel medyczny musi rozumieć ograniczenia AI i wiedzieć, kiedy nie należy opierać się na jego rekomendacjach.
7. Ustanowienie procedur nadzoru i raportowania incydentów — wdróż procedury monitorowania działania systemów AI w warunkach klinicznych oraz jasne ścieżki raportowania incydentów do organów krajowych. Każde poważne zdarzenie niepożądane, w którym system AI mógł odegrać rolę, musi zostać odpowiednio udokumentowane i zgłoszone.
8. Rejestracja w unijnej bazie danych — zarejestruj systemy AI wysokiego ryzyka w unijnej bazie danych, podając wymagane informacje o dostawcy, funkcji systemu i obszarze zastosowania klinicznego.
9. Cykliczne przeglądy zgodności — EU AI Act jest regulacją dynamiczną, a wymagania będą stopniowo wchodzić w życie do 2027 roku. Zaplanuj regularne, co najmniej roczne przeglądy zgodności z udziałem działu prawnego, IT, zarządzania jakością i klinicystów.

Najczęstsze pytania

Od kiedy EU AI Act obowiązuje podmioty z sektora ochrony zdrowia?

Rozporządzenie weszło w życie w sierpniu 2024 roku, jednak przepisy dotyczące systemów wysokiego ryzyka, do których zalicza się większość medycznych zastosowań AI, obowiązują od sierpnia 2026 roku. Zakazy stosowania niektórych systemów AI weszły w życie już w lutym 2025 roku, a pełna funkcjonalność regulacji obejmująca wszystkie kategorie systemów zostanie wdrożona stopniowo do 2027 roku. Podmioty lecznicze i dostawcy technologii medycznych powinni rozpocząć przygotowania natychmiast, nie czekając na ostateczne terminy.

Czy szpital kupujący gotowe oprogramowanie AI jest zwolniony z obowiązków wynikających z EU AI Act?

Nie. EU AI Act nakłada obowiązki zarówno na dostawców (twórców) systemów AI, jak i na wdrożeniowców (ang. deployers), czyli podmioty stosujące systemy AI w swojej działalności. Szpital jako wdrożeniowiec jest zobowiązany do weryfikacji zgodności systemu, zapewnienia odpowiedniego nadzoru ludzkiego, prowadzenia monitorowania pooperacyjnego oraz szkolenia personelu. Odpowiedzialność za zgodność jest podzielona i żadna ze stron nie może w pełni przenieść jej na drugą.

Jakie sankcje grożą za naruszenie EU AI Act w ochronie zdrowia?

Kary finansowe za naruszenie rozporządzenia są znaczące i skalują się w zależności od rodzaju naruszenia. Za stosowanie zakazanych systemów AI grozi kara do 35 milionów euro lub 7% globalnego rocznego obrotu przedsiębiorstwa — stosowana jest wyższa z tych kwot. Za naruszenie innych obowiązków dotyczących systemów wysokiego ryzyka kara wynosi do 15 milionów euro lub 3% obrotu. Poza sankcjami finansowymi organy nadzoru mogą nakazać wycofanie systemu z użytku, co w środowisku klinicznym oznacza poważne zakłócenia operacyjne.

Jak EU AI Act ma się do innych regulacji obowiązujących w ochronie zdrowia, takich jak MDR czy RODO?

EU AI Act działa równolegle do istniejących regulacji, nie zastępując ich. Systemy AI klasyfikowane jako wyroby medyczne podlegają jednocześnie rozporządzeniu MDR (Medical Device Regulation) i EU AI Act. Przetwarzanie danych pacjentów przez systemy AI objęte jest zarówno RODO, jak i AI Act. W praktyce oznacza to konieczność zintegrowanego podejścia do zgodności, które uwzględnia wszystkie obowiązujące regulacje, oraz ścisłą współpracę działów odpowiedzialnych za bezpieczeństwo wyrobów, ochronę danych i zarządzanie ryzykiem AI.

Podsumowanie

EU AI Act to przełomowa regulacja, która fundamentalnie zmienia zasady stosowania sztucznej inteligencji w ochronie zdrowia — i choć stawia przed organizacjami realne wyzwania, stanowi jednocześnie szansę na zbudowanie trwałego zaufania pacjentów i personelu do technologii AI. Podmioty, które potraktują zgodność z AI Act jako inwestycję w jakość i bezpieczeństwo, a nie jako biurokratyczny obowiązek, zyskają przewagę konkurencyjną i solidne fundamenty pod dalszy rozwój cyfrowy. Nie czekaj na ostatnie chwile przed wejściem w życie przepisów — zacznij inwentaryzację systemów AI i dialog z dostawcami już dziś.