WYTYCZNE DO PROGRAMÓW PILOTAŻOWYCH– PRZYGOTOWANIE I EWALUACJA
WYTYCZNE AGENCJI OCENY TECHNOLOGII MEDYCZNYCH I TARYFIKACJI Warszawa, 28 listopada 2023

Program pilotażowy (wdrożenie pilotażowe, pilotaż), projekt mający na celu wprowadzenie (wdrożenie) nowej techniki, rozwiązania lub metody, w wyznaczonych wcześniej obszarach w celu sprawdzenia, czy zaplanowane działania przynoszą pożądany skutek oraz zmniejszenia ryzyka niepowodzenia projektu realizowanego w pełnej skali i uzyskania opinii użytkowników. Interwencję w programach pilotażowych mogą stanowić technologie medyczne (zarówno lekowe jak i nielekowe) oraz rozwiązania organizacyjne.

Program pilotażowy vs naukowe badania eksperymentalne vs rutynowa praktyka
Program pilotażowy przeprowadzany jest przed wdrożeniem danej interwencji jako świadczenia gwarantowanego i ma na celu identyfikację podstawowych barier wdrożeniowych i określenie zasadności finansowania danej interwencji ze środków publicznych. Program pilotażowy nie jest typem badania klinicznego, mimo iż ma na celu weryfikację zdefiniowanych a priori założeń dotyczących skuteczności i bezpieczeństwa zaplanowanych interwencji.
Badanie kliniczne to badanie naukowe, mające na celu odkrycie lub potwierdzenie klinicznych, farmakologicznych, w tym farmakodynamicznych skutków działania jednej lub wielu technologii medycznych (lekowych lub nielekowych). Badania kliniczne prowadzi się według ściśle określonych zasad, przy zapewnieniu bezpieczeństwa pacjentowi (uczestnikowi badania) i poszanowania jego praw. Badania kliniczne dzieli się na badania eksperymentalne, badania obserwacyjne z grupą kontrolną, badania opisowe.

Należy rozważyć przeprowadzenie programu pilotażowego dla interwencji skutecznych klinicznie i efektywnych kosztowo, w sytuacjach gdy rozważane jest wprowadzenie danej technologii jako standardu w ochronie zdrowia.

Program pilotażowy pozwala na opracowanie rozwiązań wdrożeniowych oraz przetestowanie interwencji w sytuacjach, gdy zakres pełnego wdrożenia byłby wyzwaniem organizacyjnym i kosztowym. Program pilotażowy pozwala na szybką ocenę efektów w małej skali.

Program pilotażowy:
1) powinien pozwalać na obiektywną i wiarygodną ocenę testowanej interwencji i zasadności jej wdrożenia na szeroką skalę;
2) powinien pozwalać na ocenę wykonalności, kosztochłonności i czasochłonności wdrożenia interwencji na szeroką skalę;
3) umożliwia monitorowanie i weryfikację działań, tak aby dostarczyć informacji o najbardziej efektywnym rozwiązaniu (tj. rozwiązaniu pozwalającym na osiągnięcie najlepszych wyników zdrowotnych) oraz wskazać obszary, w których efektywność jest niepewna lub nieznana;
4) pozwala na identyfikację potencjalnych ryzyk i przeszkód przed wdrożeniem na szeroką skalę i zaproponowanie rozwiązań tak, aby uniknąć niepowodzenia wdrażając interwencję do systemu opieki zdrowotnej;
5) dostarcza informacji o wymaganych zasobach i pozwala na przygotowanie systemu opieki zdrowotnej przed wdrożeniem na szeroką skalę np. wyszkolenie personelu, zakup sprzętu;
6) pozwala na wczesną identyfikację potencjalnych nieprawidłowości i wprowadzanie modyfikacji, a nawet na zaprzestanie realizacji pilotażu (lub jego części), co jest trudne i czasochłonne w sytuacji, gdy świadczenie opieki zdrowotnej jest finansowane ze środków publicznych na szeroką skalę.

Cel główny programu pilotażowego określa co realizator zamierza osiągnąć poprzez jego realizację. Ze względu na cel można wskazać dwa główne rodzaje pilotaży:
• ocena skuteczności stosowania technologii (przy braku pewności co do efektu w pełnoskalowej implementacji),
• ocena wykonalności (feasibility study).
Formułując cel należy mieć na uwadze późniejsze wdrażanie rozwiązań do systemu opieki zdrowotnej, w szczególności korzyści dla pacjentów i/lub systemu opieki zdrowotnej wynikające z pełnoskalowej implementacji testowanego rozwiązania. Cel powinien być formułowany w powiązaniu z rodzajem planowanego programu pilotażowego.
Celem programu pilotażowego nie może być sam fakt jego przeprowadzenia. Pracę nad programem pilotażowym należy poprzedzić analizą stanu obecnego, z której powinna wynikać potrzeba wdrożenia pilotażu.

Pytania pomocnicze do formułowania celów:
1. Dlaczego i w jakim celu należy przeprowadzić pilotaż interwencji medycznej, jakie problemy zostaną rozwiązane lub zniwelowane?
2. Co zamierzmy osiągnąć?
3. W jaki sposób chcemy osiągnąć zdefiniowany cel pilotażu?
4. Czy istnieją alternatywne sposoby osiągnięcia zaplanowanego celu?
5. W za pomocą jakich wskaźników osiągnięcie celu zostanie wykazane?
6. Jakie działania muszą zostać podjęte, aby przetestować zaplanowane interwencje w programie?
7. Dla kogo jest dedykowany pilotaż, kto jest głównym interesariuszem do osiągnięcia celu realizacji? Opisując cele należy wziąć pod uwagę takie uzasadnienie pilotażu:
1. Ograniczanie ryzyka wprowadzenia nieefektywnego i kosztownego rozwiązania,
2. Walidacja teoretycznych rozwiązań,
3. Rozwój i ulepszenie ostatecznego rozwiązania,
4. Lepsze oszacowanie końcowych korzyści,
5. Zbudowanie relacji z interesariuszami, w tym identyfikacja ich oczekiwań,
6. Pozyskanie wiedzy o różnych aspektach wdrażania,
7. Określenie priorytetów.

Prawidłowo przygotowany protokół pilotażu powinien zawierać następujące elementy:
1. Uzasadnienie pilotażu, problem decyzyjny, problem zdrowotny,
2. Opis proponowanej interwencji oraz interwencji alternatywnych lub aktualnego schematu postępowania
3. Korzyści i potencjalne ryzyka programu pilotażowego
4. Cel programów pilotażowych i jego projektowanie
5. Model badawczy
6. Gromadzenie i analiza danych
7. Plan analizy statystycznej
8. Monitorowanie przebiegu programu pilotażowego (mierniki + wskaźniki)
9. Interesariusze
10. Lista działań i logistyka
11. Harmonogram
12. Opis zespołu przeprowadzającego pilotaż
13. Budżet i inne zasoby
14. Szkolenia i komunikacja
15. Zarządzanie ryzykiem i warianty działania
16. Otoczenie prawne i kwestie etyczne
17. Wymagana dokumentacja
18. Kryteria spełnienia celu programu pilotażowego i decyzji o wdrożeniu

Podczas analizy problemu zdrowotnego należy określić spodziewane rezultaty (zarówno zmiany ilościowe oraz jakościowe), a także oszacować długoterminowe skutki.

Cel pilotażu
Cele pilotażu powinny być skwantyfikowane, tj. opisane za pomocą wskaźników. Powinny one umożliwiać dokonanie pomiaru zmiany, która zaszła w wyniku realizacji zaplanowanych w programie interwencji. Definiowanie celów powinno być przeprowadzone zgodnie z koncepcją SMART, według której poprawnie sformułowany cel powinien być:
• swoisty (ang. specific) – jego zrozumienie nie powinno stanowić kłopotu, sformułowanie powinno być jednoznaczne i niepozostawiające miejsca na luźną interpretację,
• mierzalny (ang. measurable) – a więc tak sformułowany, by można było liczbowo wyrazić stopień realizacji celu, lub przynajmniej umożliwić jednoznaczną „sprawdzalność” jego realizacji,
• osiągalny (ang. achievable) – cel zbyt ambitny podkopuje wiarę w jego osiągnięcie i tym samym motywację do jego realizacji,
• istotny (ang. relevant) – cel powinien być ważnym krokiem naprzód, jednocześnie musi stanowić określoną wartość dla tego, kto będzie go realizował,
• określony w czasie (ang. time-bound) – cel powinien mieć dokładnie określony horyzont czasowy, w jakim zamierzamy go osiągnąć.

Cel główny
Zdefiniowanie celu głównego powinno odnosić się do ocenianych, weryfikowanych lub porównywanych interwencji w programie pilotażowym, określonej populacji i ewentualnie miejsca realizacji programu pilotażowego. Cel główny programu pilotażowego może dotyczyć między innymi:
• zaspokojenia potrzeb zdrowotnych zdefiniowanej populacji (w określonym stanie/ z określoną jednostką chorobową);
• potwierdzenia rzeczywistej skuteczności klinicznej i bezpieczeństwa interwencji w praktyce;
• oceny wykonalności realizacji danej interwencji w systemie opieki zdrowotnej (zdefiniowanie wymaganych zasobów).

Cele szczegółowe
Wśród celów szczegółowych pilotażu warto uwzględnić możliwość gromadzenia dodatkowych danych pozaklinicznych, takich jak dane: organizacyjne, administracyjne oraz operacyjne, a także zbiór praktyk i wdrożonych przez realizatora procedur. Mogą one stanowić podstawę do m.in. opracowania optymalnych warunków realizacji świadczenia w procesie legislacyjnym (np. wymagane kompetencje personelu, wymagany sprzęt i aparatura medyczna lub tryb i miejsce udzielania świadczeń) lub standardowych procedur operacyjnych dla świadczeniodawców.

Gromadzenie i analiza danych
Zakres zbieranych danych należy określić na etapie formułowania protokołu programu pilotażowego. Zmienne powinny odzwierciedlać cele i pozwolić na oszacowanie wskaźników, które zostały zdefiniowane na etapie projektowania protokołu programu.
Należy określić częstotliwość zbierania danych oraz poziom szczegółowości. Jeśli wykonywane są kilkukrotne pomiary tego samego parametru, należy zdefiniować czy w bazie danych powinny zostać umieszczone wyniki pojedynczych, kolejnych pomiarów, czy tylko wyniki początkowy i końcowy.
Wybór wskaźników powinien uwzględniać możliwość porównania ich z grupą kontrolną/ porównawczą tj. nieuczestniczącą w programie pilotażowym. Gromadzone zmienne powinny uwzględniać mierniki i wskaźniki (zarówno efektu jak i procesu) oraz źródła danych.

Monitorowanie przebiegu programu pilotażowego
Monitorowanie pilotażu powinno obejmować systematyczne zbieranie informacji dotyczących charakterystyki pacjentów, stosowanych interwencji, zużytych zasobów i uzyskiwanych efektów. Niezbędne jest zebranie szczegółowych danych charakteryzujących min.:
• populację (dane demograficzne, dane kliniczne),
• interwencję (np. rodzaje operacji stosowanych w programie pilotażowym, częstość rehabilitacji),
• pozostałe parametry odnoszące się do organizacji interwencji (np. czas oczekiwania na interwencję, czas trwania interwencji, niezbędny personel, niezbędne zasoby sprzętowe),
• bezpieczeństwa interwencji oraz leczenie zdarzeń niepożądanych
• inne terapie w trakcie oraz po zastosowaniu interwencji.
Należy monitorować liczebność populacji w programie pilotażowym, w tym odsetek pacjentów utraconych w trakcie pilotażu (tzw. attrition bias tj. selektywna utrata pacjentów, którzy mogą w sposób systematyczny różnić się od tych, którzy pozostają w programie). Należy raportować przyczyny zaprzestania udziału pacjenta w programie (np. rezygnacja z udziału, rezygnacja z powodu działań niepożądanych, wykluczenie pacjenta z powodu nie spełniania kryteriów włączenia).

Monitorowanie to instrument zarządzania programem, który powinien spełniać następujące warunki:
1. Standard powinien charakteryzować się:
a) ustaloną, jedną i niezmienną metodą (skala, jednostka, relacja) pomiaru,
b) ustaloną sekwencją – interwały (1/rok, 1/kwartał).
2. Cykliczna analiza danych jakościowa/ilościowa.
3. Raport z monitoringu (np. kwartalny, półroczny, roczny), powinien być w każdym roku tak samo skonstruowany, a zestawienia i wykresy powinny być generowane w taki sam sposób, co umożliwi porównanie oraz agregację danych na potrzeby ewaluacji.
4. Monitorowanie powinno pozwolić na identyfikacje ryzyk i nieprawidłowości i w razie potrzeby wdrożenie modyfikacji w protokole programu pilotażowego.

Interesariusze
Interesariusze projektu to wszystkie osoby lub grupy osób, na które określony projekt oddziałuje.
W programie pilotażowym należy zidentyfikować interesariuszy, którzy będą w nim uczestniczyć, mieć wpływ na jego realizację, lub na których działania przewidziane w programie mogą wpływać bezpośrednio lub pośrednio. Interesariusze projektu to wszystkie osoby lub grupy, na które określony projekt może oddziaływać podczas trwania lub po jego zakończeniu.
Interesariuszy można podzielić na:
• interesariuszy wewnętrznych projektu tj. osoby, wobec których odpowiedzialność za wykonanie projektu ponosi kierownik projektu,
• interesariuszy zewnętrznych, którymi mogą być pacjenci, dostawcy, pośrednicy, władze, media czy przedstawiciele zawodów, np. lekarze, ratownicy medyczni czy pielęgniarki.

Narzędziem służącym do określenia wpływu interesariuszy na projekt jest tzw. mapy interesariuszy. Aby wykonać mapę interesariuszy należy:
1. Dokonać identyfikacji interesariuszy poprzez przygotowanie odpowiedzi m.in. na następujące pytania:
• Kto może wpłynąć na dany program pilotażowy?
• Na kogo ma wpływ dany program pilotażowy?
• Komu może zależeć na danym programie pilotażowym?
• Kto może odrzucić dany program pilotażowy?
2. Dokonać identyfikacji potrzeb lub oczekiwań interesariuszy poprzez przygotowanie odpowiedzi m.in. na poniższe pytania:
• Jakie są potrzeby danej grupy interesariuszy?
• Jaka jest podstawa formalno-prawna (prawo krajowe i międzynarodowe) zaangażowania danego interesariusza?
• Jaka jest podstawa ekonomiczna zaangażowania danego interesariusza?
• Czy interesariusze mają wpływ aktywny lub bierny na program pilotażowy?
• Czy i jak program pilotażowy może wpływać na interesariuszy?
• Jakiego poziomu i sposobu komunikacji oczekują interesariusze?
3. Określić poziomy wpływu/zainteresowania interesariuszy w projekcie, poprzez przygotowanie siatki wpływu-zainteresowania, które polega ona przypisaniu kategorii dla każdej z grup interesariuszy według wzoru:
• Wysoki wpływ i wysokie zainteresowanie
• Wysoki wpływ i niskie zainteresowanie
• Niski wpływ i wysokie zainteresowanie
• Niski wpływ i niskie zainteresowanie

Budżet i inne zasoby
Program pilotażowy należy prowadzić w warunkach realnej praktyki klinicznej z wykorzystaniem istniejących zasobów opieki zdrowotnej oraz źródeł i poziomu finansowania świadczeń.
Przygotowując programy pilotażowe mające na celu zmiany organizacyjne dotyczące udzielania świadczeń lub zmiany mające wpływ na standard postępowania oraz praktykę kliniczną, należy dokonać oceny stanu finansowania rozwiązań obecnie istniejących z jednoczesną próbą przedstawienia modelu docelowego. Istotne jest aby projektowane i testowane w pilotażu rozwiązania dotyczące organizacji i sposobu finansowania, przedstawiały ich konsekwencje dla systemu.

Należy przedstawić oszacowanie całkowitego budżetu programu pilotażowego wraz z wyszczególnieniem kategorii kosztowych (np.: personel, infrastruktura, inne zasoby). Planowane wydatki w ramach pilotażu powinny być udokumentowane, a następnie monitorowane.

Sposób finansowania i jego zakres mają istotny wpływ na realizację zadań w programie pilotażowym. Przygotowując projekt pilotażu należy opisać proponowany sposób jego finansowania (np. stawka kapitacyjna, ryczałt, fee for service, mix) i rozliczania interwencji lub modelu organizacji udzielania świadczeń (adekwatny do obowiązujących zasad finansowania świadczeń gwarantowanych), a także wskazać podmiot zobowiązany do finansowania programu pilotażowego.
Proponowany sposób finansowania powinien być możliwy do wdrożenia w ramach obowiązujących przepisów prawa. W projekcie należy przedstawić koszty jego realizacji, na które składają się koszty poszczególnych składowych mających wpływ na budżet programu m.in. produktów rozliczeniowych, wynikających z zaproponowanego sposobu finansowania. W kalkulacji proponowanych produktów rozliczeniowych należy uwzględnić:
• koszty korzystania z infrastruktury (pomieszczeń, aparatury oraz innego sprzętu wraz z kosztami serwisu);
• koszty osobowe personelu zaangażowanego w udzielanie świadczeń;
• koszty niezbędnych produktów leczniczych, wyrobów medycznych oraz procedur diagnostycznych i leczniczych;
• koszty pośrednie związane z obsługą programu (np. stanowiska sekretarskie, pracowników rozliczających z NFZ zrealizowane świadczenia, pracowników administracji, wymaganych ubezpieczeń oraz wszelkie pozostałe koszty niebezpośrednio związane z interwencją ), wskazując źródło cen jednostkowych przyjętych do kalkulacji.
Przy szacowaniu kosztów interwencji diagnostycznych lub terapeutycznych należy uwzględnić Rozporządzenie Ministra Zdrowia w sprawie zaleceń dotyczących standardu rachunku kosztów u świadczeniodawców.

Szkolenia i komunikacja
W protokole pilotażu należy określić zakres niezbędnych szkoleń personelu (medycznego i niemedycznego) na wszystkich etapach opracowania, realizacji oraz ewaluacji programu pilotażowego. Jeśli interwencja tego wymaga należy zaplanować stworzenie rejestru lub systemu sprawozdawczości dla którego należy opracować instrukcje lub standardową procedurę operacyjną. Należy wskazać niezbędne narzędzia i zasady komunikacji tj. plan komunikacji pomiędzy osobami zaangażowanymi w proces. Podczas przygotowywania planu komunikacji w projekcie, należy ustalić, kto jest włączony w proces komunikacji, co jednocześnie pozwoli na identyfikację interesariuszy zewnętrznych i wewnętrznych projektu. Plan komunikacji wymienia i wyjaśnia podstawowe rodzaje komunikacji w projekcie oraz formę w jakiej jest ona realizowana. Plan komunikacji powinien ewoluować w trakcie trwania projektu.

Należy rozważyć czy decyzja o przeprowadzeniu programu pilotażowego może powodować wątpliwości społeczne, w szczególności czy może:
1. Negatywnie wpływać na poziom satysfakcji pacjentów z otrzymywanej opieki medycznej.
2. Grozić niezaakceptowaniem postępowania przez poszczególnych uczestników.
3. Powodować stygmatyzację.
4. Wywoływać lęk
5. Powodować dylematy moralne.
6. Stwarzać problemy dotyczące dyskryminacji płci lub naruszające powszechnie przyjęte normy społeczne.

Wynik badania pilotażowego i kryteria sukcesu

Ocena wyników pilotażu

Definiowanie wskaźników
Należy zdefiniować i określić wskaźniki, służące ilościowej ocenie stopnia realizacji pilotażu. Wskaźnik służy ilościowej ocenie stopnia realizacji celu. Poszczególne wskaźniki definiowane mogą być w kontekście struktury, procesu oraz wyniku, przez co służą stworzeniu standardów w wybranych obszarach klinicznych, odnoszących się do postępowania z pacjentem. Wskaźniki jakości mogą służyć jako punkty odniesienia, dzięki którym podmioty świadczące opiekę zdrowotną, płatnicy i decydenci mogą ocenić poziom jakości i zmienność udzielanych świadczeń. Innym pojęciem jest miernik, który stanowi narzędzie pomiarowe danej cechy lub zmiennej i wykorzystywany może być do obliczenia wskaźników.
Wskaźniki odnoszą się bezpośrednio do efektów interwencji i służą do pomiaru stopnia osiągniecia założonego celu realizowanego programu pilotażowego.

Cechy wskaźników
Definicja wskaźnika obejmować powinna jego opis i uzasadnienie dla jego użycia, opis mierników będących podstawą jego wyliczenia, a także sposób ich obliczenia oraz wskazanie wartości lub przedziałów docelowych. Definiując wskaźniki należy zapewnić, że posiadają następujące cechy:
• odpowiadają na każdy wskazany cel pilotażu;
• posiadają wartość dodaną dla pacjenta lub dla analizowanego problemu w przypadku pilotaży dotyczących sposobu organizacji świadczeń;
• łatwość pomiaru przez klinicystę, obserwatora lub pacjenta;
• obiektywność i interpretowalność;
• możliwość walidacji i udokumentowaną wiarygodność.

Wybór i określenie wskaźników
Zaleca się, aby dla każdego wskaźnika przyjętego do monitorowania wskazane zostały dowody naukowe uzasadniające jego wybór.
Zrozumienie uwarunkowań danej technologii medycznej ma kluczowe znaczenie dla jej wdrożenia, dlatego wśród gromadzonych informacji zaleca się uwzględnienie wskaźników odnoszących się do:
• efektów klinicznych,
• efektów pozaklinicznych,
• efektów ekonomicznych i finansowych wdrożenia technologii,
• efektów organizacyjnych z perspektywy podmiotu leczniczego i systemu ochrony zdrowia.
Dla oceny technologii medycznej oraz jej kwalifikacji jako świadczenia gwarantowanego kluczowe znaczenie ma pozyskanie informacji dotyczących efektów klinicznych. Wskaźniki dotyczące efektów klinicznych powinny odnosić się do istotnych klinicznie zdarzeń związanych z zastosowaniem technologii, np. umieralności, przebiegu/nasilenia choroby, zależnej od zdrowia jakości życia oraz bezpieczeństwa. W przypadku technologii nielekowych możliwości zdefiniowania punktów końcowych dotyczących efektów klinicznych mogą być ograniczone, dlatego można należy rozważyć zastosowanie punktów zastępczych, tzw. surogatów.
Jeśli zastosowane zostały surogaty, powinny one dotyczyć parametrów klinicznych przebiegu choroby, przy czym, należy wykazać ich związek z klinicznie istotnymi punktami końcowymi. Walidacja wskaźników surogatowych powinna być dokonana w odniesieniu do rozpatrywanego problemu zdrowotnego.

Wskaźniki dotyczące efektów (skutków) pozaklinicznych wdrożenia technologii powinny odnosić się do wpływu na organizację opieki i praktykę kliniczną, w tym na wytyczne, procesy, standardy kliniczne lub realizację programu wdrożenia. Istotne jest, aby wybrane wskaźniki odnosiły się np. do:
• możliwości implementacji technologii do istniejących uwarunkowań i zasobów,
• optymalizacji procesu terapeutycznego,
• organizacji jej wdrożenia w systemie,
• zgodności zasad jej zastosowania z zaleceniami producenta.
Wskaźniki dotyczące efektów finansowych odnoszą się do kosztów oraz oszczędności wynikających ze zużycia technologii medycznych w procesie terapeutycznym. W ocenie efektów finansowych należy wziąć pod uwagę istotne i różniące się kategorie finansowe związane z zastosowaniem technologii, takie jak na przykład: koszty podania lub zastosowania technologii (bezpośrednie i pośrednie koszty związane z zastosowaną technologią szczegółowo opisane w rozdziale 1.13), koszty monitorowania i oceny skutków technologii, koszty zdarzeń niepożądanych, koszty innych zasobów opieki zdrowotnej zużywanych w analizowanym problemie zdrowotnym (np. leczenie uzupełniające, rehabilitacja).
Efekty finansowe mogą być również związane ze skutkami dla systemu opieki zdrowotnej, które wynikają pośrednio z zastosowania technologii, np. zmniejszenie liczby absencji chorobowych czy zmniejszone koszty organizacyjne udzielanych świadczeń związane z usprawnieniem dotychczasowych procesów.
W definicji wskaźnika finansowego należy określić perspektywę podmiotu zobowiązanego do finansowania świadczenia, którego koszt jest sprawozdawany i rozliczany. Zaleca się co najmniej uwzględnienie perspektywy płatnika publicznego, perspektywę świadczeniobiorcy, perspektywę świadczeniodawcy oraz dla niektórych kategorii kosztów (np. kosztów pośrednich) perspektywę społeczną.

Wskaźniki dotyczące organizacji podmiotu prowadzącego działalność leczniczą lub udzielania świadczenia pozwalają na zrozumienie determinant kluczowych dla wdrożenia nowego świadczenia opieki zdrowotnej, odnosząc się do:
• możliwości dostosowania świadczenia do lokalnych potrzeb,
• możliwości stosowania technologii w życiu codziennym,
• zgodności technologii z normami i standardami, w tym ewentualnej możliwości ich dostosowania do technologii,
• dopasowania technologii do wartości i priorytetów, które mogą wpływać na implementację,
• trudności we wdrożeniu technologii lub jej komponentów,
• kosztów (względnych i bezwzględnych) wdrożenia.

Dokonując selekcji mierników i wskaźników należy zadbać, by pozwalały one na ocenę technologii i wyników pilotażu. Uzyskane w warunkach krajowej praktyki klinicznej dane mogą zostać wykorzystane w procesie kwalifikacji świadczeń opieki zdrowotnej jako świadczeń gwarantowanych, a także do innych procesów refundacyjnych.

Ocena pilotażu powinna zostać przeprowadzona w sposób szeroki, obejmując:
1. Analizę protokołu pilotażu – identyfikacja sukcesów i ryzyk.
2. Ocenę finansowa pilotażu i identyfikacja kosztów.
3. Identyfikację dodatkowych czynników, mających wpływ na wynik pilotażu,
4. Ocenę jakościowa zdefiniowanych ról i odpowiedzialności oraz zaangażowania uczestników.
5. Nabyte w ramach pilotażu umiejętności i wypracowane protokoły/standardy.
6. Ocenę zarzadzania ryzykiem (w tym analiza problemów i wyzwań w trakcie trwania pilotażu).
7. Ocenę narzędzi pomiarowych (m.in. mierników i technologii zbierania danych).
8. Informację zwrotne od interesariuszy.
9. Analizę dodatkowych korzyści (nie przewidzianych w planie pilotażu).

Ewaluacja
Celem ewaluacji jest ocena efektywności, skuteczności oddziaływania, trwałości i zgodności projektu w kontekście założeń. Ewaluacja nie jest audytem, ani monitoringiem, są to odrębne procesy. Jednakże dane uzyskane na etapie monitorowania stanowią podstawę ewaluacji. Cele ewaluacji powinny odnosić się do pytań badawczych oraz oceny użyteczności, skuteczności, efektywności i bezpieczeństwa testowanych w programie pilotażowym rozwiązań.
Należy zdefiniować, na jakich etapach będzie prowadzona ewaluacja. Ewaluacja powinna być przeprowadzona, co najmniej, po zakończeniu realizacji pilotażu. Ewaluację można również prowadzić w czasie trwania programu/śródokresowo (ongoing lub interim).
Ewaluacja odnosi się do celów pilotażu zdefiniowanych a priori i określa poziom ich osiągnięcia. Ewaluacja powinna obejmować analizę zaplanowanych wskaźników wraz z ich interpretacją, a także opisem wybranych metod analiz (analiza danych zastanych, metody jakościowe, metody ilościowe). Ewaluacja powinna obejmować analizę kompletności oraz ewentualne ograniczenia danych (np. w sytuacji gdy nie są zbierane lub dostępne dane z pomiarów klinicznych ocena wykonalności i użyteczności wyników zbieranych np. samodzielnie przez pacjenta), ograniczenia analiz i zidentyfikowane ryzyka podczas realizacji programu. Ewaluacja powinna mieć formę raportu z realizacji programu. Ewaluacja może być prowadzona w trakcie trwania programu (śródokresowo). Można rozważać wprowadzenie działań programu na szerszą skalę jeśli wyniki ewaluacji wskazują, że cele osiągane są zgodnie z planem lub efekty testowanych interwencji osiągane są w czasie szybszym niż zaplanowany oraz przy braku występowania istotnych nieprawidłowości i ryzyk. W przypadku wykrycia nieprawidłowości lub gdy program nie osiąga założonych celów monitorowania śródokresowego możliwa jest realizacja działań naprawczych.

EWALUACJA PROGRAMU PILOTAŻOWEGO W CENTRACH ZDROWIA PSYCHICZNEGO

Rozporządzenie w sprawie programu pilotażowego w centrach zdrowia psychicznego z dnia 27 kwietnia 2018 roku.

Aktualnie obowiązujący tekst na stronie Biura Pilotażu NPOZP /link/

§ 2 Użyte w rozporządzeniu określenia oznaczają:
8) ryczałt na populację - sposób finansowania świadczeń opieki zdrowotnej objętych pilotażem określony jako iloczyn liczby osób powyżej 18. roku życia zamieszkujących obszar działania centrum i stawki rocznej na osobę.
​
§ 3 Celem pilotażu jest przetestowanie środowiskowego modelu psychiatrycznej opieki zdrowotnej opartego na centrach zdrowia psychicznego w aspektach organizacji, finansowania, jakości oraz dostępności do świadczeń opieki zdrowotnej.

​§ 29. 1. Do wskaźników realizacji pilotażu zalicza się:
1) ustaloną na podstawie numerów PESEL liczbę świadczeniobiorców korzystających ze świadczeń centrum w okresie roku;
2) ustaloną na podstawie numerów PESEL liczbę świadczeniobiorców przyjętych, liczbę osób leczonych (sumę pobytów) oraz liczbę osobodni – dla oddziału psychiatrycznego w okresie roku;
3) ustaloną na podstawie numerów PESEL liczbę świadczeniobiorców przyjętych, liczbę osób leczonych (sumę pobytów) oraz liczbę osobodni – dla oddziału dziennego psychiatrycznego w okresie roku;
4) liczbę świadczeniobiorców objętych świadczeniami opieki zdrowotnej o charakterze czynnym w okresie roku;
5) liczbę świadczeniobiorców objętych świadczeniami opieki zdrowotnej o charakterze ambulatoryjnym krótkoterminowym (do 4 tygodni) i długoterminowym w okresie roku;
6) liczbę świadczeń domowych lub środowiskowych (wizyt, porad, sesji lub interwencji) w okresie roku;
7) przeciętną liczbę dni od zgłoszenia się świadczeniobiorcy do PZK do kontaktu z lekarzem zapoczątkowującego proces diagnostyczny oraz plan terapii, w okresie roku;
8) liczbę hospitalizacji bez zgody wykonanych na podstawie art. 23, art. 24, art. 28 i art. 29 ustawy z dnia 19 sierpnia 1994 r. o ochronie zdrowia psychicznego w okresie roku;
9) liczbę i czas trwania zastosowań przymusu bezpośredniego w formie unieruchomienia i izolacji w okresie roku;
10) liczbę skierowań do objęcia leczeniem w ramach świadczeń opiekuńczo-leczniczych psychiatrycznych dla dorosłych
oraz pielęgnacyjno-opiekuńczych psychiatrycznych dla dorosłych;
11) [2018] ocenę jakości i dostępności świadczeń oraz zadowolenia z nich na podstawie sondażu obejmującego populację poszczególnych obszarów działania centrów przeprowadzonego przez niezależny ośrodek na zlecenie dyrektorów oddziałów wojewódzkich Funduszu w ramach środków przeznaczonych na finansowanie pilotażu oraz po każdym roku realizacji pilotażu; Prezes Funduszu zapewnia możliwość porównania danych gromadzonych przez dyrektorów oddziałów wojewódzkich.
11)[od 2022] ocenę jakości i dostępności do świadczeń opieki zdrowotnej, którą przygotowuje Centrala Funduszu przy współpracy z Biurem do spraw pilotażu Narodowego Programu Ochrony Zdrowia Psychicznego funkcjonującym przy Instytucie Psychiatrii i Neurologii w Warszawie. 
[2022] § 29 ust. 1 pkt 11 w brzmieniu rozporządzenia z dnia 6.10.2022 r. (Dz.U. z 2022 r. poz. 2079), które wchodzi w życie 12.10.2022 r.
2. Ocenie podlegają coroczne wartości wskaźników oraz ich porównanie w perspektywie rok do roku oraz w ostatnim
roku pilotażu dynamika zmian w perspektywie trzyletniej.
3. Dane, o których mowa w ust. 1 pkt 1–10, przedstawia się odrębnie dla osób powyżej 18. roku życia zamieszkałych
na obszarze działania centrum oraz dla pozostałych osób.
§ 30.
1. [2018] Pomiar wskaźników oraz ocena wyników pilotażu są dokonywane przez Fundusz na podstawie informacji
zawartych w raporcie dla każdego centrum odrębnie oraz w porównaniu do innych centrów realizujących pilotaż.
1.[od 2022] Pomiar wskaźników jest dokonywany przez Fundusz na podstawie informacji zawartych w raporcie dla każdego centrum odrębnie oraz przez porównanie do innych centrów realizujących pilotaż.
[2022] § 30 ust. 1 w brzmieniu rozporządzenia z dnia 6.10.2022 r. (Dz.U. z 2022 r. poz. 2079), które wchodzi w życie 12.10.2022 r.
2. Świadczeniodawca prowadzący centrum przekazuje informacje o aktualnych wskaźnikach oddziałowi Funduszu w formie raportu nie później niż do końca miesiąca następującego po każdych 6 miesiącach realizacji umowy o realizację pilotażu.
3. [2018] Fundusz przekazuje ministrowi właściwemu do spraw zdrowia kopię sporządzonego przez siebie raportu
zawierającego analizę i ocenę wskaźników realizacji pilotażu wykonanego okresowo, każdorazowo po jego wykonaniu lub
aktualizacji.
3.[od 2022] Fundusz przekazuje ministrowi właściwemu do spraw zdrowia kopię sporządzonego przez siebie raportu zawierającego analizę wskaźników realizacji pilotażu po jego wykonaniu lub aktualizacji.
§ 31.
Pomiarowi wskaźników oraz ocenie wyników, o których mowa w niniejszym rozporządzeniu, zostają poddane,
na wniosek ich realizatorów (świadczeniodawców), programy dotyczące świadczeń opieki zdrowotnej z zakresu opieki
psychiatrycznej i leczenia uzależnień niebędące programami pilotażowymi w rozumieniu przepisów ustawy z dnia
27 sierpnia 2004 r. o świadczeniach opieki zdrowotnej finansowanych ze środków publicznych i niniejszego
rozporządzenia, o ile spełniają kryteria zakresu oraz warunków i organizacji realizacji świadczeń opieki zdrowotnej
wynikające z niniejszego rozporządzenia i założenia Narodowego Programu Ochrony Zdrowia Psychicznego. Rezultat
pomiaru wskaźników oraz oceny wyników tych programów jest równorzędny z pomiarem wskaźników oraz oceną
wyników pilotażu w rozumieniu niniejszego rozporządzenia i jest traktowany analogicznie jak wynik pilotażu.