Ewaluacja projektu to proces systematycznej oceny wartości i efektów projektu – krótko mówiąc, sprawdzenie na ile projekt osiągnął swoje cele i jak przebiegał[157]. Dzięki ewaluacji możemy wyciągnąć wnioski na przyszłość, dowiedzieć się co zadziałało, a co można poprawić. Ewaluacja daje odpowiedź na pytanie: “czy i w jakim stopniu udało nam się zrobić to, co zamierzaliśmy, oraz jaki ma to wpływ na otoczenie?”[158].
Cele ewaluacji: – Ocenienie przebiegu i rezultatów projektu – czy działania zostały zrealizowane zgodnie z planem (ewaluacja procesu), czy osiągnięto zakładane wyniki (ewaluacja rezultatów)[159]. – Ocena wpływu i efektów długoterminowych – czy projekt przyniósł trwałe zmiany w grupie docelowej czy społeczności (ewaluacja wpływu)[160]. – Ustalenie, co zadziałało dobrze, a co nie – by wyciągnąć lekcje. – Uzasadnienie wydatkowania środków – dla sponsorów (rozliczenie merytoryczne). – Budowanie wiedzy – wyniki ewaluacji mogą posłużyć przy planowaniu kolejnych projektów (dla nas i innych). – Komunikacja z interesariuszami – pokazanie wyników, by budować poparcie i zaufanie.
Jak wskazano, “Ewaluacja pozwala na ocenę przebiegu, efektywności oraz długoterminowego wpływu projektu; dostarcza cennych informacji do poprawy przyszłych projektów”[157].
Rodzaje ewaluacji: – Ewaluacja ex-ante (przed rozpoczęciem) – nie dotyczy nas tu, bo to raczej ocena potrzeb i planu (nasza diagnoza to trochę taka pseudoewaluacja początkowa). – Ewaluacja cząstkowa / bieżąca (on-going) – to w zasadzie monitoring/ewaluacja procesu. Jak w module C, służy bieżącemu doskonaleniu (np. co kwartał oceniamy postęp)[161]. – Ewaluacja końcowa (ex-post) – przeprowadzana po zakończeniu projektu, ocenia w jakim stopniu osiągnięto cele i założone rezultaty[162]. – Ewaluacja wpływu/długoterminowa – ocenia trwały efekt po pewnym czasie (np. rok, kilka lat po projekcie)[163]. Często robi ją już nie sama organizacja (bo brak środków), a np. sponsor lub niezależni badacze, jeśli projekt duży (np. programy ministerialne czasem zamawiają takie ewaluacje).
W naszym kontekście kluczowa jest ewaluacja końcowa, z elementami ewaluacji procesu i ewentualnie plany ewaluacji odroczonej (np. wrócimy do uczestników po 6 miesiącach z ankietą, by zobaczyć co z projektu zostało).
Co ewaluujemy (kryteria): – Skuteczność (osiągnięcie celów) – czy cele zostały zrealizowane, wskaźniki osiągnięte? Jeśli nie w pełni, to w jakiej części i czemu?[158] – Efektywność (stosunek nakładów do wyników) – czy zaangażowane środki (czas, pieniądze) przełożyły się na odpowiednie rezultaty? Czy mogło być taniej/lepiej? – Adekwatność (trafność) – czy działania były dobrze dobrane do problemu i potrzeb? Czy projekt rzeczywiście odpowiadał na zdiagnozowany problem? – Wpływ – jakie zmiany nastąpiły dzięki projektowi (w wiedzy, postawach uczestników, w społeczności)? Jaki długofalowy efekt?[164] – Użyteczność – czy beneficjenci odnieśli z projektu realne korzyści? Czy metody były przydatne? – Trwałość – co się utrzyma po projekcie (to wiąże się z modul D, ale można badać). – Zarządzanie/proces – jak oceniamy organizację projektu: planowanie, komunikację, partnerstwo, zaangażowanie uczestników? – Równość/dostępność – czy projekt był inkluzywny? (np. dziewczęta vs chłopcy skorzystali równie, czy były bariery?). – Nieprzewidziane rezultaty – może wystąpiły jakieś efekty uboczne (pozytywne lub negatywne), np. nowa współpraca się zawiązała (super) albo konflikt powstał (oby nie).
Metody ewaluacji: Żeby zebrać informacje, stosuje się różne metody badań: – Ankiety ewaluacyjne – popularne, bo można objąć wiele osób naraz i ująć wyniki liczbowo (np. ocena na skali 1-5). Wypełniane anonimowo przez uczestników na koniec projektu lub każdego komponentu[165]. Pytamy o zadowolenie, o ocenę kompetencji przed vs po, co im się podobało, co można ulepszyć. – Wywiady indywidualne lub grupowe (FGI) – dają pogłębiony obraz, szczególnie od kluczowych interesariuszy[165]. Np. wywiad z dyrektorem szkoły: co projekt zmienił z perspektywy instytucji? Albo grupowa dyskusja z uczestnikami – zebrać opinie. – Obserwacja – ewaluator może obserwować np. jedno z działań i ocenić jakość (wedle kryteriów)[166]. Lub obserwować zmianę w zachowaniach beneficjentów (np. czy po projekcie radni młodzieżowi zabierają głos – obserwujemy sesję). – Analiza dokumentów – np. analizujemy dokumenty powstałe w projekcie, listy obecności, protokoły, statystyki wykonania, by ocenić wskaźniki i zgodność z planem[167]. – Testy wiedzy/umiejętności – przed i po projekcie, by mierzyć przyrosty (to często przy ocenie skuteczności szkoleń)[168]. – Studia przypadków – opisujemy kilka historii konkretnych uczestników przed i po, by zilustrować wpływ (szczególnie w narracyjnych raportach). – Metody partycypacyjne – np. ewaluacja z udziałem samych uczestników, którzy oceniają projekt (poszukiwanie plusów, minusów w grupie, np. metoda warsztatowa “plusey i delta” itp.). To buduje poczucie współwłasności i często daje cenne wglądy.
Często stosuje się kombinację metod (triangulacja), by zebrać różnorodne dane – ilościowe (z ankiet/testów) i jakościowe (z wywiadów/obserwacji)[165].
Kto przeprowadza ewaluację: – Ewaluacja wewnętrzna (samoewaluacja) – wykonywana przez zespół projektu[169][170]. Zaleta: znamy projekt, zrobimy tanio; wada: mniej obiektywna, możemy mieć blind spoty. W mniejszych projektach standard. – Ewaluacja zewnętrzna – zlecona niezależnemu ewaluatorowi (firmie, ekspertowi)[170]. Zaleta: profesjonalizm i obiektywizm (przynajmniej formalny), szersze spojrzenie; wada: koszt, i outsider może nie do końca zrozumieć kontekst tak jak my. W naszych warunkach raczej rzadko, chyba że sponsor wymaga (w dużych programach). Często się łączy: zespół robi większość ewaluacji, a elementy wrażliwe lub podsumowanie zleca np. konsultantowi do zatwierdzenia.
Grupa docelowa ewaluacji: Trzeba zdecydować, czyją opinię zbieramy w ewaluacji. Zwykle: – Uczestnicy bezpośredni (młodzież, seniorzy – beneficjenci) – oni oceniają, co zyskali, jak to widzą[171]. – Organizatorzy/realizatorzy – np. wolontariusze, kadra, partnerzy – jakie mieli doświadczenia, co dla nich było trudne/dobre[172]. – Partnerzy zewnętrzni – np. przedstawiciel władz, szkoły goszczącej – jak oceniają współpracę i efekty w społeczności. – Inni zaangażowani (wolontariusze, rodziny uczestników, itp.) – ich perspektywa może dopełnić obraz[173]. Czasem nawet społeczność, która nie brała udziału, ale była obserwatorem (np. mieszkańcy co widzieli projekt) – to rzadziej, ale jak np. ocenić czy wizerunek organizacji się poprawił w oczach ludzi? Może jakieś pytanie sondażowe.
Etapy ewaluacji: – Planowanie ewaluacji: ustalenie pytań ewaluacyjnych, kryteriów, metod, harmonogramu (to robimy właśnie na etapie planowania projektu, bo musimy też w budżecie uwzględnić). – Zbieranie danych: przeprowadzenie ankiet, wywiadów, obserwacji – często odbywa się to w trakcie i na końcu projektu. – Analiza danych: przetwarzamy wyniki – liczymy statystyki z ankiet, transkrybujemy wywiady, wyciągamy najważniejsze wnioski[174]. Można zastosować metody analizy statystycznej i jakościowej. – Raportowanie: opracowanie raportu z ewaluacji (często to część sprawozdania końcowego lub osobny dokument), który zawiera wnioski i rekomendacje[175]. – Wykorzystanie wyników ewaluacji: zastanowienie się, jak spożytkować to, czego się dowiedzieliśmy – co zmienimy w przyszłych projektach, jak poinformujemy o tym sponsorów, interesariuszy (byli niezależni?). Dobrze jest wyniki upowszechnić (np. spotkanie zespołu podsumowujące, gdzie omawiamy co z ewaluacji wyszło; może artykuł w newsletterze organizacji). Najważniejsze, by nie chować raportu do szuflady, tylko wyciągnąć wnioski do działania[176].
Rekomendacje: To ważny element raportu ewaluacyjnego – propozycje ulepszeń lub działań na przyszłość wynikające z wniosków[176]. Np. “Rekomenduje się, by w kolejnych edycjach projektu wydłużyć fazę rekrutacji i bardziej zaangażować nauczycieli w informowanie uczniów”; “Należy uprościć język materiałów, bo część beneficjentów nie wszystko zrozumiała”; “Kontynuować projekt w formie klubu – jest na to zapotrzebowanie zgłoszone przez X% uczestników”.
Ewaluacja a upowszechnianie i trwałość: Ewaluacja dobrze przeprowadzona dostarcza argumentów w upowszechnianiu (możemy powiedzieć: “projekt przyniósł wzrost wiedzy o 50% u uczestników i trwałą zmianę postaw – 80% kontynuuje zaangażowanie”, co brzmi wiarygodnie dzięki danym). Sponsorzy i władze lubią liczby i fakty – ewaluacja je daje. Poza tym, zacytowanie pozytywnych opinii w mediach też jest przekonujące – np. uczestnik mówi: “To doświadczenie zmieniło moje życie”. Takie rzeczy wychodzą w wywiadach i możemy je śmiało upublicznić (oczywiście za zgodą). Co do trwałości – ewaluacja (szczególnie długofalowa) potrafi zmierzyć, czy trwałość nastąpiła (np. rok później sprawdzimy, ile zrozumieli, ile robią).
Przykład mini-ewaluacji naszego projektu: – Kryteria: osiągnięcie celów (np. czy młodzieżowa rada powstała i działa?), satysfakcja uczestników, wpływ na ich kompetencje, zaangażowanie społeczności, efektywność wydatkowania. – Pytania: “Co uczestnicy nauczyli się dzięki projektowi? Jak oceniają zajęcia?”, “Czy funkcjonowanie młodzieżowej rady spełniło oczekiwania władz i młodzieży?”, “Jakie trudności napotkano i jak je przezwyciężono?”, “Jak projekt wpłynął na stosunek społeczności do młodzieży?”. – Metody: ankieta końcowa dla uczestników (z pytaniami o satysfakcję, samoocenę kompetencji przed/po), wywiad z opiekunem rady i wiceburmistrzem (jak widzą efekty), focus group z 5 uczestnikami (co im dał projekt, co by zmienili), analiza frekwencji i aktywności (lista obecności, protokoły rady). – Terminy: ankiety i focus – w ostatnim tygodniu projektu; wywiady – 2 tyg. po zakończeniu; analiza dokumentów – na bieżąco; raport – miesiąc po projekcie. – Odpowiedzialny: koordynator (ewaluacja wewnętrzna, może weźmie wolontariuszkę do przeprowadzenia ankiet). – Raport: obejmie wyniki (np. 95% uczestników zadowolonych, wiedza wzrosła średnio z 3/10 na 8/10 w teście, cytaty ciekawych opinii, wiceburmistrz zauważył większą aktywność młodzieży w wydarzeniach gminnych), rekomendacje (kontynuować pracę rady, zadbać o większe wsparcie promocyjne). – Wykorzystanie: raport wyślemy do gminy (sponsor), opublikujemy na stronie NGO, wewnętrznie omówimy co usprawnić w kolejnym projekcie.
Meta-ewaluacja: To nie musimy, ale można wspomnieć – to ewaluacja samego procesu ewaluacji (czyli wyciąganie wniosków, czy nasza ewaluacja była dobrze zaplanowana, czy pytaliśmy o właściwe rzeczy). To już wysokopoziomowe przy większych programach.
Na koniec: “Dobrze udokumentowana ewaluacja może zwiększyć wiarygodność organizacji i ułatwić zdobywanie kolejnych funduszy”[176] – to cytat z materiału, który podkreśla pragmatyczny aspekt. Kiedy pokażemy w raporcie, że drobiazgowo zmierzyliśmy efekty i wyciągnęliśmy wnioski, grantodawcy to docenią przy kolejnych aplikacjach (mają dowód, że jesteśmy refleksyjni i nastawieni na jakość). Poza tym, dla nas i partnerów to znak, że nie boimy się spojrzeć krytycznie i uczyć – co buduje kulturę organizacyjną nastawioną na ciągłe doskonalenie.
Podsumowując, ewaluacja to nie “szukanie dziury w całym”, lecz niezbędny element cyklu projektu, który pozwala ocenić osiągnięcia, wyciągnąć wnioski i komunikować wartość projektu[157]. To zamknięcie pętli: z diagnozy problemu (początek) dochodzimy do ewaluacji rezultatów (koniec), by stwierdzić, czy udało się problem rozwiązać i czego nas to nauczyło. Dobre projekty stają się jeszcze lepsze dzięki rzetelnej ewaluacji – bo następnym razem unikniemy błędów i powtórzymy dobre praktyki. Dlatego w naszym kursie położyliśmy nacisk na to, by uczniowie i nauczyciele poznali metody ewaluacji – by każdy projekt obywatelski, który podejmą, kończył się refleksją: “co osiągnęliśmy i co dalej?”. Jest to kluczowe dla ich rozwoju jako świadomych działaczy i dla budowania jakości w społecznych inicjatywach.