W dniach 24-27 września 2024 roku uczestniczyłam w prestiżowej międzynarodowej konferencji Europejskiego Towarzystwa Ewaluacyjnego (EES) pod inspirującym hasłem „Better Together: Collaborative thought and action for better evaluation”. Muszę przyznać, że rozmach konferencji był ogromny. W wydarzeniu wzięło udział aż 950 uczestników z całego świata i odbyło się 231 sesji tematycznych.
Program konferencji obejmował szeroki zakres tematyczny. Nacisk położony był na aktualne wyzwania globalne tj. zmiany klimatyczne, co odzwierciedla rosnące znaczenie tego tematu. Duża liczba sesji poświęconych była nowym metodom i technologiom zwłaszcza sztucznej inteligencji (AI).
Bardzo dużo mówiło się o dekolonizacji badań ewaluacyjnych. Jest to duży trend widoczny na świecie również w innych dziedzinach. Jest to odpowiedź na krytykę, że wiele badań ewaluacyjnych prowadzonych w krajach globalnego Południa jest realizowanych przez ekspertów z zewnątrz, którzy często ignorują lub marginalizują lokalną kulturę, wartości, metody poznawcze i społeczne konteksty. „Dekolonizacja” oznacza zatem odejście od dominacji metodologii eurocentrycznych na rzecz podejścia partycypacyjnego, inkluzywnego z uwzględnieniem perspektyw lokalnych i rdzennych.
Czy w kontekście Polski, można w ogóle mówić o dekolonizacji ewaluacji? Zastanawia mnie na ile kontekst kulturowy i historyczny jest brany pod uwagę w polskich badaniach ewaluacyjnych. Ciekawe, co mieliby do powiedzenia na ten temat Kaszubi lub Ślązacy. Temat wymaga z pewnością pogłębienia.
Wracając do konferencji EES, wiele sesji koncentrowało się także na praktycznych aspektach ewaluacji w różnych sektorach i kontekstach. Obecne były też sesje dotyczące etyki, standardów i roli ewaluacji w kształtowaniu polityk, co wskazuje na ciągłą refleksję nad tożsamością i znaczeniem tej dyscypliny.
Konferencja EES 2024 pokazała niewątpliwie, że ewaluacja jest dziedziną dynamiczną, reagującą na aktualne wyzwania globalne, jednocześnie poszukującą innowacji i dążącą do większej inkluzywności i skuteczności. Mam poczucie, że Polska nie odrobiła lekcji w tym zakresie.
Z uwagi na ilość sesji, nie sposób było uczestniczyć we wszystkich. Dlatego chcę przytoczyć tylko kilka z nich.
Jednym z bardziej interesujących warsztatów był ten poświęcony metodzie Photovoice, prowadzony przez Nele Claeys, Edwina Cubillosa i Karijn Kakebeeke. Jest to partycypacyjne podejście badawcze bazujące na fotografii, angażujące uczestników w identyfikowaniu i wyrażaniu problemów, z którymi się mierzą, szczególnie użyteczna w pracy z grupami marginalizowanymi. Warsztat ukazał, jak Photovoice było efektywnie stosowana nawet w trudnych kontekstach zdalnych, konfliktowych oraz w terapii traumy w Kolumbii, Afryce, w aspekcie przemocy wobec kobiet, itp.).
Największym wyzwaniem w tym podejściu jest zachowanie metodologicznego rygoru i równoczesne dbanie o etykę (praca z wrażliwymi grupami). Połączenie Photovoice z innymi metodami (tzw. „bricolage metodologiczny”) pomaga zminimalizować ograniczenia tej formuły. Warsztat pokazał, że ewaluatorzy szukają bardziej angażujących, dostępnych i inkluzywnych form ewaluacji.
Z kolei Niki Wood i Sarah Ghattass w sesji „Old Dogs Can Do New Tricks” zaprezentowały adaptację metody hierarchicznego sortowania kart (HCS) jako narzędzia ewaluacji programów pokojowych, np. w projekcie budowania pokoju w Iraku. W ramach tego przykładu włączenie pracowników „pierwszej linii” (czyli osób bezpośrednio zaangażowanych w projekt) w proces ewaluacji wzmocniło jakość i trafność wniosków w ramach przeprowadzonej ewaluacji. HCS jako ćwiczenie może ujawnić określone modele mentalne. Stosowane jest zwykle jako ćwiczenie indywidualne, tu na konferencji zostało użyte w grupach do refleksji nad procesami dialogu społecznego. Wyniki posłużyły potem jako podstawa dla ewaluacji metodą Most Significant Change (MSC). Łączenie tych metod HCS + MSC pozwala na głębsze zrozumienie zmian, zarówno tych ilościowych, jak i jakościowych. To świetny przykład, jak przełamywać barierę między procesami uczenia się a formalną ewaluacją.
Bardzo interesująca okazała się prezentacja pt. „Mixed-team Approach: ocena udziału Irlandii w Expo 2020 w Dubaju”, którą przedstawiły przedstawicielki Irlandii: Siobhán McGee (Department of Foreign Affairs – DFA) i Macarena Davies (Trade Advisers). Prelegentki opowiedziały o ewaluacji udziału Irlandii w targach World Expo Dubai 2020. Co ciekawe ewaluacja została zainicjowana przez irlandzki Parlament. Kluczowym elementem była unikalna metodologia „mieszanego zespołu” (mixed-team), łącząca zewnętrznych konsultantów z wewnętrznymi ewaluatorami DFA. Pokazali, jak w praktyce działa podejście partycypacyjne – łączenie wiedzy instytucjonalnej (od osób, które realizowały projekt) z obiektywnym spojrzeniem z zewnątrz. Badanie było przeprowadzone z perspektywy 4 stron: ewaluatora, zleceniodawcy, ocenianej strony i użytkownika ewaluacji. „Zespół mieszany” wzmacnia użyteczność ewaluacji, bo różne perspektywy przekładają się na bogatszy raport. Prelegentki nie ukrywały, że ewaluacja napotkała problemy związane z brakiem wcześniej ustalonego systemu monitorowania i ewaluacji. Mimo to, proces pozwolił na udokumentowanie historii projektu, wypełnienie luk w danych i dostarczenie cennych wniosków na przyszłość, zwłaszcza, że Irlandia planowała swój udział na kolejnym EXPO 2025 w Osace (Japonia).
Niestety ewaluacja przypadła na okres pandemii COVID-19, co utrudniało pewne działania, ale ostatecznie ewaluacja przyczyniła się do zachowania wiedzy (tzw. pamięci instytucjonalnej) i rozwijania kultury uczenia się. Irlandia pokazała imponujący przykład świadomości po co jest ewaluacja i jak ją skutecznie wykorzystać.
Kolejny ciekawy panel dotyczył “Qualitative Data Visualization: Principle-Based Practices”. Prowadził go nie kto inny, jak prof. Michael Quinn Patton, wraz z córką Charmagne Campbell-Patton oraz wysokiej klasy specjalistką od wizualizacji danych Stephanie Evergreen (https://stephanieevergreen.com/data-visualization-checklist).
Wizualizacja danych ilościowych jest już dziś oczywistością (wykresy, diagramy, itp.) i dużo łatwiej je zaprezentować. Wizualizacja danych jakościowych (zwłaszcza obszerne wywiady, notatki z obserwacji itp.) w przystępnej formie to zupełnie inne wyzwanie. Stephanie zaprezentowała podczas panelu wiele ciekawych sposobów na prezentację danych jakościowych oraz narzędzie „Qualitative Chart Chooser”, które pomaga dobierać najlepsze formy graficzne do prezentacji tych danych. Prelegenci argumentowali, że efektywna wizualizacja danych jakościowych jest kluczowa dla zrozumienia i wykorzystania wyników ewaluacji, szczególnie w kontekście złożonych systemów dynamicznych.
Świadoma wizualizacja – to nie tylko „ładne obrazki”, lecz sposób na to, by wyniki jakościowe były lepiej zrozumiane i wykorzystane. Podkreślano również znaczenie zasad etycznych i metodologicznych – chodzi głównie o to, by nie zniekształcić historii badanych i nie manipulować obrazem. Siłą takiej wizualizacji jest również dotarcie do tych odbiorców badań, którzy nie chcą czytać długich raportów tekstowych.
W trakcie konferencji odbywało się wiele paneli poświęconych sztucznej inteligencji w odniesieniu do ewaluacji. Na jednym z nich „Intro to AI-enabled Evaluation Methods” przedstawiciele The MERL (Linda Raftree i Zach Tilton) oraz Oxfordu (Thomas Wagstaff) ukazali, jak sztuczna inteligencja (AI) może wzbogacić ewaluację poprzez lepsze zarządzanie dużymi zbiorami danych, przez analizę jakościową (rozpoznawanie wzorców, tematyki), aż po boty ułatwiające kontakt z uczestnikami, jednocześnie wskazując na istotność etycznych standardów i odpowiedzialnego wdrażania technologii. W trakcie panelu zaprezentowano dwa ciekawe rozwiązania: FORTELL https://www.fortell.ai/ od OXFAM oraz FATIMA https://www.hellofatima.com/. Fortell ma możliwość dzięki avatarom prowadzić wywiady za pomocą smartphone w każdym zakątku naszego globu. Fatima z kolei jest narzędziem wspomagającym pracę badaczy. Warto do nich sięgnąć, by poznać możliwości.
Konferencja EES 2024 w Rimini potwierdziła, że ewaluacja żyje i ma się dobrze, wciąż ewoluując i przyjmując nowe formy. Jak pokazują przykłady z Rimini, kluczem do sukcesu jest otwartość na różne podejścia, głosy i perspektywy, a „razem lepiej” to nie tylko slogan, ale praktyczna recepta na jeszcze bardziej wartościowe i wpływowe ewaluacje.
Podsumowując, konferencja EES 2024 była niezwykle bogata w innowacyjne metody i praktyczne zastosowania, wskazując na istotne trendy w światowej ewaluacji: wykorzystanie nowoczesnych technologii, partycypację oraz inkluzywność. Polscy ewaluatorzy mogą czerpać inspirację z tych przykładów, zwłaszcza wobec obserwowanego w Polsce silnego związku ewaluacji z funduszami unijnymi i politykami publicznymi. Ewaluacja międzynarodowa stawia na otwartość, współpracę, zaangażowanie społeczne i interdyscyplinarność, co może stanowić inspirację do dalszego rozwoju polskiej praktyki ewaluacyjnej.