Recenzja raportu Nowa sprawozdawczość instytucji kultury opracowanego w ramach projektu „Poprawa jakości gromadzenia danych o publicznych i niepublicznych instytucjach kultury w Polsce”

1. prof. dr hab. Jarosław Górniak
Instytut Socjologii
i Centrum Ewaluacji i Analiz Polityk Publicznych
Uniwersytet Jagielloński
Recenzja raportu „Nowa sprawozdawczość instytucji kultury”
Raport „Nowa sprawozdawczość instytucji kultury” zawiera wynik diagnozy stanu
statystyki publicznej dotyczącej instytucji kultury w Polsce i ich działalności, rekomendacji
w tym zakresie oraz propozycje nowego, opartego na aplikacji internetowej narzędzia
gromadzenia danych oraz charakterystyki jego kluczowych komponentów, a także
przykłady wykorzystania wyników. Zaprezentowane zostały rownież wyniki pilotażu
nowego rozwiązania.
W raporcie przyjęto koncepcję dopełnienia opracowania eksperckiego obszernymi
wypowiedziami ekspertów. Wszystko to stanowi interesujący materiał diagnostyczny
przedstawiający dowody na kluczową tezę o konieczności zbudowania nowego podejścia do
przedmiotu badania w statystyce publicznej. Zasadniczo do części diagnostycznej nie
wnoszę uwag: spełnia ona swoją rolę przedstawiając zbiór argumentów na rzecz zmiany.
Jedynym brakiem, który odczułem, wyobrażając się siebie w roli potencjalnego twórcy
nowej propozycji modelu badania z jednej strony oraz decydenta w zakresie polityki
kulturalnej — z drugiej, jest nieobecność systematycznego przeglądu miedzynarodowego
wzorcowych rozwiązań z oceną ich mocnych i słabych stron w porównaniu do
analizowanego modelu polskiego. Dobrze jest przy okazji wyważania drzwi sprawdzić, czy
zamek nie jest przynamniej w połowie otwarty.
Bardziej od części diagnostycznej stanowiącej uzasadnienie zmiany interesuje mnie jednak
propozycja pozytywna. Ona jest bowiem zasadniczym wkładem w postęp w dziedzinie
statystyki kultury, a w konekwencji — także w poprawę sposobu prowadzenia polityki
kulturalnej na różnych szczeblach. Dlatego na tym aspekcie skoncentruję moje uwagi.
Istotą pomysłu jest bowiem zbudowanie nowego systemu informacji statystycznej o
instytucjach kultury i ich działalności. Sposób podejścia do tego zadania wzbudził we mnie
1

2. zdecydowanie więcej wątpliwości niż część diagnostyczna, z której zespół wywiązał się
dobrze. Drobne kwestie redakcyjne dotyczące tej części zapewne zostaną, zgodnie z
zapewnieniem, skorygowane w toku ostatecznej edycji, więc nie warto poświęcać im uwagi.
Kluczowym deficytem w zakresie projektu nowego systemu jest brak jasnego zdefiniowania
jego celów, odbiorców i listy potrzeb informacyjnych (zapewne jej ustaleniu warto było
poświęcić także więcej uwagi w toku diagnozy, w tym zapoznając się z materialem
międzynarodowym). Lista potrzeb informacyjnych powinna prowadzić do ustalenia
potrzebnego zestawu wskaźników, ich klarownych definicji, algorytmu ich obliczenia i
sposobu zasilenia danymi (np. poprzez uzyskanie odpowiedzi na określone, zacytowane
pytania kwestionariusza) oraz wykorzystania i interpretacji.
Wykorzystanie wskaźników dla zaspokojenia potrzeb informacyjnych wymaga często
podania ich w różnych układach dekompozycji ze względu na wybrane cechy
klasyfikacyjne, które również wymagają zdefiniowania. Jeśli pełen zestaw wskaźników ma
być zasilany wyłącznie danymi z kwestionariusza, wówczas należy dokonać mapowania
poszczególnych wskaźników na odpowiednie pozycje zaprojektowanego narzędzia. Tego
wszystkiego w raporcie brakuje. Przez to bardzo trudno określić, na ile kompletne jest
zaprojektowane narzędzie.
Niestety, w tym wypadku nie wystarczy zapytanie o to przestawicieli instytucji zajmujących
się kulturą. Są oni bowiem w stanie wyrazić tylko ogólne odczucie, podczas gdy analiza
kompletności wymaga przeprowadzenia weryfikacji analitycznej. Mogły być w tym
pomocne analizy i prezentacje danych z pilotażu pozwalając wyjść poza analizę logiczną w
kierunku weryfikacji treściowej.
Przykład metodyki konstrukcji systemu mierników, choć z innego obszaru diagnozy dla
potrzeb polityk publicznych, można znaleźć w załączonej do tej recenzji publikacji,
przygotowanej w 2007 r. przez zespół z UJ i UEK pt. „Wybrane wskaźniki wykluczenia
społecznego i sytuacji na rynku pracy” (sugeruję zwłaszcza zapoznanie się z częścią
poświęconą tzw. wskaźnikom z Laeken od str. 140). Nie chodzi mi o literalne naśladowanie
takiego sposobu ujęcia — gdyż mamy tu do czynienia z innymi obszarami życia społecznego
i innym, instytucjonalnym charakterem jednostek objętych pomiarem w projekcie
statystyki instytucji kultury — ale przykład typu informacji o wskaźnikach, które powinny
stać za propozycją systemu dla statystyki publicznej. Potrzeba zadania każdego pytania w
2

3. kwestionariuszu powinna być ściśle uzasadniona jego rolą w generowaniu danych
elementarnych, które po wykonaniu odpowiednich przeliczeń pozwolą ustalić wartości
zaplanowanych wskaźników. Proponowane przeze mnie podejście do konstrukcji systemu
statystyki obszarowej zakłada też w praktyce sporządzenie precyzyjnego planu analizy
danych i planu raportu statystycznego. Sporządzenie takiego planu jest, tak czy owak,
zawsze etapem projektowania badań, który zaleca się przed zamknięciem prac nad
kwestionariuszem (pozwala to sprawdzić kompletność narzędzia badawczego).
Podsumowując: kluczowym deficytem opracowania jest brak opisu systemu informacji
statystycznej, który ma być uzyskany, a także odniesienia tego systemu do narzędzia
badawczego i instrukcji jego wypełnienia.
Druga istotna uwaga odnosi się do samego narzędzia badawczego, ale poniekąd jest
pochodną niewykonania systematycznej pracy nad systemem wskaźników.
Kwestionariusz internetowy, którego demonstracyjna wersja jest udostępniona w sieci pod
adresem wskazanym w raporcie, wymaga optymalizacji. Co przez to rozumiem? Chodzi o
to, by badanych jednostek nie obciążać koniecznością obliczania wielkości agregatowych,
które są wynikiem przeliczenia danych jednostkowych, o których wyczerpujące
wprowadzenie prosimy objęte badaniem instytucje. A precyzyjnie, chodzi np. o
konieczność podania liczby odbiorców w różnych kategoriach (punkt 8), których podanie
wymaga zsumowania liczby uczestników działań/projektów podawanych w „Informacjach
o działaniu”. Dobrze opracowany system gromadzenia danych powinien być użyteczny dla
samych instytucji (co jest jedną z ważnych konkluzji diagnozy), a więc należałoby pomyśleć
o nim także jako systemie bieżącej rejestracji wydarzeń/projektów w jednostce, który jej
samej pozawala dostarczyć systemu wskaźników dla potrzeb zarządzania. Do takich
informacji należą agregaty dotyczące liczby uczestników w różnych przekrojach, które
powinny być generowane z danych jednostkowych. Z dobrze opisanego systemu
wskaźników powinien wynikać zbiór danych elementarnych, które należy uzyskać w
pomiarze (tutaj: = uzyskiwanych przez wypełnienie kwestionariusza), z których to z kolei
można wyliczyć ostatecznie wartości wskaźników na różnych poziomach granulacji i przy
różnych układach dekompozycji. W narzędziach badawczych należy unikać redundancji i
nadmiernego obciążenia respondentów (a takim jest każde zadanie obliczania wartości
sumarycznych i pochodnych).
3

4. Błędem kwestionariusza jest pytanie o przedziały wartości w przypadku informacji o
budżecie (pkt. 7). Taka redukcja informacji nie ma uzasadnienia. W ustalaniu wielkości
finansowych zadajemy pytanie otwarte o kwotę (podobnie jak czynimy to w sondażach
pytając np. o wiek, liczbę wizyt w kinie w ostatnich 3 miesiącach czy inne ilości). Jest to
powszechnie znana zasada w metodologii badań kwestionariuszowych (choć, przyznaję, nie
zawsze przestrzegana, co wynika, niestety, z nieznajomości metodologii konstrukcji
kwestionariuszy po stronie badaczy). Jakie jest uzasadnienie pytania o budżet podmiotu,
który jest instytucją, w przedziałach wartości? Nie ma! Podobnie jak nie ma uzasadnienia
w podziale na przedziały odpowiedzi na pytanie o liczbę uczestników, na jaką było
zaplanowane działanie. Przedziały można sobie zawsze ustalić na poziomie raportów, jeśli
będzie taka potrzeba.
Problematyczne są definicje grup odbiorców. Zamiast podawać nieostre określenia, jak
„dzieci i młodzież”, lepiej podać przedziały wiekowe, które te kategorie definiują. Tym
bardziej, że mamy problem z rozłącznością kategorii: wiek produkcyjny (czyli, jak
rozumiem, związany z aktywnością zawodową), to 18-59/64 w zależności od płci, a dzieci i
młodzież kończy się: 18? 25? 30? 35? Kto to są seniorzy? Osoby powyżej pewnego wieku,
które już nie są aktywne zawodowo, czy może powyżej pewnego wieku po prostu? Jakiego?
Kto to jest osoba niepełnosprawna? Mająca orzeczenie komisji czy charakteryzująca się
jakąś dysfunkcją niezależnie od statusu formalnego? Jaką? Co mamy na myśli w przypadku
„grup wykluczeń społecznych”? Czy pytanie o grupy ze względu na „specyfikę” spełnia
kwestionariuszowe roszczenie zupełności, czy nie? W moim przekonaniu — nie. Dlaczego,
np. nie ma wśród nich rodzin z dziećmi do lat 6 albo np. rodziców samotnie
wychowujących dzieci, albo kobiet powracających na rynek pracy, albo…. Żartuję nieco, ale
wyraźnie ta kafeteria nie jest przemyślania i nie wiadomo, dlaczego są w niej użytkownicy
aplikacji, cokolwiek to znaczy, a nie ma inaczej wyodrębnionych grup. Brak tu
jakiegokolwiek kryterium.
Mam też wątpliwości co do kompletności kafeterii w przypadku pytania o to, jak było
zorganizowane działanie.
4

5. Jak definiuje się sponsora (to wcale nie jest trywialne, o czym wie każdy, kto pozyskuje
środki zewnętrzne), a do tego — prywatnego? Dlaczego pytanie dotyczy tylko sponsorów
prywatnych, a nie po prostu źródeł finansowania?
Jaka jest definicja grupy docelowej? Czy chodzi o to, do kogo była skierowana informacja o
wydarzeniu, dla kogo było dopuszczalne uczestnictwo, kogo zaproszono, kogo sobie
wyobrażano jako adresata, czy też — kto faktycznie dominował wśród uczestników. czy w
sprawozdawczości statystycznej powinniśmy badać intencje czy fakty?
Co oznacza udostępnienie infrastruktury i zasobów? Czy wystarczy wystąpienie
udostępnienia tylko jednego z wyliczonych zasobów, czy wszystkich (koniunkcja czy
alternatywa)? Może prościej — jak już ustalimy, czym jest to udostępnienie (najlepiej jak
kwestionariusz jest zrozumiały bez dodatkowych instrukcji) — poprosić o zaznaczenie
każdego, który został „udostępniony”.
Czym się różnią periodyki od czasopism? Czy warto kwitować jako „inne wydawnictwa” to
co się na tak masową skalę dzieje obecnie w sieci? Na przykład: podcasty, filmy, audio,
radio internetowe telewizja internetowa, videoblogi itd.? Wyliczenie zdaje się być
niezwykle konserwatywne i ograniczone.
W pytaniach dobrze jest unikać pytania o więcej niż jedną kwestię na raz. Bardzo
podstępne jest użycie w pytaniu czy kategoriach odpowiedzi spójnika i/oraz.
W przypadku kwestionariusza, który ma być samodzielnie wypełniany, zasadnicze
informacje dotyczące sposobu wypełnienia, a także rozumienia kategorii powinny być
podane w kwestionariuszu, by uniknąć niejednoznaczności.
W swojej kluczowej części, którą jest informacja o działaniu, kwestionariusz sprawia
wrażenie jeszcze nie do końca przemyślanego narzędzia. Wynika to jednak, czemu dałem
wyraz, z braku formalnego projektu systemu wskaźników, który miałby być zasilony przez
dane gromadzone przez kwestionariusz, dane elementarne, a nie wartości wskaźników. Z
drugiej strony, brakuje klarownej wizji wymiarów charakteryzujących format aktywności i
ich kategorii.
5

6. Podsumowując: przedstawiony raport dobrze oceniam w jego części diagnostycznej,
uzasadniającej zmiany, ale gorzej w zakresie rozpoznania istniejących doświadczeń
międzynarodowych i w zakresie sposobu podejścia do projektowania i ostatecznej
propozycji nowego rozwiązania. To wymaga jeszcze dalszej pracy.
6