Monika Sewastianowicz: Jak powinien wyglądać nowy wykaz czasopism?
Dr hab. Grzegorz Wierczyński, prof. Uniwersytetu Gdańskiego: Zacznijmy od tego, że jestem zwolennikiem tworzenia rozwiązań prawnych w sposób ewolucyjny. Nie wierzę w skuteczność jednorazowych reform, które polegają na odrzuceniu w całości tego, co było, i zbudowaniu czegoś zupełnie nowego. Dlatego chciałbym, żebyśmy racjonalnie ocenili, co w świetle dotychczasowych doświadczeń z wykazem czasopism się sprawdziło, a co wymaga korekty. Tylko w ten sposób, za pomocą wielu lat korekt możemy wypracować coraz lepszy model wykazu. Oczywiście ostatnio skupiamy się na wybrykach byłego już ministra Czarnka i jego świty. One pokazują, że tworzenie wykazu musi być procesem transparentnym a decyzje podejmowane w ramach tego procesu muszą być rozliczalne. Ale nie chciałbym, żebyśmy automatycznie wrócili do stanu sprzed ostatnich modyfikacji, bo on też nie dostarczał prawidłowego wykazu czasopism. Nie odzwierciedlał rzeczywistego znaczenia czasopisma dla komunikacji wyników badań naukowych.
Uważam, że sam model – bibliometryczno-ekspercki jest trafnym rozwiązaniem. Model czysto ekspercki nie sprawdziłby się, bo nawet przy założeniu, że udałoby się wybrać najbardziej uczciwych i bezstronnych ekspertów (co jak do tej pory nam się nie udawało), to i tak będą oni tylko ludźmi i ich oceny będą narażone na różnego rodzaju błędy poznawcze. Doskonałym przykładem jest Holandia – tam nie ma ustalonego rankingu czasopism prawniczych, nauki prawne uznano za „nauki niebibliometryczne”; w efekcie ewaluację wydziałów prawa dokonuje się w sposób czysto ekspercki; w wyniku tak przeprowadzonej oceny w 2016 r. wszystkie holenderskie wydziały prawa otrzymały ocenę bardzo dobrą. To nie jest przypadłość tylko prawników albo tylko określonych państw. Dzięki badaniom z zakresu psychologii poznawczej wiemy, że z powodu takich mechanizmów ludzkiego poznania jak efekt potwierdzenia czy efekt czystej ekspozycji, lepiej oceniamy to, co znamy, niż to, czego nie znamy. Dlatego ocena ekspercka musi dokonywana na podstawie obiektywnych i kompleksowych danych, a takie dane dostarcza wyłącznie bibliometria.
Czytaj też w LEX: Grzebyk Patrycja, Warunki uzyskania stopnia doktora habilitowanego w dyscyplinie nauki prawne >
A dlaczego nie możemy oprzeć wykazu wyłącznie o analizy bibliometryczne?
Na tym etapie nie możemy całkowicie zaufać danym dostarczanym przez analizy bibliometryczne, bo nie dysponujemy poprawnymi danymi wejściowymi. Z powodu wieloletnich zaniechań nie utworzyliśmy ani w Polsce, ani w Europie kompleksowych publicznych baz bibliograficznych. W efekcie jesteśmy skazani na outsourcing. Tym w istocie rzeczy jest opieranie etapu bibliometrycznego na bazach Scopus i Web of Science. To rozwiązanie, z perspektywy nauk społecznych i humanistycznych, się nie sprawdziło. Zawartość tych baz okazała się zbyt mała i zbyt tendencyjnie dobrana, żeby generować poprawne wyniki analiz bibliometrycznych. Podam przykład: europejskie czasopismo prawnicze „Common Market Law Review” ma dwukrotnie lepszy współczynnik liczby opublikowanych artykułów i cytowań niż amerykańskie czasopismo „Harvard Law Review”. Ale wielu z tych cytowań CML nie widać w Scopusie i w bazach Web of Science i w efekcie w naszym wykazie „HLR” ma 200 punktów, a „CML” 140.
Dopóki bazy naukowe, którymi dysponujemy, są tak dalece niereprezentatywne dla nauk społecznych i humanistycznych, potrzebujemy wspierać się danymi z innych baz. Wiele wyników badań wskazuje, że dane o cytowaniach czasopism dostępne w bazie Google Scholar, są znacznie bardziej reprezentatywne dla czasopism z zakresu nauk społecznych i humanistycznych. Mamy też bazy dziedzinowe, za pomocą których można weryfikować wyniki analiz bibliometrycznych ogólnych. Ale to są tylko narzędzia, do korzystania z nich potrzebujemy zespoły ekspertów, którzy znają rzeczywisty obraz komunikacji naukowej w danej dyscyplinie.
Zobacz również: Wykaz czasopism może i nowy, ale działa z datą wsteczną
Co jeszcze się nie sprawdziło w pierwotnym rozwiązaniu?
Wykluczenie redakcji czasopism naukowych z procesu ustalania wykazu. W efekcie kluczowy krok pomiędzy etapem bibliometrycznym a etapem eksperckim, jakim było przypisywanie czasopism do dyscyplin (po to, żeby wiedzieć, jakie zespoły mają oceniać jakie czasopisma). Tu zdarzały się kuriozalne błędy, np. świetne polskie czasopismo prawnicze „Polish Yearbook of International Law” zostało przypisane nie tylko do nauk prawnych, ale również do prawa kanonicznego i nauk o rodzinie. Zespół ekspertów reprezentujących nauki prawne ocenił je bardzo wysoko, ale zespoły ekspertów reprezentujących prawo kanoniczne i nauki o rodzinie oceniły je bardzo nisko (czemu się nie dziwię, bo w tym czasopiśmie nigdy nie opublikowano artykułów z tych dyscyplin). Gdyby redakcja tego czasopisma mogła zareagować, to wyjaśniłaby, że w zakresie tematycznym tego czasopisma znajdują się wyłącznie wyniki badań z zakresu nauk prawnych.
Czytaj też w LEX: Dajnowicz-Piesiecka Diana, Kierznowski Łukasz, Awanse naukowe młodych naukowców (perspektywy i wyzwania) >
A co Pan Profesor sądzi o podwójnej ścieżce – punktacja w naukach ścisłych oparta o Impact Factor, w naukach społecznych, humanistycznych o impact factor i ocenę ekspercką?
Nie podoba mi się ten pomysł, bo z góry traktuje nas, naukowców z obszaru nauk społecznych i humanistycznych jak osoby specjalnej troski, albo jak dzieci w przedszkolu, które trzeba traktować łagodniej. My, naukowcy z obszaru nauk społecznych i humanistycznych, nie potrzebujemy specjalnego traktowania tylko uczciwego traktowania. Dlatego nie możemy być oceniani na podstawie danych, które są znacznie mniej reprezenatywne dla naszych badań niż dla badań koleżanek i kolegów z nauk przyrodniczych. Jeśli uwzględnimy dane o cytowaniach, których nie widzą bazy Scopus i Web of Science, to się okaże, że u nas obserwujemy takie prawidłowości jak w naukach przyrodniczych – czasopisma publikujące lepsze, bardziej oryginalne wyniki badań są znacznie częściej cytowane niż czasopisma publikujące teksty nadesłanych przez członków redakcji i ich znajomych.
Inna sprawa, że ranking czasopism nie powinien się opierać wyłącznie na jednym parametrze, na samej liczbie cytowań. Trzeba też brać pod uwagę, ile artykułów publikuje się w danym periodyku. Dlatego uważam, że powinien być brany pod uwagę iloraz liczby cytowań i liczby artykułów. W każdej dyscyplinie naukowej powinny być podobne proporcje czasopism z określoną punktacją. Ma to ogromne znaczenie – bo pomiędzy poszczególnymi dyscyplinami występują znaczne dysproporcje pomiędzy liczbą naukowców i publikacji. Konieczne jest też rozwiązanie problemu sztucznego podbijania współczynnika cytowalności.
Czytaj też w LEX: Winczorek Jan, Wykaz czasopism punktowanych MNiSW w dyscyplinie nauki prawne a bibliometria. Wyniki badania empirycznego >
To znaczy?
Są na rynku czasopisma, które zamawiają w innych czasopismach artykuły przeglądowe, co zwiększa wskaźniki cytowań. Choćby z tego powodu warto zachować etap ekspercki, pozwala to bowiem reagować w czasie rzeczywistym i na takie praktyki, i na działania „drapieżnych wydawnictw”, czy porwania czasopism. Tu dochodzimy do innego zagadnienia – wykaz powinien powstawać w oparciu o stabilną bazę danych, w której eksperci mogą odnotowywać podejrzane przypadki i wyłączać je z oceny. Taką bazę musi utrzymywać jednostka naukowa specjalizująca się w bibliometrii i informacji naukowej. Sam wykaz też nie powinien być jednorazowym plikiem z tabelą, ale stale funkcjonującą bazą danych, gromadzącą informacje z wszystkich edycji wykazu. Dzięki porządnej bazie danych, dotyczących różnych lat, da się np. właśnie zidentyfikować potencjalne nieprawidłowości. Teraz jest to utrudnione.
Czyli powinniśmy w przypadku wszystkich czasopism pozostać przy systemie mieszanym – najpierw ocena bibliometryczna, potem ocena ekspercka?
Tak uważam. Tylko powinny być to stałe zespoły eksperckie, najlepiej, żeby były wybierane tak jak komitety naukowe, najlepiej, żeby wybierało je środowisko w jawnych wyborach, takich jak do komitetów naukowych PAN. Wszystkie decyzje z etapu eksperckiego muszą być podejmowane w oparciu o analizy danych i cała ta analiza musi być elementem uzasadnienia danej decyzji. Czyli podnosimy ocenę „Common Market Law Review” i obniżamy ocenę „Harvard Law Review”, bo udowodniliśmy, że wyniki uzyskane z Web of Sciencie albo Scopusa nie oddawały rzeczywistości. Musimy wymagać od uzasadnienia takiej oceny, żeby spełniało wymogi replikowalności. Innymi słowy musimy dokonywać tej oceny w taki sposób, jak prowadzimy badania naukowe, a nie w taki sposób, jak prowadzi się konkursy piękności.
Jedną z rekomendacji KEN jest kontrola sądowoadministracyjna. Jak miałoby wyglądać takie postępowanie?
To jest postulat, który wziął się z bezsilności wobec całkowitej uznaniowości, z jaką wykaz był tworzony przez ministra Czarnka i jego doradców. Chcielibyśmy (Komitet Nauk Prawnych PAN dotychczasowej kadencji), żeby sąd sprawdzał nie tylko procedurę wpisania danego czasopisma do wykazu (tego testu oczywiście nie przeszłyby wykazy ministra Czarnka), ale również weryfikował, czy uzasadnienie decyzji jest wystarczające i czy ocenę oparto na obiektywnych kryteriach. Tutaj kluczowe są dwie kwestie – żeby wykaz tworzył podmiot naukowy niezależny od ministra. Komisja Ewaluacji Nauki zachowała się wspaniale, ujawniając, że wykaz ministra Czarnka powstał z pominięciem obowiązujących procedur, ale nie powinniśmy wymagać takiego bohaterstwa od jej członków. W tym celu należy tę procedurę przenieść do niezależnego podmiotu.
Druga kwestia to omawiane powyżej wymogi dla uzasadniania decyzji zapadających w procesie tworzenia wykazu. Jeśli nie sprecyzujemy wymagań wobec tych uzasadnień, to sądowa kontrola nie spełni swojej roli. Mamy negatywny przykład z Włoch, gdzie wykaz czasopism poddano kontroli sądowej, ale nie określono kryteriów tej kontroli. W efekcie wszyscy niezadowoleni z wykazu doprowadzili do uchyleń decyzji w ich sprawie i wykaz przestał mieć jakiekolwiek znaczenie.
Czytaj też w LEX: Wierczyński Grzegorz, Problemy oceny parametrycznej polskich czasopism naukowych z dziedziny nauk prawnych >
-------------------------------------------------------------------------------------------------------------------
Linki w tekście artykułu mogą odsyłać bezpośrednio do odpowiednich dokumentów w programie LEX. Aby móc przeglądać te dokumenty, konieczne jest zalogowanie się do programu. Dostęp do treści dokumentów w programie LEX jest zależny od posiadanych licencji.
