Ocena czasopism ze specjalną ścieżką dla nauk humanistycznych

Dla jednych czasopism ocena bibliometryczna, dla innych ocena ekspercka - Komisja Ewaluacji Nauki proponuje zmiany w sposobie punktowania czasopism naukowych. Czasopisma dotyczące nauk humanistycznych i społecznych mają być oceniane inaczej, niż te dotyczące nauk ścisłych, medycznych i przyrodniczych. Koncepcja zakłada też stworzenie systemu premiowania polskich periodyków.

Po aferach związanych z arbitralnymi "wrzutkami" do wykazu, zmian w procedurze jego tworzenia chcą wszystkie partie, które lada chwila przejmą władzę. Mają różne pomysły na regulacje w tej materii - Koalicja Obywatelska chce odwrócenia zmian w wykazie, Trzecia Droga proponuje natomiast oparcie punktacji czasopism na wskaźniku cytowań. Tyle że ewaluacja trwa w najlepsze, byłaby więc to kolejna zmiana reguł w trakcie gry. O ewentualnych zmianach w procedurze tworzenia wykazów dyskutowano podczas III Ogólnopolskiej Konferencji Komisji ds. Wydawnictw Naukowych przy KRASP: „Publikacje cyfrowe jako element systemu ewaluacji jakości działalności naukowej. Wyzwania związane z rozwojem sztucznej inteligencji”. Ostatni panel konferencji poświęcony był rekomendacjom dotyczącym tej kwestii. Moderatorem panelu była prof. Elżbieta Żądzińska, rektor UŁ.

Kolejna aktualizacja wykazu czasopism naukowych>>  

Część zmian w wykazie bez udziału KEN

Kolejne zmiany w wykazie czasopism naukowych budzą kontrowersje od kilku lat – resortowi edukacji zarzuca się, że kolejne zmiany wprowadza bez zachowania procedur, określając punktację w sposób arbitralny. Podczas konferencji prof. Rafał Stanisławski z Komisji Ewaluacji Nauki, tłumaczył jednak, że wykaz przeszedł znaczące zmiany, których pierwsza wersja została opublikowana 17 lipca, a drobna modyfikacja nastąpiła w listopadzie. Komisja Ewaluacji Nauki odegrała dużą rolę w tym procesie, dodając do wykazu 1440 czasopisma, z których około 100 otrzymało 40 punktów, a reszta, czyli około 1300 czasopism, została oceniona na 20 punktów. Oprócz czasopism, do wykazu dopisano również 34 nowe konferencje. Dodatkowo uwzględniono prośby o podniesienie punktacji dla 28 czasopism o 15 punktów, a także o dopisanie czasopism, które nie były indeksowane w Web of Science. W trakcie rewizji wykazu znaleziono 17 błędów, głównie dotyczących niewłaściwego uwzględnienia niektórych czasopism w bazach danych. Dodatkowo, wnioskowano o obniżenie punktacji dla około 160 czasopism, które wypadły z baz danych, do 20 punktów. - Wiele zmian wprowadzono jednak bez udziału KEN  - podniesiono punktację ok. 1100 czasopism, z tego 80 czasopismom przyznano 200 punktów, a innym 140 punktów – wskazywał. Dodał, że takiej modyfikacji komisja nie mogłaby dokonać nawet, gdyby chciała, ze względu na ograniczenia w przepisach.

Dwie ścieżki punktowania

Prof. Stanisławski przedstawił pomysł na reformę systemu punktowania czasopism – główne założenie to stworzenie dwóch ścieżek. Pierwsza dotyczyć będzie nauk inżynieryjno-technicznych, ścisłych, medycznych, przyrodniczych i weterynaryjnych. - To są grupy nauk, które nazywamy kolokwialnie 'ścisłe', i dla nich chcielibyśmy oprzeć wyniki ewaluacji w oparciu o wskaźniki biometryczne. Natomiast w przypadku pozostałych nauk, chodzi tutaj o nauki humanistyczne, społeczne, teologiczne i o sztukę, szczególnie w przypadku czasopism polskich, chcielibyśmy stworzyć zupełnie odrębny mechanizm ewaluacji. Ten mechanizm polegałby na ocenie środowiskowej tych czasopism – wskazywał. Dla nauk ścisłych wybrany zostałby jeden wskaźnik, który służyłby ocenie publikacji, najbardziej adekwatnym – jak wskazywał prelegent – byłby wskaźnik cytowalności (impact factor).

- Przy tym nie chcemy określać poziomu punktowego czasopisma bezpośrednio na podstawie impact factor, który jest przypisany do dyscypliny. Uważamy, że ta ocena powinna się odbywać w odniesieniu do sekcji, w której występuje czasopismo. Czyli, jeżeli czasopismo znajduje się w sekcji, na przykład matematyki stosowanej, to interesuje nas nie tyle wartość bezwzględna impact factor, a na jakiej pozycji tej sekcji znajduje się to czasopismo – wskazywał. Dodatkowo, KEN proponuje drobną modyfikację w systemie punktacji, sugerując obniżenie progu dla najwyżej punktowanych czasopism. Zamiast ograniczać najwyższą punktację do 3 proc. najlepszych czasopism, proponuje się rozszerzenie tego zakresu do 10 proc., aby uczynić system oceny bardziej reprezentatywnym i wiarygodnym.

Szczególne wsparcie dla polskich czasopism

Komisja Ewaluacji Nauki chce też w nowym systemie uwzględnić wsparcie dla polskich czasopism: -Zastanawialiśmy się dosyć intensywnie w jaki sposób wesprzeć punktowo polskie czasopisma. Uznaliśmy i doszliśmy do wniosku, że zwiększanie bardzo dużej punktacji polskim czasopismom wcale nie wyrówna ich szans, ponieważ zwiększy presję na publikację przez polskich autorów w tych czasopismach – mówił prof. Stanisławski.

Zaproponowano dwa rozwiązania – pierwsze to określenie punktacji na podstawie wskaźników bibliometrycznych, a potem podniesienie ich – w przypadku polskich czasopism – o jeden próg do góry (np. z 20 do 40 pkt., z 40 do 70 itd.). Druga koncepcja, to określenie pozycji czasopisma w Web of Science, dodanie 10 punktów centylowych i na tej podstawie określenie punktacji. – Osobiście skłaniam się ku pierwszemu rozwiązaniu – wskazywał.

W naukach humanistycznych zdecydują eksperci

Kolejna rozpatrywana przez KEN kwestia to ograniczenie nieetycznych praktyk wydawców, chodzi tu o wydawanie dużej liczby numerów specjalnych. - Na pozycje w otwartym dostępie wydawane są naprawdę duże pieniądze, to setki milionów złotych, chcielibyśmy zatem wprowadzić ograniczenia dotyczące czasopism wydających zbyt dużą liczbę wydań specjalnych. Proponujemy obniżanie o jeden próg punktacji czasopisma, które miało więcej numerów specjalnych niż wydań regularnych – wskazywał prelegent.

Jak tłumaczył, ewaluacja humanistycznych czasopism naukowych ma polegać na wykorzystaniu oceny eksperckiej zamiast wskaźników bibliometrycznych, które nie są wystarczająco wiarygodne w tej dziedzinie. Obecnie opracowywany jest specjalny formularz oceny, którego głównymi twórcami są specjaliści w KEN-ie zajmujący się naukami humanistycznymi. Każde czasopismo będzie oceniane w skali od 0 do 100 punktów przez ekspertów wyznaczonych przez ośrodki naukowe posiadające co najmniej kategorię B+ w odpowiednich dyscyplinach. Po zebraniu i analizie ocen, wykorzystując klasyczne narzędzia statystyczne, przypisane zostaną odpowiednie punkty czasopismom. Pierwsze 10 proc. najlepszych czasopism w danej dyscyplinie otrzyma 200 punktów.

Humanistyka to nie nauka specjalnej troski

Z pomysłami KEN polemizował prof. Aleksander Welfe z Uniwersytetu Łódzkiego. - Jestem fundamentalnie przeciwny budowaniu getta dla humanistów, reprezentantów nauk społecznych. Jako ekonomista, nie chcę być traktowany inaczej niż matematycy - mówił. – Moim zdaniem nie ma problemu w ocenie czasopism naukowych z dziedziny nauk społecznych i humanistyki na podstawie tych samych wskaźników bibliometrycznych. Są tysiące czasopism na świecie z dziedziny filozofii, socjologii, psychologii, językoznawstwa, prawa, ekonomii, finansów, które mają impact factor i SNIP i na podstawie tych wskaźników bibliometrycznych można klasyfikować te czasopisma. Budowanie specjalnego systemu dla oceny tych czasopism wydaje mi się spychaniem tych uczonych na margines i otwiera pole do arbitralnych ocen – mówił. Wskazywał też, że rzetelna ocena ekspercka danego czasopisma wymagałaby przeanalizowania kilku ostatnich roczników danego periodyku. - Używając tytułu filmu, to jest "mission impossible". W związku z tym jestem przekonany, że ocena osiągnięć naukowych w obszarze nauk humanistycznych, społecznych, teologicznych i innych powinna być robiona na podstawie tych samych reguł, jak oceniany jest dorobek naukowy innych dyscyplin – podkreślał. Odniósł się też do propozycji obniżania punktacji czasopismom, które wydają nieproporcjonalną liczbę numerów specjalnych – wskazał, że sposób zaproponowany przez KEN nic nie da, bo wydawcy obejdą go tak, że będą wydawać jeden numer, ale zawierający np. kilkaset artykułów.

Obecny model nie uwzględnia specyfiki nauk humanistycznych

- O rozdziale – dwóch ścieżkach dla czasopism już od jakiegoś czasu mówiło się w środowisku - mówi dr hab. Grzegorz Krawiec, prof. UKEN. - Nie oceniam tego pomysłu źle. Pamiętać należy, że w czasach ministra Gowina to przedstawiciele nauk ścisłych mieli dostęp do ucha ministra i tenże minister w dużym stopniu przychylił się do ich rad w zakresie kreowania projektu modelu ewaluacji jakości działalności naukowej. Modelu, który nie odpowiada naukom społecznym/humanistycznym; np. u biologów monografie nie mają dużego znaczenia; są one za to podstawową formą pracy naukowe w naukach społecznych/humanistycznych. Obecny system zdeprecjonował monografie we wszystkich naukach. Dlatego też pomysł rozdzielenia zasad dotyczących listy czasopism uważam za dobry (o ile w ogóle zgodzimy się co do tego, czy taka lista ma w ogóle istnieć). Trzeba by jednak iść jeszcze dalej i wprowadzić oddzielne zasady ewaluacji nauki dla różnych dyscyplin (lub choćby dziedzin) nauki - wskazuje.

Dodaje, że ciekawie wyglądają pomysły dotyczące ewaluacji czasopism humanistycznych. Proponowany jest model ekspercki zamiast bibliometrycznego. - Odejście od bibliometrii w naukach humanistycznych uznać należy za właściwe. Jednak system ekspercki też budzi wątpliwości: co oznacza, np. że „eksperci będą wyznaczenie przez ośrodki naukowe posiadające co najmniej kategorię B+ w odpowiednich dyscyplinach” – w jaki sposób eksperci zostaną wyznaczeni – czy grono ekspertów nie zostanie zdominowane przez niektóre ośrodki? - uważa prof. Krawiec. Wskazuje, że zasady punktacji czasopism (ale także zasady ewaluacji jakości działalności naukowej) to dla większości ludzi nauki „czarna magia”. - Jako szef dyscypliny na mojej uczelni mogę to potwierdzić, tymczasem geniusz tkwi w prostocie. Po co buduje się skomplikowane modele oceny czasopism? Po to by grupa wybranych mogła być w tym zakresie ekspertami i doradzać innym i czerpać korzyści - podsumowuje prof. Krawiec.