Czy istnieje standardowy system oceny publikacji czasopism naukowych?


9

Słyszałem, że niektóre czasopisma są oceniane wyżej niż inne. Czy to prawda? A jeśli tak, jakie są kryteria oceny wartości jednego czasopisma recenzowanego przez inny? Jak mogę sprawdzić jego ocenę? Czy moja publikacja będzie mniej „warta”, jeśli zostanie zaakceptowana w mniej renomowanym czasopiśmie niż, powiedzmy, SIAM Review?


1
To pytanie można uznać za nie na temat, subiektywne lub zbyt ogólne. Ale myślę, że warto tu przedyskutować i napiszę odpowiedź.
David Ketcheson

@DavidKetcheson: To też było moje uczucie.
Geoff Oxberry

Odpowiedzi:


5

Jakie czynniki decydują o tym, gdzie opublikuję artykuł?

  • Czy ludzie, których chcę przeczytać ten artykuł, zobaczą go? Jeśli śledzę pracę innej grupy (być może, aby pokazać inny punkt widzenia, czasami aby pokazać ulepszenia algorytmiczne lub rozwiązać problemy z poprzednim artykułem), chcę przesłać artykuł do tego samego czasopisma, nawet jeśli jest problem z czynnikiem wpływu.

Jako młody naukowiec zajmujący się obliczeniami, który wciąż znajduje się w fazie rozwoju kariery, chciałbym stwierdzić, że pytanie to ma jeszcze jeden, a może nawet bardziej krytyczny aspekt. . . .

  • Czy osoby, które mogą mnie ocenić, zobaczą ten artykuł?Często rozmawiałem z rówieśnikami z dziedziny nauk obliczeniowych o potrzebie posiadania „domowej murawy”: nauka obliczeniowa jest dziedziną wysoce interdyscyplinarną. Niestety, tak naprawdę nie możemy być uważani za naukowców zajmujących się obliczeniami, jeśli przyjdzie czas, aby wziąć pod uwagę stanowisko stałe. W przypadku braku pracy w dziale nauk obliczeniowych, będziemy musieli ubiegać się o stanowisko w istniejącym dziale, co zwykle oznacza, że ​​naszymi „rówieśnikami” będą inni inżynierowie, naukowcy i matematycy - z których wielu tak naprawdę nie ma silnego doświadczenie w naukach obliczeniowych. Oznacza to, że nawet jeśli chcesz iść w kierunku nawożenia, nadal musisz skoncentrować się na swoich publikacjach w czasopismach dla swojej dyscypliny. Jest to wyzwanie, z którym wielu naszych rówieśników niekoniecznie musi się zmierzyć, i jest to dodatkowa komplikacja w naszym życiu. Ale musimy o tym pamiętać przed rozpoczęciem pracy!

  • Ile mam teraz konkurencji? Im bardziej zatłoczone jest pole, tym ważniejsze jest wczesne uzyskanie wyników. Chociaż wspaniale jest próbować chodzić do Natury lub Nauki przy każdym papierze z twojej grupy (zakładając, że nie jesteś w czystej matematyce lub coś podobnego), bycie pierwszym poza bramą w „gorącym” polu ma znacznie większe znaczenie niż publikowanie w „najlepszym” czasopiśmie w terenie.

  • Jak ważny jest ten papier? Artykuł, który przedstawia wiele prac, które dostarczają wiele nowych danych, ale niewiele w przełomowym świetle, prawdopodobnie nie zasługuje na pójście do dziennika na najwyższym poziomie. Prawdopodobnie lepiej poszukać renomowanego czasopisma. Jeśli jednak naprawdę znalazłeś coś dużego, strzelaj wysoko, o ile nie martwisz się o czas, który wpływa na wielkie czasopisma. (Na przykład opublikowanie listów z przeglądu fizycznego może potrwać dłużej niż w jednej z innych serii przeglądu fizycznego , które są porównywalnej ilości.)

Po uwzględnieniu wszystkich tych elementów zacznę się martwić takimi kwestiami, jak współczynnik wpływu , ale tylko jako luźny środek kontroli jakości. Różnice wynoszące 10–20% są w zasadzie bez znaczenia, ale wartość 1,0 w porównaniu do 2,0 lub 2,0 w ​​porównaniu do 3,0 reprezentuje mierzalny poziom różnicy między czasopismami.


8

W idealnym świecie przy wyborze miejsca, w którym należy złożyć manuskrypt, należy wziąć pod uwagę tylko jedną rzecz:

który czytelnik czasopisma obejmuje najszerszą publiczność, która byłaby zainteresowana tą pracą?

W praktyce bierzesz pod uwagę także inne czynniki, być może najbardziej znaczące

Jak publikowanie w tym czasopiśmie pomoże mojej karierze?

Każdy, kto dobrze rozumie twoją pracę, oceni ją na podstawie jej rzeczywistego znaczenia , ale ci, którzy są zbyt daleko, mogą użyć jakości czasopisma jako wskaźnika jakości twojego papieru.

Jak określa się jakość czasopisma? Doświadczeni specjaliści mają własne opinie oparte na doświadczeniach z każdym czasopismem i czytanych artykułach. W niektórych dziedzinach, takich jak matematyka, tę ekspertyzę można zsyntetyzować tylko rozmawiając z wieloma ekspertami. W innych dziedzinach, takich jak informatyka, zostało to wyraźnie skodyfikowane w wielopoziomowym systemie rankingowym .

Najbardziej powszechnie dostępnym wskaźnikiem jakości czasopisma jest tak zwany współczynnik wpływu . Niebezpieczeństwo posiadania jednej, powszechnie używanej metryki do czegokolwiek polega na tym, że może być ona zmanipulowana lub niewłaściwie zastosowana , lub może po prostu nie być przydatna do niektórych rzeczy, do których jest stosowana. Na przykład, ponieważ mierzy cytaty tylko w ciągu dwóch lat, nie ma to większego sensu w przypadku artykułów matematycznych, które zazwyczaj otrzymują większość cytowań po dwóch latach - często znacznie później. Wydaje się również, że jest słabo skorelowana z opinią ekspertów. Istnieją alternatywy, na przykład czynnik własny . Wiele osób proponuje teraz wykorzystanie wskaźników sieci społecznościowych do rangowania czasopism .

Nie używam współczynnika wpływu ani innych takich wskaźników w moich własnych decyzjach, ponieważ uważam, że moje bezpośrednie doświadczenie daje mi dokładniejszą miarę znaczenia czasopisma. Ciekawym ćwiczeniem jest przejrzenie osobistej biblioteki odniesień (np. W pliku bibtex) i sprawdzenie liczby artykułów zawartych w różnych czasopismach. To prawdopodobnie da ci najlepszą wskazówkę, gdzie powinieneś publikować.

Nawiasem mówiąc, istnieje propozycja stworzenia opartego na ekspercie rankingu czasopism matematycznych; zobacz ten raport i oficjalny blog IMU .

Należy również pamiętać, że ostatnio doszło do eksplozji nowych, niskiej jakości czasopism opartych na modelu autor-pay. Ich wydawcy często spamują duże społeczności naukowców (często w tym wielu niewykwalifikowanych), starając się uzyskać rozsądnie szanowane nazwiska w swoich redakcjach i prosić o dokumenty. O ile mi wiadomo, są to próżne zorientowane na zysk prasy .


W jaki sposób odróżniasz tych wydawnictw próżnych od wydawców ocenianych przez recenzentów?
Paweł

1
@Paul dobre pytanie; to zwykle dość oczywiste. Znaki są takie, że spamują wiele osób, zaciągają niewykwalifikowanych redaktorów i wymagają zapłaty za publikację. Zwykle mają również źle napisane wiadomości i strony internetowe (w zakresie podstawowych rzeczy, takich jak gramatyka i pisownia).
David Ketcheson

Rozważając szerokie grono odbiorców, możesz rozważyć, czy czasopismo ma otwarty dostęp i czy czasopismo ma zasady archiwizacji danych i kodów. Badania wykazały, że 1 2 [3] (maksymalne udostępnianie danych). Czasopisma o otwartym dostępie zyskują szersze grono czytelników i większy wpływ. Alternatywnie, jeśli nie chcesz udostępniać danych i kodu, czasopisma z mandatami do archiwizacji mogą być złym wyborem.
cboettig

1
Zgadzam się z komentarzami @ DavidKetcheson, ale dodam kilka własnych. Po zasiadaniu w panelu matematycznym Discovery Grant dla NSERC istnieje wiele pułapek w stosowaniu czynników wpływających na dziennik do oceny jakości poszczególnych artykułów. Nawet najlepsze czasopisma zawierają artykuły o szerokim zakresie jakości, a mierne (lub błędne) wyniki prześlizgują się przez nawet najlepsze procesy recenzowania. To powiedziawszy, nadal uważam listę zaproponowaną przez IMU / ICIAM lub AustMS (wspomnianą przez @Dirka) za przydatną.
John Stockie,

@cboettig Pod względem matematycznym podejrzewam, że faktyczne czytelnictwo może być negatywnie skorelowane z otwartym dostępem z powodu niefortunnego zalewu niskiej jakości wydawców „otwartego dostępu”. Oczywiście arXiv dociera do bardzo szerokiej publiczności! To mój preferowany „wydawca” o otwartym dostępie.
David Ketcheson

5

To naprawdę zależy od tego, jak bardzo wierzysz w oceny czasopism. Najbardziej popularną miarą, o której wiem, jest współczynnik wpływu. W tym artykule w Wikipedii opisano współczynnik wpływu, sposób jego obliczania i podatności na manipulacje, a także alternatywne wskaźniki oceny czasopism. Najważniejszą rzeczą wartą odnotowania jest to, że współczynniki wpływu dla czasopism z różnych dziedzin niekoniecznie są porównywalne, nawet pomimo tego, że system oceny współczynnika wpływu próbuje zawalić „jakość” każdego czasopisma na jedną miarę. (Interesującą dyskusję na temat tego, dlaczego taki pomysł może prowadzić do mylących lub łatwych do manipulacji wyników, można znaleźć w eseju Malcolma Gladwella New Yorker, The Order of Things , w którym omawia się rankingi szkół i rankingi samochodów).

Czynnikiem wpływu jest średnia liczba cytowań otrzymanych na artykuł opublikowany w tym czasopiśmie w ciągu dwóch poprzednich lat, więc kryterium oceny wartości jednego czasopisma recenzowanego przez inny jest liczba cytowań jego ostatnich artykułów średnio na podstawa artykułu. Ta metryka oznacza, że ​​czasopisma takie jak Science and Nature są wysoko ocenione, jak można się spodziewać, ale oznacza to również, że International Journal of Nonlinear Sciences and Simulation (3.100) uzyskuje wyższą pozycję niż SIAM Journal of Scientific Computing (3.016), mimo że ten ostatni dziennik jest znacznie bardziej rozpoznawalny.

Jeśli twoja publikacja ma mniejszą „wartość”, zależy to od osoby. Moi starsi koledzy powiedzieli mi, że publikowanie artykułów w bardziej prestiżowych czasopismach pomaga w podejmowaniu decyzji dotyczących zatrudnienia i zatrudniania; nie mając doświadczenia w takich sprawach z pierwszej ręki, odsyłam do komentarzy osób, które mają więcej doświadczenia z tego rodzaju sytuacjami. To zależy od społeczności ludzi, do których chcesz dotrzeć lub zaimponować. Jeśli opublikujesz coś w czasopiśmie matematycznym, nie oczekuj, że osoby spoza matematyki koniecznie go przeczytają. (Ta sama rada dotyczy innych tematów.) Możesz także zdecydować się na publikację w mniej prestiżowym czasopiśmie, ponieważ chcesz szybko uzyskać wynik, niż czekać długo na jego sprawdzenie przez bardziej prestiżowy dziennik. JA' powiedziano nam, że czasopisma SIAM mogą zająć rok lub dłużej, aby przejrzeć artykuł i opublikować go, co jest poparte, patrząc na czas między datą przesłania a datą publikacji na papierze. Zgłoszenie do określonego czasopisma zależy również od celów i zakresu, polityki (kto jest w redakcji, który prawdopodobnie dokona przeglądu twojego artykułu), do jakiej społeczności chcesz dotrzeć (w pewnym sensie idzie to z poradami na powyższy temat ). Nadal konsultuję się w innych sprawach w tych sprawach. do jakiej społeczności chcesz dotrzeć (w pewnym sensie idzie to z poradami na powyższy temat). Nadal konsultuję się w innych sprawach w tych sprawach. do jakiej społeczności chcesz dotrzeć (w pewnym sensie idzie to z poradami na powyższy temat). Nadal konsultuję się w innych sprawach w tych sprawach.

Kiedy patrzę na artykuły, „prestiż” czasopisma jest dla mnie moim wewnętrznym odczuciem, które odzwierciedla cenne opinie innych osób, które znam w nauce (moich doradców, kolegów itp.). Bardziej skłonny jestem zaufać artykułowi w bardziej prestiżowym czasopiśmie, ponieważ uważam, że jest bardziej wiarygodny, ale w prestiżowych czasopismach są z pewnością złe artykuły, więc prestiż nie zastępuje robienia należytej staranności. Na przykład w całkiem dobrym artykule z czasopisma cytowanym przeze mnie w SIAM Review jest kilka poważnych literówek .

W każdym razie, to moja rozmyślna opinia i jako (prawie) świeżo upieczony doktorat, jestem pewien, że inni z większym doświadczeniem będą mieli znacznie więcej perspektywy i wglądu do dodania.


Dobre podsumowanie. Czasy oczekiwania zależą zarówno od tematyki, jak i „prestiżu”. Na przykład, z mojego doświadczenia, ciężkie prace matematyczne wymagają znacznie więcej czasu niż recenzowanie zorientowanego programowo. Dzięki za link do New Yorkera. To dobra lektura.
Faheem Mitha

3

Ocena jest z konieczności subiektywną czynnością. Jeśli zależy ci na tym, jak inni ocenią twój papier, musisz dowiedzieć się, jakie są jego kryteria. Zasadą jest, że im mniejsze są kompetencje w Twojej dziedzinie pracy, tym bardziej będą polegać na ocenie czasopism, a nie na ocenie Twojej pracy, a tym bardziej będą opierać się na bibliometrii (czynniki wpływu, czynniki h, ...) zamiast osobistego doświadczenia.


3

To rozmowa, którą powinieneś odbyć z osobami nad tobą, które będą cię oceniać. Jeśli jesteś doktorantem, powinieneś porozmawiać ze swoim doradcą i innymi profesorami na temat tego, jak ich wydział i inne wydziały w innych instytucjach oceniają pracę wydziału ds. Kadencji przy podejmowaniu decyzji o zatrudnieniu. Jeśli jesteś teraz wykładowcą kadencji, powinieneś już odbyć rozmowę z przewodniczącym wydziału i innymi członkami rady budżetowej wydziału lub podobnymi organami na temat tego, jak oceniają pracę kandydatów na stanowisko. Jeśli nie jesteś profesorem mody lub jesteś pracownikiem naukowym w miejscu bez stażu pracy, powinieneś zadać te same pytania swojemu przełożonemu na temat promocji i utrzymania w swojej instytucji.

Z mojego doświadczenia wynika, że ​​większość badaczy tak naprawdę nie czyta ani nie próbuje nadążyć za publikacjami w czasopismach odnoszących się bezpośrednio do ich obszarów, gdy tylko się pojawią. Powiedzmy, że niewiele osób ma subskrypcje osobiste do IJNMF i czytało co miesiąc numer wydania od pierwszego do drugiego. Jest po prostu zbyt wiele miejsc do nadążenia. Widzę, że częściej ludzie szukają pokrewnej pracy, korzystają z alertów e-mailowych lub google, aby wyszukiwać pokrewne przedmioty i bezpośrednio śledzą pracę kolegów i konkurentów. Tak więc ważne jest, aby nie próbować zobaczyć swojej pracy za pośrednictwem czasopism, ale publikować w najlepszym możliwym miejscu, określonym przez osoby, które będą oceniać twoją karierę.

Sposobem na pokazanie swojej pracy jest agresywne promowanie jej na konferencjach, seminariach, wolnym oprogramowaniu, stronie internetowej itp. Prawdopodobnie nie wpłynie to na decyzję komisji ds. Promocji (lub tym podobne), ale jeśli ludzie zobaczą i wykorzystają twoją pracę za pośrednictwem innych miejsc, a ty dajesz im odbitki i linki do miejsc, w których są publikowane w czasopismach, to zwiększy liczbę cytowań, co jest ważne dla osób powyżej ciebie.


Na przykład czytam spis treści dziennika. Korzystam z agregatora kanałów RSS i zajmuje to tylko kilka minut tygodniowo, aby nadążyć za około tuzinem czasopism. W ten sposób zazwyczaj otrzymuję artykuły znacznie przed datą publikacji. Możesz zobaczyć, które przeczytałem tutaj: scienceinthesands.blogspot.com/2011/10/…
David Ketcheson

Uznałem, że są ludzie, którzy nadążają bardziej niż ja. Jestem głównie poza akademicką sceną wydawniczą (nie jestem na tym tropie). Z pewnością łatwiej jest nadążyć teraz niż wtedy, gdy wszystko było tylko z papieru. Z ciekawości, ile artykułów z tej kolekcji kończysz w ciągu miesiąca?
Bill Barth,

Prawdopodobnie tylko 1-2 na dowolnej głębokości. Ale czerpię dużą wartość z bycia świadomym pracy, czytając niektóre streszczenia. Prawdopodobnie przeczytam w kolejności 25 streszczeń w ciągu miesiąca. Resztę odrzuca się po zeskanowaniu tytułu.
David Ketcheson

2

Moja krótka odpowiedź brzmi: Niestety jest (prawie).

Jest ocena przyznana przez Aust MS dla czasopism matematycznych i myślę, że są też inne oceny. Jednak moim zdaniem nie jest to pomocne. Cytuję z własnego bloga: „Moim zdaniem ocena jest możliwa, ale jednocześnie bezużyteczna i niebezpieczna. Jest to możliwe, ponieważ możesz zapytać doświadczonych matematyków, a otrzymasz wiarygodną odpowiedź. Jest bezużyteczna, ponieważ albo wiesz, które czasopisma są dobry lub możesz poprosić kolegę (co jest w zasadzie z tego samego powodu, co poprzedni). Jest niebezpieczny, ponieważ oferuje możliwość podejmowania decyzji o zatrudnieniu lub przyznaniu tych liczb i przenosi uwagę z tego , co publikujesz, na to, gdzie jesteś publikować."


Niestety, to nie trzeba się martwić, zarówno co i gdzie publikują przynajmniej jeśli jesteś na etapie swojej kariery, gdzie jesteś zaniepokojony konieczności znalezienia innej pracy.
aeismail

Cóż, należy skupić się na tym, co jest w gazecie. W każdym razie: jeśli jesteś bardzo dobry, nie będzie miało znaczenia, gdzie opublikujesz. Przynajmniej środowisko matematyczne jest dość odporne na środki takie jak czynnik wpływu i opiera się na opiniach ekspertów (tj. Sędziów i listów polecających).
Dirk

Jeśli zajmujesz się matematyką, nie stanowi to większego problemu. Jednak nie wiemy konkretnie, w jakiej dziedzinie znajduje się PO, więc istnieje bardzo duża szansa, że ​​może zostać oceniony przez naukowców nieprzeprowadzających obliczeń. Wtedy na pierwszy plan wysuwa się cała kwestia wiedzy kontra wrażeń.
aeismail

Wydaje mi się, że po obu stronach tego problemu jest tyle samo osób (niezależnie od tego, czy jest to ważne z pragmatycznego punktu widzenia) ... W niektórych instytucjach ma znaczenie, gdzie w innych ma znaczenie CO.
Paweł

1

Istnieją pewne systemy rankingowe cytowań, które można argumentować, że są przyzwoitymi miernikami prestiżu - ważne artykuły są cytowane częściej i tym podobne - najczęstszym z nich jest „czynnik wpływu”. Ale wszystkie one mają swoje własne problemy - nie są stałe w zależności od pola, są podatne na manipulację przez sprytnych badaczy itp. Inne, które są nieco lepsze, to indeks h i indeks g, ale ... meh.

Ogólnie rzecz biorąc, odkryłem, że istnieje „wyczucie” w tej dziedzinie, co jest dobre, a co nie - a co ważniejsze, co jest właściwe, a co nie jest dla twojej pracy. Na przykład mam jeden artykuł, któremu udało się dostać do bardzo dobrego czasopisma, ale jest on całkowicie nieodpowiedni, więc trochę się psuje.

Twoi ewaluatorzy lub koledzy byliby prawdopodobnie najlepszym źródłem do rozmowy. Doświadczenie jest często najlepszym osądem tego, co uznaje się za „dobre” dla konkretnego artykułu, który nadawałby się do konkretnego czasopisma. Ogólne rankingi branżowe (biologia, medycyna itp.) Lub, co gorsza, rankingi akademickie mogą się nie przydać.

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.