加快打造原始創(chuàng)新策源地,加快突破關鍵核心技術,努力搶占科技制高點,為把我國建設成為世界科技強國作出新的更大的貢獻。

——習近平總書記在致中國科學院建院70周年賀信中作出的“兩加快一努力”重要指示要求

面向世界科技前沿、面向經濟主戰(zhàn)場、面向國家重大需求、面向人民生命健康,率先實現科學技術跨越發(fā)展,率先建成國家創(chuàng)新人才高地,率先建成國家高水平科技智庫,率先建設國際一流科研機構。

——中國科學院辦院方針

首頁 > 傳媒掃描

期刊超越指數能否“超越”影響因子?專家表示,

評期刊不等于判論文

2022-08-03 中國科學報 韓揚眉 閆文藝
【字體:

語音播報

  日前,中科院文獻情報中心(以下簡稱文獻情報中心)發(fā)布通告稱,2022年,分區(qū)指標不再采用“三年平均影響因子”,而是替換為“期刊超越指數”(升級版)。

  2019年,文獻情報中心首次提出“期刊超越指數”,包括基礎版和升級版,升級版的優(yōu)勢在于弱化對預制學科體系的依賴、體現期刊的學科交叉性、突破均值指標的瓶頸等。試行3年后,未來將只采用升級版“期刊超越指數”。

  文獻情報中心計量與評價部主任、研究員楊立英告訴《中國科學報》,發(fā)布“期刊超越指數”,核心是為了修正過去期刊影響因子計算的局限,以更好地反映期刊影響力。值得注意的是,它并不是萬能指標,尤其不能以此絕對決定科研人員某篇論文的質量和科研水平。

  期刊超越指數如何計算?適用場景是什么?對科研評價體系改善有何助益?圍繞相關問題,《中國科學報》專訪了楊立英,文獻情報中心計量與評價部副主任、副研究員沈哲思,以及研究員李夢輝。

  影響因子的局限與誤用

  《中國科學報》:分區(qū)指標為什么不再采用“三年平均影響因子”?

  沈哲思:從計量的角度,我們看到了影響因子的問題所在。

  首先在計算方式上,影響因子計算時分子分母所涉及的論文是不一樣的,分母只考慮研究性和綜述性論文,而分子則是本期刊所有論文(包括研究性論文、綜述和評論文章等)的引用情況,這使得一些期刊可能通過一些“操縱”,如發(fā)更多的綜述、評論等方式提高影響因子,因為綜述的被引頻次相對會比研究性論文多一些。

  影響因子只關心論文發(fā)表后兩年中論文引用情況,這對于一些需要3到5年,甚至更久才能體現價值的學科有些不合適。

  其次,是引用分布偏態(tài)的問題。事實上,一本期刊不同論文的引用次數是呈偏態(tài)分布的。也就是說,是否包含一篇高被引文章,對期刊影響因子的波動影響非常大。舉個例子,某期刊2020年影響因子達到508,可能是迄今最高的影響因子,關鍵在于有一篇文章接近15000的引用量,將其剔除后,影響因子馬上降到195,再剔除另一篇引用量為5600的論文,馬上降到74。

  這種方式會使一些期刊“投機”,多發(fā)超高被引文章,快速提高影響因子。事實上,大多數論文的引用次數均低于影響因子。這種引用分布高度有偏,篇均引用無法反映期刊整體影響力。

  《中國科學報》:最近科睿唯安發(fā)布了最新影響因子名單,有一些期刊影響因子快速增長,引發(fā)國內學者的廣泛質疑。一時間,大家紛紛吐槽“苦影響因子久矣”,您如何看待這個現象?

  沈哲思:我們觀察到,今年國產期刊影響因子快速增長,有一部分原因在于發(fā)表的一些新冠相關論文帶來的巨大引用。其實像《柳葉刀》《新英格蘭醫(yī)學雜志》等國際醫(yī)學頂尖雜志影響因子的猛增,也是這個原因導致的。一旦把這些論文排除,影響因子其實又回到了原來的水平。

  發(fā)表熱點論文、綜述性論文,都是期刊快速提高影響力的一些做法。但需要強調的是,引用次數多,只能說明論文影響力比較高,不能直接代表其價值和水平也很高。

  《中國科學報》:上述現象是否會導致越來越多的科研人員追尋熱門學科,而冷門專業(yè)卻無人問津,久而久之帶來學術內卷和學術資源的分配不均?

  沈哲思:我覺得是這樣。因此評價要區(qū)分學科,熱門學科期刊中倒數的影響因子可能也會比冷門學科期刊中最高影響因子高。比如數學學科與材料學科的影響因子差異就很大,但并不能代表數學期刊水平不行。

  不同學科的引用范式(比如參考文獻長度、引用周期)不同,被引頻次有較大差異,不能直接跨學科比較。此外,領域內部(學科內部)也存在差異。

  期刊超越指數的修正

  《中國科學報》:此次發(fā)布的“期刊超越指數”的優(yōu)勢是什么?它是否能超越影響因子的局限性?

  沈哲思:提出“期刊超越指數”的初衷,是改進影響因子所存在的問題,更好地評價期刊影響力。

  期刊超越指數的計算機制是,從期刊選擇一篇論文,其引用數大于從其它期刊選擇的一篇相同主題、相同文獻類型論文引用數的概率。就像兩個班級的學生比身高,隨機從A班挑出來的同學都比B班隨機挑出來的要高,那么,A班的身高相對B班要高。

  這種計算方式避免了分子分母不一致問題,比如,研究性論文之間比較、綜述性論文之間比較,兩者之間不比,這樣刊發(fā)大量綜述性論文的期刊不再直接占優(yōu)勢了。該方法也更好地解決了偏態(tài)問題,高被引論文和普通論文在比較中的作用是相同的,一篇高被引論文的作用被大大削弱。

  此外,通過提取WoS全庫論文及其引用關系,構建了論文主題層級的分類體系,把學科劃分得更細致,每篇論文有其歸屬的研究學科和主題,使得我們的分類比較更加精準,避免了把兩個不同主題的論文放在一起比較。

  《中國科學報》:“期刊超越指數”如何更科學合理地體現期刊影響力?

  沈哲思:我們說一本期刊比另外一本期刊的影響力高,直觀感受是一本期刊隨便一篇文章的影響力,都比另一本期刊文章的影響力高。

  期刊超越指數,特別要求每篇論文引用率高,如果只有單篇或幾篇引用率高,整體上就不占優(yōu)勢了。換句話說,影響因子是對比兩本期刊的平均引用次數,期刊超越指數則是期刊的每篇文章引用都要互相對比。但單篇論文是不是絕對好,不能用期刊超越指數來評價,使用評價指標的時候還是要注意這個問題。

  任何“因子”都不能用來衡量單篇論文研究水平

  《中國科學報》:2019年,《自然》提出了“顛覆性指數”,用來評價論文研究水平,在您看來,無論是影響因子,還是期刊超越指數,它的核心作用是什么?

  李夢輝:這些“因子”最開始主要設計用來評價期刊,只是后來慢慢被誤用了,原來的目的固化了。影響因子更多是評價期刊,所以并不適合去評價單篇論文質量。評價單篇論文質量,還是需要通過同行評議來進行判斷。

  從影響因子和超越指數指標來看,評價的其實是影響力、是否受到了更多關注。而“顛覆性指數”評價的是一個成果,相對于舊的成果,它在內容上的新穎程度和開創(chuàng)程度。

  《中國科學報》:該如何使用期刊超越指數?如何看待它在科學研究評價中的作用?

  楊立英:任何科學評價指標,沒有用到合適的應用場景都會出現問題??蒲薪鐚τ绊懸蜃拥馁|疑分成兩個層面:一是影響因子指標算法的弊端,但更多是影響因子被過度使用。

  超越指數解決了影響因子指標算法的主要弊端,但它不是萬能指標,有它的適用場景,需要合理使用。期刊超越指數的應用,旨在評估SCI期刊的學術影響力,可為學術投稿提供參考,為科研管理部門的宏觀判斷提供支撐。

  《中國科學報》:此次變化將給國內科研評價體系帶來怎樣的助益?

  楊立英:我們的“十四五”規(guī)劃中有一項重要任務就是建設中國特色的科研評價體系。

  中國特色評價體系指評價導向服務中國科研管理、評價數據包含中國數據、評價方法體現中國貢獻。實際上,“十三五”期間我們一直圍繞這個目標開展了一系列工作,其中《國際期刊預警名單》體現了服務中國科研管理的導向,而超越指數則體現了期刊評價方法的中國貢獻。

  2022年,我們推出一系列方案,繼續(xù)強化上述中國特色,尤其是將中國數據納入評價體系中,例如發(fā)布《中文期刊分區(qū)表》,實現中英文期刊同質等效評價。

  (原載于《中國科學報》 2022-08-03 第1版 要聞)
打印 責任編輯:侯茜

掃一掃在手機打開當前頁

© 1996 - 中國科學院 版權所有 京ICP備05002857號-1 京公網安備110402500047號 網站標識碼bm48000002

地址:北京市西城區(qū)三里河路52號 郵編:100864

電話: 86 10 68597114(總機) 86 10 68597289(總值班室)

編輯部郵箱:casweb@cashq.ac.cn

  • © 1996 - 中國科學院 版權所有 京ICP備05002857號-1 京公網安備110402500047號 網站標識碼bm48000002

    地址:北京市西城區(qū)三里河路52號 郵編:100864

    電話: 86 10 68597114(總機) 86 10 68597289(總值班室)

    編輯部郵箱:casweb@cashq.ac.cn

  • © 1996 - 中國科學院 版權所有
    京ICP備05002857號-1
    京公網安備110402500047號
    網站標識碼bm48000002

    地址:北京市西城區(qū)三里河路52號 郵編:100864
    電話:86 10 68597114(總機)
       86 10 68597289(總值班室)
    編輯部郵箱:casweb@cashq.ac.cn