學術影響因子存在先天的瑕疵
文匯報：您曾多次提出，對于科研成果的評價體系需要改革，那么改革的切入點是什么？
謝克曼：舉例而言，中國的很多學術機構，尚沒有建立起一套完整的知識影響力的架構或者體系來評價學者的學術水平。
就我看來，學術機構應該更加倚重本機構外、甚至體制外的觀點來對其學術貢獻進行評價。具體而言，當一個年輕學者想要求職，或者謀求提高職稱或職級時，學術機構應該讓其提交一份200至300字左右的影響力聲明（impact statement）。在這份聲明中，他們應該說明，在一個更加廣泛的領域內——諸如世界范圍內——該研究有何特殊地位，其貢獻和影響力體現在哪些方面。這些都是通過自敘方式進行評估。隨后，這份影響力聲明，應該提交到一個專門委員會，由該委員會提交給外部學者，并告知他們：“這是我們部門學者的研究成果，請您從專業領域出發，對其學術貢獻進行客觀、準確的評估。”
當然，在我身處的伯克利，我們的院系內就有著很專業的人才，所以我們不必向外尋求幫助，但對于部分沒有這樣充沛學術資源的機構，我仍建議：在你們的學者的學術論文提交給刊物發表之前，應該讓其做一個學術聲明，并讓外部機構進行評估審閱。
文匯報：紙質期刊受其版面的限制，刊載論文的數量有限，但理論上也為論文質量設定了門檻，即應當只有優質論文才能刊載其上；可隨著新媒體技術的發展，論文數量和篇幅將不再受限制，但如此一來，論文的質量會不會也隨之下降？
謝克曼：從現在學術期刊的現狀看，大部分期刊兼有紙質版和電子版，而越來越多的學術期刊甚至考慮放棄紙質版，只做電子版。這意味著，它們可以發布更多、更長的論文。但對于那些我眼中的“奢侈品期刊”而言，這種做法仍有問題：盡管它們擁有電子版，但它們仍嚴格限制紙質版論文的發表篇數和篇幅。《科學》最近宣布，它將開放一個更開放、更自由、更容易登錄的學術網站，它將刊登更多論文，并且減少對原先論文的刪節。我認為，這是他們朝著正確方向邁出的第一步，但我仍不確定，他們將刊登什么樣的論文，他們的選稿標準又是什么，以及他們怎么編輯、處理這些論文。
其中，我最大的疑慮仍是，如果這些刊物仍延請紙質版的編輯從事電子版的編輯，那么稿件的質量或許仍得不到保證，原因我已經重復再三：這些編輯已脫離一線多年，未必能慧眼識珠，而且我對他們從事網上編輯的經驗深感懷疑。
文匯報：《科學》雜志稱他們有三條選稿標準：一是論文的社會影響力；二是論文在科學上的創新力；三是論文的嚴謹性。您是《eLife》的編輯。我們知道，這是一份權威的免費期刊，那么，您的選稿標準是什么，與這些所謂的“奢侈品”期刊有何不同？
謝克曼：我只是其中的一名編輯，這家刊物還有一名資深編輯。這位編輯在全球范圍內遴選了十五六名專業人士，組成了一個初審團隊。
在初審團隊中，專家們將根據自己的專業知識做出獨立判斷。在閱讀論文時，我們常常問自己兩個問題：第一，這篇稿件有何重大意義？第二，這篇稿件有何創新之處？因此，這些都是主觀性很強的判斷。當字面上遇到不清楚的地方，他們將向團隊中的其他人員尋求幫助。因此，這部分的初審工作，主要用于衡量論文的科學意義。
然后，論文將被提交到一個更大規模的評審委員會，這個團隊猶如我們期刊的“裁判”。這個團隊的主要任務是評審稿件的質量，評價其對于科研領域究竟有何貢獻。因為我們是電子版的期刊，所以對于稿件的數量和篇幅不僅沒有限制，甚至希望多多益善，最好能網羅一切有價值的論文。
文匯報：人們總是習慣用量化指標來衡量一件事情的優劣。如此以來，才有了考試分數、大學排名和SCI指數。顯然，量化指標是一種衡量尺度和標準，但絕不是最完美的體系和標準。在您看來，用什么樣的標準才能完整地反映事物，我們應該建立一種怎樣的科學成果評價體系？
謝克曼：我對現在流行的衡量體系深表懷疑，影響因子存在先天的瑕疵。在《eLife》的編輯中，我們也會引入一些量化指標，諸如這篇稿件的引用次數、下載次數，以及關鍵詞的搜索頻率。我認為，盡管比傳統的影響因子有所改進，但仍有瑕疵和缺陷。
例如，有些學科比另外一些學科更流行、更受關注，這樣它們被引用、下載和搜索的頻率和次數將大大高于其他學科，而這與其論文科研水平其實并不成正比。例如，在理科領域中，物理學家的人數相對較少，其引用頻率就比其他學科低。當然，這不能就此認為，物理學論文的質量和重要性不如其他學科。
因此，我對這些所謂的量化衡量體系深表懷疑。我認為，唯一衡量論文質量的方法就是：人們應該完整地閱讀全文，然后由自己來做出判斷。值得一提的是，對于很多嚴肅的科學期刊而言，除了極少數該領域的專業人士外，其他人或許很少有興趣把全文讀完，我們的做法是，讓一名該領域的科學家在仔細閱讀后，對其進行概括，我們把這段概括稱作“eLife消化”。每個閱讀《eLife》的讀者，都有機會能接觸到這種概括性的評價，并最終得出自己的評價。
