官方微信
官方微信
《自然》：中國正利用人工智能選擇基金評審人
發(fā)布時間：2019-06-14 09:30:13
5月14日，《自然》雜志以《人工智能正在選擇中國的基金評審人》為題，介紹了中國最大的基礎(chǔ)科學(xué)資助機(jī)構(gòu)——國家自然科學(xué)基金委員會正在利用人工智能工具減少尋找評審人所需的時間。
5月14日，《自然》雜志以《人工智能正在選擇中國的基金評審人》為題，介紹了中國最大的基礎(chǔ)科學(xué)資助機(jī)構(gòu)——國家自然科學(xué)基金委員會正在利用人工智能工具減少尋找評審人所需的時間。
中國最大的基礎(chǔ)科學(xué)資助機(jī)構(gòu)正在試點一種人工智能（AI）工具。
該工具可選擇研究人員來評審基金申請書，從而使這一過程更加高效、快捷、公平。
一些研究人員表示，中國國家自然科學(xué)基金委員會（以下簡稱基金委）的方法是世界領(lǐng)先的，但其他人對AI是否能改善這一過程表示懷疑。
選擇研究人員對項目申請書或出版物進(jìn)行同行評審，既費時，又容易產(chǎn)生偏見。一些學(xué)術(shù)出版商正在嘗試?yán)肁I工具選擇審稿人，并執(zhí)行其他任務(wù)。
同時，一些資助機(jī)構(gòu)，包括北美和歐洲的一些機(jī)構(gòu)，已經(jīng)試用簡單的AI工具來識別潛在的項目評審人。
其中一些系統(tǒng)將基金申請書中的關(guān)鍵詞與其他科學(xué)家出版物中的關(guān)鍵詞相匹配。
基金委正在建立一個更加復(fù)雜的系統(tǒng)。
該系統(tǒng)將抓取在線科學(xué)文獻(xiàn)數(shù)據(jù)庫和科學(xué)家個人網(wǎng)頁，利用自然語言處理來收集潛在評審人的出版物或研究項目的詳細(xì)信息。
基金委主任李靜海表示，該系統(tǒng)將利用文本語義分析來比較基金申請書和這些信息，并確定最匹配的評審人。
節(jié)省時間
上個月在杭州召開的學(xué)術(shù)交流會議上，基金委前主任楊衛(wèi)展示了試點數(shù)據(jù)。
該工具的試用版本從去年評審項目的近4.4萬個專家組中各選出至少一名成員，其中每個專家組由3~7人組成。
楊衛(wèi)介紹說，該系統(tǒng)已經(jīng)減少了行政人員尋找評審人的時間，而今年也將采用類似方法選擇評審人。
歐洲最大的基礎(chǔ)研究機(jī)構(gòu)——法國國家科學(xué)研究中心（CNRS）國際合作部主任Patrick Nédellec表示，基金委已成為改革基金評審流程的全球領(lǐng)導(dǎo)者。
隨著基金申請數(shù)量的不斷增長，基金委正被迫進(jìn)行創(chuàng)新。
在去年9月Nédellec參加的一次會議上，李靜海討論了基金委的改革計劃。“由于壓力如此之大，中國別無選擇，只能找到最好的辦法。”
過去的5年里，基金委收到的基金申請數(shù)量以每年約10%的速度增長。2018年，該機(jī)構(gòu)評審了22.5萬份基金申請，幾乎是美國國家科學(xué)基金會收到的6倍。
李靜海表示，基金委正在努力處理基金申請并尋找合適的評審人。“挑戰(zhàn)在于沒有足夠的人手。”他表示，“AI將解決這個問題。”
減少偏見
李靜海還希望，該工具能減少評審人選擇中的偏見。
他說，在中國，科學(xué)家會嘗試為他們的項目找關(guān)系。“基金評審的一個問題是人們會動用關(guān)系，但人工智能不會被收買。”
在一些國家，這同樣是個問題。基金申請者被要求提供能評審其項目的專家。
例如，瑞士國家科學(xué)基金會發(fā)現(xiàn)，由申請者推薦的評審人比由基金會選擇的評審人更有可能支持某個項目。
雖然基金委的試點AI系統(tǒng)只在中文網(wǎng)站上運(yùn)行，但李靜海希望它將來能抓取英文網(wǎng)站。
去年9月也聽取了李靜海演講的維也納理工大學(xué)科學(xué)政策顧問Manfred Horvat表示：“基金委的改革計劃雄心勃勃，具有前瞻性和綜合性。”
其他國家也在效仿中國。挪威研究委員會顧問Thomas Hansteen說，上個月，該委員會開始使用自然語言處理技術(shù)，將約3000份研究計劃書分組，并將它們與最佳評審專家組進(jìn)行匹配。
懷疑者的聲音
不過，并非所有人都認(rèn)為AI應(yīng)被用于評審過程。
位于英國劍橋的研究機(jī)構(gòu)——“蘭德歐洲”科學(xué)政策專家Susan Guthrie表示，加拿大衛(wèi)生研究院在使用一種用于選擇評審人的算法時遇到了重大挑戰(zhàn)。
2016年，該機(jī)構(gòu)聘請“蘭德歐洲”對關(guān)于基金同行評審的研究進(jìn)行了薈萃分析。
部分基于該報告，加拿大衛(wèi)生研究院認(rèn)為，其使用的算法有時會選擇存在利益沖突或在其他方面不適合以及沒有資格評估申請書的評審人。
“雖然基于算法的匹配聽起來很有吸引力，但在AI發(fā)展的現(xiàn)有階段，它可能實現(xiàn)的目標(biāo)是有限的。”獨立專家小組總結(jié)說，“評審人的選擇必須以科學(xué)的人類判斷為主。”
位于美國威斯康辛州麥迪遜市的“教育分析”公司政策研究員Elizabeth Pier認(rèn)為，AI無法消除選擇偏見。她擔(dān)心，AI系統(tǒng)最終會復(fù)制人類判斷中根深蒂固的偏見，而不是避免它們。
她建議基金委應(yīng)該做一項研究，將AI選擇的評審人與人工選擇的評審人進(jìn)行比較。
李靜海表示，一旦系統(tǒng)建立并運(yùn)行起來，基金委可能會考慮這一點。
針對評審人的信用體系
李靜海計劃在未來5年引入其他工具，使資助系統(tǒng)更加公平。其中包括建立一個信用體系，以獎勵作出高質(zhì)量、公平和及時評審的科研人員。
他介紹說，該信用體系的理念是鼓勵評審人認(rèn)真對待評審工作，并且變得更加專業(yè)。
斯坦福大學(xué)統(tǒng)計學(xué)家John Ioannidis對基金委在利用客觀的、數(shù)據(jù)驅(qū)動的工具來選擇評審人方面作出的努力表示贊賞。
但他認(rèn)為，很難評估評審人是否做出了正確的決定，以及是否值得稱贊。
Ioannidis說，一個想法可能需要幾十年的時間才能被確認(rèn)是“偉大的還是無用的”。
李靜海已經(jīng)準(zhǔn)備好迎接挑戰(zhàn)。“這項任務(wù)不容易完成，需要在長期的學(xué)習(xí)和測試過程中不斷改進(jìn)。”他說。
文章來源 | 科學(xué)網(wǎng)
