东北财经大学财政税务学院孙璞副教授的国际合作研究成果“AI-assisted teams outperform AI-led teams but not human-only teams in assessing research reproducibility in quantitative social science”,被自然科学领域国际顶级期刊Proceedings of the National Academy of Sciences(PNAS)接受发表。

该研究是一项经济学研究复现领域大规模国际合作研究项目,由渥太华大学经济系的Abel Brodeur教授发起。该研究聚焦人工智能在社会科学研究成果复现与验证中的应用,通过大规模随机实验,系统评估不同程度的人工智能参与对科研质量和效率的影响。研究团队将288名研究人员随机分配至103个小组,分别采用纯人工、人工智能辅助和人工智能主导三种模式,对国际权威期刊已发表的研究成果开展计算复现、代码错误识别及稳健性检验。研究发现,纯人工团队与人工智能辅助团队的复现成功率相近,但纯人工团队在识别重大代码错误方面具有显著优势。相比之下,人工智能主导团队的复现成功率远低于其它两组,且错误识别能力和稳健性检验质量均明显较低,完成任务所需时间也更长。研究表明,现阶段大语言模型尚未展现出超越人类研究者的实证研究验证能力,专业研究人员的判断仍具有不可替代的重要作用。同时,人工智能自主复现技术在大规模、低成本的科研成果初步筛查中具有一定应用潜力。该研究为理解人工智能与科研人员的协作模式、探索人工智能在社会科学研究中的合理应用提供了重要的实验证据。
PNAS由美国国家科学院出版,是全球具有广泛影响力的综合性学术期刊之一,涵盖自然科学、社会科学及交叉学科等多个研究领域,在国际学术界享有较高声誉。此次研究成果的发表,体现了学校教师在人工智能与社会科学交叉研究领域的国际合作成果,对提升学校国际学术影响力具有积极意义。
撰稿:高菊山 审核:谷成 单位:财政税务学院