近日,FUN乐天使官方网站软件工程与数据技术系朱郑州课题组论文被国际信息检索领域的顶级会议SIGIR(International ACM SIGIR Conference on Research and Development in Information Retrieval)录用,蔡杰是第一作者。SIGIR 2020将于2020年7月25日至30日在中国西安举行。
据介绍,预训练模型为许多NLP任务带来了显著的改进,并得到了广泛的分析,但对于微调对特定任务的影响,人们却知之甚少。论文针对预训练模型微调对特定任务的影响问题,提出了一个成对探测来理解BERT在机器阅读理解(MRC)任务上的微调。课题组研究发现,微调对基本的、低级的信息和一般的语义任务几乎没有影响,而对于和下游任务相关的信息和任务有显著提升。