(Paper Weekly02) Adversarial NLI: A New Benchmark

总体流程图:

最大限度利用标注者作为对抗攻击来源,进行多轮反复迭代,最大限度地暴露模型的“弱点”。可以避免数据集被“吃透”。

具体流程

给定context与预先设定好的label,标注者被要求写出符合该label的hypothesis,并努力诱导模型对其产生错误分类。如果模型确实产生了错误,那么还需要将相应的数据交给第三方verifier(另一位或多位人类)进行判断。

当一轮数据搜集完成后,构造新的训练集。其中,test set的构成被局限在:1.之前没有为训练集标注过训练样本的标注者所标注的数据 2. 按照标签的类别和种类进行平衡。

标注细节:

借助Mechanical Turk(可以理解为人工智能小黑工平台),给标注者提供context与label,标注者给出hypothesis后再将模型的probability feedback提供给标注者。如果不能成功欺骗模型,则标注者进行第二、三、四…次标注(第一轮最多重写5次,之后10次)。

R1用的是Bert-Large,R2转而使用在SNLI,MNLI、FeverNLI和第一轮得到的训练数据A1上训练的Roberta。在第二轮中训练多个roberta构成ensemble,每次随机挑选一个模型,避免标注者过度利用单一模型的vulnerability。

第三轮训练中使用了来源更加广泛的文本,包括新闻、小说、正式演讲文本等等,并且再加入第二轮得到的训练数据A2。

和其他的数据集进行比较:

首先从设计思路上,ANLI就比之前的任何数据集更难…

其次,ANLI依然继承了MNLI的一些问题,比如context非常的短,从直观上来说,更长的context有助于生成更难的例子。

之前的一些研究表明,模型可能会利用hypothesis中的spurious bias,ANLI数据集经过测试后表明这种情况不并严重。

陈沁宇
陈沁宇
Master Student@PKU

My research interests include natural language processing, machine learning and recommender systems.