IntBigData
在大数学模型时代，提示信息自学已经正式成为一种捷伊应用领域本体论。的的低样品应用领域中，如前所述大词汇数学模型展开提示信息自学能获得更快的操控性。现阶段各种类型大数学模型不断出现，如果词汇数学模型的规模不如大，提示信息自学的操控性反倒可能远不如预体能训练+松动。
这里如是说北京大学刊登在ACL 2022上的一则该文，即在提示信息自学中采用应用领域领域科学知识 Knowledgeable prompt-tuning (KPT)，主要是解决verbalizer把条码词切换正式成为某一类型的问题。
KPT 如下表所示：
主要包括三个期：
(1) 构筑期：采用内部资料库聚合每一类型的条码词
(2) 条码词简化：条码词要尽量完备精确，须要对扩充的条码词展开管制以防过分扩充导入噪音。利皮扬卡有频度简化、关联度简化、语句控制和自学式简化。
(3) 态射输入类型条码。
图中，原初语句和两个提示信息堆叠构成KPT的输入，其中提示信息主要包括促发词和条码词。在KPT中促发词是预先写好的，促发词则透过PLM求的。在Auto-prompt等其他方式中，能透过手动搜寻数学模型资料集获最佳的促发词，一般而言操控性会更快一些。
在KPT中，资料库是两个单纯的应用领域领域词语相关联亲密关系，如图的Knowledge base部分，透过这种亲密关系将条码词切换正式成为应用领域领域条码，即类型条码。两个曳丝精确的资料库能够为条码词态射提供更快协助，因此在资料库构筑时须要确保资料库的产品质量。
特别针对相同的展开分类应用领域，须要配有相同的资料库。比如“学科专业展开分类”中须要把每一学科专业的相关词语历史记录到库中，而“感情展开分类”则须要把充分体现感情的词语放进到资料库。有相同的方式能用以构筑这些资料库，主要包括透过爬虫采集各种类型开放百科资料库，但构筑过程可能导入噪音词语。该文透过四种方式排除噪音词语。这里如是说三种，其余可参见原文。
一种是，采取与PLM交互的方式，计算给定样品集上采用该词语作为条码词的期望值，期望值越小就越应该被排除掉。从体能训练集中采样两个小规模的数据集，不带条码，用以下公式估计这个期望值。
第二种：将每一类型当作两个文档，采用TF-IDF计算每一词语对文档的相关性（重要性），然后再筛选。以下是该文采用的类似于TF-IDF的计算方式，值越小越应该排除。
第三种：可自学的简化法（Learnable Refinement），特别针对few-shot自学，能采取这种方式。对每一条码词v自学两个权重w_v，
最后的态射输入类型条码环节中，透过单纯平均或加权平均对PLM输入的每一条码词概率值展开计算，选择最大者相关联的条码作为最终的展开分类结果。在Zero-shot中对类中的每一条码词概率采用单纯平均，
而在few-shot中采用加权平均，系数为第三种refinement计算得到。
附录：感情展开分类和主题展开分类的模板分别是，其中x是原初的输入文本。
更多阅读…
