引言

政务服务综合窗口改革实现了从“按部门设窗”到“一窗受理”的转变。窗口人员需跨部门、跨事项受理业务，对申请材料的核验能力提出了更高要求。国内某省级政务服务大厅已实现千余项进驻事项的综合受理，涉及数十个市级部门、多套业务系统，材料类型达数百种。传统核验方式依赖窗口人员经验或翻阅纸质材料清单，效率低、易出错。更重要的是，新事项不断进驻（如“一业一证”事项），其材料要求在训练阶段无历史数据，属于“未见类”，无法基于规则引擎或监督学习方法进行核验。

零样本学习通过类别语义信息将知识从可见类迁移到未见类，为解决上述问题提供了新思路。本文面向政务服务窗口实际场景，将材料核验问题建模为零样本分类任务：将已知事项作为可见类，未知事项作为未见类，借助事项的语义描述（事项名称、材料清单、审批要点等），建立材料特征与事项语义之间的关联，实现对未知事项材料正确性的预测。

本文提出一种基于对比语义原型网络的零样本材料核验方法。首先，通过对比学习训练材料特征与事项语义特征的匹配关系，使同类样本在特征空间中聚集；然后，利用原型网络为未见事项动态生成材料特征原型，实现知识迁移；针对可见事项与未见事项的域偏移问题，进一步引入直推式原型修正机制，利用未见事项样本迭代优化原型表示。本文的主要贡献如下：

1. 提出一种面向政务服务窗口的对比语义原型网络，将对比学习与原型网络相结合，构建材料特征与事项语义之间的关联模型，显著提高了核验准确性。
2. 针对域偏移问题，提出直推式原型修正方法，利用未见事项样本的预测结果优化原型表示，提升了模型对未见事项的泛化能力。
3. 在国内某省级政务服务大厅实际业务数据上进行实验验证，结果表明该方法在材料核验准确率和召回率上均优于规则引擎及现有零样本学习方法，具备良好的实际应用价值。

1相关工作

1.1 政务材料核验现状

现有政务信息化系统中，材料核验多采用基于规则引擎的方法，将事项的材料要求预先配置为规则库，通过关键词匹配或表单字段校验进行核验。例如，在该省级政务服务大厅的“事项配置管理”模块中，每项事项均配置了材料清单，但规则只能判断材料是否齐全，无法判断材料内容是否准确。部分研究尝试将机器学习应用于政务文本分类，但主要集中在办件材料自动分类或审批意见分析，对于材料正确性的综合判断研究较少。

1.2 零样本学习

零样本学习旨在识别训练阶段未出现过的类别，其核心是通过类别语义信息建立可见类与未见类之间的联系。现有方法可分为归纳式和直推式两类。归纳式方法仅利用可见类样本训练模型，如DAP、SJE；直推式方法同时利用未见类样本的分布信息，如TMV-HLP、UDP，能有效缓解域偏移问题。

对比学习近年来在表示学习中取得显著成功，通过拉近正样本对、推远负样本对学习判别性特征。原型网络为每个类别维护一个原型表示，通过度量查询点与原型距离进行分类。本文将对比学习与原型网络相结合，应用于政务服务窗口材料核验场景。

2 对比语义原型网络方法

2.1 问题定义

设可见事项（已办理事项）集合包含 M 个类别，共有 m 条办理记录；未见事项（首次办理事项）集合包含 N 个类别，共有 n 条办理记录。定义：

• X_s = [x_1^s, …, x_m^s] ∈ ℝ^{d × m}：可见事项样本的材料特征矩阵，d 为特征维度；
• Y_s = [y_1^s, …, y_m^s] ∈ ℝ^{p × m}：可见事项样本的事项语义特征矩阵，p 为语义特征维度；
• X_t = [x_1^t, …, x_n^t] ∈ ℝ^{d × n}：未见事项样本的材料特征矩阵；
• A_t = [a_1^t, …, a_N^t] ∈ ℝ^{p × N}：未见事项的类别语义特征矩阵。

零样本材料核验的目标是：对于未见事项的样本 X_t，判断其材料是否正确，即预测该样本的特征是否符合对应事项类别 A_t 的要求。

2.2 对比语义原型网络（CSPN）

本文提出的对比语义原型网络由三个模块构成：语义编码器、材料编码器、原型分类器。

语义编码器：将事项语义特征 y 映射到低维语义嵌入空间：

其中 f_{\theta} 为多层感知机，e 为嵌入维度。

材料编码器：将材料特征 x 映射到相同的嵌入空间：

g_{\phi} 为多层感知机，与语义编码器共享嵌入空间维度。

原型分类器：为每个事项类别维护一个原型向量 p_k，初始化为该类样本材料嵌入的均值。对于可见事项，原型直接由训练样本计算：

对于未见事项，原型通过语义嵌入映射生成：

其中 h_{\psi} 为原型生成网络，s_k 为未见事项的语义嵌入。

对比学习目标：为使材料嵌入与对应事项语义嵌入对齐，采用对比损失：

其中 τ 为温度系数，y_i 为样本 i 的事项类别索引。

分类损失：采用原型距离分类，计算样本嵌入与各事项原型的距离：

总损失为：

2.3直推式原型修正（TPR）

针对域偏移问题，提出直推式原型修正机制。在可见事项上训练完成后，首先利用训练好的语义编码器生成未见事项的初始原型：

然后利用未见事项样本 X_t进行迭代修正：

其中𝒩_k^{(t)} 为第 t轮预测为类别 k 的未见样本集合，η 为学习率。修正过程持续至原型变化小于阈值。直推式原型修正的本质是利用未见样本的预测结果反向优化原型表示，使原型更贴近未见数据的真实分布。

2.4 算法流程

算法1. 面向政务服务窗口的零样本材料核验方法（CSPN-TPR）

输入：可见事项材料特征 X_s、语义特征 Y_s；未见事项材料特征 X_t、未见事项类别语义特征 A_t；参数 λ, τ, η

输出：未见事项样本的材料正确性预测结果

训练阶段：

1. 初始化语义编码器 f_{\theta}、材料编码器 g_{\phi}、原型生成网络 h_{\psi}
2. 计算语义嵌入 s_i = f_{\theta}(y_i)，材料嵌入 v_i = g_{\phi}(x_i)
3. 计算可见事项原型 p_k = \frac{1}{|C_k|} \sum_{i \in C_k} v_i
4. 计算对比损失 \mathcal{L}_{\text{cont}} 和分类损失 \mathcal{L}_{\text{cls}}
5. 更新 f_{\theta}, g_{\phi}, h_{\psi}（可见事项原型不参与梯度更新）
6. 损失收敛
7. 返回训练好的 f_{\theta}, g_{\phi}, h_{\psi}

直推修正阶段：

1. 初始化未见事项原型 p_k^{(0)} = h_{\psi}(f_{\theta}(a_k))
2. 计算未见样本材料嵌入 v_i = g_{\phi}(x_i)
3. 根据当前原型预测每个样本的类别 c_i = \arg\min_k \|v_i - p_k\|^2
4. 按公式更新原型 p_k
5. 原型变化小于阈值
6. 返回修正后的原型 p_k^*

测试阶段：

1. 对未见样本 x_j，计算材料嵌入 v_j = g_{\phi}(x_j)
2. 预测类别 c_j = \arg\min_k \|v_j - p_k^*\|^2
3. 若预测类别与真实事项一致，则材料正确；否则错误

3 实验

3.1 实验数据集及实验参数

实验数据集：实验数据来源于国内某省级政务服务大厅综合窗口2019年1月至2020年5月的实际办件记录，共计90余万件。选取30个高频事项作为可见类，10个低频或新增事项作为未见类。每个事项取最近6个月的办件记录，按8:2划分训练/验证集。所有数据均来源于真实业务系统，已做脱敏处理。

材料特征：每个样本的材料特征 x 为维度 d=1024 的向量，由三部分构成，数据来源于政务系统的“办件数据库”“材料交接模块”和“接口调用结果”，详见图1：

事项语义特征：每个事项的语义特征 y 为维度 p=256 的向量，由事项名称、所属部门、材料清单编码、审批要点关键词通过Word2Vec编码后拼接而成。数据来源于政务系统的“事项库信息”和“业务系统管理”模块。

评价指标：采用准确率（Accuracy）、召回率（Recall）、F1值作为评价指标。

对比方法：

• Rule-based：仅使用事项库预配置的材料清单规则，判断材料是否齐全
• DAP[10]：直接属性预测
• SJE[11]：结构化联合嵌入
• CSPN（本文）：对比语义原型网络（归纳式）
• CSPN-TPR（本文）：加入直推修正的对比语义原型网络

3.2 CSPN实验结果与比较

首先验证CSPN方法的有效性。选择归纳式零样本学习方法进行比较，实验结果见图2。

从图2可以看出，CSPN方法在准确率、召回率和F1值上均优于对比方法。具体而言，CSPN相比SJE提高了3.4%的准确率，相比DAP提高了6.3%的准确率。这说明对比学习与原型网络的结合能够更有效地学习材料特征与事项语义之间的关联，提高了核验准确性。

3.3直推修正实验结果与比较

为验证直推原型修正的有效性，将CSPN-TPR与主流直推学习方法进行比较，实验结果见图3。

从图3可以看出，CSPN-TPR方法在准确率、召回率和F1值上均优于其他对比算法。具体而言，CSPN-TPR相比CSPN提高了4.2%的准确率，相比TMV-HLP提高了4.9%的准确率。这表明直推式原型修正利用未见事项样本的预测结果迭代优化原型表示，有效缓解了域偏移问题，显著提升了材料核验性能。

3.4 方法训练时间

在一台CPU频率为3.20GHz、安装内存为8GB的计算机上，CSPN方法和CSPN-TPR方法的训练时间见图4。

从图4可以看出，两种方法运行效率满足政务系统离线训练要求，CSPN-TPR由于增加了直推修正迭代，训练时间略长，但仍可接受。

3.5讨论

实验结果表明，直推修正的效果依赖于归纳模型的初始精度。当CSPN在可见类上达到84.9%的准确率时，CSPN-TPR相比CSPN提升了4.2个百分点。若归纳模型精度较低，修正效果会受限。未来可探索更鲁棒的原型生成网络，或在隐空间中增加正则化约束，进一步提升对未见事项的泛化能力。

4结论

本文面向政务服务窗口实际需求，提出了一种基于对比语义原型网络的零样本材料核验方法。通过对比学习训练材料特征与事项语义特征的匹配关系，并利用原型网络为未见事项动态生成材料特征原型，实现知识从已知事项到未知事项的迁移。针对域偏移问题，进一步引入直推式原型修正机制，利用未见事项样本优化原型表示。在国内某省级政务服务大厅实际业务数据上的实验结果表明，该方法在材料核验的准确率和召回率上均优于规则引擎及现有零样本学习方法，能够有效辅助窗口人员快速判断材料正确性，提升政务服务窗口办事效率。未来将进一步研究多模态材料特征融合与增量学习机制，以适应更广泛的政务应用场景。

参考文献：

1. [1] 国务院办公厅. 关于印发进一步深化“互联网+政务服务”推进政务服务“一网、一门、一次”改革实施方案的通知[Z].2018-06-22.
2. [2] Lampert CH, Nickisch H, Harmeling S. Learning to detect unseen object classes by between-class attribute transfer[C]. CVPR,2009.
3. [3] Akata Z, Reed S, Walter D, et al. Evaluation of output embeddings for fine-grained image classification[C]. CVPR,2015.
4. [4] Snell J, Swersky K, Zemel R. Prototypical networks for few-shot learning[C]. NIPS,2017.
5. [5] Lampert CH, Nickisch H, Harmeling S. Attribute-based classification for zero-shot visual object categorization[J]. TPAMI,2014,36(03):453-465.
6. [6] Akata Z, Perronnin F, Harchaoui Z, et al. Label-embedding for attribute-based classification[C]. CVPR,2013.
7. [7] Fu Y, Hospedales T, Tao X, et al. Transductive multi-view zero-shot learning[J]. TPAMI,2015,37(11):2332-2345.
8. [8] Kodirov E, Xiang T, Fu Z, et al. Unsupervised domain adaptation for zero-shot learning[C]. ICCV,2015.
9. [9] Chen T, Kornblith S, Norouzi M, et al. A simple framework for contrastive learning of visual representations[C]. ICML,2020.