自然语言处理技术及产品评估方法 第1部分：基础服务平台 Natural language processing technology and product evaluation method — Part 1: basic service platform （报批稿） YDICS 35.240 CCS L67 YD/T ×××× —××××中 华 人 民 共 和 国 通 信 行 业 标 准 中华人民共和国工业和信息化部 发 布××××-××-××发布 ××××-××-××实施YD/T XXXX—XXXX I目 次 前 言 ........................................................................ II 引 言 ...................................................................... III 1 范围 ........................................................................ 1 2 规范性引用文件 .............................................................. 1 3 术语和定义 .................................................................. 1 4 缩略语 ...................................................................... 2 5 系统基本技术要求 ............................................................ 2 6 指标项及评估方法 ............................................................ 3 6.1 通则 .................................................................. 3 6.2 词法分析 .............................................................. 4 6.3 句法分析 .............................................................. 6 6.4 语义分析 .............................................................. 9 6.5 应用技术 ............................................................. 12 6.6 服务能力 ............................................................. 13 附 录 A（资料性） NLP服务平台基础技术服务能力评价指标 ........................ 15 附 录 B（资料性） 863词性标注集词性及其含义 .................................. 17 YD/T XXXX—XXXX II 前  言 本文件按照 GB/T 1.1-2020 《标准化工作导则 第1部分：标准化文件的结构和起草规则》 给出的规定起草。 本文件是 《自然语言处理技术及产品评估方法 》系列标准之一 ，该系列标准的结构和名 称如下： ——第1部分：基础服务平台； ——第2部分：对话系统； ——第3部分：智能翻译机； ——第4部分：机器同传系统； ——第5部分：智能客服系统； ——第6部分：客服质检系统。 请注意本文件的某些内容可能涉及专利 。本文件的发布机构不承担识别这些专利的责任 。 本文件由中国通信标准化协会提出并归口。 本文件起草单位 ：中国信息通信研究院、南京新一代人工智能研究院有限公司、北京百 度网讯科技有限公司 、科大讯飞股份有限公司 、北京声智科技有限公司 、中国移动通信集团 有限公司 、思必驰科技股份有限公司 、上海智臻智能网络科技股份有限公司 、北京理工大学 。 本文件主要起草人 ：董晓飞、张学强、张丹、王浩、曹峰、陆铁文、刘凯、吴华、李笑 如、何永春、陈孝良、李良斌、李强、杨阳、张伟、周叶林、龙梦竹、陈辉龙、陈喆、屈少 杰。 YD/T XXXX—XXXX III引   言 0.1 编制目的及标准结构 作为认知智能的核心 ，人工智能与行业融合过程中对自然语言处理技术产生了迫切需求 ， 以NLP技术为核心的产品开始呈现实用化的发展趋势 。通常，NLP技术以服务平台的形式对外 开放，包含词法分析 、句法分析和语义分析等基础技术 ，以及情感分析 、对话系统和机器翻 译等应用技术。为规范 NLP技术和产品服务的技术性能和服务形式，引导 NLP产业健康发展， 开展相关标准的制定工作。 自然语言处理技术及产品评估方法系列标准由以下六个部分组成。 ——第1部分：基础服务平台。目的在于提供词法分析、句法分析、语义分析等 NLP基础 技术，可提供情感分析、机器翻译、对话系统等 NLP应用技术的服务平台，从 基础 技术、应用技术、服务能力 等三个维度对 NLP服务平台进行评估。 ——第2部分：对话系统。目的在于集成了对话系统功能的产品或服务，从对话类型、 对话功能、对话性能、对话体验四个维度进行评估。 ——第3部分：智能翻译机。目的在于可实现语音输入、自动翻译和语音输出的智能翻 译机，从基础功能 、AI核心技术支持能力 、安全性与可靠性和附加业务功能等四个 维度对智能翻译机进行评估。 ——第4部分：机器同传系统。目的在于提供语音输入、自动分句、机器翻译、语音输 出或译文投屏的机器同传系统 ，从基础功能 、AI核心技术支持能力 、工程实现能力 、 附加业务能力等四个维度对机器同传系统进行评估。 ——第5部分：智能客服系统。目的在于提供语音客服机器人、文本客服机器人等多种 产品形态的智能客服系统 ，从基础功能 、AI核心技术支持能力 、企业服务能力和系 统成熟度等四个维度对智能客服进行评估。 ——第6部分：客服质检系统。目的在提供人工客服和智能客服的质检系统，从智能语 音、自然语言理解、基础能力、质检能力四个维度进行评估。 0.2 相关专利情况说明 本文件是“自然语言处理技术及产品评估方法” 系列文件第 1部分：基础服务平台，是 为自然语言处理基础技术和应用技术服务平台的研发者和选型者提供评估参考规范。 本文件的发布机构提请注意，声明符合本文件时，可能涉及到 6.2.2和6.3.2中如下 2 项和自然语言处理技术相关的专利使用。专利名称如下： CN202211414756.1 ，用于处理文本的神经网络的训练方法和处理文本的方法； CN202010643107.3 ，文本的表达方法、装置、电子设备及可读存储介质。 本文件的发布机构对于该专利的真实性、有效性和范围无任何立场。 该专利持有人已向本文件的发布机构承诺 ，他愿意同任何申请人在合理且无歧视的条款 和条件下 ，就专利授权许可进行谈判 。该专利持有人的声明已在本文件的发布机构备案 ，相 关信息可以通过以下联系方式获得： 专利持有人姓名：北京百度网讯科技有限公司 地址：北京市海淀区上 地十街 10号百度大厦 2层 请注意除上述专利外 ，本文件的某些内容仍可能涉及专利 。本文件的发布机构不承担识 别这些专利的责任。 YD/T XXXX—XXXX 1自然语言处理技术及产品评估方法 第1部分：基础服务 平台 1　范围 本文件规定了可提供自然语言处理基础技术和应用技术服务的服务平台的指标要求和 评估方法，主要包括基础技术、应用技术、服务能力三个维度的指标项及评估方法。 本文件适用于指导第三方测评机构对自然语言处理服务平台的评估和验收等工作。 2　规范性引用文件 下列文件对于本文件的应用是必不可少的 。凡是注日期的引用文件 ，仅所注日期的版本 适用于本文件 。凡是不注日期的引用文件 ，其最新版本 （包括所有的修改单 ）适用于本文件 。 GB/T 13715-1992 信息处理 现代汉语分词规范 GB/T 19682-2005 翻译服务译文质量要求 3　术语和定义 下列术语和定义适用于本文件。 3.1　 自然语言处理 natural language processing 计算机科学领域与人工智能领域中的一个重要方向 ，研究能实现人与计算机之间用自然 语言进行有效通信的各种理论和方法，旨在研制能有效地实现自然语言通信的计算机系统， 特别是其中的软件系统。 3.2　 词法分析 lexical analysis 利用计算机对自然语言的形态进行分析，判断词的结构和类别等。 3.3　 分词 segmentation 利用计算机将自然语言的文本切分为词序列的过程。 3.4　 词性标注 part of speec