设计了一组评价函数J，从而实现汉语句群的自动划分。实验结果表明，引入切分片段长度因素和篇章衔接词因素可以改善句群划分性能，并且利用SkipGram Model比传统的向量空间模型（VSM）有更好的效果，其正确分割率Pμ达到85.37%、错误分割率WindowDiff降到24.08%。同时该方法在句群划分任务上有更大的优势，比传统MDA方法有更好的句群划分效果。
关键词：汉语句群划分；多元判别分析；篇章分析；SkipGram模型；篇章衔接
中图分类号： TP391 文献标志码：A
Abstract：In order to solve the problems in Chinese sentence grouping domain， including the lack of computational linguistics data and the joint makers in a discourse， this paper proposed an automatic Chinese sentence grouping method based on Multiple Discriminant Analysis （MDA）. Moreover， sentences group was rarely considered as a grammar unit. An annotated evaluation corpus for Chinese sentence group was constructed based on Chinese sentence group theory. And then， a group of evaluation functions J was designed based on the MDA method to realize automatic Chinese sentence grouping. The experimental results show that the length of a segmented unit and one discourse’s joint makers contribute to the performance of Chinese sentence group. And the SkipGram model has a better effect than the traditional Vector Space Model （VSM）. The evaluation parameter Pμ reaches to 85.37% and WindowDiff reduces to 24.08% respectively. The proposed method has better grouping performance than that of the original MDA method.
Key words： Chinese sentences grouping； Multiple Discriminant Analysis （MDA）；discourse analysis； SkipGram model； discourse coherence
0 引言
汉语句群自动划分，就是把段落中在结构和语义上有密切联系的一组句子划分出来。汉语句群划分是句群理论的重要研究方向，在篇章分析、机器翻译等方面有重要的作用。
1）对篇章分析来说，句群是句子和篇章的过渡阶层，对句群的处理是计算机从理解孤立的词义和句义上升到理解语篇整体中心内容的一个重要跃变步骤，实现这一步骤的前提是篇章的句群划分。
2）在机器翻译领域，著名的自然语言处理专家董振东提出：翻译应该在句群层面上进行。但是目前的理论和技术基础还无法做到这一点。多年来相关研究主要侧重在单句的翻译上，忽略了研究句子和句子之间的联系，缺乏句群层次上的词汇消歧、冠词、代词、时态、省略等处理技术，要想进一步提高机器翻译的质量，必须解决句群自动划分问题。
在计算机领域，汉语句群划分工作较为少见，更多的是基于概念层次网络（Hierarchical Network of Concepts，HNC）语境观的篇章分析工作，其更接近规则的方式，缺乏足够的计算语言学数据支持，并不是明确的可计算模型。同时，其他相关的句群划分研究未能考虑篇章衔接词的作用，实验效果也不理想。汉语句群自动划分是篇章分析的重要组成部分，目前篇章分析较多将国外篇章分析理论应用于篇章衔接分析工作，缺少对汉语句群这一级语法单位的研究。
针对以上问题，本文以汉语句群理论为指导，构建了基于句群理论的句群划分语料标注集，提出了一种基于多元判别分析（Multiple Discriminant Analysis， MDA）[1]的汉语句群自动划分方法。具体步骤如下：1）通过SkipGram Model[2-3]训练大规模语料获取词语在低维实数空间的向量表示，在此基础上获得句子的特征向量； 2）在句子特征向量构成的数据空间中，通过考虑句群内部距离、句群之间距离、切分片段长度以及篇章衔接词四个因素设计基于MDA方法评价函数J，对段落所有可能的句群划分结果进行评价； 3）在所有评价结果中，寻找评价值最高的句群划分序列，则该序列为该段落的最佳句群划分结果。实验结果表明该方法对句群划分有较好的效果。
1 句群研究现状
1.1 国内外句群研究现状