导语

  

    由张仰森所著的《统计语言建模与中文文本自动校对技术》一书主要分为两部分，第一部分为统计语言建模技术(第一章至第四章)，主要对目前常用的统计语言模型的类型及其建模方法进行论述，研究统计语言建模过程中的相关问题及其解决方法。针对汉语本身的特点，研究面向汉语的统计语言模型的建立方法，并对统计语言模型的训练技术、训练语料的规模以及模型的评价技术与方法进行了比较深入的研究。第二部分为中文文本自动校对技术(第五章至第十二章)，主要研究汉语文本中的错误自动侦测与纠错建议的自动生成方法。在汉语文本的错误自动侦测中，首先遇到的问题是对错误来源的分析，只有知道文本中为什么会出现错误，才能够有的放矢，构建出有针对性的错误侦测模型，因此，第五章首先分析文本校对技术的发展现状以及中文文本错误的主要来源。

内容提要

  

    《统计语言建模与中文文本自动校对技术》一书是作者张仰森多年来在自然语言处理领域开展对统计语言建模以及中文文本校对技术研究的总结。
    主要内容包括统计语言建模和中文文本自动校对技术两部分内容，共12章。前面部分介绍统计语言模型构建的基本原理与方法，并对模型训练及评价方法进行研究，提出统计语言模型建模时训练语料规模的定量化度量方法。后面部分概述中文文本中常见的各种错误，并针对这些错误类型提出字词级、句法级和语义级错误的自动侦测方法与模型，开创了汉语文本语义错误自动侦测的新思路，提出了中文文本错误的纠错建议生成与排序模型。最后基于所提出的模型与算法开发了一个"正文通"中文文本校对系统。
    本书可作为在自然语言处理领域开展中文文本自动校对技术与方法研究的相关人员的参考用书。

第一章  绪论
  1.1  撰写本书的背景和意义
  1.2  本书的主要内容与组织结构
  1.3  本书重点关注的问题
第二章  统计语言模型
  2.1  语言模型概述
  2.2  现有主要统计语言模型
    2.2.1  上下文无关模型
    2.2.2  n-gram模型
    2.2.3  隐Markov模型
    2.2.4  决策树模型
    2.2.5  Cache—based模型
  2.3  统计语言模型的建模技术
    2.3.1  基于最大似然法的语言建模
    2.3.2  基于组合思想的语言建模
    2.3.3  基于信息论最大熵方法的语言建模
  2.4  统计语言建模的相关问题
    2.4.1  语言模型的架构
    2.4.2  语言模型参数的确定
    2.4.3  数据稀疏问题与模型平滑
    2.4.4  语言模型的评价
  2.5  本章小结
第三章  汉语统计语言模型的构建
  3.1  汉语统计语言模型构建概述
  3.2  汉语文本分词及其相关问题
    3.2.1  机读词典的建立
    3.2.2  汉语文本分词算法
    3.2.3  分词中的中国人名识别
    3.2.4  实验结果与分析
  3.3  汉语建模原理与文本统计系统的建立
    3.3.1  汉语n-gram模型的构建原理
    3.3.2  文本统计系统的组成及实现
    3.3.3  字词统计算法与程序
  3.4  几种汉语语言模型与实验结果
  3.5  本章小结
第四章  汉语统计语言模型的训练与评价
  4.1  语言模型训练样本的选取
  4.2  汉语语言模型训练样本的规模
    4.2.1  语言模型阶数与训练样本规模
    4.2.2  汉语语言模型的训练语料规模
    4.2.3  样本规模与词的使用频率和统计相对误差关系
  4.3  统计语言模型的评价
    4.3.1  基于信息熵的复杂度度量
    4.3.2  基于困惑度的复杂度度量
  4.4  汉语信息熵的估算方法
    4.4.1  语言信息熵的估算
    4.4.2  对几种汉语语言模型的比较与评价
  4.5  本章小结
第五章  文本校对技术的现状分析
  5.1  英文文本自动校对技术
    5.1.1  英文文本中的错误种类
    5.1.2  单词错误的发现与校对技术
    5.1.3  上下文相关的错误校对技术
  5.2  中文文本自动校对技术
    5.2.1  中文与英文的差别
    5.2.2  中文自动查错的研究现状
    5.2.3  中文自动纠错的研究现状
  5.3  中文文本中常见错误的类型与分析
    5.3.1  中文文本中的常见错误类型
    5.3.2  中文文本中常见错误统计分析
    5.3.3  中文文本自动校对的难点分析
  5.4  本章小结
第六章  中文文本字词错误自动侦测的模型与算法
  6.1  中文文本字词级错误的表现形式
  6.2  基于n-gram模型的中文文本查错方法
    6.2.1  n-gram模型与接续关系
    6.2.2  基于接续关系的查错思想
    6.2.3  字字接续判断模型
    6.2.4  词接续判断模型
    6.2.5  接续关系知识获取与知识库构建
  6.3  基于字词二元接续关系的自动查错算法
    6.3.1  基于字词二元接续的自动查错算法
    6.3.2  实验结果及查错实例
  6.4  规则与统计相结合的文本自动查错模型
    6.4.1  中文文本中的“非多字词错误”与“真多字词错误”
    6.4.2  规则与统计相结合的中文文本自动查错模型
  6.5  散串集中策略
    6.5.1  双向拼音知识库的构建
    6.5.2  散串集中策略
    6.5.3  错误信息存储方法
    6.5.4  散串集中算法
    6.5.5  实验结果与分析
  6.6  一种英文单词拼写自动侦错与纠错的方法——骨架键法
    6.6.1  英文拼写自动侦错和纠错的一般方法
    6.6.2  骨架键法在英文侦错与纠错中的可行性分析
    6.6.3  骨架键法的算法描述和算法分析
    6.6.4  实验结果评价
  6.7  本章小结
第七章  中文文本中语法错误的自动侦测模型与算法
  7.1  中文文本语法级错误概述
  7.2  关联词知识库构建及查错算法
    7.2.1  关联词搭配错误推理规则知识库的构建
    7.2.2  关联词搭配查错算法
  7.3  量名搭配知识库的构建及查错算法设计
    7.3.1  基于《语法词典》的量名搭配
    7.3.2  基于语料库的量名搭配
    7.3.3  量名搭配类库的构建
    7.3.4  量名搭配查错算法
  7.4  标点符号错误的自动侦测
    7.4.1  标点符号搭配错误的研究
    7.4.2  标点符号错误搭配规则及算法设计
  7.5  基于规则的语法错误推理规则的构建
    7.5.1  语法错误推理正规则库构建
    7.5.2  语法错误推理负规则库制定
    7.5.3  基于语法错误推理规则的语法级错误查错算法
  7.6  本章小结
第八章  中文文本中语义错误自动侦测的模型与算法
  8.1  语义学相关理论
    8.1.1  现代语义学流派及其主要理论
    8.1.2  语义知识的表示方法
    8.1.3  语义知识资源
  8.2  基于语义搭配知识库的语义侦测算法
    8.2.1  语义搭配知识库体系结构的设计
    8.2.2  词语搭配自动抽取算法的设计与实现
    8.2.3  语义搭配知识库构建算法的设计及实现
    8.2.4  基于语义搭配知识库的语义侦测算法的设计及实现
  8.3  基于语义依存搭配知识库的语义查错方法
    8.3.1  依存树库的构建及搭配关系的提取
    8.3.2  基于语义依存搭配知识库的语义级查错方法
  8.4  本章小结
第九章  面向专业领域的中文文本错误的自动侦测方法
  9.1  面向特定领域的专业词汇抽取方法概述
    9.1.1  国外研究现状分析
    9.1.2  国内研究现状分析
  9.2  专业领域词汇及搭配关系的相关概念和理论知识
    9.2.1  专业词汇的定义
    9.2.2  专业词汇的分类
    9.2.3  专业词汇的特性
    9.2.4  专业词语搭配关系的定义
    9.2.5  通用的统计方法
  9.3  基于统计与规则相结合的专业词汇抽取算法
    9.3.1  专业词汇抽取算法的流程
    9.3.2  基于左右信息熵扩展的候选专业词汇抽取
    9.3.3  基于成词度的专业词汇筛选
    9.3.4  基于TF.IDF领域度的专业词汇筛选
    9.3.5  基于通用词库的筛选
  9.4  基于特定领域的词语搭配挖掘算法
    9.4.1  基于统计的常用词语搭配关系挖掘
    9.4.2  基于依存句法分析和《同义词词林》的动宾搭配关系挖掘
    9.4.3  基于依存分析结果的动宾搭配关系挖掘
  9.5  专业词汇与搭配关系分析挖掘系统的设计与实现
    9.5.1  系统的框架设计
    9.5.2  系统的主要用途和技术特点
    9.5.3  系统各功能模块简介
    9.5.4  实验结果与分析
  9.6  专业词汇与搭配关系在中文文本自动校对中的应用
    9.6.1  专业词汇在中文文本自动校对中的应用
    9.6.2  词语搭配关系在中文文本自动校对中的应用
  9.7  本章小结
第十章  面向政治新闻领域的中文文本校对方法
  10.1  面向政治新闻领域的中文文本校对方法概述
  10.2  新闻领域文本政治性错误类型
  10.3  面向政治新闻校对的相关知识库构建
    10.3.1  涉及主权、领土完整及港澳台问题的“引号词”OTLIB库的构建
    10.3.2  领导人顺序和姓名一职务知识库的构建
  10.4  面向政治新闻领域的差错侦测算法与实现
    10.4.1  政治性差错侦测规则库构建
    10.4.2  面向政治新闻领域的文本分词优化
    10.4.3  政治性差错侦测模型
    10.4.4  面向政治领域的文本校对方法的具体实现
  10.5  实验结果分析
    10.5.1  测试集的构建
    10.5.2  结果分析
第十一章  中文文本错误纠错建议的自动生成及其排序方法
  11.1  中文文本字词级错误纠错建议自动生成及其排序的模型与算法
    11.1.1  中文文本字词级错误纠错建议自动生成及其排序概述
    11.1.2  自动纠错的语言模型
    11.1.3  纠错知识库的构造
    11.1.4  纠错建议的生成算法
    11.1.5  语境关联度模型
    11.1.6  基于语境关联度模型的纠错建议排序
    11.1.7  实验结果与实例
  11.2  基于最大熵方法的语言建模与纠错排歧
    11.2.1  问题的引入
    11.2.2  最大熵原理
    11.2.3  基于最大熵原理的自然语言建模
    11.2.4  基于频次与平均互信息相结合的特征选择
    11.2.5  基于最大熵方法的纠错排歧
  11.3  本章小结
第十二章  面向中文文本的自动校对实验系统设计与实现
  12.1  系统目标
  12.2  系统结构设计
  12.3  系统的实现
    12.3.1  开发环境
    12.3.2  知识获取模块的实现
    12.3.3  分词模块的实现
    12.3.4  查错模块的实现
    12.3.5  纠错模块的实现
  12.4  系统评测
    12.4.1  评测目的和评测性能指标
    12.4.2  标准评测库的建立和评测方法
  12.5  本章小结
附录：汉语语料加工词性标记体系
参考文献