中文信息处理原理及应用-(第2版) 本书特色
《中文信息处理原理及应用(第2版高等学校计算机专业规划教材)》全面系统地介绍了中文文本信息处理技术,由浅入深地讲述了中文文本理解的原理与应用。全书共5个部分:预备知识、词法分析、语法分析、语义分析和应用与技术。预备知识部分介绍了本书所需的数学、语言学和形式语言与自动机方面的理论知识。词法分析、语法分析和语义分析是自然语言处理的基础。词法分析部分针对中文信息处理中特有的分词问题,介绍了若干分词算法以及分词歧义消除和未登录词识别算法。语法分析和语义分析两部分从语法(语义)的表示入手,介绍自然语言的结构化和形式化,给出语法分析和语义分析的常用算法,并针对该过程中的歧义问题给出可行的解决思路。应用与技术部分讲述中文信息处理的应用,尤其是在文本分类、信息检索、问答系统和自动文摘等领域的应用技术。
本书涉及内容广泛,能满足不同层次读者群的需求,可以作为高等学校计算机、信息类高年级本科生的教材,也可作为自然语言处理方向研究生的教材,同时非常适合供自然语言处理应用领域的研究人员和技术人员参考。
中文信息处理原理及应用-(第2版) 目录
第1部分 预备知识
第1章概论
1.1 自然语言处理与中文信息处理
1.1.1 自然语言处理
1.1.2 中文信息处理
1.2 研究内容
1.3 应用领域
第2章预备知识
2.1 数学基础
2.1.1 概率论
2.1.2 随机过程
2.1.3 信息论
2.1.4 形式语言与自动机
2.2 语言学基础
2.2.1 计算语言学概述
2.2.2 语素和词
2.2.3 句法与篇章语法
2.2.4 词义与句义
第2部分 词法分析
第3章自动分词概述
3.1 自动分词
3.1.1 分词规范
3.1.2 自动分词的研究内容及意义
3.1.3 自动分词方法
3.2 分词歧义问题
3.3 未登录词问题
3.4 自动分词评测
第4章基于词典的分词方法
4.1 分词词典
4.1.1 关于分词词典的构造
4.1.2 基于词属性的分词词典
4.1.3 基于逐字二分的分词词典
4.2 机械分词方法
4.2.1 正向*大匹配算法
4.2.2 逆向*大匹配算法
4.2.3 邻近匹配算法
4.2.4 *短路径匹配算法
4.3 基于规则的分词方法
4.3.1 分词预处理中的规则
4.3.2 分词规则
4.4 中文姓名切分
4.4.1 切分姓名中的当用资源
4.4.2 同源对表、互斥对表及其操作
4.4.3 姓名左右边界的确定
4.4.4 屏蔽与恢复
4.4.5 同源对表和互斥对表的校正规则
4.4.6 概率再筛选
4.4.7 中文姓名切分系统
第5章基于语料库的分词方法
5.1 语料库
5.1.1 语料库概述
5.1.2 语料库加工规范
5.1.3 现代汉语语料库构建实例
5.2 基于统计的分词方法
5.2.1 统计分词概述
5.2.2 统计分词消歧
5.2.3 统计未登录词获取
5.2.4 统计分词模型
5.3 基于机器学习的分词方法
5.3.1 *大熵分词
5.3.2 条件随机场分词
第2部分 习题
第3部分 语法分析
第6章自动词性标注
6.1 词性标注概述
6.1.1 词性标注
6.1.2 词性标记规范
6.1.3 词性消歧
6.1.4 词性标注评测
6.2 基于统计的词性标注方法
6.2.1 统计模型的训练
6.2.2 马尔可夫模型标注方法
6.2.3 隐马尔可夫模型标注方法
6.3 基于规则的词性标注方法
6.3.1 按兼类词搭配关系构造的规则
6.3.2 按词语结构获取的规则
6.4 其他标注方法
6.4.1 基于规则和统计相结合的标注方法
6.4.2 基于条件随机场的词性标注方法
6.4.3 词性标注中的未登录词处理方法
第7章语法表示方法
7.1 语法表示概述
7.2 形式语法描述
7.2.1 重写规则
7.2.2 转移网络
7.3 短语结构语法
7.4 依存语法
第8章句法分析方法
8.1 句法分析概述
8.1.1 句法分析
8.1.2 结构歧义
8.1.3 句法分析评测
8.2 基于规则的句法分析方法
8.2.1 自顶向下句法分析
8.2.2 自底向上句法分析
8.2.3 线图句法分析
8.2.4 转移网络句法分析
8.3 基于统计的句法分析方法
8.3.1 概率上下文无关文法分析
8.3.2 依存句法分析137
第3部分 习题
第4部分 语义分析
第9章概念标注
9.1 概念标注概述
9.2 语言知识库
9.3 概念标注方法
第10章语义表示
10.1 语义表示概述
10.2 语义逻辑表示法
10.2.1 一阶谓词演算
10.2.2 基本逻辑形式语言
10.2.3 逻辑形式中的歧义表示
10.2.4 论旨角色
10.3 语义网络表示法
10.4 语义框架表示法
第11章语义分析
11.1 语义分析概述
11.2 基于语义特征的语义分析
11.2.1 组合理论
11.2.2 λ表达式与语义解释
11.2.3 带语义解释的简单语法和词典
11.2.4 语义角色
11.2.5 特征合一的语义解释
11.3 基于语法关系的语义分析
11.4 基于模板匹配的语义分析
11.5 语义消歧
11.5.1 语义消歧概述
11.5.2 基于规则的语义消歧
11.5.3 基于统计的语义消歧
第4部分 习题
第5部分 应用与技术第12章文本分类
12.1 文本分类概述
12.1.1 自动文本分类定义
12.1.2 文本分类任务的特点
12.1.3 文本分类基本实现途径
12.1.4 文本分类的组成
12.1.5 文本分类的应用领域
12.1.6 国内外研究现状
12.2 文本分类方法
12.2.1 文本表示与文本特征选择
12.2.2 分类器设计
12.2.3 分类器的阈值选择
12.3 文本分类评测
12.3.1 单类赋值
12.3.2 多类排序
第13章信息检索
13.1 信息检索概述
13.1.1 信息检索的对象和任务
13.1.2 信息检索的评测
13.1.3 信息检索模型
13.1.4 中文信息检索的特点
13.2 基于统计的信息检索模型
13.2.1 布尔模型及其扩展
13.2.2 向量空间模型
13.2.3 概率模型
13.3 基于语义的信息检索
13.3.1 基于nlp的方法
13.3.2 潜在语义索引
13.3.3 基于神经网络的信息检索
13.4 信息检索技术评测
13.4.1 文本检索会议
13.4.2 亚洲语言信息检索评测会议
13.4.3 863信息检索评测项目
13.5 web信息检索
13.5.1 web信息检索的特点
13.5.2 搜索引擎
第14章问答系统
14.1 问答系统概述
14.1.1 问答系统的发展
14.1.2 问答系统的定义
14.1.3 问答系统的研究趋势
14.2 关键技术
14.2.1 关键词抽取
14.2.2 关键词扩展
14.3 问答系统评测
14.4 watson问答系统
第15章自动文摘
15.1 自动文摘概述
15.1.1 文摘的定义
15.1.2 文摘的分类
15.1.3 自动文摘的意义
15.2 自动文摘的方法
15.2.1 基于统计的自动文摘
15.2.2 基于理解的自动文摘
15.2.3 基于信息抽取的自动文摘方法
15.2.4 基于结构的自动文摘
15.3 自动文摘系统评测
15.3.1 内部评价
15.3.2 外部评价
15.4 自动文摘系统273
第5部分 习题
附录a 北京大学计算语言学研究所汉语词性标注标记集
附录b 哈尔滨工业大学cdt依存句法标注体系
参考文献
中文信息处理原理及应用-(第2版) 作者简介
苗夺谦,男,1964年4月生,1997年于中国科学院自动化研究所模式识别与智能系统专业获博士学位。现任同济大学电子与信息工程学院教授、博导、副院长,计算机科学与技术系教务委员会主任,计算机与信息技术国家级教学实验示范中心主任,嵌入式系统与服务计算教育部重点实验室副主任。主要研究方向包括粒计算、粗糙集、自然语言理解、数据挖掘、机器学习、Web智能等,在IEEE TKDE、IEEE TCYB、IEEE TIFS、Pattern Recoqrfitiorl、Information Scierices、《计算机学报》、《软件学报》等国内外重要学术刊物与会议上发表论文80余篇,其中SCI收录51篇,出版教材和学术著作9部,授权专利9项;主持国家自然科学基金项目6项,高等学校博士学科点专项科研基金项目2项;作为骨干参与973项目一项,863项目一项,国家自然科学基金重大、重点项目各一项;曾获教育部科技进步一等奖(2007)、上海市技术发明一等奖(2009)、重庆市自然科学一等奖(2010)、教育部-IBM优秀教师奖(2010)、宝钢优秀教师奖(2011)。目前主要学术任职包括国际粗糙集学会咨询委员会委员,国家自然科学基金委信息学部评议组专家,教育部高等学校计算机科学与技术专业教学指导分委员会专家工作组成员。中国计算机学会杰出会员,中国人工智能学会租糙集与软计算专委会主任,上海市计算机学会人工智能专委会主任。