新手怎么建立网站,wordpress照片评选插件,以及在增加外链时应当注意什么?,python工程打包供网站开发调用NLP复习资料-第九章1.短语结构分析2.短语结构分析方法的评估指标3依存句法分析器设计P134依存句法分析器性能评价5短语结构与依存结构能够相互转换6汉英句法结构对比7汉语长句的层次化句法分析国科大#xff0c;宗老师《自然语言处理》课程复习笔记#xff0c;个人整理#…
NLP复习资料-第九章1.短语结构分析2.短语结构分析方法的评估指标3依存句法分析器设计P134依存句法分析器性能评价5短语结构与依存结构能够相互转换6汉英句法结构对比7汉语长句的层次化句法分析国科大宗老师《自然语言处理》课程复习笔记个人整理仅供参考。1.短语结构分析
1基于CFG规则的分析没法解决歧义问题。
2基于PCFG的分析能够解决歧义问题但是概率计算条件过于苛刻
1.1基于CFG规则的两种方法线图分析法、CYK方法
线图分析法 P20例子掌握了就差不多了。词性序列作为线图的边依据规则不断构成新的弧弧的标记为规则的左边弧连接的词性串为规则的右边。最后将弧转换成节点节点转换成边就能得到句法分析树。P30时间复杂度为Kn3Kn^3Kn3
CYK方法: P49的例子识别矩阵上的操作识别矩阵的主对角线上是词语次对角线上是对应的词性标注再次对角线上是依据规则约规的规则左端标记直至最有上角的位置标记为S由识别矩阵就可以构造句法分析树。
1.2基于PCFG的分析概率上下文无关文法
在上下文无关文法的基础上每一条文法都有一定的出现概率那么利用这些规则转换而成的句法分析树每个节点周围都会带有概率标记通过概率规则计算整棵树的概率实际上是所有概率连乘概率最大的树为最有可能的分析树。由于最大概率的挑选准则使得PCFG可以克服歧义问题但是概率模型太依靠于语料库。P64句法分析树概率计算
PCFG的三个问题和HMM模型有的一拼P73 -快速计算P(W|G)内向算法递归的算法不会考算法吧 -选择最佳句法结构树viterbi算法viterbi变量对应的最大概率 -调整G使得P(W|G)最大巴拉巴拉我觉的不用记吧
基于PCFG的语法分析实例 在CYK的基础上多了每个小格子多了概率标记最后可以计算句法分析树的概率P103
2.短语结构分析方法的评估指标
P125精度、召回率、f-measure、P127交叉括号数最好记一下
P132 页的交叉括号数为0交叉括号的的准确率为100% 不甚理解
3依存句法分析器设计P13
2.1依存句法结构描述—有向图、依存树
2.2 分析算法 生成式分析方法score(x,y|参数)找打打分最高的结果作为分析结果 判别式分析方法最大生成树模型加权和分值最高的边的组合 决策式分析方法移进-约归算法arc-eager算法左弧、右弧、移动、约归、P33实现一个句法分析器在每个状态下依据特征决定下一步该采取的行动。通过标记数据集合得到特征集合构造动作分析器就是记录一系列上下文转换情况在应用时查找转换规则即可。
4依存句法分析器性能评价
无标记正确率支配关系写对就行分母是输出句子的分词数目
带标记正确率支配关系和支配类型都得对分母是输出句子的分词数目
依存正确率不带根节点的正确率分母是输出句子的分词数目-根的数目
根正确率正确根数/句子数
完全匹配率正确根的句子/总句子
5短语结构与依存结构能够相互转换
短语-依存P52中心词抽取规则,产生中心此表-每个节点中心词抽取-非中心节点依存到中心节点上
6汉英句法结构对比
P59至少记住两个吧
汉语功能词少 汉语右部为中心英语左部为中心 汉语中省略主语的请款经常存在他认为是正确的
7汉语长句的层次化句法分析
p66分割句子-子句句法分析-分析子句之间的关系-最终得到整个句子的最大概率分析树
