二元语法与中文分词

语言模型

模型指的是对食物的数学抽象，语言模型指的是对语言现象的数学抽象。

语言模型的构建需要语料库的支撑

语料库建设并不是高不可攀的工程。

手动标注微型语料库

问题：常识告诉我们，一本书中几乎没有两个完全一样的句子并且试验中实际遇到的句子大部分都在语料库之外

这意味着它们的概率都将被标记为0 ？？？

解决办法：

二元语法 或（n元语法）

平滑策略（劫富济贫的策略）

转载地址：https://codingpark.blog.csdn.net/article/details/107614158 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！

下一篇：数据分析之数据可视化_CodingPark编程公园

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！

-- 愿君每日到此一游！

opencv图像处理梯度边缘和角点 2019-04-29

Caffe源码中blob文件分析 2019-04-29

OpenCV 图像采样插值几何变换 2019-04-29

图像处理-仿射变换 AffineTransform 2019-04-29

图像二值化----otsu（最大类间方差法、大津算法） 2019-04-29

OpenCV编程案例：使用轮廓函数检测连通区域 2019-04-29

opencv使用cvFindContours提取联通域 2019-04-29

C++中MessageBox的常见用法 2019-04-29

ordfilt2函数功能说明 2019-04-29

在图像变换中用最小二乘法求解仿射变换参数 2019-04-29

软件包应用分享|基于RT-Thread的百度语音识别（一） 2019-04-29

12月8日 RCEA - RT-Thread能力认证考试考前通知 2019-04-29

论坛热贴 | RT-Thread音频驱动开发（一） 2019-04-29

基于 Keil MDK 移植 RT-Thread Nano 2019-04-29

移植 RT-Thread Nano 到 RISC-V 2019-04-29

软件包应用分享|基于RT-Thread的百度语音识别（二） 2019-04-29

在 RT-Thread Nano 上添加控制台与 FinSH 2019-04-29

一站式开发工具：RT-Thread Studio 正式发布 2019-04-29

白红宇的个人博客 - 记录点点滴滴的事 - 您是第 310039671 位访客