NLP入门之开源NLP工具lanlp安装测试
发布日期:2022-02-14 16:09:23 浏览次数:23 分类:技术文章

本文共 2005 字,大约阅读时间需要 6 分钟。

1 环境准备centos7,可通公网,已配置jdk1.8,已安装python3

2 pip安装pylanlp包

pip3 install pyhanlp

WARNING: Running pip install with root privileges is generally not a good idea. Try `pip3 install --user` instead.

Collecting pyhanlp

Collecting jpype1==0.7.0 (from pyhanlp)

  Downloading http://pypi.doubanio.com/packages/28/63/784834e8a24ec2e1ad7f703c3dc6c6fb372a77cc68a2fdff916e18a4449e/JPype1-0.7.0.tar.gz (470kB)

    100% |████████████████████████████████| 471kB 1.1MB/s

Building wheels for collected packages: jpype1

  Running setup.py bdist_wheel for jpype1 ... done

  Stored in directory: /root/.cache/pip/wheels/39/d1/18/7b45734b5bfed456b96f7f616a884228605c96d06a2efd59d2

Successfully built jpype1

Installing collected packages: jpype1, pyhanlp

Successfully installed jpype1-0.7.0 pyhanlp-0.1.66

3 下载模型及数据(本人由于网速太慢取消下载,使用迅雷下载文件存放至指定目录,再运行hanlp即可)

[root@localhost ~]# hanlp

下载 https://file.hankcs.com/hanlp/hanlp-1.7.8-release.zip 到 /usr/local/lib/python3.6/site-packages/pyhanlp/static/hanlp-1.7.8-release.zip

100.00%, 1 MB, 232 KB/s, 还有 0 分  0 秒  

下载 https://file.hankcs.com/hanlp/data-for-1.7.5.zip 到 /usr/local/lib/python3.6/site-packages/pyhanlp/static/data-for-1.7.8.zip

4 分词测试:

交互分词-[root@localhost static]# hanlp segment

喜欢她

喜欢/vi 她/rr

飞流直下三千尺,疑是银河落九天

飞流直下三千尺/vl ,/w 疑/vg 是/vshi 银河/ns 落九天/i

重定向分词-[root@localhost static]# hanlp segment <<< '智能运维怎么做'

智能/n 运维/nz 怎么做/nz

不标注词性-[root@localhost static]# hanlp segment --no-tag <<< '天涯明月刀'

天涯 明月 刀

[root@localhost static]# vim baidu.txt

文本分词-[root@localhost static]# hanlp segment --no-tag <  baidu.txt  > cut_baidu.txt -a crf --notag

usage: hanlp [-h] [-v] {segment,parse,serve,update} ...

hanlp: error: unrecognized arguments: --notag

[root@localhost static]# hanlp segment --no-tag <  baidu.txt  > cut_baidu.txt -a crf --no-tag

[root@localhost static]# cat cut_baidu.txt

一个 人 经过 不同 程度 的 锻炼 , 就 获得 不同 程度 的 修养 、 不同 程度 的 效益 。 好 比 香料 , 捣 得 愈碎 , 磨 得愈 细 , 香 得愈 浓烈 。 我们 曾 如此 渴望 命运 的 波澜 , 到 最后 才 发现 : 人生 最 曼妙 的 风景 , 竟是 内心 的 淡定 与 从容 …… 我们 曾 如此 期盼 外界 的 认可 , 到 最后 才 知道 : 世界 是 自己 的 , 与 他人 毫无关系 。

转载地址:https://blog.csdn.net/qq_29590285/article/details/107350353 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:tensorflow-使用传统神经网络mnist手写数字图像识别的最佳实践
下一篇:anaconda notebook windows安装配置

发表评论

最新留言

路过按个爪印,很不错,赞一个!
[***.219.124.196]2024年04月14日 19时01分56秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

大数据_MapperReduce_Hbase配置参数说明_以及部分源码说明---Hbase工作笔记0031 2021-06-29
Vue介绍---vue工作笔记0001 2021-06-29
Vue基本使用---vue工作笔记0002 2021-06-29
微信公众号介绍_以及注册订阅号---微信公众号开发工作笔记0001 2021-06-29
Vue模板语法---vue工作笔记0003 2021-06-29
Vue计算属性之基本使用---vue工作笔记0004 2021-06-29
Vue监视---vue工作笔记0005 2021-06-29
Vue条件渲染---vue工作笔记0008 2021-06-29
Vue事件处理_vue的事件处理超级方便_功能强大---vue工作笔记0011 2021-06-29
Vue表单数据自动收集---vue工作笔记0012 2021-06-29
Vue生命周期---vue工作笔记0013 2021-06-29
ES6-ES11新特性_ECMAScript_简单介绍---JavaScript_ECMAScript工作笔记001 2021-06-29
ES6-ES11新特性_ECMAScript相关名词介绍_---JavaScript_ECMAScript工作笔记002 2021-06-29
ES6新特性_let变量声明以及声明特性---JavaScript_ECMAScript_ES6-ES11新特性工作笔记003 2019-04-26
Sharding-Sphere,Sharding-JDBC_介绍_Sharding-Sphere,Sharding-JDBC分布式_分库分表工作笔记001 2019-04-26
Sharding-Sphere,Sharding-JDBC_分库分表介绍_Sharding-Sphere,Sharding-JDBC分布式_分库分表工作笔记002 2019-04-26
C++_类和对象_对象特性_构造函数的分类以及调用---C++语言工作笔记041 2019-04-26
C++_类和对象_对象特性_拷贝构造函数调用时机---C++语言工作笔记042 2019-04-26
C++_类和对象_对象特性_构造函数调用规则---C++语言工作笔记043 2019-04-26
C++_类和对象_对象特性_深拷贝与浅拷贝---C++语言工作笔记044 2019-04-26