使用github--stanfordnlp--glove训练自己的数据词向量

软件发布|下载排行|最新软件

当前位置:首页IT学院IT技术

使用github--stanfordnlp--glove训练自己的数据词向量

_Meditation   2020-02-23 我要评论

1.准备语料

准备好自己的语料,保存为txt,每行一个句子或一段话,注意要分好词。将分好词的语料保存为×××.txt

2.准备源码

下载地址:https://github.com/stanfordnlp/GloVe,解压后将语料×××.txt添加到GloVe-master文件夹下

3.修改训练语料地址

打开demo.sh文件,由于默认是下载TXT8作为语料,故将这段代码删除,并修改CORPUS=×××.txt,最终文件内容如下:

其他应该都可以自行修改。

 

4.执行

打开终端,进入GloVe-master文件后:

(1)make

 

 

(2)demo.sh

 

 

 

5.修改词向量文件

训练后会得到vetors.txt,打开后在第一行加上vacob_size vector_size,这样才能用word2vec的load函数加载成功

第一个数指明一共有多少个向量,第二个数指明每个向量有多少维

 

6.加载使用巽寮的词向量

1 from gensim.models import Word2Vec  
2   
3 model = Word2Vec.load_word2vec_format(‘vectors.txt’, binary=False) 

接下来的使用就和word2vec一样

 

Copyright 2022 版权所有 软件发布 访问手机版

声明:所有软件和文章来自软件开发商或者作者 如有异议 请与本站联系 联系我们