集数据处理 gensim corpora.Dictionary 的简单使用"/>

【NLP】文档集数据处理 gensim corpora.Dictionary 的简单使用

【NLP】文档集数据处理 gensim corpora.Dictionary

• 1. corpora 和 dictionary
• 2. 词典操作
• 3. 存储
• 4. 其他操作
• 5. 分批处理和分布式计算
• 6. models
• 7. similarities
• 8. 实例
• • 8.1 属性
  • 8.2 过滤
  • 8.3 语料库

gensim是一个python的自然语言处理库，能够将文档根据TF-IDF, LDA, LSI 等模型转化成向量模式，以便进行进一步的处理。此外，gensim还实现了word2vec功能，能够将单词转化为词向量。

1. corpora 和 dictionary

基本概念和用法：

corpora是gensim中的一个基本概念，是文档集的表现形式，也是后续进一步处理的基础。从本质上来说，corpora其实是一种