word2vector从参数解释到实战

实战"/>

word2vector从参数解释到实战

1，Word2Vector参数解释

Word2Vector是gensim封装好的模块，gensim是generate similarity的缩写。

本文默认有词向量的基础。参数：

from  gensim.models import Word2Vec
#下面的参数均是默认值
Word2Vec(sentences=None,  #sentences可以是分词列表，也可以是大语料size=100,#特征向量的维度alpha=0.025,#学习率window=5,#一个句子内，当前词和预测词之间的最大距离min_count=5,#最低词频max_vocab_size=None,#sample=0.001, #随机下采样的阈值seed=1,#随机数种子workers=3,#进程数min_alpha=0.0001,#学习率下降的最小值sg=0, #训练算法的选择，sg=1，采用skip-gram，sg=0，采用CBOWhs=0,# hs=1,采用hierarchica·softmax，hs=10,采用negative samplingnegative=5,#这个值大于0，使用negative sampling去掉'noise words'的个数（通常设置5-20）；为0，不使用negative samplingcbow_mean=1,#为0，使用词向量的和，为1，使用均值；只适用于cbow的情况iter = 5,#迭代次数null_word = 0,trim_rule = None, #裁剪词汇规则，使用None（会使用最小min_count）sorted_vocab = 1,#对词汇降序排序batch_words = 10000,#训练时，每一批次的单词数量compute_loss = False,callbacks = ())

2，kaggle电影评论实战

• 导入需要用到的模块

import pandas as pd
import numpy as np
from gensim.models import word2vec
from bs4 import BeautifulSoup
from nltk.corpus import stopwords
import nltk.data
import re