我用Python分析了一波热卖年货，原来大家都在买这些东西？

我用Python分析了一波热卖年货，原来大家都在买这些东西？"/>

我用Python分析了一波热卖年货，原来大家都在买这些东西？

今年不知道有多少小伙伴留在原地过年，虽然今年过年不能回老家，但这个年也得过，也得买年货，给家人长辈送礼。于是我出于好奇心的想法利用爬虫获取某宝数据，并结合 Python 数据分析和第三方可视化平台来分析一下大家过年都买了哪些东西，分析结果大屏如下：

 

上面使用清洗好的数据后用 finebi 第三方可视化工具完成的。接下来是用 Python 的实现过程，对于本文的叙述，主要分为以下五步：

• 分析思路
• 爬虫部分
• 数据清洗
• 数据可视化及分析
• 结论与建议

一、分析思路

其实就今天的数据来讲，我们主要做的是探索性分析；首先梳理已有的字段，有标题（提取出品类）、价格、销量、店铺名、发货地。下面来做一下详细的维度拆分以及可视化图形选择：

品类:

• 品类销量的 TOP 10 有哪些？（表格或者横向条形图）
• 热门（出现次数最多）品类展示；（词云）

价格：年货的价格区间分布情况；（圆环图，观察占比）

销量、店铺名：

• 店铺销量最高的 TOP 10 有哪些？（条形图）
• 结合品类做联动，比如点坚果，对应展示销量排名的店铺；（联动，利用三方工具）

发货地：销量最高的城市有哪些？（地图）

二、爬取数据

爬取主要利用 selenium 模拟点击浏览器，前提是已经安装 selenium 和浏览器驱动，这里我是用的 Google 浏览器，找到对应的版本号后并下载对应的版本驱动，一定要对应浏览器的版本号。

pip install selenium

 

安装成功后，运行如下代码，输入关键字"年货"，进行扫码就可以了，等着程序慢慢采集。

 

采集结果如下：

 

数据准备完成，中间从标题里提取类别过程比较耗时，建议大家直接用整理好的数据。

大概思路是对标题进行分词，命名实体识别，标记出名词，找出类别名称，比如坚果、茶叶等。

三、数据清洗

这里的文件清洗几乎用 Excel 搞定，数据集小，用 Excel 效率很高，比如这里做了一个价格区间。到现在数据清洗已经完成（可以用三方工具做可视化了），如果大家爱折腾，可以接着往下看用 Python 如何进行分析。

四、数据可视化及分析

1、读取文件

 

 

2、可视化：词云图

 

 

图表说明：我们可以看到词云图，热门（出现次数最多）品类字体最大，依次是：坚果、茶叶、糕点等。

3、可视化：绘制圆环图

 

 

图表说明：圆环图和饼图类似，代表部分相对于整体的占比情况，可以看到0 ~ 200元的年货大概33%左右，100 ~ 200元也是33%。说明大部分的年货的价格趋于200以内。

4、可视化：绘制条形图

 

 

图表说明：以上是店铺按销量排名情况，可以看到第一名是三只松鼠旗舰店，看来过年大家都喜欢吃干货。

5、可视化：绘制横向条形图

 

 

图表说明：根据类别销量排名，排名第一是坚果，验证了上面的假设，大家喜欢吃坚果。

结论与建议

淘宝热卖年货: 坚果，茶叶，糕点，饼干，糖果，白酒，核桃，羊肉，海参，枸杞；

年货推荐清单（按销量）：坚果、零食、糕点、饼干、茶叶、糖果、松子、红枣、蛋糕、卤味、瓜子、牛奶、核桃；

年货价格参考：66%以上的年货价格在0~200元之间；

热门店铺：三只老鼠、天猫超市、百草味、良品铺子；