Python实现「碟中谍」5W条评论可视化！果然还是烧脑大戏！

进群：548377875 ? 即可获取数十套PDF哦！

项目介绍

本篇文章会针对用户在猫眼上对于「碟中谍6」的评论进行一个可视化分析，我们总共采集了44872条用户评论，文章内容包括：

• 用户评分分布；
• 产生评论时间分布????；
• 评论用户地理位置分布热点图；
• 词频统计；
• 绘制词云图????;

数据背景

• 数据采集可以参考我上一篇文章Python爬取猫眼「碟中谍」全部评论，我们获取了用户评论时间，用户昵称，用户评分，所在城市和评论内容五个字段总计44872条数据。

数据清洗

• 在上一篇文章中，我是将评论数据写入txt，然后不同字段使用「|」分开，但是在实际使用过程中，我们发现还是有些评论只保存下了评论内容，其他字段全部都没保存下来，所以在读取数据处理的时候需要注意下。

• ?
• 我这边是使用DataFrame将数据读入内存，代码如下：

import pandas as pd
with open('comment.txt','r') as f:
 comment = f.read()
comment_list = comment.split('
')
print '>>>累计评论数：%s
'%len(comment_list)
data = []
temp = ['','','']
for comment in comment_list:
 comment = comment.split('|')
 if len(comment) == 1:
 temp[4] = comment[0]
 comment = temp
 data.append(comment)
 elif len(comment) != 5:
 pass
 else:
 data.append(comment)
data = pd.DataFrame(data,columns = ['时间','昵称','城市','评分','内容'])
print data.head()

评分分布

• 目前「碟中谍6」在猫眼上评分为9.1，在评论中用户的评分是「0-5」个，半个为一级，其实也就刚好对应了「1-10」分，我们来看下在这4.8W评论中评分是怎样分布的：

temp = data[data['评分'] != ''].groupby('评分')['昵称'].count().reset_index()
temp.columns = ['评分','数量']
Pie = pyecharts.Pie('「碟中谍」评分分布','统计时间：2018-9-6')
Pie.add("",temp['评分'],temp['数量'],radius=[30,75],rosetype='radius',is_legend_show=False,is_label_show=True)
Pie

• 56%的观众给出了5的评价，超过四分之三的用户给出了4.5，换算成10分制就是9分以上占了75%以上，看来大部分观众对于阿汤哥这次表现还是相当认可的；

时间分布

• 我选取了上映后一周的时间，来看看评论都是集中在什么时间产生吧：

data['日期'] = data['时间'].str[0:10]
data['小时'] = data['时间'].str[11:13]
temp = data[(data['时间'] >= '2018-08-31 00:00:00')& (data['时间'] <= '2018-09-07 00:00:00')].groupby(['小时','日期'])['昵称'].count().reset_index()
temp.columns = ['小时','日期','数量']
date = ['2018-08-31','2018-09-01','2018-09-02','2018-09-03','2018-09-04','2018-09-05','2018-09-06']
temp['小时'] = temp['小时'].astype('int')
temp['日期'] = temp['日期'].replace({'2018-08-31':0,'2018-09-01':1,'2018-09-02':2,'2018-09-03':3,'2018-09-04':4,'2018-09-05':5,'2018-09-06':6})
temp = temp.values.tolist()
hour = range(24)
HeatMap = pyecharts.HeatMap('评论-时间分布','统计时间：2018-09-06')
HeatMap.add("评论数量",hour,date,temp,is_visualmap=True,visual_range=[0,700],is_legend_show = False,visual_text_color="#000",visual_orient='vertical',visual_pos="right")
HeatMap

• 8/31为上映的第一天，9/1-9/2是周末，我们可以看到大部分人都一样，都习惯晚上去看电影，为什么都不喜欢上午去看电影呢？
• 在8/31那天我们可以很容易找到那波看首映的人，0点开始，2点发评论～
• 随着时间推移，我们也能看到热度也是在悄悄下降；

地理分布

• 使用过Pyecharts画GEO地理坐标图的同学应该都知道，pyecharts的位置信息都是基于他们本地的一个地理json数据，但我们在实际使用过程中，其实很难满足我们的需求，很多地名都没有位置信息，如果一个个自己添加，也是个麻烦事，这边给各位介绍一个解决办法：
• 一般的地图服务商都会有可供调用的端口，既然Echarts是百度的产品，我们这次也就使用百度地图的API来处理地理数据好了。

1. 访问百度地图开放平台申请一个key，选择浏览器端使用，具体可以参考网站介绍；
2. 获取到key之后我们通过访问链接http://api.map.baidu.com/geocoder?address=位置&output=json&key=申请到的key就能获取到经纬度信息了。

1. ?
2. 接下来就是写个循环将你的地理信息传过去，获取到信息之后保存下来就ok了，比自己一个个手动添加是不是有效率多了～

代码

import requests
from tqdm import tqdm
data['城市'][data['城市'] == '伊犁'] = '伊犁哈萨克自治州'
temp = data[data['城市'] != ''].groupby('城市')['昵称'].count().reset_index()
temp.columns = ['城市','数量']
headers = {'User-Agent': "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML,like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"}
key = '申请的KEY '
dic = {}
city_list = list(set(temp['城市']))
for city in tqdm(city_list):
 url = 'http://api.map.baidu.com/geocoder/v2/?address=%s&output=json&ak=%s'%(city,key)
 response = requests.get(url)
 position = response.json()
 positin_list = []
 if position['status'] == 0:
 positin_list.append(position['result']['location']['lng'])
 positin_list.append(position['result']['location']['lat'])
 dic[city] = positin_list
 else:
 pass

• 在上面获取到城市到经纬度之后，通过geo_cities_coords传入我们的字典，就能顺利作出我们到GEO地理坐标图了。

Geo = pyecharts.Geo("评论城市分布","来源：Kaggle",title_color="#fff",title_pos="center",width=800,height=600,background_color='#404a59')
Geo.add("",temp['城市'],1000],type='heatmap',visual_text_color="#fff",geo_cities_coords = dic)
Geo

image.png

• 没啥惊喜，没啥意外，只要是消费类指标，热点图永远是这个样子，永远的北京/珠三角/长三角。

词频统计

• 接受上次评论中建议，这次分词的时候加入了一些停用词，我们看下在这4W多条评论中，用户说的最多的是什么呢？

from jieba import posseg as psg
import collections
string = ''.join(data['内容'][data['内容'] <> ''])
word_list = []
stop_words = ['就是','这是','但是','虽然','一部','觉得','还是','没有']
words = psg.cut(string)
for x in words:
 if x.flag == 'x':
 pass
 elif len(x.word) == 1:
 pass
 elif x.word.encode('utf-8') in stop_words:
 pass
 else:
 word_list.append(x.word)
c = collections.Counter(word_list)
attr = []
value = []
for x in c.most_common(10):
 attr.append(x[0])
 value.append(x[1])
Bar = pyecharts.Bar("评论中出现频率最高的10个词","统计时间：2018-09-06")
Bar.add("出现次数",attr,value,mark_point=['max'],is_legend_show = False)
Bar

• 我们统计了前10的单词，可以看到，基本都是积极的，排名第一的词是「好看」，出现了1.2W次，没有那么多花里胡哨的表达，就是简单的「好看????」
• 第四的单词「刺激」，其实我看完整部电影之后也是这个感觉，全程都像打了肾上腺素一样，阿汤哥真的太拼了～
• 其实在我刚刚写的时候我想起来了一个问题，因为避免「了/的/啊」这种词，我在统计的时候去掉了单个的词语，这波操作应该也误杀了「帅」

词云

• 最后词云部分：

import imageio
from wordcloud import WordCloud,STOPWORDS,ImageColorGenerator
import matplotlib.pyplot as plt
back_color = imageio.imread('TomCruise.jpg') 
words = ' '.join(word_list)
wc = WordCloud(background_color='white',max_words=5000,mask=back_color,max_font_size=200,font_path="/Users/tangwenpan/Documents/fonts/SimHei.ttf",random_state=None
 )
wc.generate(words)
image_colors = ImageColorGenerator(back_color)
plt.figure(figsize = (15,8))
plt.imshow(wc.recolor(color_func=image_colors))
plt.axis('off')
plt.show()
wc.to_file('comment.png')

原图：

词云图

• 选背景图真的好麻烦，各位看为将就看下，有点混乱～

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!