Python获取当当平台商品数据信息可视化效果展示

前言

嗨喽，大家好呀~这里是爱看美女的茜茜呐

环境使用:

版本： python 3.8
编辑器：pycharm 2021.2
jupyter notebook

模块使用:

采集

requests >>> pip install requests 数据请求
csv <表格文件> 内置模块保存数据

数据分析

pandas
pyecharts

第三方模块安装：

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
在pycharm中点击Terminal(终端) 输入安装命令

如果出现爆红，可能是因为网络连接超时，可切换国内镜像源，命令如下：

pip install -i https://pypi.doubanio.com/simple/ requests

python资料、源码、教程\福利皆: 点击此处跳转文末名片获取

获取数据

导入模块

# 导入数据请求模块
import requests
# 导入数据解析模块
import parsel
# 导入csv模块
import csv

f = open('data.csv', mode='w', encoding='utf-8', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['书名','评论','推荐','作者','日期','出版社','售价','原价','折扣','电子书','详情页',
])
csv_writer.writeheader()

“”"

发送请求
- <Response [200]> 表示请求成功

“”"

for page in range(1, 26):# 请求链接url = f'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-{page}'# 发送请求response = requests.get(url)

“”"

获取数据 -> response<响应对象>.text

获取整个网页的数据内容
解析数据

获取具体数据, 我们想要的数据

当你看到获取的数据, 有这样标签格式, 用css或者xpath是最方便

css选择器就是根据标签属性提取数据内容

xpath节点提取

re正则表达式

“”"

    selector = parsel.Selector(response.text)# 提取所有图书信息, 所对应li标签lis = selector.css('.bang_list_mode li')for li in lis:title = li.css('.name a::attr(title)').get()  # 标题star = li.css('.star a::text').get().replace('条评论', '')  # 评论Tui = li.css('.tuijian::text').get().replace('推荐', '')  # 推荐writer = li.css('.publisher_info a::attr(title)').get()  # 作者date = li.css('.publisher_info span::text').get()  # 日期# get() 提取第一个元素标签完整源码、教程+V：pytho8987获取，加备注“777”publisher = li.css('div:nth-child(6) a::text').get()  # 出版社# publisher = li.css('.publisher_info a::text').getall()[-1] # 出版社price_n = li.css('.price .price_n::text').get()  # 售价price_r = li.css('.price .price_r::text').get()  # 原价price_s = li.css('.price .price_s::text').get().replace('折', '')  # 折扣price_e = li.css('.price_e .price_n::text').get()  # 电子书href = li.css('.name a::attr(href)').get()  # 详情页dit = {'书名': title,'评论': star,'推荐': Tui,'作者': writer,'日期': date,'出版社': publisher,'售价': price_n,'原价': price_r,'折扣': price_s,'电子书': price_e,'详情页': href,}csv_writer.writerow(dit)

数据可视化

import pandas as pd

# 读取csv文件
df = pd.read_csv('data.csv')
# 显示前五行数据
df.head()

Tui_num = df['推荐'].value_counts().to_list()
Tui_type = df['推荐'].value_counts().index.to_list()
Tui_type
# 推荐量占比情况
from pyecharts import options as opts
from pyecharts.charts import Pie
# from pyecharts.faker import Faker  # 随机生成数据模块c = (Pie().add("",[list(z) for z in zip(Tui_type, Tui_num)],center=["35%", "50%"],).set_global_opts(title_opts=opts.TitleOpts(title="推荐占比分布"),legend_opts=opts.LegendOpts(pos_left="15%"),).set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
#     .render("pie_position.html")  # 保存本地html文件
)
# Faker.choose() 类目
# Faker.values() 数量
c.render_notebook()

from pyecharts import options as opts
from pyecharts.charts import Bar
from pyecharts.faker import Faker
c = (Bar().add_xaxis(Tui_type)完整源码、教程+V：pytho8987获取，加备注“777”.add_yaxis('百分比', Tui_num, stack="stack1").set_series_opts(label_opts=opts.LabelOpts(is_show=False)).set_global_opts(title_opts=opts.TitleOpts(title="推荐占比分布"))
#     .render("bar_stack0.html")
)
c.render_notebook()

ZHE_num = df['折扣'].value_counts().to_list()[:10]
ZHE_type = df['折扣'].value_counts().index.to_list()[:10]

from pyecharts import options as opts
from pyecharts.charts import Bar
from pyecharts.faker import Faker
c = (Bar().add_xaxis(ZHE_type).add_yaxis('百分比', ZHE_num, stack="stack1").set_series_opts(label_opts=opts.LabelOpts(is_show=False)).set_global_opts(title_opts=opts.TitleOpts(title="折扣分布"))
#     .render("bar_stack0.html")
)
c.render_notebook()

# 推荐量占比情况
from pyecharts import options as opts
from pyecharts.charts import Pie
# from pyecharts.faker import Faker  # 随机生成数据模块c = (Pie().add("",[list(z) for z in zip(ZHE_type, ZHE_num)],center=["35%", "50%"],完整源码、教程+V：pytho8987获取，加备注“777”).set_global_opts(title_opts=opts.TitleOpts(title="折扣分布"),legend_opts=opts.LegendOpts(pos_left="15%"),).set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
#     .render("pie_position.html")  # 保存本地html文件
)
# Faker.choose() 类目
# Faker.values() 数量
c.render_notebook()