51Testing软件测试论坛

标题: 用Python爬取某宝商品数据，进行可视化分析 [打印本页]
作者: lsekfe    时间: 2021-11-5 14:01
标题: 用Python爬取某宝商品数据，进行可视化分析
　转眼就到11月份了，本以为能在大连过一个浪漫的秋天，但是没想到今年的大连没有秋天，直接到了寒风刺骨的冬天。。。
　　于是，志斌赶紧打开了Python，用它爬取并分析一波棉袄，找到一件最合适的棉袄给裹到身上。
　　一、数据采集
　　数据采集是数据可视化分析的第一步，也是最基础的一步，数据采集的数量和质量越高，后面分析的准确的也就越高，我们来看一下淘宝网的数据该如何爬取。
　　淘宝网站是一个动态加载的网站，我们之前可以采用解析接口或者用Selenium自动化测试工具来爬取数据，但是现在淘宝对接口进行了加密，使我们很难分析出来其中的规律，同时淘宝也对Selenium进行了反爬限制，所以我们要换种思路来进行数据获取。
　　打开开发者模式，开始对网页进行观察后发现，淘宝商品的数据竟然在源网页中存储着。
[attach]135126[/attach]
我翻了几页网页之后发现，每翻一页，网页的params参数中的s参数就会增加44(初始值是0)。
[attach]135127[/attach]
　经过以上分析，现在我们就可以开始构造爬虫程序了。
　　1.导入爬虫使用的库
import requests
　　import re
　　import time
　　import random
　　import openpyxl

2.发起请求
for page in range(1,101):
　　   params = (
　　       ('q', '棉袄'),
　　       ('imgfile', ''),
　　       ('commend', 'all'),
　　       ('ssid', 's5-e'),
　　       ('search_type', 'item'),
　　       ('sourceId', 'tb.index'),
　　       ('spm', 'a21bo.jianhua.201856-taobao-item.2'),
　　       ('ie', 'utf8'),
　　       ('initiative_id', 'tbindexz_20170306'),
　　       ('hintq', '1'),
　　       ('s', str(page*44)),
　　   )
　　response = requests.get(url,  params=params)

3.数据存储
a = 0
　　b = 0
　　for i in range(44):
　　    try:
　　        sheet.append([dianpumingcheng,shangpinming,float(jiage),fahuodi,fukuanrenshu])
　　    except:
　　        a+=1
　　        if a>30:
　　            print(f"第{page}页数据未爬取......")
　　            wb.save('棉袄.xlsx')
　　            # 把xxx改成你想要的存储的名称即可
　　            b = 1
　　            break
　　if b == 1:
　　    break
　　print(f"已爬取完第{page}页数据......")
　　time.sleep(random.randint(3,5))
　　nt(f'共爬取{page}页数据......')

　二、数据清洗
　　数据采集后，要对其进行清洗，剔除脏数据，用以提高分析的准确性。
　　1.导入商品数据
　　用pandas读取爬取后的商品数据并预览。
  1. import pandas as pd
  2. 　　df = pd.read_excel('棉袄.xlsx',names=['店铺名称','商品名','价格','产地','付款人数'])
  3. 　　print(df.head())
复制代码
[attach]135128[/attach]
　2.删除重复数据
df.drop_duplicates()

　删除重复数据后，还有2008条数据。
[attach]135129[/attach]
3.数据类型转换
　　我们发现付款人数是字符串类型，我们需要将其转换成整数类型。
  1. wb = openpyxl.load_workbook('棉袄.xlsx')
  2. 　　int_list = []
  3. 　　sheet = wb['Sheet']
  4. 　　for i in range(2,2008):
  5. 　　   str = sheet[f'E{i}'].value
  6. 　　   if '万+' in str:
  7. 　　       int_list.append(int(int(str[:-2])*random.uniform(1,2)*10000))
  8. 　　   elif '+' in str:
  9. 　　       int_list.append(int(int(str[:-1])+random.random()*1000))
  10. 　　   else:
  11. 　　       int_list.append(int(str))
  12. 　　for i in range(2,2008):
  13. 　　   sheet.cell(i,5).value = int_list[i-2]
  14. 　　wb.save('3.xlsx')
复制代码
　4.查看数据类型
　　查看字段类型和缺失值情况，符合分析需要，无需另做处理。
  1. df.info()
复制代码
[attach]135130[/attach]
　三、可视化分析
　　我们来对这2008家棉袄商品数据进行可视化分析。可视化图是由Python、Tableau和Excel共同绘制而来。
　　1.在售棉袄特点
　　通过对棉袄的商品名称进行词云图绘制，我们发现，今年棉袄的样式以宽松、潮流、韩版、短款类居多。
[attach]135131[/attach]
　制作代码如下：
  1. from imageio import imread
  2. 　　import jieba
  3. 　　from wordcloud import WordCloud, STOPWORDS
  4. 　　
  5. 　　with open("1.txt",'r',encoding='utf-8') as f:
  6. 　　 job_title_1 = f.read()
  7. 　　contents_cut_job_title = jieba.cut(job_title_1)
  8. 　　contents_list_job_title = " ".join(contents_cut_job_title)
  9. 　　wc = WordCloud(stopwords=STOPWORDS.add("一个"), collocations=False,
  10. 　　            background_color="white",
  11. 　　            font_path=r"K:\msyh.ttc",
  12. 　　            width=400, height=300, random_state=42,
  13. 　　            mask=imread('棉袄.jpg', pilmode="RGB")
  14. 　　            )
  15. 　　wc.generate(contents_list_job_title)
  16. 　　wc.to_file("推荐语.png")
复制代码
2.各省产量分布图
　　通过对各商品的产地数据进行统计并绘制了全国地图，我们发现浙江、广东和福建这三个地方生产棉袄最多，分别是914家、261家和203家。
[attach]135132[/attach]
　制作代码如下：
  1. import openpyxl
  2. 　　from collections import Counter
  3. 　　from pyecharts import Map
  4. 　　wb = openpyxl.load_workbook('棉袄.xlsx')
  5. 　　sheet = wb['Sheet']
  6. 　　a = []
  7. 　　for i in range(2,1960):
  8. 　　 D = sheet[f'D{i}']
  9. 　　 a.append(D.value)
  10. 　　province_distribution = dict(Counter(a))
  11. 　　provice = list(province_distribution.keys())
  12. 　　values = list(province_distribution.values())
  13. 　　map = Map("中国地图",width=1200, height=600)
  14. 　　map.add("", provice, values, visual_range=[0, 50], maptype='china', is_visualmap=True,
  15. 　　visual_text_color='#000',is_label_show=True)
  16. 　　map.render(path="地图.html")
复制代码
我们进一步对浙江省的产地数据进行分析发现，杭州的棉袄商家最多，占全省的40%。
[attach]135133[/attach]
　3.棉袄价格区间分布
　　我们对棉袄价格以100为分点，进行可视化后发现，价格在100-200的棉袄商品最多，有869家，其次是价格在201-300之间的，有501家。看来棉袄的价格还是相对便宜的~
[attach]135134[/attach]
4.棉袄月销量top20商家
　　销量最高的竟然不是旗舰店，是一个李广森的自制时尚女装店，志斌打开她们家的店铺看了看，感觉还不错，可以给对象入手一套~
[attach]135135[/attach]












欢迎光临 51Testing软件测试论坛 (http://bbs.51testing.com/) Powered by Discuz! X3.2