长沙网站制作哪里好,外贸网站批量收录,六安市紧急公告,投标网站建设服务承诺大家早好、午好、晚好吖 ❤ ~欢迎光临本文章 如果有什么疑惑/资料需要的可以点击文章末尾名片领取源码
环境使用 Python 3.8 Pycharm
模块使用 import requests import csv import datetime import hashlib import time
一. 数据来源分析 明确需求 明确采集网站以及数…大家早好、午好、晚好吖 ❤ ~欢迎光临本文章 如果有什么疑惑/资料需要的可以点击文章末尾名片领取源码
环境使用 Python 3.8 Pycharm
模块使用 import requests import csv import datetime import hashlib import time
一. 数据来源分析 明确需求 明确采集网站以及数据 网址: https://space.bilibili.com/517327498/video?tid0pn2keywordorderpubdate 数据: 视频基本信息: 标题 播放量 评论 弹幕 上传时间 … 抓包分析 打开开发者工具: F12 / 右键点击检查选择network 点击网页下一页 -- XHR 第一条数据包就是我们需要的内容 数据包: https://api.bilibili.com/x/space/wbi/arc/search?mid517327498ps30tid0pn3keywordorderpubdateplatformwebweb_location1550101order_avoidedtruew_ridc9a9f931486961175b1e8138d695680ewts1690027894
二. 代码实现步骤 固定四个大步骤 发送请求, 模拟浏览器对于url地址发送请求 获取数据, 获取服务器返回响应数据 解析数据, 提取我们需要的数据内容 保存数据, 把信息数据保存表格文件
获取视频详情数据
1.发送请求, 模拟浏览器对于url地址发送请求 python资料获取看这里噢 小编 Vpython10010 好友验证备注6
即可获取文章源码/教程/资料/解答等福利还有不错的视频学习教程和PDF电子书# 模拟浏览器
headers {# 用户代理 表示浏览器基本身份信息User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36
}string fkeywordmid517327498orderpubdateorder_avoidedtrueplatformwebpn1ps30tid0web_location1550101wts{int(time.time())}6eff17696695c344b67618ac7b114f92
# 实例化对象
md5_hash hashlib.md5()
md5_hash.update(string.encode(utf-8))
# 请求链接
url https://api.bilibili.com/x/space/wbi/arc/search
# 请求参数
data {mid: 517327498,ps: 30,tid: 0,pn: 1,keyword: ,order: pubdate,platform: web,web_location: 1550101,order_avoided: true,w_rid: md5_hash.hexdigest(),wts: int(time.time()),
}
# 发送请求 Response [200] 响应对象 表示请求成功
response requests.get(urlurl, paramsdata, headersheaders)2.获取数据, 获取服务器返回响应数据 response.json() 获取响应json数据 字典数据类型 response.text 获取响应文本数据 网页源代码 字符串数据 response.content 获取响应二进制数据数据 获取图片/视频/音频/特定格式文件
print(response.json())3.解析数据, 提取我们需要的数据内容
字典数据: 键值对取值
根据冒号左边的内容[键], 提取冒号右边的内容[值]
for index in response.json()[data][list][vlist]:# 时间戳 时间节点 -- 上传视频时间点date index[created]dt datetime.datetime.fromtimestamp(date)dt_time dt.strftime(%Y-%m-%d)dit {标题: index[title],描述: index[description],BV号: index[bvid],播放量: index[play],弹幕: index[video_review],评论: index[comment],时长: index[length],上传时间: dt_time,}print(dit)4.保存数据, 把信息数据保存表格文件 python资料获取看这里噢 小编 Vpython10010 好友验证备注6
即可获取文章源码/教程/资料/解答等福利还有不错的视频学习教程和PDF电子书f open(信息.csv, modew, encodingutf-8, newline)
csv_writer csv.DictWriter(f, fieldnames[标题,描述,BV号,播放量,弹幕,评论,时长,上传时间,
])
csv_writer.writeheader()数据可视化
导入数据
import pandas as pddf pd.read_csv(B站视频信息.csv)
df.head()2020~2023年每月视频总播放平均数 python资料获取看这里噢 小编 Vpython10010 好友验证备注6
即可获取文章源码/教程/资料/解答等福利还有不错的视频学习教程和PDF电子书from pyecharts import options as opts
from pyecharts.charts import Barc (Bar().add_xaxis(monthly_avg_plays_2021[月份].tolist()).add_yaxis(, monthly_avg_plays_2021[播放量].tolist()).set_global_opts(xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate-15)),title_optsopts.TitleOpts(title罗翔视频可视化, subtitle2020~2023年每月视频总播放平均数),)
)
c.render_notebook()每年视频总播放量
df[年份] pd.to_datetime(df[上传时间]).dt.strftime(%Y)
yearly_total_plays_all df.groupby(年份)[播放量].sum().reset_index()
yearly_total_plays_allc (Bar().add_xaxis(yearly_total_plays_all[年份].tolist()).add_yaxis(, yearly_total_plays_all[播放量].tolist()).set_global_opts(xaxis_optsopts.AxisOpts(axislabel_optsopts.LabelOpts(rotate-15)),title_optsopts.TitleOpts(titleB站罗翔视频可视化, subtitle每年视频总播放量),)
)
c.render_notebook()弹幕量Top10 python资料获取看这里噢 小编 Vpython10010 好友验证备注6
即可获取文章源码/教程/资料/解答等福利还有不错的视频学习教程和PDF电子书top10 df[[标题, 弹幕]].sort_values(弹幕, ascendingFalse)[:10]
names list(top10[标题])
counts list(top10[弹幕])
c (Bar().add_xaxis(names).add_yaxis(, counts).reversal_axis().set_series_opts(label_optsopts.LabelOpts(positionright)).set_global_opts(title_optsopts.TitleOpts(title弹幕量Top10))
# .render(bar_reversal_axis.html)
)
c.render_notebook()评论量Top10
top10 df[[标题, 评论]].sort_values(评论, ascendingFalse)[:10]
names list(top10[标题])
counts list(top10[评论])
c (Bar().add_xaxis(names).add_yaxis(, counts).reversal_axis().set_series_opts(label_optsopts.LabelOpts(positionright)).set_global_opts(title_optsopts.TitleOpts(title评论量Top10))
# .render(bar_reversal_axis.html)
)
c.render_notebook()尾语
好了今天的分享就差不多到这里了
对下一篇大家想看什么可在评论区留言哦看到我会更新哒(ง •_•)ง
喜欢就关注一下博主或点赞收藏评论一下我的文章叭 最后宣传一下呀~ 更多源码、资料、素材、解答、交流 皆点击下方名片获取呀
