建设旅游服务类网站的可行性报告,连云制作企业网站,如何进行企业营销型网站建设,中国科技成就2021前言
大家早好、午好、晚好吖 ❤ ~欢迎光临本文章 开发环境: python 3.8: 解释器 pycharm: 代码编辑器
模块使用: requests: 发送请求 parsel: 解析数据 jieba pandas stylecloud
第三方模块安装#xff1a;
win R 输入cmd 输入安装命令 pip install 模块名
(如果你…前言
大家早好、午好、晚好吖 ❤ ~欢迎光临本文章 开发环境: python 3.8: 解释器 pycharm: 代码编辑器
模块使用: requests: 发送请求 parsel: 解析数据 jieba pandas stylecloud
第三方模块安装
win R 输入cmd 输入安装命令 pip install 模块名
(如果你觉得安装速度比较慢, 你可以切换国内镜像源) 完整源码、教程 点击此处跳转文末名片获取 我都放在这里了。 代码展示
导入模块
import requests # 需要额外安装
import csvf open(评论.csv, modea, encodingutf-8-sig, newline)
csv_writer csv.writer(f)
csv_writer.writerow([id, text_raw, source, like_counts, screen_name, followers_count])请求头
headers {# 用户身份信息cookie: SINAGLOBAL2983116536906.6313.1675064186827; UOR,,www.baidu.com; SUB_2A25O3LQhDeRhGeNH6lIY-CjFyT-IHXVqPtxprDV8PUJbkNANLXXDkW1NSsgssEqW-GyChLyvK7V0MBeFYsy23ElC; SUBP0033WrSXqPxfM725Ws9jqgMF55529P9D9WWNoXNAv0FwwfrPTiDyBL285NHD95Qf1K271Knc1Kz0Ws4Dqcjci--4iK.Ri-zXi--fi-2Xi-24i--Xi-zRiKy2i--4iKnfiKy2i--fi-isi-8Fi--Xi-z4iK.7; XSRF-TOKENgSKn52W-3CqnU16SUOqIOY5r; _s_tentryweibo.com; Apache3694052218654.842.1675252819884; ULV1675252819940:5:2:5:3694052218654.842.1675252819884:1675237842632; WBPSESSQ4mocWB9j3toNvru27wa1agqFWvDlaxybkjDQlV26btT8dAjnZKLHT6p8NAwVhAzIbygYan56xOn7f0H4XAe_IymVa9GmASzrKUCqV6J_Ml2bYGTL_URVrA5YnjNm62kuNboZbV4Cpn1MZTfoLbEWg,# 防盗链源码、解答、教程等加Vqian97378免费领取referer: *****/1223178222/MqQsvemFc,# 浏览器基本信息user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36
}
next count10
while True:请求链接 url fhttps://****/ajax/statuses/buildComments?is_reload1id4863981833423714is_show_bulletin2is_mix0{next}uid12231782221. 发送请求 response requests.get(urlurl, headersheaders)2. 获取数据
.text: 获取文本数据
.json(): json字符串数据
.content: 获取二进制数据
2.1 出现乱码 json_data response.json()3. 解析数据
结构化数据 : json数据{}包裹的格式 转成字典, 使用字典取值 re
非结构化数据: 网页源代码 lxml, bs4, parsel, re css/xpath/re data_list json_data[data]max_id json_data[max_id]for data in data_list:text_raw data[text_raw]try:source data[source]except:source 未知id data[id]like_counts data[like_counts]screen_name data[user][screen_name]followers_count data[user][followers_count]print(id, text_raw, source, like_counts, screen_name, followers_count)4. 保存数据 csv_writer.writerow([id, text_raw, source, like_counts, screen_name, followers_count])next max_idstr(max_id)尾语
好了今天的分享就差不多到这里了
完整代码、更多资源、疑惑解答直接点击下方名片自取即可。
对下一篇大家想看什么可在评论区留言哦看到我会更新哒(ง •_•)ง
喜欢就关注一下博主或点赞收藏评论一下我的文章叭 最后宣传一下呀~更多源码、资料、素材、解答、交流皆点击下方名片获取呀
