国外网站空间需要备案吗,网站优化建设广州,apache网站开启gzip,网站怎么做优化步骤本篇文章小编给大家分享一下python爬虫实现爬取同一个网站的多页数据代码实例#xff0c;文章代码介绍的很详细#xff0c;小编觉得挺不错的#xff0c;现在分享给大家供大家参考#xff0c;有需要的小伙伴们可以来看看。一、爬虫的目的从网上获取对你有需要的数据二、爬虫…本篇文章小编给大家分享一下python爬虫实现爬取同一个网站的多页数据代码实例文章代码介绍的很详细小编觉得挺不错的现在分享给大家供大家参考有需要的小伙伴们可以来看看。一、爬虫的目的从网上获取对你有需要的数据二、爬虫过程1、获取url(网址)。2、发出请求获得响应。3、提取数据。4、保存数据。三、爬虫功能可以快速批量的获取想要的数据不用手动的一个个下载(图片、文字音视频等)四、使用python爬虫爬取同一网站多页数据1、需要定位至该标签并获得总页数def get_page_size(soup):pcxtsoup.find(div,{class:babynames-term-articles}).find(nav)pcxt1pcxt.find(div,{class:nav-links}).findAll(a)for i in pcxt1[:-1]:linki.get(href)sstr(i)pagere.sub(,,page1)page3re.sub(,,page2)pagesizeint(page3)print(pagesize)return pagesizePass2、更改url来访问网址也就是进行主函数的编写if __name__ __main__:urlhttp://www.sheknows.com/baby-names/browse/a/soupget_requests(url)pageget_page_size(soup)for i in range(1,page1):url1urlpage/str(i)/soup1get_requests(url1)draw_base_list(soup1)实例扩展import requestsfrom lxml import etreeimport reurlhttps://movie.douban.com/top250header {User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36}allMovieList[]flag Truewhile flag:html requests.get(url, headersheader).textlist etree.HTML(html)lis list.xpath(//ol[classgrid_view]/li)for oneSelector in lis:name oneSelector.xpath(div/div[2]/div[1]/a/span[1]/text())[0]score oneSelector.xpath(div/div[2]/div[2]/div/span[2]/text())[0]people oneSelector.xpath(div/div[2]/div[2]/div/span[4]/text())[0]people re.findall((.*?)人评价,people)[0]oneMovieList [name,score,people]allMovieList.append(oneMovieList)#获取下一页地址try:next_url list.xpath(//span[classnext]/a/href)[0]if next_url:url https://movie.douban.com/top250 next_urlexcept:flag Falseprint(allMovieList)
