当前位置: 首页 > news >正文

东莞网站建设方案企业kindeditor wordpress

东莞网站建设方案企业,kindeditor wordpress,网站服务公司案例,在天猫开店需要什么条件与费用一、关于中间件 之前文章说过#xff0c;scrapy有两种中间件#xff1a;爬虫中间件和下载中间件#xff0c;他们的作用时间和位置都不一样#xff0c;具体区别如下#xff1a; 爬虫中间件#xff08;Spider Middleware#xff09; 作用#xff1a; 爬虫中间件主要负…一、关于中间件 之前文章说过scrapy有两种中间件爬虫中间件和下载中间件他们的作用时间和位置都不一样具体区别如下 爬虫中间件Spider Middleware 作用 爬虫中间件主要负责处理从引擎发送到爬虫的请求和从爬虫返回到引擎的响应。这些中间件在请求发送给爬虫之前或响应返回给引擎之前可以对它们进行处理。 下载中间件Downloader Middleware 作用 下载中间件主要负责处理引擎发送到下载器的请求和从下载器返回到引擎的响应。这些中间件在请求发送给下载器之前或响应返回给引擎之前可以对它们进行处理。 中间件作用优先级 只需要记住级别越小的越接近scrapy的引擎结合scrapy的数据流就能记住每个中间件的作用时机。 结合图可知 在下载中间件中 对于process_request()来说优先级数字越小越先被调用对于process_response()来说优先级数字越大越先被调用 在爬虫中间件中 对于process_spider_input()来说优先级数字越小越先被调用对于process_spider_output()来说优先级数字越大越先被调用 那么哪来的这些方法 二、定义中间件的通用模板 先看一个内置的中间件UserAgentMiddleware init: 在这里进行中间件的初始化可以使用 settings 对象获取配置信息from_crawler:在这里通过 crawler 对象创建中间件的实例可以获取全局配置信息spider_opened(可选): 在这里执行爬虫启动时的初始化操作例如打开文件、连接数据库等process_request(可选): 在这里对请求进行预处理例如修改请求头、添加代理等那么同理process_response(可选) 爬虫中间件模板 class MySpiderMiddleware(object):def __init__(self, settings):# 在这里进行中间件的初始化可以使用 settings 对象获取配置信息passclassmethoddef from_crawler(cls, crawler):# 在这里通过 crawler 对象创建中间件的实例可以获取全局配置信息settings crawler.settingsreturn cls(settings)def process_spider_input(self, response, spider):# 在这里处理从下载器传递给爬虫的响应对象return responsedef process_spider_output(self, response, result, spider):# 在这里处理爬虫生成的结果例如对结果进行过滤或修改return resultdef process_spider_exception(self, response, exception, spider):# 在这里处理爬虫产生的异常pass 下载中间件模板 class MyDownloaderMiddleware(object):def __init__(self, settings):# 在这里进行中间件的初始化可以使用 settings 对象获取配置信息passclassmethoddef from_crawler(cls, crawler):# 在这里通过 crawler 对象创建中间件的实例可以获取全局配置信息settings crawler.settingsreturn cls(settings)def process_request(self, request, spider):# 在这里对请求进行预处理例如修改请求头、添加代理等return None # 返回 None 表示继续处理请求或者返回一个新的请求对象def process_response(self, request, response, spider):# 在这里对响应进行处理例如修改响应内容、判断是否重新发送请求等return response # 返回响应对象或者返回一个新的响应对象def process_exception(self, request, exception, spider):# 在这里处理请求异常例如记录日志、发送通知等pass三、位置 我们自定义的中间件在middlewares.py中编写类就可以
http://www.huolong8.cn/news/366939/

相关文章:

  • jsp电子商务网站开发源码珠海网站建设策略
  • 网站注册地址查询网站上门备案
  • 扬州市城乡建设局招标网站网站大改版
  • 中山优化网站宏大建设集团有限公司网站
  • 网站demo制作浙江省建设工程质量协会网站
  • 企业网站源码自适应网站推广意义
  • 自己做网站好难挣钱信誉好的网站建设公司
  • 平面设计的网站营销型网站多少钱
  • 关于网站开发与设计论文建筑网片焊网片机
  • 网站外包后呗百度降权浙江温州乐清新闻
  • 网站设计广州装饰工程设计东莞网站建设
  • 大丰做网站价格简述网站制作的步骤
  • 做网站优化多少钱深圳品牌seo
  • 平面设计找图网站建行购物网站
  • 网站建设价格规范手机购物平台
  • 温州网站建设设计wordpress美化主题下载
  • 一级a做爰片图片免费观看网站关键词代发包收录
  • 网络营销品牌推广公司无锡优化推广
  • 宣传产品网站漯河做网站哪家好
  • 网站开发图片文字网站建设环境配置
  • 戴尔网站建设成功企业qq官网首页
  • 管理系统是网站吗建设工程机械鉴定中心官网
  • aspcms分类信息网站济宁建设网站首页
  • 罗泾网站建设网站建设与推广方案
  • 建设培训网站wordpress建站教程主题
  • 潍坊做网站维护费用东莞网站建设seo优化
  • 企业展示网站dz论坛网站源码
  • 网站开发工资山东后台管理网站模板下载
  • 网站设计编程有哪些之江建设工程质量安全监督网站
  • 如何制作网站设计怎样创建网站或网页