当前位置: 首页 > news >正文

山西省消防总队建设工程备案网站公司网站开发费用

山西省消防总队建设工程备案网站,公司网站开发费用,做网站的技术体系,网站项目策划书模板本文实例讲述了Python实现在线程里运行scrapy的方法。分享给大家供大家参考。具体如下#xff1a; 如果你希望在一个写好的程序里调用scrapy#xff0c;就可以通过下面的代码#xff0c;让scrapy运行在一个线程里。Code to run Scrapy crawler in a thr…本文实例讲述了Python实现在线程里运行scrapy的方法。分享给大家供大家参考。具体如下 如果你希望在一个写好的程序里调用scrapy就可以通过下面的代码让scrapy运行在一个线程里。Code to run Scrapy crawler in a thread - works on Scrapy 0.8import threading, Queue from twisted.internet import reactor from scrapy.xlib.pydispatch import dispatcher from scrapy.core.manager import scrapymanager from scrapy.core.engine import scrapyengine from scrapy.core import signals class CrawlerThread(threading.Thread): def __init__(self): threading.Thread.__init__(self) self.running False def run(self): self.running True scrapymanager.configure(control_reactorFalse) scrapymanager.start() reactor.run(installSignalHandlersFalse) def crawl(self, *args): if not self.running: raise RuntimeError(CrawlerThread not running) self._call_and_block_until_signal(signals.spider_closed, \ scrapymanager.crawl, *args) def stop(self): reactor.callFromThread(scrapyengine.stop) def _call_and_block_until_signal(self, signal, f, *a, **kw): q Queue.Queue() def unblock(): q.put(None) dispatcher.connect(unblock, signalsignal) reactor.callFromThread(f, *a, **kw) q.get() # Usage example below: import os os.environ.setdefault(SCRAPY_SETTINGS_MODULE, myproject.settings) from scrapy.xlib.pydispatch import dispatcher from scrapy.core import signals from scrapy.conf import settings from scrapy.crawler import CrawlerThread settings.overrides[LOG_ENABLED] False # avoid log noise def item_passed(item): print Just scraped item:, item dispatcher.connect(item_passed, signalsignals.item_passed) crawler CrawlerThread() print Starting crawler thread... crawler.start() print Crawling somedomain.com.... crawler.crawl(somedomain.com) # blocking call print Crawling anotherdomain.com... crawler.crawl(anotherdomain.com) # blocking call print Stopping crawler thread... crawler.stop() 希望本文所述对大家的Python程序设计有所帮助。
http://www.huolong8.cn/news/378567/

相关文章:

  • 常州网络公司联系方式什么是seo标题优化
  • 网站设计是不是会要用代码做智能建网站软件
  • 电商网站维护费用网站运营需要哪些人员
  • 运用photoshop设计网站首页软考网络工程师中级
  • 化工外贸网站建设怎么查设计的logo侵不侵权
  • 建立营销型网站2023年没必要学php了
  • 兰州市城乡和住房建设局网站淄博网站优化资讯
  • 阿里网站建设App开发重庆市建设工程信息网行业协会
  • 怎么在网站上建设投票统计商标设计图
  • 怎样找网站网络工程师自学难吗
  • 那个视频网站好如何在电子商务化平台上做企业网站推广
  • 外贸做企业什么网站建设做购物网站步骤
  • 免费外贸网站在线网站绑定别名好吗
  • 网站域名起名wordpress 搜索翻页
  • 公司招聘网站 哪个部门做单位网址怎么编
  • 新建网站怎么优化自己免费建站平台推荐
  • 做淘宝那样的网站麻烦吗做推广
  • 烟台市芝罘区建设局网站电子政务公开 网站建设
  • 前端作业做一个网站wordpress文章列表摘要
  • 新网网站建设资料描述photoshop在网站建设中的作用与特点.
  • 什么软件做美食视频网站好微网站开发协议
  • wordpress多站点是什么意思莱芜网站优化排名
  • 欢迎访问中国建设银行网上银行网站应用商店下载软件
  • 门户网站什么意思举例子网站搭建 成都
  • 电子商务网站建设与管理课后题ppt模板背景图
  • 怎么加快登录网站速度企业网站建站公司郑州
  • 国外设计师网站的优化方案
  • 琴童少儿音乐创作网站建设国内网络销售平台有哪些
  • 局域网网站制作教程做网站好还是做安卓app好
  • 郏县网站制作公司网站刷排名工具