我先做个网站怎么做的,南阳市建网站公,wordpress首页静态页,网站怎么做备案变更[python异步编程之asyncio(百万并发)]前言#xff1a;python由于GIL(全局锁)的存在#xff0c;不能发挥多核的优势#xff0c;其性能一直饱受诟病。然而在IO密集型的网络编程里#xff0c;异步处理比同步处理能提升成百上千倍的效率#xff0c;弥补了python性能方面的短板…[python异步编程之asyncio(百万并发)]前言python由于GIL(全局锁)的存在不能发挥多核的优势其性能一直饱受诟病。然而在IO密集型的网络编程里异步处理比同步处理能提升成百上千倍的效率弥补了python性能方面的短板如最新的微服务框架japrontoresquests per second可达百万级。python还有一个优势是库(第三方库)极为丰富运用十分方便。asyncio是python3.4版本引入到标准库python2x没有加这个库毕竟python3x才是未来啊哈哈python3.5又加入了async/await特性。在学习asyncio之前我们先来理清楚同步/异步的概念·同步是指完成事务的逻辑先执行第一个事务如果阻塞了会一直等待直到这个事务完成再执行第二个事务顺序执行。。。·异步是和同步相对的异步是指在处理调用这个事务的之后不会等待这个事务的处理结果直接处理第二个事务去了通过状态、通知、回调来通知调用者处理结果。一、asyncio下面通过举例来对比同步代码和异步代码编写方面的差异其次看下两者性能上的差距我们使用sleep(1)模拟耗时1秒的io操作。·****同步代码import timedef hello():time.sleep(1)def run():for i in range(5):hello()print(Hello World:%s % time.time()) # 任何伟大的代码都是从Hello World 开始的if __name__ __main__:run()输出(间隔约是1s)Hello World:1527595175.4728756Hello World:1527595176.473001Hello World:1527595177.473494Hello World:1527595178.4739306Hello World:1527595179.474482·****异步代码import timeimport asyncio# 定义异步函数async def hello():asyncio.sleep(1)print(Hello World:%s % time.time())def run():for i in range(5):loop.run_until_complete(hello())loop asyncio.get_event_loop()if __name__ __main__:run()输出Hello World:1527595104.8338501Hello World:1527595104.8338501Hello World:1527595104.8338501Hello World:1527595104.8338501Hello World:1527595104.8338501async def 用来定义异步函数其内部有异步操作。每个线程有一个事件循环主线程调用asyncio.get_event_loop()时会创建事件循环你需要把异步的任务丢给这个循环的run_until_complete()方法事件循环会安排协同程序的执行。二、aiohttp如果需要并发http请求怎么办呢通常是用requests但requests是同步的库如果想异步的话需要引入aiohttp。这里引入一个类from aiohttp import ClientSession首先要建立一个session对象然后用session对象去打开网页。session可以进行多项操作比如post, get, put, head等。基本用法async with ClientSession() as session:async with session.get(url) as response:aiohttp异步实现的例子import asynciofrom aiohttp import ClientSessiontasks []url https://www.baidu.com/{}async def hello(url):async with ClientSession() as session:async with session.get(url) as response:response await response.read()print(response)if __name__ __main__:loop asyncio.get_event_loop()loop.run_until_complete(hello(url))首先async def 关键字定义了这是个异步函数await 关键字加在需要等待的操作前面response.read()等待request响应是个耗IO操作。然后使用ClientSession类发起http请求。多链接异步访问如果我们需要请求多个URL该怎么办呢同步的做法访问多个URL只需要加个for循环就可以了。但异步的实现方式并没那么容易在之前的基础上需要将hello()****包装在asyncio的Future对象中然后将Future对象列表作为任务传递给事件循环。import timeimport asynciofrom aiohttp import ClientSessiontasks []url https://www.baidu.com/{}async def hello(url):async with ClientSession() as session:async with session.get(url) as response:response await response.read()# print(response)print(Hello World:%s % time.time())def run():for i in range(5):task asyncio.ensure_future(hello(url.format(i)))tasks.append(task)if __name__ __main__:loop asyncio.get_event_loop()run()loop.run_until_complete(asyncio.wait(tasks))输出Hello World:1527754874.8915546Hello World:1527754874.899039Hello World:1527754874.90004Hello World:1527754874.9095392Hello World:1527754874.9190395收集http响应好了上面介绍了访问不同链接的异步实现方式但是我们只是发出了请求如果要把响应一一收集到一个列表中最后保存到本地或者打印出来要怎么实现呢可通过asyncio.gather(*tasks)将响应全部收集起来具体通过下面实例来演示。import timeimport asynciofrom aiohttp import ClientSessiontasks []url https://www.baidu.com/{}async def hello(url):async with ClientSession() as session:async with session.get(url) as response:# print(response)print(Hello World:%s % time.time())return await response.read()def run():for i in range(5):task asyncio.ensure_future(hello(url.format(i)))tasks.append(task)result loop.run_until_complete(asyncio.gather(*tasks))print(result)if __name__ __main__:loop asyncio.get_event_loop()run()输出Hello World:1527765369.0785167Hello World:1527765369.0845182Hello World:1527765369.0910277Hello World:1527765369.0920424Hello World:1527765369.097017[b\r\n\r\n\r\n\r\n......异常解决假如你的并发达到2000个程序会报错ValueError: too many file descriptors in select()。报错的原因字面上看是 Python 调取的 select 对打开的文件有最大数量的限制这个其实是操作系统的限制linux打开文件的最大数默认是1024windows默认是509超过了这个值程序就开始报错。这里我们有三种方法解决这个问题1.限制并发数量。(一次不要塞那么多任务或者限制最大并发数量)2.使用回调的方式。3.修改操作系统打开文件数的最大限制在系统里有个配置文件可以修改默认值具体步骤不再说明了。不修改系统默认配置的话个人推荐限制并发数的方法设置并发数为500处理速度更快。#coding:utf-8import time,asyncio,aiohttpurl https://www.baidu.com/async def hello(url,semaphore):async with semaphore:async with aiohttp.ClientSession() as session:async with session.get(url) as response:return await response.read()async def run():semaphore asyncio.Semaphore(500) # 限制并发量为500to_get [hello(url.format(),semaphore) for _ in range(1000)] #总共1000任务await asyncio.wait(to_get)if __name__ __main__:# nowlambda :time.time()loop asyncio.get_event_loop()loop.run_until_complete(run())loop.close()
