门户网站建设检察,有没有可以看的网址,沈阳网站建设服务,wordpress转成中文版介绍 celery 定时器是一个调度器#xff08;scheduler#xff09;#xff1b;它会定时地开启#xff08;kicks off#xff09;任务#xff0c;然后由集群中可用的工人#xff08;worker#xff09;来执行。 定时任务记录#xff08;entries#xff09;默认 从 beat_s…介绍 celery 定时器是一个调度器scheduler它会定时地开启kicks off任务然后由集群中可用的工人worker来执行。 定时任务记录entries默认 从 beat_schedule 设置中获取但自定义存储也可以使用如把记录存储到SQL数据库中。 要确保同一时间一份时间表上只有一个调度器在运行否则会因为重复发送任务而结束。使用集中途径意味着定时任务不用必须同步并且服务无需用锁操控。 user用户程序用于告知celery去执行一个任务。broker: 存放任务依赖RabbitMQ或Redis进行存储worker执行任务celery需要rabbitMQ、Redis、Amazon SQS、Zookeeper测试中 充当broker来进行消息的接收并且也支持多个broker和worker来实现高可用和分布式。http://docs.celeryproject.org/en/latest/getting-started/brokers/index.html Celery version 4.0 runs onPython ❨2.7, 3.4, 3.5❩PyPy ❨5.4, 5.5❩This is the last version to support Python 2.7, and from the next version (Celery 5.x) Python 3.5 or newer is required.If you’re running an older version of Python, you need to be running an older version of Celery:Python 2.6: Celery series 3.1 or earlier.Python 2.5: Celery series 3.0 or earlier.Python 2.4 was Celery series 2.2 or earlier.Celery is a project with minimal funding, so we don’t support Microsoft Windows. Please don’t open any issues related to that platform. 版本和要求 环境准备 安装rabbitMQ或Redishttps://www.cnblogs.com/L5251/articles/9146825.html https://www.cnblogs.com/L5251/articles/9325586.html 安装celery pip3 install celery快速上手 import time
from celery import Celeryapp Celery(tasks, brokerredis://192.168.10.48:6379, backendredis://192.168.10.48:6379)app.task
def xxxxxx(x, y):time.sleep(10)return x y s1.py s2.py from celery.result import AsyncResult
from s1 import appasync AsyncResult(idf0b41e83-99cf-469f-9eff-74c8dd600002, appapp)if async.successful():result async.get()print(result)# result.forget() # 将结果删除
elif async.failed():print(执行失败)
elif async.status PENDING:print(任务等待中被执行)
elif async.status RETRY:print(任务异常后正在重试)
elif async.status STARTED:print(任务已经开始被执行) s3.py # 执行 s1.py 创建worker终端执行命令
celery worker -A s1 -l info
# PSWindows系统上执行命令时出错解决方法pip3 install eventlet
# 后期运行修改为:celery worker -A s1 -l info -P eventlet
# 执行 s2.py 创建一个任务并获取任务IDpython3 s2.py# 执行 s3.py ,检查任务状态并获取结果python3 s3.py 多任务结构 pro_cel├── celery_tasks# celery相关文件夹│ ├── celery.py # celery连接和配置相关文件│ └── tasks.py # 所有任务函数├── check_result.py # 检查结果└── send_task.py # 触发任务 #!/usr/bin/env python
# -*- coding:utf-8 -*-
from celery import Celerycelery Celery(xxxxxx,brokerredis://192.168.0.111:6379,backendredis://192.168.0.111:6379,include[celery_tasks.tasks])# 时区
celery.conf.timezone Asia/Shanghai
# 是否使用UTC
celery.conf.enable_utc False pro_cel/celery_tasks/celery #!/usr/bin/env python
# -*- coding:utf-8 -*-import time
from .celery import celerycelery.task
def xxxxx(*args, **kwargs):time.sleep(5)return 任务结果celery.task
def hhhhhh(*args, **kwargs):time.sleep(5)return 任务结果 pro_cel/celery_tasks/tasks.py #!/usr/bin/env python
# -*- coding:utf-8 -*-from celery.result import AsyncResult
from celery_tasks.celery import celeryasync AsyncResult(ided88fa52-11ea-4873-b883-b6e0f00f3ef3, appcelery)if async.successful():result async.get()print(result)# result.forget() # 将结果删除
elif async.failed():print(执行失败)
elif async.status PENDING:print(任务等待中被执行)
elif async.status RETRY:print(任务异常后正在重试)
elif async.status STARTED:print(任务已经开始被执行) pro_cel/check_result.py #!/usr/bin/env python
# -*- coding:utf-8 -*-
import celery_tasks.tasks# 立即告知celery去执行xxxxxx任务并传入两个参数
result celery_tasks.tasks.xxxxx.delay(4, 4)print(result.id) pro_cel/send_task.py 更多配置http://docs.celeryproject.org/en/latest/userguide/configuration.html 定时任务 1. 设定时间让celery执行一个任务 import datetime
from celery_tasks.tasks import xxxxxfrom datetime import datetimev1 datetime(2017, 4, 11, 3, 0, 0)
print(v1)v2 datetime.utcfromtimestamp(v1.timestamp())
print(v2)
ctime datetime.datetime.now()
utc_ctime datetime.datetime.utcfromtimestamp(ctime.timestamp())s10 datetime.timedelta(seconds10)
ctime_x utc_ctime s10# 使用apply_async并设定时间
result xxxxx.apply_async(args[1, 3], etactime_x)
print(result.id) 2. 类似于contab的定时任务
celery beat -A proj
celery worker -A proj -l info
from celery import Celery
from celery.schedules import crontabapp Celery(tasks, brokeramqp://47.98.134.86:5672, backendamqp://47.98.134.86:5672, include[proj.s1, ])
app.conf.timezone Asia/Shanghai
app.conf.enable_utc Falseapp.conf.beat_schedule {# add-every-10-seconds: {# task: proj.s1.add1,# schedule: 10.0,# args: (16, 16)# },add-every-12-seconds: {task: proj.s1.add1,schedule: crontab(minute42, hour8, day_of_month11, month_of_year4),args: (16, 16)},
} 注如果想要定时执行类似于crontab的任务需要定制 Scheduler来完成。 Flask中应用Celery pro_flask_celery/
├── app.py
├── celery_tasks├── celery.py└── tasks.py #!/usr/bin/env python
# -*- coding:utf-8 -*-from flask import Flask
from celery.result import AsyncResultfrom celery_tasks import tasks
from celery_tasks.celery import celeryapp Flask(__name__)TASK_ID Noneapp.route(/)
def index():global TASK_IDresult tasks.xxxxx.delay()# result tasks.task.apply_async(args[1, 3], etadatetime(2018, 5, 19, 1, 24, 0))TASK_ID result.idreturn 任务已经提交app.route(/result)
def result():global TASK_IDresult AsyncResult(idTASK_ID, appcelery)if result.ready():return result.get()return xxxxif __name__ __main__:app.run() app.py #!/usr/bin/env python
# -*- coding:utf-8 -*-
from celery import Celery
from celery.schedules import crontabcelery Celery(xxxxxx,brokerredis://192.168.10.48:6379,backendredis://192.168.10.48:6379,include[celery_tasks.tasks])# 时区
celery.conf.timezone Asia/Shanghai
# 是否使用UTC
celery.conf.enable_utc False celery_tasks/celery.py #!/usr/bin/env python
# -*- coding:utf-8 -*-import time
from .celery import celerycelery.task
def hello(*args, **kwargs):print(执行hello)return hellocelery.task
def xxxxx(*args, **kwargs):print(执行xxxxx)return xxxxxcelery.task
def hhhhhh(*args, **kwargs):time.sleep(5)return 任务结果 celery_task/tasks.py 记录 为了定时调用任务你必须添加记录到打点列表中 from celery import Celery
from celery.schedules import crontabapp Celery()app.on_after_configure.connect
def setup_periodic_tasks(sender, **kwargs):# 每10秒调用 test(hello) .sender.add_periodic_task(10.0, test.s(hello), nameadd every 10)# 每30秒调用 test(world) sender.add_periodic_task(30.0, test.s(world), expires10)# 每周一上午7:30执行sender.add_periodic_task(crontab(hour7, minute30, day_of_week1),test.s(Happy Mondays!),)app.task
def test(arg):print(arg) 用on_after_configure处理器进行这些设置意味着当使用test.s()时我们不会在模块层面运行app 。 add_periodic_task() 函数在幕后会添加记录到beat_schedule设定同样的设定可以用来手动设置定时任务 例子: 每30秒运行 tasks.add . app.conf.beat_schedule {add-every-30-seconds: {task: tasks.add,schedule: 30.0,args: (16, 16)},
}
app.conf.timezone UTC 一般会使用配置文件进行配置如下 celeryconfig.py: broker_url pyamqp://
result_backend rpc://task_serializer json
result_serializer json
accept_content [json]
timezone Europe/Oslo
enable_utc True
beat_schedule {add-every-30-seconds: {task: tasks.add,schedule: 30.0,args: (16, 16)},
} 程序里使用 app.config_from_object(celeryconfig)注意
如果你的参数元组里只有一个项目只用一个逗号就可以了不要圆括号。 时间表使用时间差意味着每30秒间隔会发送任务第一个任务在celery定时器开启后30秒发送然后上每次距一次运行后30秒发送一次 可使用的属性 task 要执行的任务名字 schedule 执行的频率 可以是整数秒数时间差或者一个周期 crontab。你也可以自 定义你的时间表类型通过扩展schedule接口。 args 位置参数 (list 或 tuple). kwargs 键值参数 (dict). options 执行选项 (dict). 这可以是任何被apply_async()支持的参数与—-exchange, routing_key, expires,等。 relative 如果 relative 是 true 时间表“由时钟时间”安排意味着 频率近似到最近的秒分钟小时或天这取决于时间差中的时间间隔。 默认relative是false频率不会近似会相对于celery的启动时间。 Crontab 表达式语法非常灵活。 例子含义crontab()每分钟执行crontab(minute0, hour0)每天午夜执行crontab(minute0, hour’*/3’)每三个小时执行: 午夜, 3am, 6am, 9am, 正午, 3pm, 6pm, 9pm.crontab(minute0,hour’0,3,6,9,12,15,18,21’)同上crontab(minute’*/15’)每15分钟执行crontab(day_of_week’sunday’)星期日每分钟crontab(minute’‘,hour’‘, day_of_week’sun’)同上crontab(minute’*/10’,hour’3,17,22’, day_of_week’thu,fri’)每10分钟执行仅限于周六日3-4 am, 5-6 pm, and 10-11 pmcrontab(minute0, hour’/2,/3’)偶数小时或者能被3整除的小时数执行crontab(minute0, hour’*/5’)被5整除的小时数如3pmcrontab(minute0, hour’*/3,8-17’)8am-5pm能被3整除的crontab(0, 0, day_of_month’2’)每月第2天crontab(0, 0,day_of_month’2-30/3’)每偶数天crontab(0, 0,day_of_month’1-7,15-21’)每月1和3周crontab(0, 0, day_of_month’11’,month_of_year’5’)每年5月11日crontab(0, 0,month_of_year’*/3’)每个季度第1月开启调度 开启celery定时服务: $ celery -A proj beat 可以把定时器嵌入到工人worker中通过启用workers -B选项如果你永远不会运行超过一个工人节点这就会很方便。但这不太常见不推荐在生产环境这样使用 $ celery -A proj worker -B 定时器需要在本地数据库文件(默认名为 celerybeat-schedule )存储任务上次运行时间所以它需要在当前目录中写权限。或者你也可以给这个文件指定一个位置 $ celery -A proj beat -s /home/celery/var/run/celerybeat-schedule 转载于:https://www.cnblogs.com/L5251/articles/9332304.html
