网站友情链接有什么用,网站网页设计招聘,网站咨询弹窗是怎么做的,网站推广对接背景
flink是一个低延迟高吞吐的系统#xff0c;每秒处理的数据量高达数百万#xff0c;而机器模型一般比较笨重#xff0c;虽然功能强大#xff0c;但是qps一般都比较低#xff0c;日常工作中#xff0c;我们一般是如何把flink和机器学习模型组合起来一起使用呢?
fli…背景
flink是一个低延迟高吞吐的系统每秒处理的数据量高达数百万而机器模型一般比较笨重虽然功能强大但是qps一般都比较低日常工作中我们一般是如何把flink和机器学习模型组合起来一起使用呢?
flink和机器学习模型的常用组合方式
第一种flink处理和机器模型的处理完全分离
一般来说这是目前常用的组合方式首先利用flink集群先把数据处理完然后输出一份结果数据到某个外部存储比如DB中到这里flink的处理就完成了。紧接着是会有一个外部的定时任务其任务是获取flink的结果数据然后调用机器模型接口获取最终的预测结果把这份预测结果写入到最终的存储目的地
第二种 flink处理和机器模型处理完全结合
这种方式要解决的最大问题是flink的处理速度和机器模型的qps完全不是一个数量级的问题所以为了将就机器模型的吞吐量我们一般会在flink中进行数据聚合操作比如把每分钟的数据聚合然后在调用一次机器模型这样就相当于每分钟只会调用一次机器模型接口这种访问量机器模型完全能应对
