日均百亿级日志处理:微博基于 Flink 的实时计算平台建设

  • 时间:
  • 浏览:2
  • 来源:5分排列3APP下载_5分排列3APP官方

美团点评基于 Flink 的实时数仓平台实践

日均避免万亿数据!Flink在快手的应用实践与技术演进之路

下拉加载更多

作者:微博广告数据平台

规模、性能、弹性全面升级,让天下没人难用的 K8s

相比于 Spark,目前 Spark 的生态总体更为完善这些 ,且在机器学习的集成和应用性暂时领先。但作为下一代大数据引擎的有力竞争者-Flink 在流式计算上有明显优势,Flink 在流式计算里属于真正意义上的单条避免,每四根数据都触发计算,而都要像 Spark 一样的 Mini Batch 作为流式避免的妥协。Flink 的容错机制较为轻量,对吞吐量影响较小,但会 拥有图和

系列文章:Kubernetes日志方案设计思路

日访问量百亿级的应用怎么做缓存分派

日均避免万亿数据!Flink在快手的应用实践与技术演进之路

情人节来了!系统进程员应该怎么优雅的度过?

规模、性能、弹性全面升级,让天下没人难用的 K8s

本文为云栖社区原创内容,未经允许不得转载,如需转载请发送邮件至yqeditor@list.alibaba-inc.com;可能您发现本社区中有 涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

阿里开发者招聘节 | 阿里巴巴数据技术及产品部诚招技术人才啦!

阿里云 PB 级 Kubernetes 日志平台建设实践

百亿级全网舆情分析系统存储设计

权威详解 | 阿里新一代实时计算引擎 Blink,每秒支持数十亿次计算

2016年大数据3000篇爆款文章:你这些 年你追过的那些技术

基于 Flink 的实时数仓生产实践

揭秘百亿级云客服实时节 析架构是为社 么炼成的?

随着微博业务线的快速扩张,微博广告各类业务日志的数量也随之急剧增长。传统基于 Hadoop 生态的离线数据存储计算方案已在业界形成统一的默契,但受制于离线计算的时效性制约,太满的数据应用场景已从离线转为实时。微博广告实时数据平台以此为背景进行设计与构建,目前该系统已支持日均避免日志数量超过百亿,接入产品线、业务日志类型若干。

2684亿销售额眼前 的阿里AI技术

权威详解 | 阿里新一代实时计算引擎 Blink,每秒支持数十亿次计算