基于Flink构建全场景实时数仓
本文目录: 一． 实时计算初期二． 实时数仓建设三． Lambda架构的实时数仓四． Kappa架构的实时数仓五． 流批结合的实时数仓实时计算初期虽然实时计算在最近几年才火起来,但...
搜索
搜索结果
含“flink”的搜索结果为 43 条
最新 最热
Flink高频面试题，附答案解析
1． Flink 的容错机制(checkpoint)Checkpoint容错机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时,...
2021-06-29 360
五万字 | Flink知识体系保姆级总结
四、Flink 算子大全五、流处理中的 Time 与 Window六、Flink 状态管理七、Flink 容错八、Flink SQL九、Flink CEP十、Fl...
2021-09-13 878
5年迭代5次，抖音推荐系统演进历程
2021 年，字节跳动旗下产品总 MAU 已超过 19 亿。在以抖音、今日头条、西瓜视频等为代表的产品业务背景下，强大的推荐系统显得尤为重要。Flink 提供了非常强大的 ...
2021-10-24 1224
双11数据大屏实战：3天，1个项目讲透实时数仓+流式计算！
虽然当前的大数据开发,主流框架还是Spark和Storm,但大数据的未来,显然属于高吞吐、低延迟、高性能、高容错的flink批流一体。flink19年爆火,20年双11以流...
2021-11-29 123
研究证明水印可以加快对流媒体数据处理的速度
来自美国能源部橡树岭国家实验室、谷歌公司、Snowflake公司和Ververica有限公司的一个合作者团队测试了一个计算概念，它可以帮助加快对移动和其他电子设备上的数据流的实时...
2021-11-17 172
分析 BAT 互联网巨头在大数据方向布局及大数据未来发展趋势
风起云涌的大数据战场上，早已迎百花齐放繁荣盛景，各大企业加速跑向“大数据时代”。而我们作为大数据的践行者，在这个“多智时代”如何才能跟上大数据的潮流，把握住大数...
2021-03-12 159
实时数仓赛道：星星之火催生百家争鸣态势，探秘行业合纵连横之术
群雄并起，诸侯纷争，实时数仓如今的发展现状，像极了“战国时代”。如果说，战国是齐、楚、燕、韩、赵、魏、秦七国实力比拼；那么，与之类似的实时数仓，是流批一体、湖仓...
2023-04-07 189
大数据平台搭建层次有哪些
大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具，实现对数据的挖掘和分析，大数据平台是随着大数据技术的发展而逐渐被企业所关注...
2020-06-18 854
阿里云发布“阿里灵杰”，整体开放阿里大数据＋AI能力
来源：@首席数智官（ID：shouxishuzhiguan）10月20日，在2021云栖大会上，阿里巴巴集团副总裁、阿里云计算平台事业部负责人贾扬清发布“阿里灵杰”，集成阿里整体大数据＋...
2021-10-20 525
大数据常用处理框架
发展到今天，大数据处理主要分为两类大的需求，一是批处理，一是流处理。在企业的实际业务场景当中，可能会只需要批处理或者流处理，也可能同时需要批处理和流处理，这...
2020-12-22 795
寻找盘活千亿条IoT数据的方式
逐渐增多的联网设备设施，如果不对其产生的海量数据进行治理或分析，仅仅对单独某个企业个体而言，或许都将酿造一场数据灾难。反之，擅用数据治理并拥有大数据能力的企业，...
2022-06-01 379
自动找出复杂故障根本原因，阿里AI获智能运维国际竞赛冠军
3月25日报道家里WIFI如果发生故障，检查下路由器基本就能发现原因。但对于拥有复杂架构的云计算平台来说，要找出故障原因极为复杂和耗时。阿里打造出根因分析通用框架，利用...
2022-03-25 265
陈根：网络安全“核弹级”漏洞，软件行业抖三抖
文／陈根Log4j，一个注定会载入网络安全史册上的漏洞。不管是什么编程语言，往往都离不开日志记录。日志记录主要用来监视代码中变量的变化情况，周期性的记录到文件中供其他...
2022-01-20 596
大数据正在重构新经济模式和业务形态
经过十年发展，大数据技术已足够成熟，围绕数据存储、处理计算的基础技术，同配套的数据治理、数据分析应用、数据安全流通等周边技术组合起来，形成庞大的技术生态，助...
2021-02-08 216
如何为你的数据选择合适的流处理器？
对于云中的流数据管道，有许多端到端解决方案可用。更不用说导航不同流处理工具的许多术语了。正确的解决方案还将在很大程度上取决于最终用户及其需求。由于要考虑这么多问...
2021-10-09 212
Tapdata 肖贝贝：实时数据引擎系列(一) - 新鲜的数据流
前言2006 年诞生的 hadoop 和 她周边的生态, 在过去的这些年里为大数据的火热提供了足够的能量, 十几年过去了, 场景在变化, 技术在演变, 大家对数据的认知已经不再局限于 T...
2021-11-22 611
最新大厂数据湖面试题，知识点总结（上万字建议收藏）
本文是一篇数据湖的面试题，同时也是数据湖知识点的讲解！本文目录：一、什么是数据湖二、数据湖的发展三、数据湖有哪些优势四、数据湖应该具备哪些能力五、数据湖的实现遇...
2022-04-01 4616
从飞天到倚天 阿里云底层自研技术大爆发
10月20日，2021云栖大会上，阿里云发布了倚天、磐久、神龙4．0、龙蜥、灵杰等多款重磅产品，阿里云“做深基础”成果浮出水面，底层自研技术迎来大爆发。阿里云智能总裁张建...
2021-10-20 138
四大产品集中发布，火山引擎完善数智引擎全链路服务
12月2日，火山引擎在"新云·共未来"发布会上正式对外发布：大数据研发治理套件（DataLeap）公有云版、ByteHouse云数仓版、湖仓一体分析服务及E-MapReduce服务等四款面向企业...
2021-12-03 421
2021云栖大会：阿里云自研技术大爆发，连发多款重磅产品
10月20日,2021云栖大会进入第二天,阿里云继续发布了多款重磅产品,其密度和力度均令人叹为观止。加速数据中心清洁能源使用阿里巴巴集团副总裁、阿里云基础设施负责人周明表示...
2021-10-21 110
阿里云深耕自研技术 发布倚天、磐久、神龙4.0等产品
10月20日，2021云栖大会上，阿里云发布了倚天、磐久、神龙4.0、龙蜥、灵杰等多款重磅产品，阿里云“做深基础”成果浮出水面，底层自研技术迎来大爆发。阿里云智能总裁张建锋...
2021-10-21 127
增长率超30%，数据产业迎来机遇期，应该把握哪些趋势？
1月，《大数据白皮书(2022年)》由中国信息通信研究院发布。数据显示，中国大数据产业规模高速增长，2021年增加到1.3万亿元，复合增长率超过30%。 从《白皮书》披露的数据看...
2023-04-19 90
家居SaaS独角兽 基于DorisDB实现数据分析全面升级
酷家乐是群核科技旗下知名业务品牌,专注云设计系统及三维内容制作的技术研发和应用,面向家居、房产、公装等全空间领域,为企业级客户提供设计渲染、营销展示、生产施工、...
2021-03-26 441
加载中...
