【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)
比别人更快接收好文章！1． HDFS概述Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个...
搜索
搜索结果
含“hdfs”的搜索结果为 40 条
最新 最热
大数据平台搭建层次有哪些
大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具，实现对数据的挖掘和分析，大数据平台是随着大数据技术的发展而逐渐被企业所关注...
2020-06-18 852
当好酒与好存储相遇，泸州老窖会意味着什么？
好酒与好存储在琳琅满目的白酒世界里，有着“国窖”之誉的泸州老窖，畅销大江南北，纵横五湖四海，为什么卖得那么好？白酒好不好喝，自古以来对于好酒的判断有个重要标准，...
2022-03-30 195
大数据不得不说的事儿（一）：存算分离凭什么能一统天下
随着大数据系统建设的深入，企业的数据基础设施面临两个问题：一个是成本问题，随着累积的数据量的增大，大数据业务量的增多，数据存储和处理的成本越来越高，企业数据基础...
2022-04-29 720
Smartbi10步带你认识大数据和云计算
麦粉们大家好啊～～Smartbi连续几期分享的Smartbi行业案例，得到了大家的热情反馈，在此Smartbi向大家说声：谢谢了！你们的支持，是Smartbi前进的最大动力，Smartbi一定再接...
2021-01-19 2032
企业级大数据平台应用场景介绍
从业务的角度看，企业级大数据平台功能可细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。从技术的角度看，企业级大数据平台功能细分...
2020-12-15 482
JetBrains深耕大数据工具领域，助力企业挖掘数据价值
在全球迈向数字经济和智能世界的今天，所有的企业和组织正依托数字化平台，以期通过各种使能技术为自身业务进行智能加持，把握市场先机，提升业务绩效。自2012年以来，大数...
2020-09-30 331
为什么云原生数据湖值得关注？
预计中国云原生数据湖市场未来会以39．7％的复合增长率快速发展，云原生数据湖未来的发展前景值得我们期待和关注。最近几年，＂数据湖＂正在被越来越多人提起，尽管各方对数...
2022-06-15 383
五万字 | Hive知识体系保姆级教程
Hive涉及的知识点如下图所示,本文将逐一讲解:正文开始:一． Hive概览1．1 hive的简介Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供...
2021-08-19 1740
东数西算拉动千亿产业，敢啃“硬骨头”的存储厂商才更有机会
随着东数西算工程的推出，带来了业界广泛长期的讨论，特别是在数据已经成为企业资产的情况下，针对数据存储领域在东数西算工程中涌现出来的发展机会，也备受业内厂商关注。...
2022-07-03 140
海量数据催生新风口，谁是分布式存储头雁？
十多年来，云计算、5G、大数据、AI等创新技术得以快速发展，并推动着百行百业的产业数字化进程。当前，数字新基建在不断深入，作为其重要基石的数据存储，备受瞩目。尤其是...
2022-05-20 463
Flink高频面试题，附答案解析
1． Flink 的容错机制(checkpoint)Checkpoint容错机制是Flink可靠性的基石,可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时,能够将整个应用流图的状态恢复...
2021-06-29 360
如何掌握数字经济时代的主动权？华为OceanStor为您解答
数字经济时代，掌握数据＝掌握未来发展主动权，面对百倍提速的网速和快速增长的海量多样性数据，运营商如何打破数据孤岛，让数据“存得下、流得动、用得好”？如何解决...
2021-02-25 123
Hive SQL 参数与性能调优
Hive作为大数据平台举足轻重的框架，以其稳定性和简单易用性也成为当前构建企业级数据仓库时使用最多的框架之一。但是如果我们只局限于会使用Hive，而不考虑性能问题，就难...
2022-03-02 1422
家居SaaS独角兽 基于DorisDB实现数据分析全面升级
酷家乐是群核科技旗下知名业务品牌,专注云设计系统及三维内容制作的技术研发和应用,面向家居、房产、公装等全空间领域,为企业级客户提供设计渲染、营销展示、生产施工、...
2021-03-26 439
最新大厂数据湖面试题，知识点总结（上万字建议收藏）
本文是一篇数据湖的面试题，同时也是数据湖知识点的讲解！本文目录：一、什么是数据湖二、数据湖的发展三、数据湖有哪些优势四、数据湖应该具备哪些能力五、数据湖的实现遇...
2022-04-01 4603
企业级存储发展趋势谈：开源存储的冷思考
很多年之前，业内就讨论过开源与自研的关系，孰轻孰重，孰好孰坏，到现在也还没有定论。开源软件蓬勃发展，为何机遇与挑战并存？事实上，我们很多行业似乎都离不开开源软件...
2022-06-10 545
数据如水海纳百川，数据湖如何成为数据治理的新范式？
10年前，Pentaho公司创始人兼CTO詹姆斯·迪克逊（James Dixon）在他的博客中第一次提出“数据湖”（Data Lake）的概念；10年后的今天，在业界“数据中台”大火的时代背景下，...
2021-09-24 608
致敬最美中国航天员，这回HPDA真的“出圈”了
北京时间6月17日9时22分，神舟十二号载人飞船发射成功！这是时隔5年之后，中国再一次把航天员送入太空。这一次的与众不同之处还在于，三名航天员将成为中国空间站天和核心舱...
2021-06-18 176
青云存储“万”里挑一，QingStor U10000全自研“点数成金”
新的时代——数字经济时代！新的负载——全球自动驾驶汽车已累计出货3600多万辆，一辆无人驾驶汽车每天可产生约4TB的数据量；全球物联网终端设备的部署量达123亿，一家智慧...
2022-05-26 147
用于收集大量数据的十个强大的企业级ELT工具
数据工程师使用产品的无代码工具来创建、测试和部署数据准备流程。每个数据准备流程都通过集成实体集成、清理、丰富、匿名化、转换和管道数据——在数据湖中实现快速查询,而...
2021-09-17 159
全球85%的企业部署容器，浪潮信息推动存储与容器全面对接
北京2022年4月11日 ／美通社／ －－ 若挑选IT领域的人气技术，容器应该能占一席之地。据Gartner预测，到2025年全球将有85％的企业会在生产中使用容器。相对于传统虚拟化技术...
2022-04-12 1850
数据库国产化和企业数字化转型的浪潮下，百亿国产数据库正在崛起！
得数据者得天下。数据，是未来企业发展的基石。在全民都高喊数字化转型的大背景下，不管是企业的运营，还是民生，整个社会无时无刻不在产生数据。而关于如何更好地存储和运...
2022-04-27 373
SDS 2.0：能否让高端存储服“软”？
1990年，EMC Symmetrix 4200问世，标志着高端存储时代正式开启。斗转星移，高端存储已走过三十余载：从最初5．25英寸硬盘到如今闪存、SCM等新介质，从最初只有4MB集成缓存到...
2022-03-04 426
用于数据科学的六种必备Python工具
如果您想使用甚至掌握数据分析技能的话，Python一定是您的最佳选择。它不但容易被学习，而且具有广泛且活跃的社区支持。目前，大多数数据科学库、以及机器学习框架，都能够...
2021-07-30 2349
数据驱动遇集成挑战，DELL EMC+Cloudera如何化解？
一个真实的现状。过去银行的营销业务，通常是销售人员找关系、拉人头，费时费力不说，营销效果往往差强人意；如今的银行营销，精准的人物画像、不断迭代优化的营销模型、云...
2021-07-19 1076
基于Flink构建全场景实时数仓
本文目录: 一． 实时计算初期二． 实时数仓建设三． Lambda架构的实时数仓四． Kappa架构的实时数仓五． 流批结合的实时数仓实时计算初期虽然实时计算在最近几年才火起来,但...
2021-07-16 653
原来技术管理可以更美的
【一句话解释下：本讲主要分以下两部分：第一部分：什么是技术管理？第二部分：从事情的角度去看，怎么做技术管理？】第一部分：什么是技术管理？开始前，请允许我占用你半...
2021-09-08 237
新应用 · 新负载 · 新存储——华为OceanStor Pacific的创新之道
数字宇宙大爆炸，这个最初源于IDC的描述今天将成为现实。据预测，到2030年，全球每年产生的数据总量将达到惊人的1YB。从人们津津乐道的PB数据时代飞跃到YB数据时代，不仅仅...
2022-05-19 176
加载中...
