hadoop
-
通过HDP2.6 Hadoop读取和写入OSS数据
HDP（Hortonworks Data Platform） 是由 Hortonworks 发行的大数据平台，包含了 Hadoop、Hive、HBase 等开源组件。HDP 最新版本3.0.1 中的 Hadoop3.1.1 版本已经支持 OSS，但是低版本的 HDP 不支持 OS…
-
Apache Impala（CDH6）查询OSS数据
CDH（Cloudera’s Distribution, including Apache Hadoop）是众多 Hadoop 发行版本中的一种。CDH的最新版本是6.0.1，支持Hadoop 3.0.0，本文介绍如何使 CDH6 的相关组件（Hadoop、Hive、…
-
Hadoop文件系统HDFS数据迁移到OSS
本文介绍如何快速地将 Hadoop 文件系统（HDFS）上的数据迁移到 OSS。 背景 当前业界有很多公司是以Hadoop技术构建数据中心，而越来越多的公司和企业希望将业务顺畅地迁移到云上。 在阿里云上使用最广泛的存储服务是对象存储OSS。OSS的数据迁移工具ossimport可…
-
EMR+OSS：离线计算的存储与计算分离
背景信息 在传统Hadoop的使用中，存储与计算密不可分，而随着业务的发展，集群的规模常常不能满足业务的需求。例如，数据规模超过了集群存储能力，业务上对数据产出的周期提出新的要求导致计算能力跟不上。这就要求我们能随时应对集群存储空间不足或者计算能力不足的挑战。 如果将计算和存储混…
