摘要: 什么是Impala?Impala 是 Cloudera 公司 主导 开发 的 新型 查询 系统, 它 提供 SQL 语义, 能够 为 存储 在 Hadoop 的 HDFS 和 HBase 中的 PB 级 大数 据 提供 快速、 交互式 的 SQL 查询。 已有 的 Hive 数据 仓库 工具 由于 阅读全文
posted @ 2019-05-24 09:18 dong66 阅读(0) 评论(0) 编辑
摘要: 什么事Flume?Flume 是 分布式 日志 采集 系统, 由 Cloudera 大数 据 公司 开发 出来, 并在 2009 年 贡献 给 Apache 基金会, 成为 Hadoop 生态系统 的 组件 之一。 特别是 这几年 随着 Flume 不断 改进 和 完善, 用户 在 开发 过程 中的阅读全文
posted @ 2019-05-24 09:11 dong66 阅读(1) 评论(0) 编辑
摘要: 从 架构 图 可以 看出, 生产者 Producer、 缓存 代理 Broker 和 消费者 Consumer 都可以 有 多个。 Producer 和 Consumer 实现 Kafka 注册 的 接口, 数 据从 Producer 发送 到 Broker, Broker 承担 一个 中间 缓存 阅读全文
posted @ 2019-05-24 09:10 dong66 阅读(1) 评论(0) 编辑
摘要: 什么事zookeeper?ZooKeeper 是 针对 Google Chubby 的 开源 实现, 分布式 的、 用 Java 编写 的、 开放 源 码 的 分布式 应用 程序 协调 服务。 ZooKeeper 作为 一个 高 可用 的 分布式 服务 框架, 主要 用来 解决 分布式 集群 中 应阅读全文
posted @ 2019-05-24 09:09 dong66 阅读(0) 评论(0) 编辑
摘要: 项目 背景 介绍 在 互 联网 应用 中, 其 基本 的 数据 来源 都是 日志 数据。 采集 用户 上网 的 操作 日志 信息, 包括 登录 时间、 用户 编号、 IP 地址、 登录 区域 等 信息。 比如 可以 使用 爬虫 技术、 爬 取 网 易 的 访问 日志 数据、 统计 网页 的 浏览 量阅读全文
posted @ 2019-05-24 06:59 dong66 阅读(0) 评论(0) 编辑
摘要: 项目 背景 介绍 关于 大 数据, 难以 有一个 准确 定量 的 定义。 维 基 百科 给出 了 一个 定性 的 描述: 大数 据 是指 无法 使用 传统 和 常用 的 软件技术 和 工具 在 一定 时间 内 完成 获取、 管理 和 处理 的 数据 集。 更进一步, 当今“ 大 数据” 一 词 的 阅读全文
posted @ 2019-05-24 06:58 dong66 阅读(2) 评论(0) 编辑
摘要: 1. 什么是Hbase?HBase 是 Hadoop 的 数据库, HBase 是 一个 分布式 的、 面向 列 的 开源 数据库, 它不 同于 一般 的 关系 数据库, 是一 个 适合 非 结构 化 数据 存储 的 数据库。 HBase 利用 Hadoop 的 HDFS 作为 其 文件 存储 系统阅读全文
posted @ 2019-05-21 09:54 dong66 阅读(3) 评论(0) 编辑
摘要: 4.hive的应用场景?(1) Hive 不是 一个 完整 的 数据库, 它 依托 并 受到 HDFS 的 限制。 其中 最大 的 限制 就是 Hive 不支持 记录 级别 的 更新、 插入 或者 删除 操作。 (2) Hadoop 是一 个 面向 批处理 的 系统, 任务 的 启动 需要 消耗 较阅读全文
posted @ 2019-05-21 09:46 dong66 阅读(3) 评论(0) 编辑
摘要: 什么事sqoop?Sqoop 是一 个 用来 将 Hadoop 和 关系 型 数据库 中的 数据 相互 转移 的 工具, 可以 将 一个 关系 型 数据库( 例如: MySQL、 Oracle、 PostgreSQL 等) 中的 数据 导入 到 Hadoop 的 HDFS 中, 也可以 将 HDFS 的 数据 导入 到 关系 型 数据库 中。阅读全文
posted @ 2019-05-21 09:43 dong66 阅读(2) 评论(0) 编辑
摘要: 其中 要点 如下: (1) ResourceManager( 简称 RM), ResourceManager 是 YARN 的 核心 组件, 它 一般 分配 在 主 节点 上, 其 主要 功能 是 负责 系统 资源 的 管理 和 分配。(2) ApplicationMaster 代替 了 原来 的 阅读全文
posted @ 2019-05-15 16:30 dong66 阅读(3) 评论(0) 山西快乐十分走势
  • 高温“烤验”,品读这些自带凉意的避暑诗词 2019-05-19
  • 2015科教频道中秋晚会《天涯共此时》 2019-05-19
  • 特朗普政府用政治“边缘政策”处理贸易问题是玩火 2019-05-17
  • 高清:探访苟坝见证历史 红军在此留下珍贵遗物 2019-05-15
  • 交通小事故,几分钟就能处理完 2019-05-15
  • 在现时代,无论中国还是西方发达国家都是社会财富公有制和私有制并存的社会,由于仍旧存在社会财富私有制,所以必然存在贫富差别,离开私有制来谈“贫”和“富”... 2019-05-15
  • 【学习时刻·经济实说②】管清友:中央经济工作会议的十大亮点 2019-05-15
  • 绿染江源,千湖归来——三江源生态保护建设取得阶段性成效 2019-05-13
  • 把握和传承好“变则通”思想(大家手笔) 2019-05-13
  • 5月份70个大中城市商品住宅销售情况:一线城市商品房价格同比持续下降 2019-05-08
  • 官方:装备管理失职 恒大俱乐部总经理等人遭处罚 2019-05-01
  • 中共一大代表中最早辞世的王尽美:3首小诗与27年人生 2019-04-29
  • 不管怎么修饰辞藻,只要放弃革命,就是苏联的结果,还用证明吗? 2019-04-27
  • 新和县:12333为参保群众提供咨询便利 2019-04-22
  • 秋冬进补“小人参” 称霸国人餐桌3000年 2019-04-22
  • 793| 452| 469| 849| 277| 215| 917| 593| 430| 124|