10年项目开发经验,精通pc、mobile平台软件开发主流技术和框架
最近一直忙着各种设计和文档,终于有时间来更新一点儿关于kafka的东西。之前有一篇文章讲述的是kafka Producer端的程序,也就是日志的生产者,这部分比较容易理解,业务系统将运行日志或者业务日志发送到broker中,由broker代为存储。那讲的是如何收集日志,今天要写的是如何获取日志,然后再做相关的处理。之前写过kafka是讲日志按照topic的形式存储,一个topic会按照partition存在同一个文件夹下,目录在config/server.properties中指定。
1、Hive操作演示 1.1 内部表 1.1.1 创建表并加载数据 第一步 启动HDFS、YARN和Hive,启动完毕后创建Hive数据库 hive>create database hive; hive>show databases; hive>use hive
hive -S :进入hive的静默模式,只显示查询结果,不显示执行过程; hive -e ‘show tables’ :直接在操作系统命令下执行hive语句,不需要进入hive交互模式; source /root/my.sql; :在hive模式下使用source命令执行.sql文件
我们都知道,hive在执行的时候会把所对应的SQL语句都会转换成mapreduce代码执行,但是具体的MR执行信息我们怎样才能看出来呢?这里就用到了explain的关键字,他可详细的表示出在执行所对应的语句所对应的MR代码。语法格式如下。extended关键字可以更加详细的列举出代码的执行过程。
1. 相关说明 分区表的一个分区对应hdfs上的一个目录。 分区表包括静态分区表和动态分区表,根据分区会不会自动创建来区分。 多级分区表,即创建的时候指定 PARTITIONED BY (event_month string,loc string),根据顺序,级联创建 event_month=XXX/loc=XXX目录,其他和一级的分区表是一样的。
实验目的 1. 验证对分区表进行动态分区插入功能 2. 验证是否可以使用load进行动态分区插入 实验步骤 1. 在本地文件/home/grid/a.txt中写入以下4行数据: aaa,US,CA aaa,US,CB bbb,CA,BB bbb,CA,BC
1. 使用EXPLAIN 通过EXPLAIN功能,可以帮助我们了解如何将查询转化成MapReduce任务的。
10年项目开发经验,精通pc、mobile平台软件开发主流技术和框架,独立或合作研发国家级项目二十多个
已有25人表明态度,80%喜欢该老师!
请输入正确的手机号码
请输入正确的验证码
您今天的短信下发次数太多了,明天再试试吧!
我们会在第一时间安排职业规划师联系您!
您也可以联系我们的职业规划师咨询:
版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号
ICP许可 沪B2-20190160