最近一直忙着各种设计和文档，终于有时间来更新一点儿关于kafka的东西。之前有一篇文章讲述的是kafka Producer端的程序，也就是日志的生产者，这部分比较容易理解，业务系统将运行日志或者业务日志发送到broker中，由broker代为存储。那讲的是如何收集日志，今天要写的是如何获取日志，然后再做相关的处理。之前写过kafka是讲日志按照topic的形式存储，一个topic会按照partition存在同一个文件夹下，目录在config/server.properties中指定。

1、Hive操作演示 1.1 内部表 1.1.1 创建表并加载数据 第一步 启动HDFS、YARN和Hive，启动完毕后创建Hive数据库 hive>create database hive; hive>show databases; hive>use hive

​hive -S :进入hive的静默模式，只显示查询结果，不显示执行过程； hive -e ‘show tables’ :直接在操作系统命令下执行hive语句，不需要进入hive交互模式； source /root/my.sql; :在hive模式下使用source命令执行.sql文件

我们都知道，hive在执行的时候会把所对应的SQL语句都会转换成mapreduce代码执行，但是具体的MR执行信息我们怎样才能看出来呢？这里就用到了explain的关键字，他可详细的表示出在执行所对应的语句所对应的MR代码。语法格式如下。extended关键字可以更加详细的列举出代码的执行过程。

1. 相关说明 分区表的一个分区对应hdfs上的一个目录。 分区表包括静态分区表和动态分区表，根据分区会不会自动创建来区分。 多级分区表，即创建的时候指定 PARTITIONED BY (event_month string,loc string)，根据顺序，级联创建 event_month=XXX/loc=XXX目录，其他和一级的分区表是一样的。

实验目的 1. 验证对分区表进行动态分区插入功能 2. 验证是否可以使用load进行动态分区插入 实验步骤 1. 在本地文件/home/grid/a.txt中写入以下4行数据： aaa,US,CA aaa,US,CB bbb,CA,BB bbb,CA,BC

1. 使用EXPLAIN 通过EXPLAIN功能，可以帮助我们了解如何将查询转化成MapReduce任务的。