张军专栏作家已认证

10年项目开发经验,精通pc、mobile平台软件开发主流技术和框架

我想咨询TA TA的微信号:Wx201366666
7
文章
870
人气
85%
受欢迎度
张军的文章

最近一直忙着各种设计和文档,终于有时间来更新一点儿关于kafka的东西。之前有一篇文章讲述的是kafka Producer端的程序,也就是日志的生产者,这部分比较容易理解,业务系统将运行日志或者业务日志发送到broker中,由broker代为存储。那讲的是如何收集日志,今天要写的是如何获取日志,然后再做相关的处理。之前写过kafka是讲日志按照topic的形式存储,一个topic会按照partition存在同一个文件夹下,目录在config/server.properties中指定。

阅读 252 评论 0 被赞 1
100% 的用户喜欢

1、Hive操作演示 1.1 内部表 1.1.1 创建表并加载数据 第一步 启动HDFS、YARN和Hive,启动完毕后创建Hive数据库 hive>create database hive; hive>show databases; hive>use hive

阅读 168 评论 0 被赞 0
0% 的用户喜欢

​hive -S :进入hive的静默模式,只显示查询结果,不显示执行过程; hive -e ‘show tables’ :直接在操作系统命令下执行hive语句,不需要进入hive交互模式; source /root/my.sql; :在hive模式下使用source命令执行.sql文件

阅读 547 评论 0 被赞 0
0% 的用户喜欢

我们都知道,hive在执行的时候会把所对应的SQL语句都会转换成mapreduce代码执行,但是具体的MR执行信息我们怎样才能看出来呢?这里就用到了explain的关键字,他可详细的表示出在执行所对应的语句所对应的MR代码。语法格式如下。extended关键字可以更加详细的列举出代码的执行过程。

阅读 267 评论 0 被赞 0
0% 的用户喜欢

1. 相关说明 分区表的一个分区对应hdfs上的一个目录。 分区表包括静态分区表和动态分区表,根据分区会不会自动创建来区分。 多级分区表,即创建的时候指定 PARTITIONED BY (event_month string,loc string),根据顺序,级联创建 event_month=XXX/loc=XXX目录,其他和一级的分区表是一样的。

阅读 316 评论 0 被赞 0
0% 的用户喜欢

实验目的 1. 验证对分区表进行动态分区插入功能 2. 验证是否可以使用load进行动态分区插入 实验步骤 1. 在本地文件/home/grid/a.txt中写入以下4行数据: aaa,US,CA aaa,US,CB bbb,CA,BB bbb,CA,BC

阅读 224 评论 0 被赞 0
0% 的用户喜欢

1. 使用EXPLAIN 通过EXPLAIN功能,可以帮助我们了解如何将查询转化成MapReduce任务的。

阅读 162 评论 0 被赞 0
0% 的用户喜欢
X
免费获取海同IT培训资料
验证码手机号,获得海同独家IT培训资料
获取验证码
提交

版权所有 职坐标-一站式IT培训就业服务领导者 沪ICP备13042190号-4
上海海同信息科技有限公司 Copyright ©2015 www.zhizuobiao.com,All Rights Reserved.
沪公网安备 31011502005948号