微信搜索superit|邀请体验:大数据, 数据管理、OLAP分析与可视化平台 | 赞助作者:赞助作者

将数据通过shell脚本从hdfs导入到hive中

hadoop aide_941 35℃

将数据通过shell脚本从hdfs导入到hive中

漏船载酒 2017-12-01 22:18:18 浏览1422 评论0

摘要: 在创建项目的时候 需要将数据导入 则此时的数据不能通过hql来再shell中展示 所以需要记录脚本 而这块内容应该写在一个单独的模块下面 需要注意的是对文件的明明xx_yy_zz.hqlxx 文件名 yy 表示数据库对应表明 zz分区性质如按照天则为yyyymmdd这样明明的好处就是一目了然 让人…

在创建项目的时候 需要将数据导入 则此时的数据不能通过hql来再shell中展示 所以需要记录脚本

而这块内容应该写在一个单独的模块下面
需要注意的是对文件的明明
xx_yy_zz.hql
xx 文件名 yy 表示数据库对应表明 zz分区性质如按照天则为yyyymmdd
这样明明的好处就是一目了然 让人明白它是哪的文件用于做什么的

drop table if exists ods_company_${yyyymmdd};
create external table ods_company_${yyyymmdd}(
company_id int
,company_address string
,company_attr string
,company_boss string
,company_name string
,company_phone string
)stored as parquet
location '/sqoop/btrip_pg/${yyyymmdd}/tb_company'

运行真个shell脚本 过程
启动hdfs ,yarn
sqoop2-server : 创建job 以及用于将数据从PostgreSql导入到hdfs
hiveserver2 将数据从hdfs导入到hive中
将脚本传到 linux上
通过指令执行脚本 有

hive -f ods_company_yyyymmdd.hql --hivevar yyyymmdd=20171201

yyyymmdd 为日期与脚本中的yyyym
yyyymmdd对应

转载请注明:SuperIT » 将数据通过shell脚本从hdfs导入到hive中

喜欢 (0)or分享 (0)