HIVE分析统计结果直接导入mysql数据库

发布时间:2017-6-25 4:44:58 编辑:www.fx114.net 分享查询网我要评论
本篇文章主要介绍了"HIVE分析统计结果直接导入mysql数据库",主要涉及到HIVE分析统计结果直接导入mysql数据库方面的内容,对于HIVE分析统计结果直接导入mysql数据库感兴趣的同学可以参考一下。

大部分利用hive做数据分析的步骤是先用hive将统计结果导出到本地文件或者Hive的其他表中,再将本地文件导入到mysql或者利用sqoop将Hive表导入到mysql中。   今天同事给推荐了一个利用udf函数直接将统计结果导入mysql的方法。   步骤为   hive>add jar /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar;   Added /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar to class path  Added resource: /usr/lib/hive/lib/hive-contrib-0.9.0-cdh4.1.2.jar   hive>add jar /usr/share/java/mysql-connector-java-5.1.17.jar;   Added /usr/share/java/mysql-connector-java-5.1.17.jar to class path  Added resource: /usr/share/java/mysql-connector-java-5.1.17.jar   hive>CREATE TEMPORARY FUNCTION dboutput AS 'org.apache.Hadoop.hive.contrib.genericudf.example.GenericUDFDBOutput';   hive>select dboutput('jdbc:mysql://localhost/result','root','123456','INSERT INTO dc(code,size) VALUES (?,?)',code,size) from accesslog limit 10;   注:result为mysql数据库名,dc为数据库result中的表名 dc(code,size)括号中的字段为mysql表dc字段,values(?,?)对应hive统计结果的值 后面的code,size为hive表中的字段,accesslog表示hive中的表名称。   通过以上步骤即可将hive统计结果直接导入到mysql数据库中。

上一篇:poj 2709 Painter
下一篇:【EXE PE】vs_version_info全解析

相关文章

相关评论

本站评论功能暂时取消,后续此功能例行通知。

一、不得利用本站危害国家安全、泄露国家秘密,不得侵犯国家社会集体的和公民的合法权益,不得利用本站制作、复制和传播不法有害信息!

二、互相尊重,对自己的言论和行为负责。