博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Apche pig计算数据 导入Hbase
阅读量:6582 次
发布时间:2019-06-24

本文共 1425 字,大约阅读时间需要 4 分钟。

hot3.png

1.pig将数据导入或加载到hbase使用HBaseStorage UDF函数,地址:
   在shell中案例:

     pig -Dpig.additional.jars=/home/pps_recommend/pig-0.11.0/lib/protobuf-java-2.4.0a.jar -x $varPigMode << EOF

           recommend_data = LOAD '$recommend_output' as(id:chararray,items:chararray);
          STORE recommend_data INTO 'hbase://short_video_recommend' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('info:items');
     EOF

   (提示:EOF是将其他应用程序在shell中输出,切记:特别在shell中有if判断语句 EOF要顶格写)

 2.    STORE [加载pig数据集别名] INTO 'hbase://[HBASE表名]' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('[HBASE列簇]:PIG字段名');
 3.注意:
   1.在伪分布式下启动,在zookeeper,hbase正常启动情况下可以导入,
    2.正式环境下配置:
       2.1在 $PIG_HOME/conf/pig.properties加入:
     # -----------------------------------------------------------------------------------------------------------------------------------------

       #pig.load.default.statements=     

      hbase.zookeeper.quorum=10.11.8.161,10.11.8.162,10.11.8.163,10.11.8.164,10.11.8.165,10.11.8.166,10.11.8.167       

      hbase.master.info.bindAddress=10.11.5.222 

      hbase.master.port=60000

    # --------------------------------------------------------------------------------------------------------------------------------------------

    #hbase.zookeeper.quorum= zookeeper集群地址

    #hbase.master.info.bindAddress=hbase master地址

    #hbase.master.port=hbase master端口

   2.2 在$PIG_HOME/lib复制3个包:
        protobuf-java-2.4.0a.jar   
        hbase-0.94.1.jar
        zookeeper-3.4.3.jar
       这个几个包可以从$HBASE_HOME/lib 和 $HBASE_HOME目下获取

转载于:https://my.oschina.net/guoenzhou/blog/515333

你可能感兴趣的文章
IT基础架构规划方案之实际网络设计案例
查看>>
Navicat for MySQL 使用SSH方式链接远程数据库(二)
查看>>
poj 1274The Perfect Stall
查看>>
ibm BIP2276E: The flow includes a message flow of node type 'ComIbmFileReadNode'
查看>>
HDU 4720 Naive and Silly Muggles (外切圆心)
查看>>
垂死挣扎还是涅槃重生 -- Delphi XE5 公布会归来感想
查看>>
Ubuntu上运行Blender,在控制台上查看运行结果
查看>>
怎么检查网站的死链接呢?
查看>>
scrapy爬虫框架实例一,爬取自己博客
查看>>
React是UI的未来吗?
查看>>
中国人社部:2018年15个省(区、市)调整最低工资标准
查看>>
手把手教你通过Thrift 访问ApsaraDB for HBase
查看>>
MacOS安装MySQL 报错
查看>>
Java知识点总结(反射-反射操作泛型)
查看>>
Vue+webpack+Element 兼容问题总结
查看>>
《软技能》读书笔记(下)
查看>>
textarea文域高度自适应
查看>>
go语言renderer包代码分析
查看>>
【Scala谜题】成员声明的位置
查看>>
git最最最最...常用命令
查看>>