lozhu20 / my-blog-comments

存储 utterances 评论

0 stars 0 forks source link

2022/03/20/c5e8e7b94e93/ #5

Open utterances-bot opened 6 months ago

utterances-bot commented 6 months ago

Hive学习笔记

基础知识为什么需要 HiveHadoop 生态系统的出现，为以合理的成本处理大数据集提供了一个解决方案，它基于 HDFS（分布式文件系统）实现了一个 MapReduce 编程模型，将计算任务分散到多个硬件机器上，从而降低成本并提供水平伸缩性。但是从现有的数据基础架构转移到 Hadoop 以及从 Hadoop

https://lozhu.happy365.day/2022/03/20/c5e8e7b94e93/

DengQingNian commented 6 months ago

最近我可能也会接触到hive，想问一下

Hive 不支持行级数据插入、更新及删除，只能通过大批量的方式将数据导入表中。

有个数据源，比如mysql/pg 里边的数据每次要用的时候，需要用工具或代码把对应的表数据加上分区字段全量灌到hive里是吗？

lozhu20 commented 6 months ago

@DengQingNian 现在hive3已经支持行级insert了。关系型数据库中的数据只能通过导数工具导到hive表里，比如sqoop