Hadoop部署方案

[shizenghua123]

完成大数据开发环境部署及实施方案初版，已邮件给各位，待讨论完善

[shizenghua123]

1.经过分析对比，以昨天发出的文档为基础，并于wuyang、wangping讨论，完成初版系统结构图，初步界定了系统的构成、梳理出各模块的作用及协作关系、清晰了主体数据流； 2.补充了部署实施方案中hive的部分。 接下来计划： 1.继续完成实施方案文档，该文档用作环境部署实施的指导，标注了实施过程中的关键点和易出错的部分； 2.在本地搭建验证hadoop各组件版本的兼容性，找到稳定的组件组合，提前排除其他可能遇到的部署问题，验证实施和文档的正确性。

[shizenghua123]

[shizenghua123]

经讨论后修改为如下：

[shizenghua123]

今天的工作： 1.本地环境验证hive hiveserver2后台Thrift服务的配置启动和编写测试程序完成远程使用测试，测试OK； 2.尝试编写Linux shell操作hive完成数据读取和数据load等，并整理脚本。 接下来计划： 1.继续完成更多较复杂整合内容的shell脚本，对其他可能用到命令的验证，提前发现问题解决问题。 2.编写java代码完成本地环境hive的UDF测试。

[shizenghua123]

今天工作内容： 1.验证shell脚本读取hive数据处理完后再写入hive的方法OK，和其他脚本测试； 2.在云VM安装好mysql，绑定好监听的IP，配置好了utf-8编码，以免中文乱码。 接下来计划： 1.在云VM部署hadoop以及其他组建按按； 2.编写java代码完成本地环境hive的UDF测试。