Open Ritakang0451 opened 1 year ago
社区常用版本如下,每人可认领一个版本:
a). CDH5.12.1 版本
b). CDH6.3.2 版本
请参照 Linkis 版本适配 对 Apache Linkis 进行编译,其他组件无需编译,可直接使用官方安装包。
● 安装部署目录规范
├── wedatasphere --根目录
│ ├── sbin --wedatasphere全家桶一键启动和一键停止的脚本目录
│ │ ├── start-all.sh --wedatasphere全家桶一键启动脚本
│ │ ├── stop-all.sh --wedatasphere全家桶一键停止脚本
│ │ ├── wedatasphere-env.sh --wedatasphere全家桶环境变量配置脚本
│ ├── install --wedatasphere各组件安装包的存放目录
│ │ ├── --LinkisInstall Linkis安装包根目录
│ │ ├── ……
│ ├── config --wedatasphere各组件配置文件的存放目录
│ │ ├── linkis-config --Linkis 配置文件根目录
│ ├── logs --wedatasphere各组件日志文件的存放目录
│ │ ├── linkis -- Linkis日志文件根目录
● 环境变量规范
wedatasphere-env.sh 可支持用户配置 Hadoop、Hive、Spark、Flink、Sqoop、Trino等引擎的环境变量,具体如下:
HADOOP_CONF_DIR= HADOOP_HOME= YARN_RESTFUL_URL= HIVE_CONF_DIR= HIVE_HOME= HIVE_META_URL= HIVE_META_USER= HIVE_META_PASSWORD= SPARK_CONF_DIR= SPARK_HOME= FLINK_HOME= FLINK_CONF_DIR= FLINK_LIB_DIR= SQOOP_HOME= SQOOP_CONF_DIR= HCAT_HOME=
● 文档规范
文档尽量以图做说明,少用大段文字。
文档种类要求如下:
● Demo规范
i) 官方将提供可导入的 DSS Demo项目,请在打镜像包之前,将Demo导入并保证Demo可正常执行。
ii) 官方将提供Scriptis Demo脚本,请在打镜像包之前,将Demo 脚本导入并保证可正常执行。
iii) 官方将提供 Streamis Demo 流式应用,请在打镜像包之前,将Demo 流式应用导入并保证可正常执行。
● Docker容器制作规范
i) 请尽量保证Docker容器包的总大小不超过12G;
ii) 请将 /wedatasphere 整个全家桶目录制作成一个容器镜像;
iii) 各组件配置的文件路径请使用相对路径,确保各组件可正常使用;
iv) 由于Linkis依赖底层Hadoop、Hive、Spark等组件,请注意提供Hadoop、Hive、Spark等底层计算存储引擎的配置文件的挂载规范和环境变量配置规范。
文档齐全且质量高。
可按照安装部署文档,在30分钟内完成镜像的部署、启动和Demo的基本使用。
1、和社区工作人员确认任务、接受任务;
2、社区工作人员在WeDataSphere项目,同步创建新的branch,并创建代码提交目录;
3、社区伙伴完成镜像的制作和验证后,提 PR,上传相关源代码和文档;
4、社区工作人员验证镜像包,验证无误后,合并 PR;
5、正式发布镜像包,发放奖励,进行社区宣传等。
2月15日-2月22日 认领及需求沟通阶段 2月22日-3月08日 开发阶段 3月08日-3月22日 测试验收阶段
我想尝试一下 CDH6.3.2 版本
CDH6.3.2,6个引擎,前2个没问题,后4个尝试挑战
CDH6.3.2,6个引擎,前2个没问题,后4个尝试挑战 你好,可以加微信沟通~
我想尝试一下CDH5.16.1版本
20230302【会议纪要】 参与者:张华金、程伟、李文、康悦、尹强 主持人:尹强 议题结论:
您的邮件已经顺利到达我的邮箱中了~ 谢谢您的邮件
一、 需求描述
社区常用版本如下,每人可认领一个版本:
a). CDH5.12.1 版本
b). CDH6.3.2 版本
请参照 Linkis 版本适配 对 Apache Linkis 进行编译,其他组件无需编译,可直接使用官方安装包。
● 安装部署目录规范
├── wedatasphere --根目录
│ ├── sbin --wedatasphere全家桶一键启动和一键停止的脚本目录
│ │ ├── start-all.sh --wedatasphere全家桶一键启动脚本
│ │ ├── stop-all.sh --wedatasphere全家桶一键停止脚本
│ │ ├── wedatasphere-env.sh --wedatasphere全家桶环境变量配置脚本
│ ├── install --wedatasphere各组件安装包的存放目录
│ │ ├── --LinkisInstall Linkis安装包根目录
│ │ ├── ……
│ ├── config --wedatasphere各组件配置文件的存放目录
│ │ ├── linkis-config --Linkis 配置文件根目录
│ │ ├── ……
│ ├── logs --wedatasphere各组件日志文件的存放目录
│ │ ├── linkis -- Linkis日志文件根目录
│ │ ├── ……
● 环境变量规范
wedatasphere-env.sh 可支持用户配置 Hadoop、Hive、Spark、Flink、Sqoop、Trino等引擎的环境变量,具体如下:
● 文档规范
文档尽量以图做说明,少用大段文字。
文档种类要求如下:
2. 给出启动逻辑
3. 如何新增一个全新的组件
● Demo规范
i) 官方将提供可导入的 DSS Demo项目,请在打镜像包之前,将Demo导入并保证Demo可正常执行。
ii) 官方将提供Scriptis Demo脚本,请在打镜像包之前,将Demo 脚本导入并保证可正常执行。
iii) 官方将提供 Streamis Demo 流式应用,请在打镜像包之前,将Demo 流式应用导入并保证可正常执行。
● Docker容器制作规范
i) 请尽量保证Docker容器包的总大小不超过12G;
ii) 请将 /wedatasphere 整个全家桶目录制作成一个容器镜像;
iii) 各组件配置的文件路径请使用相对路径,确保各组件可正常使用;
iv) 由于Linkis依赖底层Hadoop、Hive、Spark等组件,请注意提供Hadoop、Hive、Spark等底层计算存储引擎的配置文件的挂载规范和环境变量配置规范。
二、验收标准
文档齐全且质量高。
可按照安装部署文档,在30分钟内完成镜像的部署、启动和Demo的基本使用。
三、整体流程
1、和社区工作人员确认任务、接受任务;
2、社区工作人员在WeDataSphere项目,同步创建新的branch,并创建代码提交目录;
3、社区伙伴完成镜像的制作和验证后,提 PR,上传相关源代码和文档;
4、社区工作人员验证镜像包,验证无误后,合并 PR;
5、正式发布镜像包,发放奖励,进行社区宣传等。
四、时间规划
2月15日-2月22日 认领及需求沟通阶段 2月22日-3月08日 开发阶段 3月08日-3月22日 测试验收阶段