search

asdf2014 / gitment

Gitment for My Blog
https://yuzhouwan.com
1 stars 0 forks source link

Apache Druid：一款高效的 OLAP 引擎 | 宇宙湾 #65

Open asdf2014 opened 5 years ago

asdf2014 commented 5 years ago

https://yuzhouwan.com/posts/5845/

基本概念概述　Apache Druid™ 是目前非常流行的高性能的，分布式列存储的 OLAP 框架（准确来说是 MOLAP）。它是一款可以快速（实时）访问大量的、很少变化的数据的系统。并被设计为，在面对代码部署、机器故障和生产系统的其他可能性问题时，依旧能 100％ 地正常提供服务 特性分析事件流　Druid 支持对 event-driven 数据进行快速地高并发查询。还可以实时地摄入流式数据，并

hoey94 commented 4 years ago

能否略微指点一二怎么运行github的代码，https://github.com/apache/incubator-druid?files=1 我尝试拉下来了代码，apache antlr依赖下不下来，导致core模块报错

asdf2014 commented 4 years ago

@Demo233 能否略微指点一二怎么运行github的代码，https://github.com/apache/incubator-druid?files=1 我尝试拉下来了代码，apache antlr依赖下不下来，导致core模块报错

最新的 mater 分支应该没问题的，是不是 maven 配置导致的，指定的仓库或者镜像有问题？

hoey94 commented 4 years ago

@asdf2014

@Demo233 能否略微指点一二怎么运行github的代码，https://github.com/apache/incubator-druid?files=1 我尝试拉下来了代码，apache antlr依赖下不下来，导致core模块报错

最新的 mater 分支应该没问题的，是不是 maven 配置导致的，指定的仓库或者镜像有问题？

感谢您百忙之中的回复！ 我拉的是当前最新的一个tag：https://gitbox.apache.org/repos/asf?p=incubator-druid.git druid-0.16.0-incubating,我理解的是，这个版本应该比master更稳定。或者说，您更建议我用master？在0.16.0 tag中因为拉不下来jar包，使我无法用mvn package 成功完成编译。在编译core模块时报错，原因是缺少了依赖，在package org.apache.druid.math.expr；下使用了org.apache.druid.math.expr.antlr. 的相关类，我尝试在中央仓库找，但是却找不到相关jar，只能找到io.druid.math.expr.，我尝试引用了它但是并未成功。不清楚是不是因为项目在孵化阶段，所以没来得及将org.apache.druid.math.expr.antlr.*打包上传或更新到中央仓库？ 除此之外我还拉不下来sigar-dist:zip:1.6.5.132，我在maven中央仓库找到了依赖，但是缺少了zip文件。 https://mvnrepository.com/artifact/org.hyperic/sigar-dist/1.6.5.132

asdf2014 commented 4 years ago

@Demo233

@asdf2014

@Demo233 能否略微指点一二怎么运行github的代码，https://github.com/apache/incubator-druid?files=1 我尝试拉下来了代码，apache antlr依赖下不下来，导致core模块报错

最新的 mater 分支应该没问题的，是不是 maven 配置导致的，指定的仓库或者镜像有问题？

感谢您百忙之中的回复！ 我拉的是当前最新的一个tag：https://gitbox.apache.org/repos/asf?p=incubator-druid.git druid-0.16.0-incubating,我理解的是，这个版本应该比master更稳定。或者说，您更建议我用master？在0.16.0 tag中因为拉不下来jar包，使我无法用mvn package 成功完成编译。在编译core模块时报错，原因是缺少了依赖，在package org.apache.druid.math.expr；下使用了org.apache.druid.math.expr.antlr. 的相关类，我尝试在中央仓库找，但是却找不到相关jar，只能找到io.druid.math.expr.，我尝试引用了它但是并未成功。不清楚是不是因为项目在孵化阶段，所以没来得及将org.apache.druid.math.expr.antlr.*打包上传或更新到中央仓库？ 除此之外我还拉不下来sigar-dist:zip:1.6.5.132，我在maven中央仓库找到了依赖，但是缺少了zip文件。 https://mvnrepository.com/artifact/org.hyperic/sigar-dist/1.6.5.132

anltr 相关的类是本地编译出来的，和中央仓库没关系的。建议先了解下 anltr 相关知识，可以参考我的另一篇博客 https://yuzhouwan.com/posts/55501/

建议你将 maven 的 localRepository 目录下和 druid 相关的编译信息都清空掉，然后再重新编译，大致如下：

rm -rf /data/maven/repo/org/apache/druid/
mvn clean
mvn clean install -T 1C -DskipTests
asdf2014 commented 4 years ago

@Demo233 老哥，问题有进展吗，方便分享一下不 :smile:

Doslin commented 4 years ago
  1. 大佬，在数据分析中使用Druid时，是使用Druid的JDBC更好还是，HTTP呢，如果是HTTP，有封装好的工具介绍吗， 您更推荐哪种呢，可以谈谈你自己的看法吗
  2. 系统的数据量还挺大的
asdf2014 commented 4 years ago
  1. 大佬，在数据分析中使用Druid时，是使用Druid的JDBC更好还是，HTTP呢，如果是HTTP，有封装好的工具介绍吗， 您更推荐哪种呢，可以谈谈你自己的看法吗

可以试试 https://github.com/zapr-oss/druidry ，不是大佬。。

  1. 系统的数据量还挺大的

TB, PB or EB?

Doslin commented 4 years ago
  1. 大佬，在数据分析中使用Druid时，是使用Druid的JDBC更好还是，HTTP呢，如果是HTTP，有封装好的工具介绍吗， 您更推荐哪种呢，可以谈谈你自己的看法吗

可以试试 https://github.com/zapr-oss/druidry ，不是大佬。。

  1. 系统的数据量还挺大的

TB, PB or EB?

TB级别