-
## Feature request
**Is your feature request related to a problem? Please describe.**
As data stored in olap table and the limit of local storage, we offten set a ttl(dynamic.start property)…
-
### Description
Hi, I'm encountering an issue while attempting to use a functional server to upload files through an API. Specifically, when I run the server with the following command, I receive an …
-
### Steps to reproduce the behavior (Required)
**The leader fe fe.log file frequently outputs the following error message:**
2024-10-23 18:06:24.778+08:00 ERROR (lake-publish-task-198|687) [P…
-
### Skill Name
Spark, delta lake, airflow
### Why?
its popular with data engineer...
other skills are airflow, delta lake... which also u can add..
### Reference Image
spark: https://commons.w…
-
Need a data lake somewhere (SQL db)? (Mongo db)? Where we can store the original record corresponding to a certain record included in our dataset. This should be referenced by `uuid` and `who_id`.
…
-
Creating an open source data lake with SQL access is key to the reference architecture of this book
Please adjust the TOC for the data lake part so it fit's your needs. Please propose a reference a…
-
Is it possible to use ADLS gen 2 binding (dfs.core.windows.net)? I get this error:
Content-Type of error response: application/json; charset=utf-8. Error: "error":"code":"Gen1ApiDisabled","message":…
-
-
# Data Science
데이터를 바탕으로 앞으로 어떤 행동을 하는 것이 좋을지 조언하는 것
용어의 유례는 링크드인의 새로운 부서 공고에서 나왔다. (데이터 과학자, 데이터 분석가, 데이터 엔지니어)
# 데이터 레이크
분석가와 데이터 과학자가 가장 쉽게 접근하고 사용할 수 있는 방법으로 데이터를 저장할 수 있게 해준다.
아파치 하둡…
-
- 엔터프라이즈 데이터 레이크 구축 / 에이콘 / 톰시 존, 판카이 미스라
- The Enterprise Big Data Lake / 에이콘 / 알렉스 고렐릭
# 빅데이터 with V3
- volume(용량)
- variety(다양성)
- velocity(속도)
+a : veracity(정확성, 진실성)
GIGO(Garbage In…