Configurar ambiente utilizando WSL 2 (Windows Subsystem for Linux) Ubuntu ou Windows e instalar o Spark e Hadoop

[AlanneSoares]

Referência:

Spark: Tutorial de instalação em ambiente local

Hadoop: Tutorial de instalação em ambiente local (texto e imagens)

Tutorial de instalação em ambiente local (vídeo em inglês)

Tutorial de instalação em ambiente local por sequência (vídeo em inglês)

Tutorial de configuração do PySpark na IDE PyCharm (vídeo em inglês)

[Darly-Goncalves-21]

Esse video abaixo também é bem legal: https://www.youtube.com/watch?v=knAS0w-jiUk

Vou deixar aqui também as portas usadas:

http://localhost:9870/dfshealth.html#tab-overview

http://localhost:8088/cluster

[AlanneSoares]

Perfeito também @Darly-Goncalves-21 esse tinha visto e acabei perdendo o link.

[AlanneSoares]

Agora sim consegui rodar... \o/

Segui esse tutorial Tutorial de instalação em ambiente local (texto e imagens)

[Darly-Goncalves-21]

Anotações para subir o Hadoop:

C:\Hadoop\sbin>start-dfs.cmd C:\Hadoop\sbin>start-yarn.cmd

hdfs dfs -mkdir /Darly/Hadoop/input hdfs dfs -put C:\Users\Darly\Desktop\big-data\CrimesOnWomenData.csv /darly/Hadoop/input/

http://localhost:9870/ http://localhost:8088/cluster

[Darly-Goncalves-21]

Até que enfim vi na tela, puxando de um dataset que está no hdfs.

[Darly-Goncalves-21]

Começando a ficar melhor!

[AlanneSoares]

@Darly-Goncalves-21 subi algumas atualizações!!!