data-engineers-id / stratnas-data-infrastructure

Apache License 2.0
0 stars 0 forks source link

3105 - Kajian konsep "Rendertoken" atau application shared-infrastructure #1

Open welly87 opened 2 years ago

welly87 commented 2 years ago

tujuan

data platform merupakan infrastruktur yang memberikan wadah untuk kolaborasi antara pemerintah, industri, universitas dan komunitas. data platform ini tidak hanya menjadi penyedia storage dan komputasi tetapi juga menjadi one stop shop utk riset, kolaborasi dan juga sarana penghubung antara ide, analisa dan juga pengindustrialisasian produk kecerdasan artifisial. sehingga hasil riset dapat dengan mudah di cari dan dimanfaatkan.

perlu dipecahkan tembok silo sehingga penggunaan resource lebih efisien dan penggunaan maksimal. perlu dihindarkan penggunaan sumber daya listrik yang tinggi tetapi tidak digunakan untuk kepentingan publik.

Tingkat kebutuhan analisa data negara Indonesia, use case dan computation power, sangatlah besar. Sehingga dibutukan konsep sharing resource yang terdesentralisasi yang dimungkinkan dengan teknologi blockhain. Ada beberapa terminologi dan implementasi pengaplikasian nya seperti

  1. rendertoken.
  2. decentralized data platform
  3. federated learning
  4. decentralized machine learning

federated learning

https://ai.googleblog.com/2017/04/federated-learning-collaborative.html https://federated.withgoogle.com/ https://www.unite.ai/what-is-federated-learning/ https://blogs.nvidia.com/blog/2019/10/13/what-is-federated-learning/ https://analyticsindiamag.com/a-beginners-guide-to-federated-learning/

decentralized data platform

Kita dapat memanfaatkan data center yang kurang maksimal penggunaannya untuk kepentingan penyimpanan data dan juga komputasi yang terdistribusi. Data tidak perlu dibawa semua ke central repository tapi digunakan secara on-demand dan mencari resource yang sedang lowong dan memiliki kemampuan yang sesuai.

Wilayah indonesia yang luas dan dipisahkan oleh laut menyebabkan kesenjangan antara beberapa daerah dalam ketersediaan perangkat, internet dan juga fasilitas. data platform diharapkan dapat bekerja local di dalam wilayah lingkungan tertentu dan memanfaatkan sistem sinkronisasi yang sangat efisien utk data yang sering di akses secara on demand.

Beberapa hal ini perlu diperhatikan:

  1. Jarak secara network yang dekat,
  2. kebutuhan resource yang cocok (GPU, CPU dan memory)
  3. jarak antara compute yang tersedia dan juga lokasi data yang terdekat

https://datarade.ai/platform-categories/decentralized-data-platforms https://towardsdatascience.com/how-to-build-a-decentralized-data-platform-58158db6409b https://pixelplex.io/blog/decentralized-storage/ https://solidproject.org//users/get-a-pod

decentralized machine learning

https://medium.com/decentralized-machine-learning/introducing-dml-decentralized-machine-learning-protocol-f954ccd9f90d https://frag.medium.com/decentralized-machine-learning-b9fa9d78710 https://medium.com/the-challenge/a-brief-history-of-decentralized-computing-d0d665783bcf https://www.skalex.io/decentralized-computing/#decentralized-computing

welly87 commented 2 years ago

still need to discuss this for NLP spesific stuff