data-engineers-id / stratnas-data-infrastructure

Apache License 2.0
0 stars 0 forks source link

3212 - Melakukan kajian dan pendefinisian standarisasi skema data dan antarmuka sistem pertukaran data (SOA atau REST APIs) #16

Open welly87 opened 2 years ago

welly87 commented 2 years ago
  1. Kajian skema pertukaran data
  2. Definisi konsep dan PoC
  3. Ujicoba / pilot project
  4. Penulisan SNI skema pertukaran data

Diperlukan kajian terhadap standard yang sudah berlaku secara internasional sehingga interoperability dengan sistem lain lebih mudah sehingga tidak ada data yang tidak bisa di akses karena terkunci pada salah satu platform data.

ada 4 standard yang dapat ditelaah seperti metadata, api, format dan storage

standard skema data atau metadata

avro, etc

http://schema.org/

standard API transfer data

arrow flight, filesystem, dataset, dataframe

https://ursalabs.org/tech/

standard format penyimpanan data

parquet, arrow

standard storage (object storage / API)

s3 wire protocol

standard format model machine learning

onnx

standard hardware dan arsitektur hardware

CPU, GPU, TPU, FPGA, ASIC, ARM etc

standard sustainability international utk penggunaan energi data center dan teknologi

https://github.com/hubblo-org/scaphandre

domain spesific standard

energy

https://osduforum.org/ https://www.energistics.org/introduction-to-etp-v1-2/

kesehatan

https://cardinalkit.org/ http://hl7.org/fhir https://www.hl7.org/index.cfm https://aws.amazon.com/health/

data science / AI

https://onnx.ai/ https://sdmx.org/

welly87 commented 2 years ago

beberapa contoh SNI

https://asnugroho.wordpress.com/2020/05/06/dua-standar-nasional-biometrik-akhirnya-ditetapkan/

https://asnugroho.wordpress.com/2017/11/28/representasi-informasi-pada-sidik-jari/