search

pyk / rojak

Project Rojak, Yuk gabung diskusi di Slack nya Rojak: http://team.rojak.id/
Other
98 stars 46 forks source link

Redundansi data "mention" #157

Closed bobbypriam closed 7 years ago

bobbypriam commented 7 years ago

Pada skema data, terdapat relasi mention antara news dan candidate, sementara informasi mentioned candidate sebenernya bisa didapat dari news_sentiment join sentiment join candidate. Itu ada bedanya ga ya?

Saya ketemu masalah ketika implemen API, saya ngegunain keduanya (mention untuk filter berdasarkan candidate_id dan via news_sentiment untuk ngambil sentimentnya), terus hasilnya aneh, di mention ada candidate_id 1 sementara di sentimentnya ga ada. Ini ternyata gara-gara data di mention dan news_sentiment ga sync, karena kayaknya ketika generate dummy data ga dibuat garansi itu ya.

Solusinya menurut saya:

  1. Hapus aja mention, atau
  2. Dari analyzer harus memastikan datanya sync antara dua table tersebut.

Any thoughts?

pyk commented 7 years ago

terus hasilnya aneh, di mention ada candidate_id 1 sementara di sentimentnya ga ada. Ini ternyata gara-gara data di mention dan news_sentiment ga sync

Oh, mention sama news_sentiment itu gak harus sync mas.

Karena satu berita bisa mention beberapa calon, tapi sentiment nya cuma untuk satu/dua calon saja.

Untuk kasus masnya itu dia di mention di berita, tapi emang sentiment beritanya bukan untuk dia

bobbypriam commented 7 years ago

Jadi emang itu intended behavior?

Berarti pada sebuah news, data mention dan sentiment itu dua entitas berbeda ya? Spesifikasi API harus diubah kalau gitu ya, saat ini efektif field embed mentions di /news dan /news/:id itu ngedapetin kandidat-kandidat yang ada sentimentnya, bisa aja ada kandidat yang dimention tapi ga ke-include soalnya kita ga ngequery table mention.

Tapi berarti kalau sebuah artikel punya sentimen terhadap kandidat A, maka udah pasti kandidat A ada di table mention dari artikel tersebut dong ya?

pyk commented 7 years ago

Jadi emang itu intended behavior?

Yup mas

Berarti pada sebuah news, data mention dan sentiment itu dua entitas berbeda ya?

Iya mas, makanya kita bikin pisah table nya hehe

Tapi berarti kalau sebuah artikel punya sentimen terhadap kandidat A, maka udah pasti kandidat A ada di table mention dari artikel tersebut dong ya?

Yup bener mas

bobbypriam commented 7 years ago

I see, thanks.

Ada ide ga ya untuk improve endpoint /news supaya bisa incorporate hal ini? Informasi tambahan apa (selain detail news-nya sendiri) yang idealnya harus ditampilkan ketika kita ngequery /news dan /news/1?

pyk commented 7 years ago

Dari data yg kita simpan sekarang, dari satu object news kita bisa nampilin informasi ini mas:

Untuk kedepannya mungkin kita bisa buat meta-tag untuk setiap news nya, misal ketika dia mention agus kita kasih tag #AgusYudhoyono etc. Jadi kita juga bisa retrieve list of news nya via tag juga.

meta-tag disini bukan hanya nama aja sih mas, bisa suatu isu/event/dll.

bobbypriam commented 7 years ago

Oke berarti ini kayaknya udah solve ya? Intinya dua data itu emang beda dan ga ada redundant :+1: