search

bigobject-inc / BigObjectRPkgs

R packages for BigObject
5 stars 3 forks source link

改善data export的效能 #8

Open wush978 opened 9 years ago

wush978 commented 9 years ago

目前R端在收到java objects的時候，由於找不到良好的parser，必須做以下的work around：

  1. 將object content都轉換成 raw
  2. 建立 rawConnection
  3. 利用 readLines一行一行的把JSON物件讀出來作處理

這樣做的效能很差，需要進一步的優化

wush978 commented 9 years ago

今天嘗試了jsonlite::stream_in，但是發現：

所以這部份可能就先不動了

另外今天查到jsonlines的結構中規定必須要escape '\n'，所以不用擔心這部份造成的問題