search

okffi / labra

Paikka pienille avoimeen tietoon liittyville kokeiluille ja demoille
1 stars 0 forks source link

Datan yhdistelemisen harjoituspaketti korkeakouludatasta #2

Open pe3 opened 10 years ago

pe3 commented 10 years ago

OKFFI:n koulutukseen tarvittaisiin harjoitusdataa konkretisoimaan datan yhdistelemisen ongelmia.

Olisi kiinnostava harjoitus koota ja prosessoida data Node.js:llä datapaketeiksi, joita kurssilaiset voisivat myöhemmin käyttää.

d2s commented 10 years ago

Sounds like a good idea.

pe3 commented 10 years ago

Mua kiinnostaisi kokeilla Gulp:ia skreippaamiseen. Tai tarkemmin sanoen kriittinen komponentti on Gulp Cheerio. Gulp on niin uusi systeemi, että sen plugarit eivät aina toimi hirveän hyvin. Periaatteessa skreippaaminen Noden streameilla on aika sivistynyttä, mutta Gulp voisi lisäksi tarjota valmiita moduuleja jatkuvasti toistuvien operaatioiden tekemiseen, erityisesti datan jalostamispuolella.

pe3 commented 10 years ago

Ekaks pitää etsiä tarvittavat datat. Yliopistoja koskevaa dataa löytyy Opetus- ja kulttuuriministeriön Vipunen järjestelmästä. Kikkana tässä tapauksessa on hoksata, että verkkosivut on tehty jonkinlaisella Netti-Excelillä. Esimerkiksi tieto 55 opintopistettä suorittaneista löytyy ihmisselattavana mutta sen lisäksi on mahdollista ladata xlsx tiedosto itselleen.

Tiedostonhan voisi ladata ja siivota käsin, mutta tässä tapauksessa on kiinnostavampaa koittaa tehdä kaikki ohjelmallisesti ja toistettavasti (jokin testimekanismikin tarvitaan hälyyttämään, jos lähtötiedoston rakenne muuttuu).

Skreippaus-skriptistä: Excelin voisi ensin cachettaa paikalliseksi tiedostoksi Gulp-downloadilla. Cheerion sijaan dataa voi tässä tapauksessa kaivaa jollakin Noden Excel-paketilla. Olen niitä ihan menestyksellä käyttänyt, mutta en muista mitä niistä. Joku niistä pitäisi valita ja muuttaa Gulp-plugariksi.

pe3 commented 10 years ago

Aloitin aiheesta oman repon. Törmäsin välittömästi vaikeuksiin saada gulp-download toimimaan. Muistinkin juuri, että en olekaan käyttänyt sitä aikaisemmin, vaan Noden download-pakettia.