machielg
commented
4 years ago Reading the parquet file with Spark works fine
Closed machielg closed 3 years ago
machielg
commented
4 years ago Reading the parquet file with Spark works fine
maartenbreddels
commented
4 years ago Hi Machiel,
do you have an example parquet file that exposes this issue?
regards,
Maarten
machielg
commented
4 years ago This is the file I'm working with (one row). I installed vaex-arrow and vaex-hdf5 and did vaex.open() with this sample file.
maartenbreddels
commented
4 years ago Great, thanks!
maartenbreddels
commented
3 years ago This now works:
>>> import vaex
>>> vaex.open('./part-00000-03ee4d10-0bdd-4687-a9a3-a2df758a51a1-c000.snappy.parquet')
# rxt tul mno pqd bnm zsw jol aru jce thz rfk hrx htp iot pfc lxr zki nxz icg ikv csm mph fwd tha udf toz djo oqp lta vgl pmc nvv gwn klh nlq dxh lqh yno gxk ljn gdh nwz gdz qaq tli tza myq suw ghn pqi def znt exd xys nnv fna gpe xmk frx qau orf odt omg qab oni qan kqu oxf bgp yow zzu ddv wvf ibo gxb hve gmb sxl dzo eud vmo wzw exr gnb obt qeu vws bhf mkx qnw cts ihv lwj jcn hkm xaw adh dnk iox bec qpt tby usa upm wcq lie iyb onj xic wjr joj qyt hwf grd mwu gid jrc otf dvj tof qhh kyf pvl qlq tuk mqr sev wqx rtk ikm hwu xtg xpp sgn xuz yar cyy lpr kjh jju fgt vbk cbh zpn oui uaa nmw mnr edn hyv qih dbd tdx org jqs pgc zll bys itn cxj vqv zqs wpd jum wgq yzx pcv jku zhl fmt xux xnm axy pxp lmj saw rwm uep xrn gjd mta plj wup vrl agl xsf cqx jix iuq zoo gcl dkc fny eto foh yzn etx sae hzq vro ded tbu bvt umg kci rdm ytz jbo iml vju ddo dkh tkn crs dux ojr njh van xdz tfb qbn zne ccs ovm ggq apc exa mjw qwt dbz hyi kvr cjn myg jgz ihc kkp ype mdt adu fzm jfc gsf vnp ebt htn xok isc gtn wkc vlw jie rux nxs zdo fsr cah mwz aqp sav lsr lyy brs esx tfz nqa pjn wlp cok ckt ehw czn psg wdr syh rqq aui vdf zrk sic rrc lff pzv bqf hzh psc nxi dge jma szi bws piw amk xtq ign whe yef jhn dwy znm you yyt oeb rxv kvg ita quh pan uiy amm cyq lpz fzh ani pns nls dld keq gel grk xif buf gjo jyv tve dnr kfn xkb tjr fze nwg cbo zqd jwd ecn jax vkg kco lwi fup vss yxn xdh zts yux xjr qyl spe qbe fqs xec tdf vub hdx rum dhq bez gfb jhz tnx sjo mye qox iih qax ino jsz mof ivo zwu icf apd fin jnx mmu pzz ulr suz tkb iht byp jnt acb uro kut dir pmg vbi uwh nry lsi jbt xvv agf kvw iqc wiy ajd hgf hvi apj rkg hvf ajl rsu cjc ota tbt rtw syk gcm eaj smt sfj ogi qav adj kek ave jyf pnp cyc ydz hjv xtd dxi pyn ibz eaf oyk old yke unf tcq sgl ebx ikq abg wzd fmn dub yyk auz fjk vtm ulj mes wpn lle lpy qjo kvf ogl rzy csy vjk nur vsr bxk vij hlj tre saf jkc lyk leh unq vog trx mxs dot sbq jxm tmm iew rgh its dby vvs mro qwz nnl eee mfo ogv hpg pgk uop xrq gdp hju gij ktf eel juc hod mby fjl koh kiz hnj duo txl mmp vml whk gls hwh jkb owe iwj ltq lur zov dsb ewv tfj imy yob dhd wio lrc eil yvt qvz jjm oae iis jeg ccf wtx nyr kgj eir drg gxg day dyw xrk fdw agz onb irj hte lvk vmq hfo vbh myz zwl qqd znf voe icn rtb jta iai fqf krh gzw thp vkh gip nle vpp jgh qoh ecg ndu hzc jxq bvh azg wyd aze llt ouz cws kvu ljs vif usn nlb wne nge lbe ahk azo zit zrn laf wmp xks avb qnx kvz xmg lci nxp jpy ngb rsi ynq sbf hqz qbd kpl ucs nye vzy qkr mxg asw tgc cpt xfy bjl gae gmn kpu rky aum jtj yfw afv qfg zed zhu sss ikh brh wfq oor ufn coj twx wtr tuu xmj xcx tpk low koi miq vnf xof sya qya ird vsu mer jvr brv ktp zib xiu gek bqe zho cqb srw ddx mxf ooo bsd wvd dim esr tzs paq phu fkm mon dtx mgf dwb wid ghd ilx mrq vny csj iof bbp qgl csf svy ahv niq vjr lnj llc mhy mkp koe kor cff hkx bfj oxr oxv wjc ngp dpn put fzz ybo vff poi rcz lus srs wec pcu goq vmf qxi mpg smi vhf bfk vdv sme pjm gej xls tmb rij yhh cyn zhr ooi rch qoy mxn crm zpj quu dhm nki jhd koz idp pad mef nqh tvg mmt gmh knr lyd sxe ouo aoi fls btv cjw etn ins ylf ogy zdu lbp mbm hpk rmh ucg mat uci mwm qmg zaw egi lgg ssu azc rfs byh asm tma hkr ebn vbe mqz jhk axh tip xgi qfr jwg kyy ikk uno cid alp wni pqm qbs var mlm cki yhe xea whp vzj tvc bmg zek mzi geq dog bol fhf elq xzt plp fwy cos rub grv cnl zdw fjm gqk lsb epa lkp dmu gtk ugf som xay zai ypm vrz nmr unu jca fko jfo kfl rvk dnn iks igz grb cuu upe jeb tks uin jnl shh oil sei nqo fpm olg uqx get dny dbp vop daj dig mzb lxa wie rkb jzq qea rne ezt ofs qyi zkk bgr aqv ppb hrf xyl rso lcm bph jsp ymx ncp kav fml wuj dqo myp slv cru vjj kuf glm kps jya bov mgh dvc gtj djy mny gec dwg ykp yzc jzx soh izy sdm cwm zkz dyp zjy knc azj ssc moh cym pom jnv ivl sxu xtt zgy qdt xwt sty vyl snt kch mgq fof sdj rsz tni mry zdz cdg ssy ako ydj kmj wvx mdl yrj ikj emb mxe asu kgf lnd iph fzp gdo jtp sva uwj jbl uzl smr ihn swn oiq kbg asg jqo cwb ttd ysd nns xmr mxx ybv ekt gam nho hen ura rcq zth kpt lyx jua ahq xij rft haz pkd vll ish dmk waf rla rbd bft vqw ble egs nwf ypw ehm rnw uxr luf wfz olh doe vql uay tec kui ggt ukg urp upl nmh evt lpn tvu tzx vnr fye pra hzk ecy cak xmp hbb bnk dcc guy drj oox xyt evl fev wiw tfw laa mtb jkl ftk zud dra ydk rrr bpd ycm bdp kis spf jwy mqs hcs ldw pth oyn xch eqr ksi hpq hgt ewz hhn hhd nwi pdt qqk xla xsi ghz dse dfu eqd wjp jds ibs ivb zou ibk sfp vpe qjd xlq qhm kjc ctb pot jdp ttu knx xyj vvr geo tqb sly fpa sxp jlu oma kbp two uyy zrf ine ybg zvg
0 67955840 20190801 '7421' 4 0 1 0 1 0 0 -- 9.8 9.8 9.8 8 0 -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 'null' 'null' 'deventer' 'swormink' '74' -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 7421 -- -- 4 1 3 3 3 1 4 4 1 1 11 4 3 1 4 2 3 1 1 5 3 1 1 1 1 4 52.2459 6.22082 'nl_overijssel_deventer' 'nl_overijssel_deventer_kurkeikweg' 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 1 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 1 0 0 0 1 0 0 1 1 0 0 1 1 1 1 1 0 -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 0 0 0 0 10 17 17 -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- -- 0 0 1
>>> Released, to install:
$ pip install "vaex-core>=4.0.0a11"
# or for the while kitchsink:
$ pip install "vaex>=4.0.0a6"Thanks for sharing that file!
ERROR:MainThread:vaex:error evaluating: column_abc+ at rows 0-5 Traceback (most recent call last): File "/lib/python3.6/site-packages/vaex/dataframe.py", line 3555, in table_part values = dict(zip(column_names, df.evaluate(column_names))) File "/lib/python3.6/site-packages/vaex/dataframe.py", line 2602, in evaluate return self._evaluate_implementation(expression, i1=i1, i2=i2, out=out, selection=selection, filtered=filtered, internal=internal, parallel=parallel, chunk_size=chunk_size) File "/lib/python3.6/site-packages/vaex/dataframe.py", line 5326, in _evaluate_implementation dtypes[expression] = df.data_type(expression, internal=False) File "/lib/python3.6/site-packages/vaex/dataframe.py", line 1985, in data_type dtype = data.dtype AttributeError: 'int' object has no attribute 'dtype'