search

taspinar / twitterscraper

Scrape Twitter for Tweets
MIT License
2.39k stars 579 forks source link

CSV with line breaks breaks format #247

Open Vichoko opened 4 years ago

Vichoko commented 4 years ago

When the tweet text has line jumps it breaks the csv format by introducing more lines .

For example, this is an extract of the following call: twitterscraper sut -o tmp\twitter-scraper\tw_sut_2019-12-10.csv -bd 2019-12-10 -ed 2019-12-11 --lang es -c

"screen_name";"username";"user_id";"tweet_id";"tweet_url";"timestamp";"timestamp_epochs";"text";"text_html";"links";"hashtags";"has_media";"img_urls";"video_url";"likes";"retweets";"replies";"is_replied";"is_reply_to";"parent_tweet_id";"reply_to_users"

"sute_16";"Sut ⎊";"367273631";"1204535068812812289";"/sute_16/status/1204535068812812289";"2019-12-10 22:55:14";1576018514;"Si alguna vez vuelvo a estar con alguien, debería estar enamorada de los primeros 40 segundos de esta canción.
https://youtu.be/scXVOXBbkXw 
@JMarquesSoprano @VicMirallas";"<p class=""TweetTextSize js-tweet-text tweet-text"" data-aria-label-part=""0"" lang=""es"">Si alguna vez vuelvo a estar con alguien, debería estar enamorada de los primeros 40 segundos de esta canción.
<a class=""twitter-timeline-link"" data-expanded-url=""https://youtu.be/scXVOXBbkXw"" dir=""ltr"" href=""https://t.co/p2K3cif5rE"" rel=""nofollow noopener"" target=""_blank"" title=""https://youtu.be/scXVOXBbkXw""><span class=""tco-ellipsis""></span><span class=""invisible"">https://</span><span class=""js-display-url"">youtu.be/scXVOXBbkXw</span><span class=""invisible""></span><span class=""tco-ellipsis""><span class=""invisible""> </span></span></a>
<a class=""twitter-atreply pretty-link js-nav"" data-mentioned-user-id=""419778712"" dir=""ltr"" href=""/JMarquesSoprano""><s>@</s><b>JMarquesSoprano</b></a> <a class=""twitter-atreply pretty-link js-nav"" data-mentioned-user-id=""363611901"" dir=""ltr"" href=""/VicMirallas""><s>@</s><b>VicMirallas</b></a></p>";"['https://youtu.be/scXVOXBbkXw']";"[]";False;"[]";"";1;0;0;False;False;"";"[]"

"sute_16";"Sut ⎊";"367273631";"1204534350982852608";"/sute_16/status/1204534350982852608";"2019-12-10 22:52:23";1576018343;"Puré nostálgico.

Ni mola siquiera, qué tristeza.https://twitter.com/Sigval_Ironclaw/status/1197842405858381824 …";"<p class=""TweetTextSize js-tweet-text tweet-text"" data-aria-label-part=""4"" lang=""es"">Puré nostálgico.

Ni mola siquiera, qué tristeza.<a class=""twitter-timeline-link u-hidden"" data-expanded-url=""https://twitter.com/Sigval_Ironclaw/status/1197842405858381824"" dir=""ltr"" href=""https://t.co/uI9pdXSrAt"" rel=""nofollow noopener"" target=""_blank"" title=""https://twitter.com/Sigval_Ironclaw/status/1197842405858381824""><span class=""tco-ellipsis""></span><span class=""invisible"">https://</span><span class=""js-display-url"">twitter.com/Sigval_Ironcla</span><span class=""invisible"">w/status/1197842405858381824</span><span class=""tco-ellipsis""><span class=""invisible""> </span>…</span></a></p>";"['https://twitter.com/Sigval_Ironclaw/status/1197842405858381824']";"[]";False;"[]";"";0;0;0;False;False;"";"[]"

"InqRodrigo";"SinKing.Rodri™";"1036394499101130755";"1204528479083077633";"/InqRodrigo/status/1204528479083077633";"2019-12-10 22:29:03";1576016943;"Message to:

1. Mejor que no la verdad
2. Me dais igual muy fuerte
3. You are an angel
4. Hermanos de otra madre
5. Comeme la boca
6. Keep it up girl
7. Ha funcionado está vivo
8. Ya'll sut tf up
9. Eres la definición de ser de luz
10. Hermanos hasta el infierno

Drop an emoji";"<p class=""TweetTextSize js-tweet-text tweet-text"" data-aria-label-part=""0"" lang=""es"">Message to:

1. Mejor que no la verdad
2. Me dais igual muy fuerte
3. You are an angel
4. Hermanos de otra madre
5. Comeme la boca
6. Keep it up girl
7. Ha funcionado está vivo
8. Ya'll <strong>sut</strong> tf up
9. Eres la definición de ser de luz
10. Hermanos hasta el infierno

Drop an emoji</p>";"[]";"[]";False;"[]";"";0;0;0;False;False;"";"[]"

"SaludOcupacionR";"Salud Ocupacional";"837008432049827840";"1204524301686325248";"/SaludOcupacionR/status/1204524301686325248";"2019-12-10 22:12:27";1576015947;"Gestionando el cumplimiento legal en el SUT para las empresas
http://www.clinicadeltrabajador.ec  https://www.instagram.com/p/B56IGNoBL9J/?igshid=1819o4vdcfakf …";"<p class=""TweetTextSize js-tweet-text tweet-text"" data-aria-label-part=""0"" lang=""es"">Gestionando el cumplimiento legal en el <strong>SUT</strong> para las empresas
<a class=""twitter-timeline-link"" data-expanded-url=""http://www.clinicadeltrabajador.ec"" dir=""ltr"" href=""https://t.co/TOAQ2E8RzE"" rel=""nofollow noopener"" target=""_blank"" title=""http://www.clinicadeltrabajador.ec""><span class=""tco-ellipsis""></span><span class=""invisible"">http://www.</span><span class=""js-display-url"">clinicadeltrabajador.ec</span><span class=""invisible""></span><span class=""tco-ellipsis""><span class=""invisible""> </span></span></a> <a class=""twitter-timeline-link"" data-expanded-url=""https://www.instagram.com/p/B56IGNoBL9J/?igshid=1819o4vdcfakf"" dir=""ltr"" href=""https://t.co/uK3Cue5x3P"" rel=""nofollow noopener"" target=""_blank"" title=""https://www.instagram.com/p/B56IGNoBL9J/?igshid=1819o4vdcfakf""><span class=""tco-ellipsis""></span><span class=""invisible"">https://www.</span><span class=""js-display-url"">instagram.com/p/B56IGNoBL9J/</span><span class=""invisible"">?igshid=1819o4vdcfakf</span><span class=""tco-ellipsis""><span class=""invisible""> </span>…</span></a></p>";"['http://www.clinicadeltrabajador.ec', 'https://www.instagram.com/p/B56IGNoBL9J/?igshid=1819o4vdcfakf']";"[]";False;"[]";"";0;0;0;False;False;"";"[]"

"SindicatoSUT";"Sindicato SUT";"2869517082";"1204520342867365889";"/SindicatoSUT/status/1204520342867365889";"2019-12-10 21:56:43";1576015003;"@SindicatoSUT junto a @Fesuc_Chile y @Suplant_codelco http://dd.ss . SIIL en reunión con jurídico @Cutchile. Presentando antecedentes para queja en @OITconosur contra codelco por criminalización de http://DD.SS pic.twitter.com/MMT4GsCJ3Z";"<p class=""TweetTextSize js-tweet-text tweet-text"" data-aria-label-part=""0"" lang=""es""><a class=""twitter-atreply pretty-link js-nav"" data-mentioned-user-id=""2869517082"" dir=""ltr"" href=""/SindicatoSUT""><s>@</s><b>SindicatoSUT</b></a> junto a <a class=""twitter-atreply pretty-link js-nav"" data-mentioned-user-id=""4097807722"" dir=""ltr"" href=""/Fesuc_Chile""><s>@</s><b>Fesuc_Chile</b></a> y <a class=""twitter-atreply pretty-link js-nav"" data-mentioned-user-id=""949487904321163265"" dir=""ltr"" href=""/Suplant_codelco""><s>@</s><b>Suplant_codelco</b></a> <a class=""twitter-timeline-link"" data-expanded-url=""http://dd.ss"" dir=""ltr"" href=""https://t.co/TvkKrwiGjy"" rel=""nofollow noopener"" target=""_blank"" title=""http://dd.ss""><span class=""tco-ellipsis""></span><span class=""invisible"">http://</span><span class=""js-display-url"">dd.ss</span><span class=""invisible""></span><span class=""tco-ellipsis""><span class=""invisible""> </span></span></a>. SIIL en reunión con jurídico <a class=""twitter-atreply pretty-link js-nav"" data-mentioned-user-id=""289376883"" dir=""ltr"" href=""/Cutchile""><s>@</s><b>Cutchile</b></a>. Presentando antecedentes para queja en <a class=""twitter-atreply pretty-link js-nav"" data-mentioned-user-id=""3544290615"" dir=""ltr"" href=""/OITconosur""><s>@</s><b>OITconosur</b></a> contra codelco por criminalización de <a class=""twitter-timeline-link"" data-expanded-url=""http://DD.SS"" dir=""ltr"" href=""https://t.co/TRwHMUBCWi"" rel=""nofollow noopener"" target=""_blank"" title=""http://DD.SS""><span class=""tco-ellipsis""></span><span class=""invisible"">http://</span><span class=""js-display-url"">DD.SS</span><span class=""invisible""></span><span class=""tco-ellipsis""><span class=""invisible""> </span></span></a><a class=""twitter-timeline-link u-hidden"" data-pre-embedded=""true"" dir=""ltr"" href=""https://t.co/MMT4GsCJ3Z"">pic.twitter.com/MMT4GsCJ3Z</a></p>";"['http://dd.ss', 'http://DD.SS']";"[]";True;"['https://pbs.twimg.com/media/ELdQ0GjWwAAbU-k.jpg', 'https://pbs.twimg.com/media/ELdQ2MsWsAAYrb2.jpg', 'https://pbs.twimg.com/media/ELdQ3RJWsAAjfj8.jpg']";"";2;2;1;True;False;"";"[]"

"sute_16";"Sut ⎊";"367273631";"1204520260130529280";"/sute_16/status/1204520260130529280";"2019-12-10 21:56:23";1576014983;"Enorme noticia la machada del Valencia en Amsterdam. 
Y de este encuentro... candidato serio este Inter para la UEL";"<p class=""TweetTextSize js-tweet-text tweet-text"" data-aria-label-part=""0"" lang=""es"">Enorme noticia la machada del Valencia en Amsterdam. 
Y de este encuentro... candidato serio este Inter para la UEL</p>";"[]";"[]";False;"[]";"";0;0;0;False;False;"";"[]"

"sute_16";"Sut ⎊";"367273631";"1204518068141133824";"/sute_16/status/1204518068141133824";"2019-12-10 21:47:40";1576014460;"Joder qué golazo de Ansu Fati";"<p class=""TweetTextSize js-tweet-text tweet-text"" data-aria-label-part=""0"" lang=""es"">Joder qué golazo de Ansu Fati</p>";"[]";"[]";False;"[]";"";0;0;0;False;False;"";"[]"

Expected

Each line should have one tweet.