bitbot-irc / bitbot

https://bitbot.dev | Python3 event-driven modular IRCv3 bot 🤖
GNU General Public License v2.0
136 stars 50 forks source link

Long (Nitter) RSS-feeds getting (more...)ed #174

Open Mikaela opened 5 years ago

Mikaela commented 5 years ago
2019-10-09T23:26:15+0300 bittibotti (Notice) [RSS] Helsingin piraatit / @pp_Helsinki: RT: Valtuustoryhmälive Helsingin kaupungintalolta nyt: keskustelemme kaupunginvaltuuston tämän päivän asialistasta as usual. (more...)
2019-10-09T23:26:15+0300 bittibotti (Notice) [RSS] Helsingin piraatit / @pp_Helsinki: Asutko Toukolassa, Arabiassa tai Kontulassa? Tänään <a href="nitter.snopyta.org/search?q=%23helvaltuusto">#helvaltuusto</a>:ssa käsitellään sinun asuinalueesi asioita.  (more...)
2019-10-09T23:26:16+0300 bittibotti (Notice) [RSS] Helsingin piraatit / @pp_Helsinki: RT: Hei kiitos kaikille. Muutama tunti sitten ylitettiin 25k allekirjoituksia ja parin tunnin sisällä tullut 100 allekirjoitusta lisää! Kyllä <a href="nitter.snopyta.org/search?q=%23suomitwitter">#suomitwitter</a> on näyttänyt, että täälläkin tavoittaa ihmisiä! (more...)

Feed address: https://nitter.snopyta.org/pp_helsinki/rss

I think the expected result would be the feed being shown in its entirely without the (more...) prompt and I guess the html should be stripped off.

jesopo commented 5 years ago

this isn't actually that simple. Nitter is putting linebreaks (and very long strings) in their titles. e.g.:

  <title>RT: Puhuin &lt;a href=&quot;nitter.snopyta.org/search?q=%23helvaltuusto&quot;&gt;#helvaltuusto&lt;/a&gt;&amp;apos;ssa kaupungin tarjoamien eläintuotteiden korvaamisesta 🐄▶️🍀

+ Kaupunki kehittämään elintarviketeollisuuden kanssa edullisempia kasvisvalmisteita
+ Kun osa lihasta korvataan kasveilla, voidaan loput korvata kotimaisella kalalla
+ Kasvi&amp;quot;maidot&amp;quot; oletukseksi</title>
Mikaela commented 5 years ago

Parts of this issue are still happening, at least the part in the issue title, so I would like to request reopening.

<bittibotti> [RSS] Helsingin piraatit / @pp_Helsinki: RT: "Koko eteläinen Suomi huutaa lisää puuta kattiloihinsa" Bioenergialaitosten määrän lisääntyessä on kuitenkin selvää, että bioenergian kysyntä 2020-luvun loppupuolella on suurempi kuin kestävä tarjonta. #ilmastonmuutos #bioenergia #NytonPakko? https://yle.fi/uutiset/3-10766814 by @Piraattipuolue - (more...)

<bittibotti> [RSS] Helsingin piraatit / @pp_Helsinki: RT: "Det finns jättemånga frågor nu som är helt centrala för oss och där vi har kunskap och svar som andra partier inte har." Intervju med Piratpartiets tillträdande partiledare @stenssok i @altingetRikspol: https://www.altinget.se/rikspolitik/artikel/ny-kapten-ska-faa-piratpartiets-skuta-paa-ratt-kol-igen?toke=7fb2f3bcacdd495faacc47418d1e9536 (more...)

Edit: Version: v1.13.0 (9958c916)

Mikaela commented 5 years ago

@jesopo ping?

jesopo commented 5 years ago

sorry, completely missed this update. not sure what can be done about this? it's getting cut off because bitbot has decided the byte count exceeds the maximum for a single IRC line

Mikaela commented 4 years ago

Another good RSS feed to reproduce this with is Finnish institute for health and wellbeing (THL) who love wordy titles.

E.g.

<b​ittibotti> [RSS] THL's press releases and news: THL and Solita publish Koronavilkku source code - open source to facilitate independent evaluation of the application by Eija Petäjäjärvi - (more...