[rojak-pantau] viva: clean-out the raw_content noise

Sebelumnya raw_content via seperti ini:

>>> response.css('div.detail-content').extract()[0]
u'<div class="detail-content"><style type="text/css">.detail-content img {width:100%;height:100%}</style>\n\t\t\t<p><strong>VIVA.co.id</strong> - Bakal calon gubernur DKI Jakarta, Agus Harimurti Yudhoyono, mengaku mengagumi sosok Pahlawan Nasional, Jenderal (purnawirawan) Abdul Haris Nasution. Ia mengaku banyak belajar mengenal sosok yang lebih dikenal sebagai AH Nasution itu.</p>\r\n\r\n<p>Nasution, katanya, tak hanya sebagai jenderal besar, melainkan juga telah menunjukkan sumbangsihnya sebagai Kepala Staf TNI Angkatan Darat sejak muda, yaitu 32 tahun.</p>\r\n\r\n<p>Saat berusia 35 tahun pun, Nasution telah menulis buku yang dianggap monumental yang berjudul <em>Pokok-pokok Gerilya</em>. Buku itu dibaca banyak tokoh dunia, termasuk tokoh Amerika Serikat.</p>\r\n\r\n<p>"Artinya, usia muda bukan berarti tidak bisa berbuat apa-apa. Justru dengan ini, <em>insya Allah</em> saya bisa mengikuti jejak beliau," kata Agus saat bersilaturahmi dengan keluarga AH Nasution di Jakarta pada Senin, 17 Oktober 2016.</p>
\t\t\t\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<ul class="base-list">\n\t\t\t\t\t\t\t\t<li class="center quarter effect ">\n\t\t\t\t\t\t\t\t\t<div class="wrap_h175_split">\n\t\t\t\t\t\t\t\t\t\t<a href="http://m.news.viva.co.id/terkait/835890/2">\n\t\t\t\t\t\t\t\t\t\t<!-- image -->\n\t\t\t\t\t\t\t\t\t\t<img src="http://cdn-media.viva.id/thumbs2/2016/10/17/5804a3b50c8c4-agus-harimurti-yudhoyonodan-istri-di-pasar-baru-jakarta_83_67.jpg" width="100%">\t\t\t\t\t\t\t\t\t\t</a>\t\n\t\t\t\t\t\t\t\t\t\t<a class="title-other" href="http://m.news.viva.co.id/terkait/835890/2">Agus Harimurti Merasa Belum Populer</a>\t\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t</div>\n\t\t\t\t\t\t\t\t</li>\n\t\t\t\t\t\t</ul>\n\t\t\t\t\t\t<span class="clear20"></span>\t\t\t\t\t\t\r\n\r\n
<p>Berbekal pengalamannya di TNI Angkatan Darat, Agus meyakini dapat mengabdi dengan semangat juang dan rela berkorban sepenuh tenaga kepada bangsa dan negara. Dia mengklaim sanggup membuat perubahan untuk Jakarta.</p>\r\n\r\n<p>"Semua yang akan dilakukan adalah untuk kemaslahatan umat," kata putra sulung Presiden keenam Republik Indonesia, Susilo Bambang Yudhoyono, itu.</p>\r\n\r\n<p>(mus)</p>\r\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\n\t\t\t<!--Editorial Banner-->\n\t\t\t\t<style>\n\t\t\t\t/*.banner-redaksi img{ width: 300px; height: 50px;}*/\n\t\t\t\t</style>\n\t\t\t\t\t\t\t
<!--End Editorial Banner-->\t\n\n\t\t\t<p>\xa9 VIVA.co.id\n\t\t\t\t<a class="share-btn-right shared" href="#"></a>\n\t\t\t</p>\n\t\t\t<span class="clear10"></span>\n\t\t\t<div class="banner">\n\t\t\t\t<!-- kanal-mid -->\n\t\t\t\t<center><!-- /11225321/Mobile-Berita-Middle1 -->\r\n<div id="div-gpt-ad-1453448381047-3">\r\n<script type="text/javascript">\r\ngoogletag.cmd.push(function() { googletag.display(\'div-gpt-ad-1453448381047-3\'); });\r\n</script>\r\n</div>\r\n\r\n</center><span class="clear10"></span>\t\t\t</div>\n\t\t\t<span class="clear10"></span>\n\t\t\t<div id="brand">\n\t\t\t\t<ul>\n\t\t\t\t\t<li>\n\t\t\t\t\t\t<a href="http://m.news.viva.co.id/">\n\t\t\t\t\t\t\t<img width="84%" src="http://cdn-media.viva.id/appaux/v2014/shared/images/logo_news.png">\n\t\t\t\t\t\t</a>\n\t\t\t\t\t</li>\n\t\t\t\t\t<li>\n\t\t\t\t\t\t<a href="http://m.bola.viva.co.id/">\n\t\t\t\t\t\t\t<img width="81%" src="http://cdn-media.viva.id/appaux/v2014/shared/images/logo_bola.png">\n\t\t\t\t\t\t</a>\n\t\t\t\t\t</li>\n\t\t\t\t\t<li>\n\t\t\t\t\t\t<a href="http://m.life.viva.co.id/">\n\t\t\t\t\t\t\t<img width="71%" src="http://cdn-media.viva.id/appaux/v2014/shared/images/logo_life.png">\n\t\t\t\t\t\t</a>\n\t\t\t\t\t</li>\n\t\t\t\t\t<li>\n\t\t\t\t\t\t<a href="http://m.log.viva.co.id/">\n\t\t\t\t\t\t\t<img width="69%" src="http://cdn-media.viva.id/appaux/v2014/shared/images/logo_vlog.png">\n\t\t\t\t\t\t</a>\n\t\t\t\t\t</li>\n\t\t\t\t</ul>\n\t\t\t\t<div class="garis"></div>\n\t\t\t\t\n\t\t\t</div>\n\t\t\t\n\t\t\t<span class="clear10"></span>\n\t\t\t\t\t\t<span class="clear10"></span>\n\n\t</div>'

disitu ada noise seperti HTML comments, CSS style dan lain-lain. Kita bisa gunain XPath untuk membersihkan noise ini, jadi kita dapet raw_content yang lebiih bersih:

>>> xpath_query = '//div[@class="detail-content"]/node()[not(descendant-or-self::comment()|descendant-or-self::style|descendant-or-self::script|descendant-or-self::div|descendant-or-self::span|descendant-or-self::image|descendant-or-self::a[@class="share-btn-right shared"])]'
>>> raw_content = response.xpath(xpath_query).extract()
>>> raw_content = ' '.join([w.strip() for w in raw_content])
>>> raw_content
u' <p><strong>VIVA.co.id</strong> - Bakal calon gubernur DKI Jakarta, Agus Harimurti Yudhoyono, mengaku mengagumi sosok Pahlawan Nasional, Jenderal (purnawirawan) Abdul Haris Nasution. Ia mengaku banyak belajar mengenal sosok yang lebih dikenal sebagai AH Nasution itu.</p>  <p>Nasution, katanya, tak hanya sebagai jenderal besar, melainkan juga telah menunjukkan sumbangsihnya sebagai Kepala Staf TNI Angkatan Darat sejak muda, yaitu 32 tahun.</p>  
<p>Saat berusia 35 tahun pun, Nasution telah menulis buku yang dianggap monumental yang berjudul <em>Pokok-pokok Gerilya</em>. Buku itu dibaca banyak tokoh dunia, termasuk tokoh Amerika Serikat.</p>  <p>"Artinya, usia muda bukan berarti tidak bisa berbuat apa-apa. Justru dengan ini, <em>insya Allah</em> saya bisa mengikuti jejak beliau," kata Agus saat bersilaturahmi dengan keluarga AH Nasution di Jakarta pada Senin, 17 Oktober 2016.</p>   
 <p>Berbekal pengalamannya di TNI Angkatan Darat, Agus meyakini dapat mengabdi dengan semangat juang dan rela berkorban sepenuh tenaga kepada bangsa dan negara. Dia mengklaim sanggup membuat perubahan untuk Jakarta.</p>  <p>"Semua yang akan dilakukan adalah untuk kemaslahatan umat," kata putra sulung Presiden keenam Republik Indonesia, Susilo Bambang Yudhoyono, itu.</p>  <p>(mus)</p>

pyk / rojak

[rojak-pantau] viva: clean-out the raw_content noise #118