plaintext optimizations

[cbleek]

Currently the following string gets stored in solr:

Encoding is wrong: example: Sprüngli.

   ` "html":"Menu Shop Inspiration Sprüngli Welt Standorte Kontakt Suche Suche Suche Reset My Sprüngli My Sprüngli Mein Konto Anmelden oder Registrieren Passwort Anmelden Passwort vergessen? Registrieren 0 0 Warenkorb ist leer Sie haben keine Artikel im Warenkorb. Weiter einkaufen DE Schließen Sortiment Chlausgeschenke Weihnachtsgeschenke Luxemburgerli ® Pralinés & Truffes Naschprodukte Tafelschokoladen Geschenkpakete & Arrangements Cakes & Torten Pâtisserie & Dessert Sandwiches & Gebäck Salate & Birchermüesli Apéro Canapé Glace Saisonal Osterhasen Ostereier Ostergeschenke Valentinstag Muttertagsgeschenke Aktuelles Saisonales Angebot Petits Plaisirs-Collection Shop entdecken Apéro Business-Lunch Chlaus Cuba Firmengeschenke Geburtstag Geburt & Taufe Hochzeit Luxemburgerli Muttertag Neuheiten Ostern Schokolade aus Bergheumilch Valentinstag Weihnachten Inspiration entdecken Treueprogramm Petits Plaisirs Aktuelles Broschüren Firmenkunden Geschichte Medien Partnerschaft mit Art Museums of Switzerland Handwerkskunst Individualisierung Kaffeekultur/Gastronomie Stellen bei Sprüngli Sprüngli-Klassiker Verantwortung Zutaten & Herkunft Sprüngli Welt entdecken Search My Sprüngli Settings Shop Sortiment Chlausgeschenke Weihnachtsgeschenke Luxemburgerli ® Pralinés & Truffes Naschprodukte Tafelschokoladen Geschenkpakete & Arrangements Cakes & Torten Pâtisserie & Dessert Sandwiches & Gebäck Salate & Birchermüesli Apéro Canapé Glace Saisonal Osterhasen Ostereier Ostergeschenke Valentinstag Muttertagsgeschenke Aktuelles Saisonales Angebot Petits Plaisirs-Collection Inspiration Chlaus Luxemburgerli Apéro Business-Lunch Cuba Firmengeschenke Geburtstag Geburt & Taufe Hochzeit Muttertag Neuheiten Ostern Schokolade aus Bergheumilch Valentinstag Weihnachten Sprüngli Welt Treueprogramm Petits Plaisirs Aktuelles Broschüren Firmenkunden Geschichte Medien Partnerschaft mit Art Museums of Switzerland Handwerkskunst Individualisierung Kaffeekultur/Gastronomie Stellen bei Sprüngli Sprüngli-Klassiker Verantwortung Zutaten & Herkunft Standorte Kontakt Home ... ... Sprüngli WeltStellen bei SprüngliUnsere StellenangeboteDetailhandelsfachfrauShopInspirationSprüngli WeltStandorteKontaktDetailhandelsfachfrau80-100%, Zürich Flughafen Arbeiten bei Sprüngli Das 1836 gegründete Schweizer Familienunternehmen zählt heute mit seinem erlesenen Sortiment zu den renommiertesten Confiserien Europas. Die Produkte aus dem Hause Sprüngli stehen für beste Qualität, einmalige Frische und Natürlichkeit. Die vollendeten Kreationen bringen täglich Kundinnen und Kunden aus aller Welt ins Schwärmen. Zur Verstärkung des Teams unserer Filiale im Airside Center am Flughafen Zürich suchen wir eine engagierte und begeisterte Detailhandelsfachfrau 80-100% mit Ausstrahlung für den Verkauf unserer liebevoll hergestellten Köstlichkeiten. Sie bringen mit:abgeschlossene Ausbildung als Detailhandelsfachfrau EFZ und/oder Verkaufserfahrung im Detailhandel (vorzugsweise Confiserie- oder Lebensmittelbranche)hohe Dienstleistungsbereitschaft und Freude an internationaler Kundschaftgepflegtes Erscheinungsbild und gute Umgangsformengute mündliche Englischkenntnisse, weitere Fremdsprachen von Vorteilhohe Flexibilität bezüglich Arbeitszeiten (Schichteinsätze zwischen 5.30 und 22.30 Uhr sowie 2 bis 3 Wochenend-Einsätze pro Monat)Wir bieten Ihnen eine abwechslungsreiche Tätigkeit in einem gepflegten Umfeld, interessante Entwicklungsmöglichkeiten und attraktive Anstellungsbedingungen. Sind Sie interessiert? Dann freuen wir uns über Ihre elektronische Bewerbung anbewerbung@spruengli.ch. Online Bewerben Einstellungen Deutsch / CHF GutscheinJetzt einlösen NewsletterHier anmelden Haben Sie Fragen? Sie erreichen uns Mo. - Fr. von 8.00 Uhr - 12.00 Uhr und 13.00 Uhr - 17.00 Uhr unter +41 44 224 46 46. Kostenloser Versand schweizweit ab CHF 60.-Kauf auf Rechnung ab CHF 75.-Gratis GrusskarteInternationaler VersandSicheres Zahlen mit SSLAbholung in einer FilialeKäufer- und Datenschutz Sprüngli OnlineshopShopInspirationSprüngli-WeltStandorteKontaktÃœber UnsAktuellesOffene StellenBroschürenFirmenkundenOnlineshopLieferbedingungenZahlungsbedingungenRückgaberechtHilfe & FAQMein KontoÃœbersichtAdressbuchBestellungen Facebook Google+ © 2017 Confiserie Sprüngli AGBahnhofstrasse 21, 8001 Zürich, Schweiz AGBAGB TreueprogrammImpressumKontaktAlle Preise inkl. MwSt. Schließen Einstellungen Bitte wählen Sie hier Ihre bevorzugte Sprache und Währung. Deutsch Englisch Französisch EUR CHF USD Speichern Newsletter Zum Newsletter anmelden HerrFrau Vorname Nachname email Speichern '; $(error_message).hide().appendTo($(this).closest('div')).fadeIn(1000); } } else { if($(this).closest('div').hasClass('has-error') && !$(this).closest('div').hasClass('email-error')) { removeError($(this)); } if($(this).hasClass('validate-email')) { if(!emailValidation($(this).val())) { form_error = true; if(!$(this).closest('div').hasClass('email-error')) { $(this).addClass('validation-failed'); $(this).closest('div').addClass('has-error').addClass('email-error'); var error_message = 'Bitte geben Sie eine gültige E-Mail Adresse ein. Zum Beispiel johndoe@domain.de.'; $(error_message).hide().appendTo($(this).closest('div')).fadeIn(1000); } } else { if($(this).closest('div').hasClass('email-error')) { removeError($(this)); } } } } }); function removeError(element) { $(element).removeClass('validation-failed'); $(element).closest('div').removeClass('has-error').removeClass('email-error'); $(element).closest('div').find('.validation-advice').fadeOut(1000).remove(); } function emailValidation(email) { var pattern = /^([a-z\\d!#$%&'*+\\-\\/=?^_`{|}~\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]+(\\.[a-z\\d!#$%&'*+\\-\\/=?^_`{|}~\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]+)*|\"((([ \\t]*\\r\\n)?[ \\t]+)?([\\x01-\\x08\\x0b\\x0c\\x0e-\\x1f\\x7f\\x21\\x23-\\x5b\\x5d-\\x7e\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]|\\\\[\\x01-\\x09\\x0b\\x0c\\x0d-\\x7f\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]))*(([ \\t]*\\r\\n)?[ \\t]+)?\")@(([a-z\\d\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]|[a-z\\d\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF][a-z\\d\\-._~\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]*[a-z\\d\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF])\\.)+([a-z\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]|[a-z\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF][a-z\\d\\-._~\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF]*[a-z\\u00A0-\\uD7FF\\uF900-\\uFDCF\\uFDF0-\\uFFEF])\\.?$/i; return pattern.test(email); } if(form_error) { return false; } $('.icon-close-s-white:first').click(); var url = form.attr('action'); if ( !url ) return; $.ajax({ url : url, method : 'POST', data : form.serializeArray() }).done(function(data){ if (data.length){ var buttonSet = $('.ajaxpro-buttons-set:first'); if ( buttonSet.length ) { buttonSet.remove(); } var fakeMessage = '' + '' + 'Schließen' + '' + '' + '' + '' + '' + '' + 'Sie wurden erfolgreich für den Newsletter angemeldet' + '' + '' + '' + ''; if ( $('#ajaxpro-notice-form-typo').length ) { $('#ajaxpro-notice-form-typo').remove(); } $(body).append($(fakeMessage).center()); } }); }); })(jQuery) } } //]]>"}]`

[cbleek]

All HTML Parsing should be done by solr. I'm sure solr knows how to index HTML. But since we are not knowing, how solr have to be configured to do it right, we have to parse in PHP

Done in https://github.com/yawik/SimpleImport/commit/9d9d8db3d2ac3d40cd0a29ff08a78a4440be887c