Create bigger models and models for lc text

[GoogleCodeExporter]

It would be nice to have bigger models (with more accuracy) and also models for 
lowercase text.

Original issue reported on code.google.com by tbr...@gmail.com on 26 Jan 2011 at 5:37

[GoogleCodeExporter]

I'll try several approaches to improve the detection, includeing your proposal.
Very thanks!

Original comment by nakatani.shuyo on 27 Jan 2011 at 3:19

[GoogleCodeExporter]

Thanks! :-)

Test case:
if you take
String text = "Pressemitteilung vom 26.01.2011 | 13:06 Pressefach: 
SPD-Bundestagsfraktion Koalition stimmt gegen klimafreundliche Landwirtschaft 
Zur heutigen Ablehnung des Antrags \"Herausforderung Klimawandel - 
Landwirtschaft 2050\" der SPD-Bundestagsfraktion im Ausschuss fuer Ernaehrung, 
Landwirtschaft und Verbraucherschutz erklaert die zustaendige 
Berichterstatterin der SPD-Bundestagsfraktion Waltraud Wolff: Klimaschutz hat 
im Handeln der schwarz-gelben Koalition keinen Platz. Heute haben Union und FDP 
im Ausschuss fuer Ernaehrung, Landwirtschaft und Verbraucherschutz ein 
Sofortprogramm abgelehnt, mit dem die groessten Treibhausgasquellen der 
Landwirtschaft geschlossen werden koennten. Statt sich fuer eine nachhaltigere 
und klimaschonendere Landwirtschaft einzusetzen, bleibt die Koalition 
rueckwaertsgewandt. Union und FDP ignorieren den Anteil der Landwirtschaft am 
Ausstoss von Treibhausgasen. Landwirtschaftliche Produktion ist aber nicht 
klimaneutral. Die Trockenlegung von Suempfen und Mooren zur 
landwirtschaftlichen Nutzung, die Abholzung von tropischen, subtropischen und 
borealen Waeldern, der Umbruch von Gruenland und Brachflaechen, der intensive 
Ackerbau mit engen Fruchtfolgen und Monokulturen, der starke Einsatz von 
synthetischen Duengemitteln und die intensive Tierhaltung tragen nachweislich 
zum Klimawandel bei. Deswegen fordern wir in unserem Antrag \"Herausforderung 
Klimawandel - Landwirtschaft 2050\" die groessten Treibhausgasquellen der 
Landwirtschaft mit einem Sofortprogramm zu schliessen. Es gilt den 
Gruenlandumbruch zu unterbinden und die Stickstoffueberschuesse zu begrenzen. 
Zwingend ist weiterhin die Festlegung konkreter Reduktionsziele fuer die 
Landwirtschaft. Es ist Zeit zu handeln. Wir wollen den Anstieg der globalen 
Durchschnittstemperatur auf hoechstens zwei Grad Celsius begrenzen. Fuer Land-, 
Forst- und Fischereiwirtschaft wird selbst dieser Anstieg erhebliche 
Auswirkungen haben. Gerade die Agrarpolitik muss auf das Erreichen der 
Klimaziele draengen. Sie muss notwendige Massnahmen zur Reduzierung der durch 
Nahrungsmittel- und Biomasseproduktion induzierten Emissionen ergreifen. © 
2010 SPD-Bundestagsfraktion Pressestelle Internet: http://www.spdfraktion.de 
E-Mail: presse@spdfraktion.de Tel.: 030/227-5 22 82 Fax: 030/227-5 68 69 Berlin 
- Veröffentlicht von pressrelations Link zur Pressemitteilung: 
http://www.pressrelations.de/new/standard/dereferrer.cfm?r=439267 
[Druckversion] [PDF] [zurück] WEITERE PRESSEMITTEILUNGEN Berner & Mattner und 
Centigrade präsentieren innovative Touch-Interface-Softwarelösungen auf 
embedded world 26.01.2011 | 13:04 | Pressefach: bernermattner München 
(pressrelations) - Mit Touch-Interfaces Industriegeräte besser bedienen 
München, 26.01.2011 – Eine deutlich verbesserte Bedienbarkeit für 
Maschinen- und Gerätesteuerungen über Touch-Interfaces ist das erklärte Ziel 
der Kooperation von Berner & Mattner und Centigrade. Erstmals präsentierten 
die Münchner Software-Experten gemeinsam mit ihrem Partner Centigrade, 
Spezialist für User Interface Design und Usability aus... 
Bundestagsabgeordnete rufen zur Anti-Nazi-Demonstration in Dresden auf 
26.01.2011 | 13:01 | Pressefach: Die Linke. im Bundestag Berlin 
(pressrelations) - In einem Clip auf YouTube kündigen 18 Mitglieder des 
Bundestages - unter ihnen Wolfgang Thierse, Petra Pau und Hans-Christian 
Ströbele - ihre Teilnahme an den Blockaden gegen den Nazi-Aufmarsch in Dresden 
an und rufen zur breiten Beteiligung auf. Anlässlich der Veröffentlichung 
erklären Daniela Kolbe (SPD), Nicole Gohlke (DIE LINKE) und Monika Lazar 
(BÜNDNIS 90/DIE GRÜNEN): \"Wir, drei Bundestag... SPD-Fraktion gegen 
Gesinnungspruefung fuer Demokratieinitiativen 26.01.2011 | 12:57 | Pressefach: 
SPD-Bundestagsfraktion Berlin (pressrelations) - Anlaesslich des Beschlusses 
des Antrags \"Demokratieinitiativen nicht verdaechtigen, sondern foerdern - 
Bestaetigungserklaerung im Bundesprogramm 'Toleranz foerdern - Kompetenz 
staerken' streichen\" durch die SPD-Bundestagsfraktion, der gemeinsam mit der 
Fraktion Buendnis 90/Die Gruenen in den Bundestag eingebracht wird, erklaeren 
der Vizepraesident des Deutschen Bundestags Wolfgang Thierse, und de... 
Röttgen begrüßt EU-Initiative für „Ressourcenschonendes Europa“ -- 
„Ressourceneffizienz ist zentrale Aufgabe der Umweltpolitik“ 26.01.2011 | 
12:55 | Pressefach: Bundesministerium für Umwelt, Naturschutz und 
Reaktorsicherheit (BMU) Berlin (pressrelations) - Bundesumweltminister Norbert 
Röttgen hat die heute vorgestellte Initiative der EU-Kommission für ein 
„ressourcenschonendes Europa“ begrüßt. Darin beschreibt die Kommission 
den Weg zu einem Europa, das die natürlichen Ressourcen effizienter nutzen und 
dadurch eine stabilere Wirtschaft, weniger Umweltschäden und mehr soziale 
Gerechtigkeit erreichen will. „Ressourceneffizienz ist eine zentrale 
Aufgab... HoF-Publikation: International vergleichende Studie zu 
Privatisierungstendenzen im Hochschulwesen 26.01.2011 | 12:53 | Pressefach: HoF 
Wittenberg - Institut für Hochschulforschung (idw) Neoliberale Reformer wollen 
den Staat im Hochschulwesen zurückdrängen. Lehrende und Lernende sollen zu 
Marktteilnehmern werden, die Fachschulung als Dienstleistung handeln. Der Staat 
kann sich aus dem Hochschulwesen aber auch zurückziehen, ohne 
marktwirtschaftlichen Zwängen Raum zu geben. Denn wenn die bürgerrechtliche 
Ordnung an Wirksamkeit gewinnt, wird die Bildung eines jeden zum Int... weiter 
";

and input both this version + lowercase version (concatenated) to your library, 
you get an unknown feature exception. It should be recognized as german.

Original comment by tbr...@gmail.com on 30 Jan 2011 at 4:33

[GoogleCodeExporter]

> you get an unknown feature exception.

It was a bug for a long text detection!
I fixed and uploaded it, so please try the new version.

http://code.google.com/p/language-detection/downloads/list

Very sorry & thanks!

Original comment by nakatani.shuyo on 2 Feb 2011 at 5:41