ORCID / bibtexParseJs

A JavaScript library that parses BibTeX parser.
MIT License
107 stars 39 forks source link

Add UTF-8 support #27

Open Zack-83 opened 5 years ago

Zack-83 commented 5 years ago

When trying to import references in .BIB format containing non-ASCII characters with UTF-8 encoding, the non-ASCII characters are completely lost!

Here is a simple example:

% IMPORTANT: The following is UTF-8 encoded.  This means that in the presence
% of non-ASCII characters, it will not work with BibTeX 0.99 or older.
% Instead, you should use an up-to-date BibTeX implementation like �bibtex8� or
% �biber�.

@INPROCEEDINGS{Lanza:863153,
      author       = {Lanza, Giacomo and Meier, Joachim and Wiedenh�fer, Thomas
                      and Schwardmann, Ulrich},
      title        = {{I}mplementierung der {FAIR}-{P}rinzipien im
                      {F}orschungsdatenmanagement: eine {T}erminologiebasierte
                      {S}trategie f�r die inhaltliche {B}eschreibung numerischer
                      {F}aktendatens�tze},
      volume       = {23},
      address      = {J�lich},
      publisher    = {Forschungszentrum J�lich GmbH Zentralbibliothek, Verlag},
      reportid     = {FZJ-2019-03252},
      isbn         = {978-3-95806-405-8},
      series       = {Schriften des Forschungszentrums J�lich Reihe Bibliothek /
                      Library},
      pages        = {79-90},
      year         = {2019},
      comment      = {Forschungsdaten - Sammeln, sichern, strukturieren},
      booktitle     = {Forschungsdaten - Sammeln, sichern,
                       strukturieren},
      abstract     = {In der Open Science-�konomie stellen numerische
                      Faktendaten eine gro�e Herausforderung f�r die praktische
                      Umsetzung der vier FAIR-Prinzipien dar. Dies resultiert
                      einerseits aus einer un�berschaubar gro�en Anzahl von
                      Datens�tzen und andererseits aus einer gro�en Vielfalt an
                      in unterschiedlichen Disziplinen verwendeten
                      Datenstrukturen. Diese Heterogenit�t erschwert den
                      Vergleich von Forschungsdatenstrukturen unterschiedlichen
                      Ursprungs, sowie die Festlegung eines einheitlichen
                      Standards zu ihrer Beschreibung mittels Metadaten.
                      Beispielsweise sieht das gebr�uchliche
                      DataCite-Metadatenschema keine Felder f�r eine detaillierte
                      Beschreibung zus�tzlich zur Angabe frei zu vergebender �
                      und damit unkontrollierter � Schlagworte vor. Vor diesem
                      Hintergrund ist bereits die erste Stufe der FAIR-Prinzipien,
                      die Auffindbarkeit (Findability), nur unzureichend zu
                      realisieren. Zielgerichtetes, feingranulares Suchen und
                      pr�zises Finden au fDatenrepositorien-�bergreifender Ebene
                      ist aktuell nicht m�glich. [...]},
      month         = {Jun},
      date          = {2019-06-04},
      organization  = {8. Konferenz der Zentralbibliothek,
                       Forschungszentrum J�lich, J�lich
                       (Germany), 4 Jun 2019 - 6 Jun 2019},
      pnm          = {899 - ohne Topic (POF3-899)},
      pid          = {G:(DE-HGF)POF3-899},
      typ          = {PUB:(DE-HGF)8 / PUB:(DE-HGF)7},
      url          = {https://juser.fz-juelich.de/record/863153},
}

Thanks in advance, Giacomo

QuentinRoy commented 4 years ago

I do not think it is an issue with this library. It works fine for me.