Catmandu dropping non-latin fields when exporting as MARCMaker

[jorol]

https://github.com/LibreCat/Catmandu/issues/383#issue-1015989600

[jorol]

By default Catmandu exports to UTF-8. Perhaps we should export MARCMaker data also as UTF-8 with usage of MARC::Charset or create a new exporter Catmandu::Exporter::MARC::Line, like yaz-marcdump with option -o line:

$ yaz-marcdump -i marc -o line oschrift_me.mrc 
03579cam a22003138i 4500
001 9789264310032-ar
003 FR-PaOEC
005 20201001000000.0
006 a     o  d i      
007 cr || |||m|n||
008 181201s2019    |||     o    i|0| 0 ara d
020    $a 9789264310032
035    $a (FR-PaOEC)
040    $a FR-PaOEC
110 2  $a Organisation for Economic Co-operation and Development.
245 10 $a منطقة الشرق الأوسط وشمال أفريقيا المتوسطية 2018 $h [electronic resource]: $b التقييم المرحلي للإصلاحات المتعلقة بالمشاريع الصغيرة والمتوسطة الحجم / $c Organisation for Economic Co-operation and Development, European Union and European Training Foundation
260    $a Paris : $b OECD Publishing, $c 2019.
300    $a 148 p. ; $c 21 x 28cm.
520 3  $a يقدم هذا التقرير تحليلاً معمقاً للإصلاحات الرئيسية التي أجريت بين 2014 و2018 التي تهدف إلى تشجيع تنمية المشاريع المتناهية الصغر والصغيرة والمتوسطة الحجم في الجزائر ومصر وإسرائيل والأردن ولبنان والمغرب والأراضي الفلسطينية وتونس. يركز التقرير على خمس مجالات استراتيجية لصياغة سياسات المشاريع الصغيرة والمتوسطة الحجم: تعاريف المشاريع الصغيرة والمتوسطة الحجم والإحصاءات والمؤسسات المتعلقة بها؛ تحسين بيئات العمل للمشاريع الصغيرة والمتوسطة الحجم ورواد الأعمال؛ تعزيز الوصول إلى التمويل؛ رعاية نمو الشركات الناشئة والمشاريع الصغيرة والمتوسطة الحجم؛ وتنمية رأس المال البشري الريادي. يهدف التقرير إلى عرض الممارسات الجيدة والإشارة إلى المناطق التي تحتاج إلى بذل المزيد من الجهود. ويوفر إرشادات قيمة للحكومات ومنظمات القطاع الخاص والهيئات المتعددة الأطراف وغيرها من أصحاب المصلحة لتكثيف الجهود لدعم المشاريع الصغيرة والمتوسطة الحجم كأدوات أساسية لخلق الوظائف والقدرة التنافسية. ويكتسي ذلك أهمية خاصة في منطقة تسعى إلى تعزيز التنوع الاقتصادي وخلق فرص العمل وإشراك الشباب والنساء في الاقتصاد. إن التقرير هو نتيجة لعملية تعاون وثيق بين الحكومات، ومنظمة التعاون والتنمية الاقتصادية، ومؤسسة التدريب الأوروبية والمفوضية الأوروبية
650  4 $a Finance and Investment
650  4 $a Governance
650  4 $a Development
650  4 $a Trade
650  4 $a Industry and Services
710 2  $a European Union.
710 2  $a European Training Foundation.
775 0  $t Politiques en faveur des PME : Moyen-Orient méditerranéen et Afrique du Nord 2018 : Évaluation intermédiaire des principales réformes en faveur des PME $z 9789264307612 $z 9789264308305 $z 9789264308299 $e fre
775 0  $t The Mediterranean Middle East and North Africa 2018: Interim Assessment of Key SME Reforms $z 9789264304161 $z 9789264306653 $z 9789264306646 $e eng
856 40 $a oecd-ilibrary.org $u https://doi.org/10.1787/9789264310032-ar

[phochste]

Both options seems to make sense to me: Utf-8 default in MARCMaker (prob with a command line option in case one want to fall back on an other charset) and adding an extra MARC::Line exporter.

[phochste]

The problems seems to be in the MARC::File::MARCMaker code itself that deletes a range of special characters before we get the chance to turn them into UTF8...

[jorol]

Yes, I also looked at it and found no solution with MARC::File::MARCMaker and its configuration...

[phochste]

I keep this open for your MARC::Line implementation @jorol

[jorol]

Add support for MARC Line with #114.