sul-dlss / dlme-airflow

This is a new repository to capture the work related to the DLME ETL Pipeline and establish airflow
Apache License 2.0
1 stars 0 forks source link

Remove ### characters from harvest output #406

Closed jacobthill closed 1 year ago

jacobthill commented 1 year ago

At one point, quotation marks were mapped to ### to get around some parsing issues. These characters are still showing up in QNL json harvest output. They need to be removed.

{"agg_data_provider_collection":{"en":["Gulf Records (British Library)"],"ar-Arab":["سجلات الخليج (المكتبة البريطانية)"]},"cho_title":{"ar-Arab":["الجزء الشرقي من وادي منى.### تصوير: السيد عبد الغفّار"]},"cho_date":{"en":["1886/1889"]},"cho_date_range_norm":[1886],"cho_date_range_hijri":[1303,1304],"cho_dc_rights":{"ar-Arab":["المُلكية العامة"]},"cho_description":{"en":["Abstract: النوع/الموضوع:مشهد لمنظر طبيعي يظهر فيه ###الجزء الشرقي من وادي منى### من موقع مرتفع، على بعد سبعة كيلومترات شرقي المسجد الحرام في مكة. وتعتبر مِنى إحدى شعائر الحج، حيث يبيت الحجاج بها في اليوم الثامن، والحادي عشر، والثاني عشر (والبعض في الثالث عشر) من\n                           ذي الحجة، كما هو واضح في الصورة.يمين وسط الصورة، وعلى طول الأفق، تظهر ثمانية أقواس في مبنى شاحب اللون. لا تظهر أية هياكل دائمة أخرى، إلا أن بقية السهل الذي يستحوذ على وسط خلفية الصورة منقط بالعديد من الخيام والأشخاص ودواب الحمل مثل الخيول والإبل والحمير. تظهر قطعان صغيرة من الخراف أو الماعز في مقدمة الصورة على يمين وسط الصورة.تظهر سلسلة من التلال على طول الأفق، مع وجود أعلى نقطة على يمين الوسط.نص عربي مكتوب على الصورة مباشرةً تم مسحه بعناية، ولكن يُمكن رؤيته بالفحص الدقيق في أسفل يسار الصورة وفي منطقة السماء الوسطى من الصورة.هذه هي الصورة الثانية من أربع صور تم التقاطها من نفس المنظور، وتُشكل معًا منظرًا بانوراميًا للوادي. الصورة الأولى هي X463/11.تذييل:فوق الصورة، على اليمين، بالحبر: ###XI###السياق الزمني:وفقًا لما ذكره دوركيه فان دير فال في كتابه\n                           Christiaan Snouck Hurgronje: The First Western Photographer in Mecca, 1884-1885(Amsterdam : Manfred & Hanna Heiting Fund, Rijksmuseum, 2011, pp. 42-51)، الصور المتعلقة بالحج (بما فيها هذه الصورة) في هذا الإصدار يُرجح أن تعود إلى أغسطس ١٨٨٨ لأنها كانت فترة الحج الأخير قبل فبراير ١٨٨٩، التاريخ الذي تسلّم فيه كريستيان سنوك هرخرونيه الدفعة الأخيرة من الصور.","Physical description: الأبعاد:١٨٦ × ٢٤٣ ممالتنسيق:مطبوعة ضوئية جيلاتينية، مُلصقة في المُجلّدالحالة:الطباعة بحالة جيدة مع وجود اتساخات طفيفة وتآكل خفيف في أنحاء الصورة.ترقيم الأوراق:###XI###المعالجة:صورة ضوئية جيلاتينية"],"ar-Arab":["ملخص: Genre/Subject Matter:This landscape view shows ‘the eastern part of valley of Muna (Mina)’ from an elevated position, seven kilometres east of the Masjid al-Haram in Mecca. Muna (Mina) is a station of the hadj, where pilgrims camp out on the 8th, 11th, 12th (and some on the 13th) of\n                           Dhul-Hijjah, as can be seen in this image.Right of centre, along the horizon, eight arches are set into a pale-coloured building. Otherwise no other permanent structures are evident, however, the rest of the flat plain that takes up the middle ground is dotted with many and varying tents, people, beasts of burden, such as horses, camels and donkeys. Small flocks of sheep or goats are visible in the foreground to the right of centre.A ridge of hills rises along the horizon, with the highest point to the right of centre.Arabic script written directly into the image has been erased subtly, but is visible upon close inspection in the lower left of the image as well as in the central sky area of the image.This is the second of two photographs taken from the same vantage point, which form a panoramic view over the valley. The first is X463/11.Inscriptions:Above image, on the right, in ink: ‘XI’Temporal Context:According to Durkje van der Wal in his publication\n                           Christiaan Snouck Hurgronje: The First Western Photographer in Mecca, 1884-1885(Amsterdam : Manfred & Hanna Heiting Fund, Rijksmuseum, 2011, pp. 43-51), the photographs in this publication that pertain to the hadj (this image included) likely date to August 1888 since this was the period of the last hadj before February 1889, the date Christiaan Snouck Hurgronje received the final consignment of images.","الوصف المادي: Dimensions:186 x 243 mmFormat:Collotype print, pasted into volumeCondition:The print is in good condition with minor surface dirt and light abrasions throughout.Foliation:‘XI’Process:Collotype"]},"cho_identifier":["81055/vdc_100023514790.0x000011_ar","X463/12"],"cho_language":{"ar-Arab":["العربية"],"en":["Arabic"]},"cho_type":{"ar-Arab":["صورة فوتوغرافية"]},"agg_data_provider":{"en":["British Library. India Office Records and Private Papers"],"ar-Arab":["المكتبة البريطانية، سجلات مكتب الهند والأوراق الخاصة"]},"agg_data_provider_country":{"en":["United Kingdom"],"ar-Arab":["المملكة المتحدة"]},"agg_provider":{"en":["Qatar National Library"],"ar-Arab":["مكتبة قطر الوطنية"]},"agg_provider_country":{"en":["Qatar"],"ar-Arab":["قطر"]},"id":"81055/vdc_100023514790.0x000011_dlme","transform_version":"8681762","transform_timestamp":"2023-06-29 14:45:39 +0000","agg_data_provider_collection_id":"qnl","dlme_source_file":"/qnl/british_library_combined/data.json","agg_is_shown_at":{"wr_dc_rights":["المُلكية العامة"],"wr_edm_rights":[],"wr_format":["image/jpeg"],"wr_is_referenced_by":["https://www.qdl.qa/en/iiif/81055/vdc_100023514790.0x000011/manifest"],"wr_id":"https://www.qdl.qa/en/archive/81055/vdc_100023514790.0x000011"},"agg_is_shown_by":{"wr_edm_rights":[],"wr_format":["image/jpeg"],"wr_is_referenced_by":["https://www.qdl.qa/en/iiif/81055/vdc_100023514790.0x000011/manifest"],"wr_id":"http://www.qdl.qa/%D8%A7%D9%84%D8%B9%D8%B1%D8%A8%D9%8A%D8%A9/archive/81055/vdc_100023514790.0x000011"},"agg_preview":{"wr_edm_rights":[],"wr_format":["image/jpeg"],"wr_is_referenced_by":["https://www.qdl.qa/en/iiif/81055/vdc_100023514790.0x000011/manifest"],"wr_id":"https://images.qdl.qa/iiif/images/81055/vdc_100022564627.0x000001/X463_0041.jp2/full/!1000,1000/0/default.jpg"}}