scieloorg / document-store-migracao

Document Store (Kernel) - Migração
BSD 2-Clause "Simplified" License
1 stars 6 forks source link

[Conversao] Problema na Codificação dos XMLs gerados na migração #121

Closed cesarbruschetta closed 5 years ago

cesarbruschetta commented 5 years ago

Como descrito no ticket #68 ao tratar a manipulação da codificação dos xmls produzidos na migração, foi constatado que ocasionou em outro problema, pois agora o XMLs esta sendo gerado sem encode, o que não é possível segundo a especificação do SPS e como relatado pelo @gustavofonseca no comentario abaixo

@gustavofonseca Acredito que isso tenha sido melhorado no ticket #57, o que acha ?

https://github.com/scieloorg/document-store-migracao/blob/d22b6921375d3fc3fa31a947bb3e31aa3f3e9d10/documentstore_migracao/utils/xml.py#L29-L39

A alteração passou a produzir XMLs codificados em ASCII, o que vai contra a especificação SciELO PS. A codificação deve ser sempre utf-8.

Originally posted by @gustavofonseca in https://github.com/scieloorg/document-store-migracao/issues/68#issuecomment-491956421

Exemplo de XML para estes casos: A processing instruction está com codificação ASCII: <?xml version='1.0' encoding=**'ASCII'**?>

Há entidades no lugar de caracteres: Informa&#231;&#227;o Cl&#237;nica

<?xml version='1.0' encoding='ASCII'?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.1 20151215//EN" "https://jats.nlm.nih.gov/publishing/1.1/JATS-journalpublishing1.dtd">
<article xmlns:xlink="http://www.w3.org/1999/xlink" specific-use="sps-1.9" dtd-version="1.1" xml:lang="pt" article-type="research-article">
  <front>
    <journal-meta>
      <journal-id journal-id-type="publisher-id">rba</journal-id>
      <journal-title-group>
        <journal-title>Revista Brasileira de Anestesiologia</journal-title>
        <abbrev-journal-title abbrev-type="publisher">Rev. Bras. Anestesiol.</abbrev-journal-title>
      </journal-title-group>
      <issn pub-type="ppub">0034-7094</issn>
      <issn pub-type="epub">1806-907X</issn>
      <publisher>
        <publisher-name>Sociedade Brasileira de Anestesiologia</publisher-name>
        <publisher-loc>Campinas, SP, Brazil</publisher-loc>
      </publisher>
    </journal-meta>
    <article-meta>
      <article-id pub-id-type="publisher-id" specific-use="scielo">C4kKh5VLxxjVwsr7jcKJMsF</article-id>
      <article-id pub-id-type="publisher-id">S0034-70942001000300005</article-id>
      <article-id pub-id-type="doi">10.1590/S0034-70942001000300005</article-id>
      <article-categories>
        <subj-group subj-group-type="heading">
          <subject>Informa&#231;&#227;o Cl&#237;nica</subject>
        </subj-group>
      </article-categories>
      <title-group>
        <article-title>Dificuldade de intuba&#231;&#227;o traqueal em paciente com craniossinostose: relato de caso</article-title>
        <trans-title-group xml:lang="es">
          <trans-title>Dificultad de intubaci&#243;n traqueal en paciente con craneosinostosis: relato de caso</trans-title>
        </trans-title-group>
      </title-group>
...
cesarbruschetta commented 5 years ago
etree.tostring( 
...
    encoding="utf-8", 
...
),