boostcampwm-2022 / web18-PRV

논문 인용관계를 밤하늘의 별 처럼 표시해보자 🌟-🌟
https://paperef.com
143 stars 3 forks source link

[FE,BE] 논문 레퍼런스 데이터의 key가 중복되는 이슈 #96

Closed Palwol closed 1 year ago

Palwol commented 1 year ago

이슈 내용

클라이언트에서 doi로 논문 데이터 요청 시, 응답으로 온 논문 레퍼런스 데이터에서 key가 중복되는 경우가 있습니다. crossref 데이터 자체에서 같은 key나 doi가 여러 개인 경우가 있는 것 같습니다.

image

기대 결과

논문 레퍼런스 데이터에서 key가 중복되는 데이터 제거

leesungbin commented 1 year ago

doi : 10.1063/F1.435927 인 논문이 elasticsearch에 저장되어있는 정보는 아래와 같습니다.

{
    "_index": "papers",
    "_id": "10.1063/1.435927",
    "_version": 1,
    "_seq_no": 684101,
    "_primary_term": 1,
    "found": true,
    "_source": {
        "id": "10.1063/1.435927",
        "title": "Rotationally and vibrationally inelastic scattering in the rotational IOS approximation. Ultrasimple calculation of total (differential, integral, and transport) cross sections for nonspherical molecules",
        "authors": [
            "Gregory A. Parker",
            "Russell T Pack"
        ],
        "doi": "10.1063/1.435927",
        "publishedAt": "2003-02-27T22:38:05Z",
        "citations": 381,
        "references": 80,
        "referenceList": [
            {
                "key": "r1",
                "title": "Zh. Exp. Teor. Fiz."
            },
            {
                "key": "r1",
                "title": "Sov. Phys. JETP"
            },
            {
                "key": "10.1103/PhysRev.104.838",
                "doi": "10.1103/PhysRev.104.838"
            },
            {
                "key": "10.1063/1.1675032",
                "doi": "10.1063/1.1675032"
            },
            {
                "key": "10.1063/1.1675032",
                "doi": "10.1063/1.1675032"
            },
            {
                "key": "10.1063/1.1726663",
                "doi": "10.1063/1.1726663"
            },
            {
                "key": "10.1063/1.1726663",
                "doi": "10.1063/1.1726663"
            },
            {
                "key": "10.1063/1.433124",
                "doi": "10.1063/1.433124"
            },
            {
                "key": "10.1063/1.433124",
                "doi": "10.1063/1.433124"
            },
            {
                "key": "10.1063/1.433124",
                "doi": "10.1063/1.433124"
            },
            {
                "key": "10.1063/1.433124",
                "doi": "10.1063/1.433124"
            },
            {
                "key": "10.1063/1.433124",
                "doi": "10.1063/1.433124"
            },
            {
                "key": "10.1063/1.433124",
                "doi": "10.1063/1.433124"
            },
            {
                "key": "10.1088/0022-3700/5/9/013",
                "doi": "10.1088/0022-3700/5/9/013"
            },
            {
                "key": "10.1088/0022-3700/5/9/013",
                "doi": "10.1088/0022-3700/5/9/013"
            },
            {
                "key": "10.1098/rspa.1975.0020",
                "doi": "10.1098/rspa.1975.0020"
            },
            {
                "key": "10.1063/1.1681388",
                "doi": "10.1063/1.1681388"
            },
            {
                "key": "10.1063/1.1681085",
                "doi": "10.1063/1.1681085"
            },
            {
                "key": "10.1016/0009-2614(70)80074-4",
                "doi": "10.1016/0009-2614(70)80074-4"
            },
            {
                "key": "10.1143/PTPS.25.1",
                "doi": "10.1143/PTPS.25.1"
            },
            {
                "key": "10.1063/1.1679884",
                "doi": "10.1063/1.1679884"
            },
            {
                "key": "10.1063/1.1679884",
                "doi": "10.1063/1.1679884"
            },
            {
                "key": "10.1063/1.430475",
                "doi": "10.1063/1.430475"
            },
            {
                "key": "10.1063/1.430823",
                "doi": "10.1063/1.430823"
            },
            {
                "key": "10.1063/1.1670333",
                "doi": "10.1063/1.1670333"
            },
            {
                "key": "10.1063/1.1732130",
                "doi": "10.1063/1.1732130"
            },
            {
                "key": "10.1063/1.1671523",
                "doi": "10.1063/1.1671523"
            },
            {
                "key": "10.1063/1.432229",
                "doi": "10.1063/1.432229"
            },
            {
                "key": "10.1063/1.432229",
                "doi": "10.1063/1.432229"
            },
            {
                "key": "10.1063/1.433621",
                "doi": "10.1063/1.433621"
            },
            {
                "key": "10.1063/1.433621",
                "doi": "10.1063/1.433621"
            },
            {
                "key": "10.1063/1.433621",
                "doi": "10.1063/1.433621"
            },
            {
                "key": "10.1063/1.433621",
                "doi": "10.1063/1.433621"
            },
            {
                "key": "10.1063/1.434515",
                "doi": "10.1063/1.434515"
            },
            {
                "key": "10.1063/1.434515",
                "doi": "10.1063/1.434515"
            },
            {
                "key": "10.1063/1.434342",
                "doi": "10.1063/1.434342"
            },
            {
                "key": "10.1063/1.434119",
                "doi": "10.1063/1.434119"
            },
            {
                "key": "10.1063/1.435426",
                "doi": "10.1063/1.435426"
            },
            {
                "key": "10.1098/rspa.1960.0125",
                "doi": "10.1098/rspa.1960.0125"
            },
            {
                "key": "10.1016/0301-0104(77)89012-5",
                "doi": "10.1016/0301-0104(77)89012-5"
            },
            {
                "key": "10.1063/1.432802",
                "doi": "10.1063/1.432802"
            },
            {
                "key": "10.1063/1.434126",
                "doi": "10.1063/1.434126"
            },
            {
                "key": "10.1063/1.434126",
                "doi": "10.1063/1.434126"
            },
            {
                "key": "10.1063/1.434126",
                "doi": "10.1063/1.434126"
            },
            {
                "key": "10.1063/1.1670711",
                "doi": "10.1063/1.1670711"
            },
            {
                "key": "10.1063/1.434343",
                "doi": "10.1063/1.434343"
            },
            {
                "key": "10.1063/1.434343",
                "doi": "10.1063/1.434343"
            },
            {
                "key": "10.1063/1.433611",
                "doi": "10.1063/1.433611"
            },
            {
                "key": "10.1063/1.434627",
                "doi": "10.1063/1.434627"
            },
            {
                "key": "10.1007/BF02731368",
                "doi": "10.1007/BF02731368"
            },
            {
                "key": "10.1007/BF02731368",
                "doi": "10.1007/BF02731368"
            },
            {
                "key": "10.1007/BF02731368",
                "doi": "10.1007/BF02731368"
            },
            {
                "key": "10.1007/BF02731368",
                "doi": "10.1007/BF02731368"
            },
            {
                "key": "10.1063/1.434820",
                "doi": "10.1063/1.434820"
            },
            {
                "key": "10.1063/1.434820",
                "doi": "10.1063/1.434820"
            },
            {
                "key": "10.1063/1.1730061",
                "doi": "10.1063/1.1730061"
            },
            {
                "key": "10.1063/1.430861",
                "doi": "10.1063/1.430861"
            },
            {
                "key": "10.1063/1.1734304",
                "doi": "10.1063/1.1734304"
            },
            {
                "key": "10.1063/1.431536",
                "doi": "10.1063/1.431536"
            },
            {
                "key": "10.1063/1.1674123",
                "doi": "10.1063/1.1674123"
            },
            {
                "key": "10.1016/0009-2614(70)85175-2",
                "doi": "10.1016/0009-2614(70)85175-2"
            },
            {
                "key": "10.1063/1.435012",
                "doi": "10.1063/1.435012"
            },
            {
                "key": "10.1016/0301-0104(77)89012-5",
                "doi": "10.1016/0301-0104(77)89012-5"
            },
            {
                "key": "10.1063/1.432340",
                "doi": "10.1063/1.432340"
            },
            {
                "key": "10.1063/1.434243",
                "doi": "10.1063/1.434243"
            },
            {
                "key": "10.1016/0301-0104(76)87123-6",
                "doi": "10.1016/0301-0104(76)87123-6"
            },
            {
                "key": "10.1016/0021-9991(73)90049-1",
                "doi": "10.1016/0021-9991(73)90049-1"
            },
            {
                "key": "10.1007/BF01557856",
                "doi": "10.1007/BF01557856"
            },
            {
                "key": "10.1007/BF01384175",
                "doi": "10.1007/BF01384175"
            },
            {
                "key": "r59",
                "title": "Zh. Tekh. Fiz."
            },
            {
                "key": "r59",
                "title": "Soviet. Phys. Tech. Phys."
            },
            {
                "key": "r60",
                "title": "Zh. Tech. Fiz."
            },
            {
                "key": "r60",
                "title": "Sov. Phys. Tech. Phys."
            },
            {
                "key": "r61",
                "title": "Teplo Fiz. Massoperenos"
            },
            {
                "key": "r61",
                "title": "Fizika (Alma‐Ata)"
            },
            {
                "key": "10.1252/jcej.3.143",
                "doi": "10.1252/jcej.3.143"
            },
            {
                "key": "10.1080/00268975900100371",
                "doi": "10.1080/00268975900100371"
            },
            {
                "key": "10.1139/v72-300",
                "doi": "10.1139/v72-300"
            },
            {
                "key": "10.1063/1.1840632",
                "doi": "10.1063/1.1840632"
            },
            {
                "key": "10.1063/1.1840632",
                "doi": "10.1063/1.1840632"
            }
        ]
    }
}
yeynii commented 1 year ago
스크린샷 2022-12-09 오전 1 56 14

중복된 key 값이 들어오면 위와같은 현상이 생깁니다.