surfedushare / sources-middleware

A middleware that transforms data from sources into a standard format
MIT License
0 stars 0 forks source link

BUAS changes for persons #67

Closed fako closed 2 months ago

fako commented 5 months ago
peterdubbeldsurf commented 5 months ago

Hoi Peter,

Hieronder de antwoorden op onderstaande vragen:

Het veld ‘Over’ Wordt niet gevuld, gegevens zijn wel beschikbaar vanuit Pure API Klopt het dat we hiervoor de "value": "Research interests" moeten inlezen?

Ja, dat klopt. Bij “Research interests” staat inderdaad een beschrijving van de onderzoeker die in Publinova in het veld “Over” geplaatst kan worden.

Vaardigheden/ Trefwoorden bij Personen ontbreken Klopt het dat we hiervoor de "value": "Subjects" moeten inlezen?

Ja dat klopt, Bij “Subjects” staan (gescheiden door een komma) de termen die in Publinova in het veld “Vaardigheden” geplaatst kunnen worden.

(ps. Als voorbeeld voor bovenstaande vragen hebben jullie de persoon ‘Arend Hardorff’ gebruikt. Deze medewerker is niet meer in dienst van BUas. Dus als het goed is komt deze nu niet meer voor in de API. Mogelijk hebben jullie voor deze test/vragen een oude dump van de data gebruikt?)

E-mail adressen op profielpagina’s worden niet zichtbaar, ook niet na inlog Hier is als het goed is een apart endpoint voor in Pure, zou je deze willen configureren zodat wij daarbij kunnen en de juiste tokens + uitleg kunnen delen?

We hebben volgens mij geen aparte Endpoint voor. Alle beschikbare Endpoints zijn hier te zien: https://pure.buas.nl/ws/api/524/api-docs/index.html

De e-mailadressen staan bij de gegevens over de werkverbanden van de personen. (hier staan soms gegevens van meerdere werkverbanden en ook oude/verlopen werkverbanden). Bij minimaal 1 werkverband zou het e-mailadres moeten staan. Dit staat in het veld:

[Bastiaansen4.M@buas.nl Email

(Bovenstaand voorbeeld komt van Prof. Marcel Bastiaansen: https://pure.buas.nl/ws/api/524/persons?q=bastiaansen&apiKey=70293fe0-2c49-4b1c-8e83-4b050a091254 )

M.b.t. de broken Youtube links: geef maar door welke we eventueel moeten aanpassen.

Laat maar weten indien er vragen zijn over bovenstaande antwoorden.

Succes met de nieuwe sprint !

Met vriendelijke groet,

Jan Meeuwis Research Information and Data Management Specialist BUas Library / Education Research & Information Management (ER&IM) Breda University of Applied Sciences Phone: 0628498799 meeuwis.j@buas.nl | www.BUas.nl Mgr. Hopmansstraat 2, 4817 JS Breda, The Netherlands

Working days: Mon, Tue, Wed, Thu, Fri

Image

A close-up of a sign

Description automatically generated

From: Peter Dubbeld [peter.dubbeld@surf.nl](mailto:peter.dubbeld@surf.nl) Sent: 19 March 2024 11:40 To: Meeuwis, Jan [Meeuwis.J@buas.nl](mailto:Meeuwis.J@buas.nl) Cc: Fako Berkers [fako.berkers@surf.nl](mailto:fako.berkers@surf.nl); Marcel Lagerwerf [marcel.lagerwerf@surf.nl](mailto:marcel.lagerwerf@surf.nl); Sanne Tonkens [sanne.tonkens@surf.nl](mailto:sanne.tonkens@surf.nl) Subject: Inhoudelijke vragen mbt openstaande issues BUAS

CAUTION: This email originated from outside of the organization. Do not click links or open attachments unless you recognize the sender and know the content is safe.

Hi Jan

Inhoudelijke vragen aangaande de issues:

Het veld ‘Over’ Wordt niet gevuld, gegevens zijn wel beschikbaar vanuit Pure API Vaardigheden/ Trefwoorden bij Personen ontbreken E-mail adressen op profielpagina’s worden niet zichtbaar, ook niet na inlog Youtube Broken links

Zie ook onze ​xlsx icon gedeelde sheet

Het veld ‘Over’ Wordt niet gevuld, gegevens zijn wel beschikbaar vanuit Pure API

à Klopt het dat we hiervoor de "value": "Research interests" moeten inlezen?

Voorbeeld:

  "pureId": 274709,
                "value": {
                    "formatted": true,
                    "text": [
                        {
                            "locale": "en_GB",
                            "value": "<p>Arend Hardorff (1976) is Dean of the Academy for Leisure of NHTV Breda University of Applied Sciences, The Netherlands. This academy hosts 4 degree programmes; a professional Leisure &amp; Events Management programme (with specializations in Attractions &amp; Theme Parks, in Cultural Venues, in Social Innovation and in Events), a professional master in Imagineering and a scientific bachelor and master programme in Leisure Studies.</p>\n<p>On behalf of NHTV, he is member of the steering committee of the Dutch National Centre of Expertise in Leisure, Tourism and Hospitality (CELTH). Next to his position at NHTV Arend is Chair of the Board of Mezz Pop Venue Breda and member of the Supervisory Board of Incubate Festival Tilburg. In the past he was a politician for the Dutch Labour Party (PvdA) in Breda and was lecturing and researching topics like creative industries, creative clusters and cultural and creative policies</p>"
                        }
                    ]
                },
                "type": {
                    "pureId": 4710,
                    "uri": "/dk/atira/pure/person/customfields/researchinterests",
                    "term": {
                        "formatted": false,
                        "text": [
                            {
                                "locale": "en_GB",
                                "value": "Research interests"
                            }
                        ]
                    }
                }
            },

Vaardigheden/ Trefwoorden bij Personen ontbreken

à Klopt het dat we hiervoor de "value": "Subjects" moeten inlezen?

Voorbeeld:

 {
                "pureId": 274710,
                "value": {
                    "formatted": true,
                    "text": [
                        {
                            "locale": "en_GB",
                            "value": "<p>Creative industries, events, festivals, pop industry, cultural policies, local politics, leisure, leisure industry, dance music, urban strategies.</p>"
                        }
                    ]
                },
                "type": {
                    "pureId": 90049,
                    "uri": "/dk/atira/pure/person/customfields/subjects",
                    "term": {
                        "formatted": false,
                        "text": [
                            {
                                "locale": "en_GB",
                                "value": "Subjects"
                            }
                        ]
                    }
                }
            },

E-mail adressen op profielpagina’s worden niet zichtbaar, ook niet na inlog

à Hier is als het goed is een apart endpoint voor in Pure, zou je deze willen configureren zodat wij daarbij kunnen en de juiste tokens + uitleg kunnen delen?

Youtube broken links

à We hebben nog een paar andere broken links gevonden, deze zullen we tzt met je delen zodat je dit in 1x kan oplossen

Met vriendelijke groeten,

SURF Peter Dubbeld

SURF | Kantoren Hoog Overborch (Hoog Catharijne) | Moreelsepark 48 | Postbus 19035 | 3501 DA Utrecht | T +31 88 787 3766 | www.surf.nl & www.surfspot.nl |

SURF, de ICT-samenwerkingsorganisatie van het Nederlandse onderwijs en onderzoek.

fako commented 4 months ago

Personen buiten dienst zullen geen email geasscocieerd hebben. Dit is waarschijnlijk lastig voor Zooma's importer @peterdubbeldsurf

fako commented 4 months ago
df = pd.DataFrame.from_records(
    [
        {
            "product": doc.properties["product_id"], 
            "url": doc.properties["url"], 
            "domain": doc.domain
        } 
        for doc in FileDocument.objects.filter(dataset_version=dv, collection__name="buas:buas", is_not_found=True)
    ]
)
df.to_csv("buas-missing-files.csv")

Stukje code om is_not_found CSV to maken zoals deze:

buas-missing-files.csv

fako commented 4 months ago
df = pd.DataFrame.from_records(
    [
        {
            "product": doc.properties["product_id"], 
            "url": doc.properties["url"], 
            "domain": doc.domain
        } 
        for doc in FileDocument.objects.filter(dataset_version=dv, collection__name="buas:buas", is_analysis_allowed=False)
    ]
)
df.to_csv("buas-forbidden-files.csv")

Stukje code om forbidden CSV to maken zoals deze:

buas-forbidden-files.csv