search

nppo / ppp

A middleware that provides standardized People, Projects and Parties data from different source systems
MIT License
0 stars 0 forks source link

Saxion koppeling #19

Open martineteirlinck opened 2 years ago

martineteirlinck commented 2 years ago

Eigen repository

fako commented 2 years ago

Email verstuurd met informatie over hoe we de koppeling willen. Eventueel is er een OAI-PMH fallback

JohnMeurs commented 2 years ago

@martineteirlinck @JohnMeurs Uitsluitel/antwoord op mail Rudy Docter. Nog op hold

EvaWoertman commented 1 year ago

From: Fako Berkers [fako.berkers@surf.nl](mailto:fako.berkers@surf.nl) Sent: Friday, September 30, 2022 10:27 To: Rudy Dokter [r.dokter@saxion.nl](mailto:r.dokter@saxion.nl) Cc: John Meurs [john.meurs@surf.nl](mailto:john.meurs@surf.nl); Martine Teirlinck [martine.teirlinck@surf.nl](mailto:martine.teirlinck@surf.nl) Subject: Re: Samenvatting overleg "Saxion bronsystemen koppelen met Publinova"

Beste Rudy,

Goed dat jullie het weer oppakken bij Saxion.

OAuth 2.0 is voor ons geen probleem als het om de machine-to-machine variant gaat. Misschien dat je hier al vanuit ging, maar we willen dus niet een user acount, die inlogd via een webinterface. Aangezien OAuth2 een beetje een container begrip is zou ik de variant wat explicieter benoemen.

De JSON voor onderzoekseenheden is nog niet uitgekristaliseerd. Naar mijn weten worden daar nu gespreken over gevoerd met andere instellingen. Martine en John weten beter hoever het daarmee staat.

Ik hoop dat ik je hiermee verder heb geholpen.

Met vriendelijke groet,

Fako

From: Rudy Dokter [r.dokter@saxion.nl](mailto:r.dokter@saxion.nl) Sent: Thursday, September 29, 2022 10:36 To: Fako Berkers [fako.berkers@surf.nl](mailto:fako.berkers@surf.nl) Subject: FW: Samenvatting overleg "Saxion bronsystemen koppelen met Publinova"

Dag Fako,

Vanuit Saxion de nodige vertraging opgelopen vanwege het geformuleerde uitgangspunt ‘AFAS-tenzij’ … er is vanuit de business inmiddels wat meer ruimte om richting Publinova te leveren obv een ‘snelspoor’. Ik ben de impact daarvan in kaart aan het brengen.

Kunnen we via jou nog steeds schakelen vwb de techniek? Ik gebruik de JSON’s voor project, personen en product als referentie. Heb je voor mij ook nog een voorbeeld.json voor onderzoekseenheden?

Ons geprefereerde authenticatie-profiel voor de endpoints is OAuth 2.0. Is dat wat jou betreft OK?

Vriendelijke groet, Rudy Dokter Integratie Architect Saxion | University of Applied Sciences | Business Support Organisation | Integration Competence Center T: +31 (0)6 83001112 | E: r.dokter@saxion.nl

From: Rudy Dokter Sent: 25 May 2022 08:47 To: Germaine Poot [germaine.poot@surf.nl](mailto:germaine.poot@surf.nl); John Meurs [john.meurs@surf.nl](mailto:john.meurs@surf.nl); Fako Berkers [fako.berkers@surf.nl](mailto:fako.berkers@surf.nl) Cc: Martine Teirlinck [martine.teirlinck@surf.nl](mailto:martine.teirlinck@surf.nl); Henk Dekker [h.dekker@saxion.nl](mailto:h.dekker@saxion.nl); Saskia de Rijk [s.c.m.derijk@saxion.nl](mailto:s.c.m.derijk@saxion.nl); Mink Visser [m.d.visser@saxion.nl](mailto:m.d.visser@saxion.nl) Subject: FW: Samenvatting overleg "Saxion bronsystemen koppelen met Publinova"

Goedemorgen Publinova-team @ Surf,

We hebben wat goede stappen kunnen zetten richting Publinova. Saskia, informatiemanager onderzoek, coordineert dit traject verder vanuit Saxion.

@Fako Berkers Vanochtend richten we in onze DataHub (testomgeving) een bestaand endpoint met onze onderzoekseenheden voor je in. Kunnen we de authenticatie alvast naar voren halen en wat ping-pongen over de door jullie gewenste berichtdefinitie.

Vriendelijke groet, Rudy Dokter Integratie Architect Saxion | University of Applied Sciences | Business Support Organisation | Integration Competence Center T: +31 (0)6 83001112 | E: r.dokter@saxion.nl

From: Eva Woertman [eva.woertman@surf.nl](mailto:eva.woertman@surf.nl) Sent: 20 April 2022 14:16 To: Rudy Dokter [r.dokter@saxion.nl](mailto:r.dokter@saxion.nl) Cc: Fako Berkers [fako.berkers@surf.nl](mailto:fako.berkers@surf.nl); Martine Teirlinck [martine.teirlinck@surf.nl](mailto:martine.teirlinck@surf.nl); John Meurs [john.meurs@surf.nl](mailto:john.meurs@surf.nl); Germaine Poot [germaine.poot@surf.nl](mailto:germaine.poot@surf.nl) Subject: RE: Samenvatting overleg "Saxion bronsystemen koppelen met Publinova"

Ha Rudy,

Vandaag is mijn laatste dag voor ik met zwangerschapsverlof ga; voor de koppeling kan je blijven afstemmen met Martine en John! Zijn ook erg benieuwd naar de status op dit moment.

In de cc ook Germaine, die een deel van mijn taken overneemt, zodat zij op de hoogte is van de afstemming over de Saxion-Publinova-koppeling tot dusver!

Met vriendelijke groeten,

SURF Eva Woertman

SURF | Kantoren Hoog Overborch (Hoog Catharijne) | Moreelsepark 48 | Postbus 19035 | 3501 DA Utrecht | T +31 88 787 3766 | [www.surf.nl]

SURF, de ICT-samenwerkingsorganisatie van het Nederlandse onderwijs en onderzoek.

From: Eva Woertman Sent: Monday, 11 April 2022 13:54 To: Rudy Dokter [r.dokter@saxion.nl](mailto:r.dokter@saxion.nl) Cc: Fako Berkers [fako.berkers@surf.nl](mailto:fako.berkers@surf.nl); Martine Teirlinck [martine.teirlinck@surf.nl](mailto:martine.teirlinck@surf.nl); John Meurs [john.meurs@surf.nl](mailto:john.meurs@surf.nl) Subject: RE: Samenvatting overleg "Saxion bronsystemen koppelen met Publinova"

Dag Rudy,

Ik was benieuwd of er al een intern overleg geweest was en of je nog een update hebt voor ons, en of er nog vragen zijn die nu beantwoord moeten worden.

Met vriendelijke groeten,

SURF Eva Woertman

SURF | Kantoren Hoog Overborch (Hoog Catharijne) | Moreelsepark 48 | Postbus 19035 | 3501 DA Utrecht | T +31 88 787 3766 | [www.surf.nl] SURF, de ICT-samenwerkingsorganisatie van het Nederlandse onderwijs en onderzoek.

From: Fako Berkers [fako.berkers@surf.nl](mailto:fako.berkers@surf.nl) Sent: Friday, 1 April 2022 11:24 To: Rudy Dokter [r.dokter@saxion.nl](mailto:r.dokter@saxion.nl); John Meurs [john.meurs@surf.nl](mailto:john.meurs@surf.nl); Mink Visser [m.d.visser@saxion.nl](mailto:m.d.visser@saxion.nl); Renate Mattiszik [r.mattiszik@saxion.nl](mailto:r.mattiszik@saxion.nl) Cc: Martine Teirlinck [martine.teirlinck@surf.nl](mailto:martine.teirlinck@surf.nl); Eva Woertman [eva.woertman@surf.nl](mailto:eva.woertman@surf.nl); Henk Dekker [h.dekker@saxion.nl](mailto:h.dekker@saxion.nl); Saskia de Rijk [s.c.m.derijk@saxion.nl](mailto:s.c.m.derijk@saxion.nl) Subject: Re: Samenvatting overleg "Saxion bronsystemen koppelen met Publinova"

Beste Rudy,

Er is een foutje geslopen in de projects definities. Er stond dat projects verwees naar projects, maar dat had producten moeten zijn. Hopelijk zorgt dit niet voor een radicaal andere offerte. Excuus voor het ongemak. De correcte projects definitie heb ik bijgevoegd.

Met vriendelijke groet,

Fako

From: Rudy Dokter [r.dokter@saxion.nl](mailto:r.dokter@saxion.nl) Sent: Monday, March 14, 2022 15:47 To: Fako Berkers [fako.berkers@surf.nl](mailto:fako.berkers@surf.nl); John Meurs [john.meurs@surf.nl](mailto:john.meurs@surf.nl); Mink Visser [m.d.visser@saxion.nl](mailto:m.d.visser@saxion.nl); Renate Mattiszik [r.mattiszik@saxion.nl](mailto:r.mattiszik@saxion.nl) Cc: Martine Teirlinck [martine.teirlinck@surf.nl](mailto:martine.teirlinck@surf.nl); Eva Woertman [eva.woertman@surf.nl](mailto:eva.woertman@surf.nl); Henk Dekker [h.dekker@saxion.nl](mailto:h.dekker@saxion.nl); Saskia de Rijk [s.c.m.derijk@saxion.nl](mailto:s.c.m.derijk@saxion.nl) Subject: RE: Samenvatting overleg "Saxion bronsystemen koppelen met Publinova"

Dag Fako,

Dank voor de JSON-uitwerkingen!

Ga ik een verdere data-analyse op doen. Resultaten koppel ik in 1ste instantie terug richting architect en informatiemanager. V.w.b. data-leverantie zullen we, zoals gezegd, aan onze zijde ‘in-scenario’s’ moeten gaan denken. De komst van AFAS is voor wat dit betreft de belangrijkste variabele.

Na genoemd intern overleg kom ik graag zsm weer bij je op de lijn.

Vriendelijke groet, Rudy Dokter Product Owner ICC Saxion | University of Applied Sciences | Business Support Organisation | Integration Competence Center T: +31 (0)6 83001112 | E: r.dokter@saxion.nl

From: Fako Berkers [fako.berkers@surf.nl](mailto:fako.berkers@surf.nl) Sent: 11 March 2022 18:49 To: John Meurs [john.meurs@surf.nl](mailto:john.meurs@surf.nl); Mink Visser [m.d.visser@saxion.nl](mailto:m.d.visser@saxion.nl); Rudy Dokter [r.dokter@saxion.nl](mailto:r.dokter@saxion.nl); Renate Mattiszik [r.mattiszik@saxion.nl](mailto:r.mattiszik@saxion.nl) Cc: Martine Teirlinck [martine.teirlinck@surf.nl](mailto:martine.teirlinck@surf.nl); Eva Woertman [eva.woertman@surf.nl](mailto:eva.woertman@surf.nl) Subject: Re: Samenvatting overleg "Saxion bronsystemen koppelen met Publinova"

Hallo allemaal,

Bij deze de excel waarin de entiteiten en verschillende velden/properties wat uitgebreider beschreven staan. Daarnaast drie JSON files voor respectievelijk producten, personen en projecten; met daarin dezelfde structuur in JSON formaat. De JSON toont onze ideale structuur, niet de verplichte structuur. Ik toon alleen de objecten van de entiteiten, ik kan me goed voorstellen dat er voor bijvoorbeeld de pagination meer data wordt meegegeven, maar de invulling daarvan komt niet heel nauw, dus doe vooral wat praktisch is voor jullie. Verder heb ik bij producten de authors toch even genest aangegeven. Zo ziet het er bij ons intern uit en als jullie dat kunnen aanleveren, dan scheelt dat mij een beetje werk.

Onderstaande punten zijn wensen die we hebben voor een koppelvlak. Jullie kunnen hier gerust van afwijken als het lastig te implementeren is. Misschien is het ook allemaal gesneden koek voor jullie, maar om aan te geven wat wij prettig vinden en gewend zijn bij een endpoint even dit overzichtje: • Pagination. Gezien de verwachte dataset afmeting zal de "standaard pagination" met page en page_size parameters volstaan. Kijk eventueel naar "cursor pagination", daar kun je heel grote hoeveelheden data snel mee pagineren, maar je verliest de optie om losse pagina's op te vragen. Je kunt daarmee dus alleen van begin naar het einde pagineren en niet meer terug of halverwege instappen, maar het werkt efficient tot miljoenen producten. • Delta. In plaats van dat ik elke keer alle gegevens moet ophalen, wil ik graag "de gewijzigde gegevens vanaf datum X". In de praktijk is dat vaak alle wijzigingen sinds gister. • Delete policy. Geef in je delta "gedelete" producten door als "deleted". Geef ook aan hoe lang je zo'n delete blijft doorgeven. 30 dagen is een redelijke termijn, dus als ik dan een delta opvraag over de afgelopen twee maanden, dan weet ik dat ik van materialen ouder dan 30 dagen mogelijk geen delete signaal heb gekregen. Waarschijnlijk zal ik dan weer een full harvest doen om helemaal up-to-date te zijn. • Filtering op copyright. Dit hebben we niet echt besproken en is meer een good-to-have dan must-have. We zijn alleen geintresseerd in producten, die vrij beschikbaar zijn. Als er copyright rust op een product, dan hoeven wij die niet te ontvangen. De mogelijkheid voor dit soort filters kan handig zijn naarmate het aanbod groeit. Vooral als we in 1x alle objecten willen ophalen. Tot slot heb ik ook een copyright.json toegevoegd. Hierin staan alle waardes voor de property copyright op de product entity tot nu toe. Waarbij "no" het meest overeenkomt met "open access" en "yes" met "closed access". Precies weten welke licensie er op een product van toepassing is, is belangrijk omdat bij sommige licenties het opnemen in een search index strict gesproken niet is toegestaan. In het beste geval krijgen we dus de licentie door en wordt het gebruik van "yes" en "no" tot een minimum beperkt.

Volgens mij kunnen jullie op basis van deze informatie redelijk goed inschatten wat er nodig is, maar nogmaals, gebruik het als een leidraad en niet als een voorschrift. Er zitten links en rechts wellicht wat gekke benamingen in de JSON, maar dat komt omdat dit de interne structuur is die wij gebruiken, die over de loop van de tijd zo gegroeid/ontstaan is.

Als er vragen zijn dan hoor ik dat natuurlijk graag. Fijn weekend!

Met vriendelijke groet,

Fako

From: John Meurs [john.meurs@surf.nl](mailto:john.meurs@surf.nl) Sent: Friday, March 11, 2022 13:19 To: m.d.visser@saxion.nl [m.d.visser@saxion.nl](mailto:m.d.visser@saxion.nl); Rudy Dokter [r.dokter@saxion.nl](mailto:r.dokter@saxion.nl); Renate Mattiszik [r.mattiszik@saxion.nl](mailto:r.mattiszik@saxion.nl); Fako Berkers [fako.berkers@surf.nl](mailto:fako.berkers@surf.nl) Cc: Martine Teirlinck [martine.teirlinck@surf.nl](mailto:martine.teirlinck@surf.nl); Eva Woertman [eva.woertman@surf.nl](mailto:eva.woertman@surf.nl) Subject: Samenvatting overleg "Saxion bronsystemen koppelen met Publinova"

Hallo allemaal, Hierbij even de samenvatting van het gesprek met de actiepunten. Als hier onjuistheden of onduidelijkheden in staan, willen jullie dan reageren?

Datum vergadering: 11-03-2022 Deelnemers: Saxion: Mink Visser; Rudy Dokter; Renate Mattiszik SURF: Fako Bergers, John Meurs

Saxion graag op basis van haar bronsystemen koppelen met Publinova. Er zijn op dit moment geen belemmeringen om deze koppeling te realiseren. Door Rudy is de architectuur en samenhang van de systemen bij Saxion toegelicht. Daaruit werd duidelijk dat Saxion gestructureerd de volgende gegevens kan leverent: • Gegevens over Onderzoeksproducten • Gegeven over Onderzoekers • Gegevens over Organisatie onderdelen (Lectoraten etc.)

Een deel van deze gegevens komt uit AFAS en daar zijn momenteel geen specifieke ontwikkelingen voor Publinova mogelijk, binnen de gewenste tijdlijnen. Dat kan een beperking zijn en daarmee is in de te volgen route rekening gehouden.

Verder is daaruit naar voren gekomen dat Saxion een OAI/PMH koppeling voor de HBO kennisbank beschikbaar heeft. Het koppelen op OAI/PMH heeft echter niet de voorkeur van SURF.

Op basis van een voorbeeld JSON met toelichtende Excel kan Saxion inschatten of het mogelijk is om een JSON/REST koppeling te maken voor: • Onderzoeksproducten (Producten) • Onderzoekers (Personen) Informatie.

Organisatie onderdelen, worden buiten beschouwing gelaten omdat Publinova die met de hand creeert. Op verzoek zal Saxion SURF een export (b.v. Excel format) kunnen leveren. SURF zal dan eerst de gewenste velden aanleveren.

Er is besloten om geen Nesting van Persoons en Project informatie, toe te passen bij de producten maar dit als afzonderlijke endpoints aan te leveren.

De volgende route is overeengekomen:

  1. SURF stuurt de voorbeeld JSON met pagination voorstel en bijbehorende Excel, waarbij het sterk de voorkeur heeft ook Delta’s uit te kunnen wisselen voor Producten endpoint, Personen endpoint en Projecten endpoint. ACTIE: SURF – vandaag
  2. Op basis van deze JSON en Excel zal Saxion volgende week (14~18 maart) SURF laten weten of zij de endpoint kunnen maken op basis van JSON/REST en hier een planning van sturen. ACTIE: Saxion (14~18 maart)
  3. Indien punt 2 niet haalbaar is (afhankelijkheden van b.v. AFAS), zal Saxion proberen op basis van de huidige OAI/PMH een JSON/REST endpoint te maken en stuurt een planning aan SURF. De planning voor Personen en Projecten volgt dan later. ACTIE: Saxion (14~18 maart)
  4. Indien punt 3 ook niet haalbaar lijkt, zullen Saxion en SURF in overleg treden om de OAI/PMH bruikbaar te maken voor Publinova. Saxion neemt hiervoor het initiatief. ACTIE: Saxion (14~18 maart)
  5. SURF zal Saxion voorzien van de informatie over de gewenste velden voor Organisaties ACTIE: SURF 14~25 maart
  6. Saxion zal SURF een export sturen van de Organisatie gegevens. ACTIE: Saxion 14~25 maart.

Dank voor het constructieve gesprek, met vriendelijke groeten John Meurs

EvaWoertman commented 1 year ago
JohnMeurs commented 1 year ago

Laatste status is: Fako heeft eind september nog contact gehad met Rudy Dokter, antwoorden gestuurd. Zou iemand anders moeten zijn.

EvaWoertman commented 1 year ago

Mail aan Saskia+Rudy verstuurd

EvaWoertman commented 1 year ago

We hebben gesproken met Saskia, zij hebben allerlei interne problemen waar ze mee bezig zijn. Ik houd vinger aan de pols bij Saskia.