Indhentning og visualisering af indkøbsdata

[ghost]

### Tasks
- [ ] Behovsafklaring og analyse
- [ ] Kravs-spec til leverandør ang. dataadgange
- [ ] Opsæt møde med leverandør med formål om data adgang @IndraZT
- [ ] Overdragelse af projekt til @CamillaOS
- [x] https://github.com/Randers-Kommune-Digitalisering/doc-arbejdsgangsbeskrivelser/issues/62

Statusmøde ti 02-05-2023 12:15 - 12:30. @IndraZT forlader kommunen, uklart hvem der tager over. @tna-randers prøver at afklare.

Ny dataejer udpeget, @tna-randers dokumenterer det her @CamillaOS

Opfølgning efter sommerferien, haster ikke da noget data allerede ligger på OpenData --> https://www.opendata.dk/randers-kommune/braendstofforbrug

Jeg hørte på projektmøde at vi skulle fokusere på lavfrekvente data fra OpenData og ikke i så høj grad højfrekvente data direkte fra leverandørerne.

[tna-randers]

Lars Sønderby undersøger og vender tilbage omkring dataejerskab.

Camilla fra indkøb bliver afløser for Indra.

[ghost]

Svar fra TrueLinks tekniker:

1. To set up an access to TrueLink SFTP server, please ask the party, who will download exported ZIP files, to generate a pair of public/private keys for SFTP and send us a public key - so we will create a new account at our SFTP server with it. There is no need for a secure communication channel - as no passwords or secrets are going to be transferred between us. Please ensure to configure a login procedure without a password - only via keys.

2. The key is generated by the customer, so its rotation is managed by the customer too. The URL to connect is sftp.truelink.dk, and we will send the host key to trust together with the user login name to use.

3. It is expected to export a ZIP file with a single CSV inside per each configured auto-export filter to SFTP each Sunday.

Det lader ikke til at der er et testmiljø - What is step 4?

Let's just start with a public/private key generation on KvalitetsITs side - and we will prepare an initial setup on our side.

Dmitri

[tna-randers]

Mail fra Truelink. Jeg har forespurgt om deltagelse i mødet d. 09.06, som bliver nævnt i mailen.

Hej Indra, Tillykke med det nye job! Sagen skal naturligvis ikke lukkes som den er blevet - I skal naturligvis have lov til at holde ferie. Det vil jeg gerne beklage. Tom, Camilla eller anden medarbejder fra Randers Kommune er mere end velkommen til at tage fat i mig eller Dmitriy direkte (dlk@mercell.com eller Lasse.Oestergaard@mercell.com) hvis I ønsker at gå videre med projektet på et tidspunkt. Vi kan med fordel snakke om det på vores møde den 09. juni 2023. Vi vil meget gerne hjælp hvis vi kan, i forhold til det nævnte Klimadataprojekt. Med venlig hilsen Lasse Grønbeck Østergaard

[tna-randers]

Mail fra møde med Truelink

Tak for et super godt og produktivt møde i fredags! Jeg har nu været tilbage og vende sagen med vores techlead igen. Han er gået igang med at få lavet opsætningen i TrueAnalyze samt etablering af sFTP adgang til jer.

I den forbindelse skal jeg bede jer om hos Randers Kommune, at generere et sæt Public/Privat Keys (ssh nøgler). Public nøglen må I gerne sende til os så snart I har den klar. Jeg er blevet informeret om, at nøglerne kan genereres via servicen PuTTYgen.

I forhold til selve opsætningen i TrueAnalyze så bliver det således, at I blot skal oprette de eksporter i ønsker via TAU. Herefter gemmes søgningen som et filter. Når dette er gjort, vil I kunne se knappen "Ugentlig udtræk". Denne markeres på de filtrer, som I ønsker eksporteret automatisk.

Hvis der laves en manuel eksport, hvor der ikke er påført et gemt filter, vil du have mulighed for at benytte knappen "Gem til SFTP".

Det betyder at filen sendes til sFTP mappen i stedet for at blive eksporteret direkte. I skal være opmærksomme på, at auto eksport af filer fra TAU navngives på samme måde som det gemte filter. Laves der derfor separate udtræk for flere år, kan enkelte filtre f.eks. navngives 2019, 2020, 2021 osv. Udover navnet fra filtret, bliver filerne også datomærket.

[tna-randers]

Mail fra Karl Fritjof

Jeg sætter lige Camilla på mit svar.

Ift. generelt behov for adgang indkøbsdata er de Camilla, der ved bedst. Det afhænger nok lidt af hvor meget indkøbsteamet lige har kapacitet til at kaste sig over (de er en m/k nede pt. mener jeg)

Ift. klimadataprojektet er vi specifikt interesseret i indkøbsdata på fossile brændstoffer. En håndholdt løsning via Open Data DK er fint, men hvis vi kan automatisere det via et datatræk på en SFTP, ville det jo mindske byrden og gøre data mere levende.

[tna-randers]

Mail fra Mercell

Tak for et super godt og produktivt møde i fredags! Jeg har nu været tilbage og vende sagen med vores techlead igen. Han er gået igang med at få lavet opsætningen i TrueAnalyze samt etablering af sFTP adgang til jer.

I den forbindelse skal jeg bede jer om hos Randers Kommune, at generere et sæt Public/Privat Keys (ssh nøgler). Public nøglen må I gerne sende til os så snart I har den klar. Jeg er blevet informeret om, at nøglerne kan genereres via servicen PuTTYgen.

I forhold til selve opsætningen i TrueAnalyze så bliver det således, at I blot skal oprette de eksporter i ønsker via TAU. Herefter gemmes søgningen som et filter. Når dette er gjort, vil I kunne se knappen "Ugentlig udtræk". Denne markeres på de filtrer, som I ønsker eksporteret automatisk.

Hvis der laves en manuel eksport, hvor der ikke er påført et gemt filter, vil du have mulighed for at benytte knappen "Gem til SFTP".

Det betyder at filen sendes til sFTP mappen i stedet for at blive eksporteret direkte. I skal være opmærksomme på, at auto eksport af filer fra TAU navngives på samme måde som det gemte filter. Laves der derfor separate udtræk for flere år, kan enkelte filtre f.eks. navngives 2019, 2020, 2021 osv. Udover navnet fra filtret, bliver filerne også datomærket.

Med venlig hilsen / Best regards

Lasse Grønbeck Østergaard Customer Success Manager - P2P Mercell A/S E: Lasse.Oestergaard@mercell.com P: +45 27 52 58 95 A: Vesterbrogade 149, 1620 København

The content of this email and any attachments are confidential and intended for the named recipient(s) only. If you have received this email by mistake, please notify the sender immediately and do not disclose the contents to unauthorized receivers. mercell.com

[kf-randers]

@st-randers @tna-randers @CamillaOS kan vi rykke på denne, hvis vi allerede har adgang til data?

[CamillaOS]

Ja, hvis digitalisering og TrueAnalyze finder ud af at udveksle nøgler, så er jeg klar til at teste om jeg kan opsætte filtre til automatisk overførsel af data.

Jeg har oprettet nogle filtre på brændstof i TrueAnalyze, men har endnu ikke adgang til knappen "Ugentligt udtræk". Jeg tror dog, at de er hurtige til at gøre den tilgængelig for mig, når det andet er på plads.

[cbh-randers]

Der er intet system til at analysere indkøbsdata på nuværende tidspunkt. Der er behov for at hente data ned og gøre dem tilgængelige i Superset i rå format.

[cbh-randers]

Opstartes ved tiltrædelse af ny udvikler d. 11-09-2023.

[tna-randers]

1. Der er et forretningsbehov ift. at afrapportere compliance
2. Der er adgang til data via SFTP
3. Dataene kan sendes via Custom Data til KMD Insight (adgangen kommer i dag)
4. En (lille) delmængde af dataene anvendes i klimadataprojektet, men det vedligeholdes manuelt. Det kan automatiseres

[CamillaOS]

Opstartsmøde 17/11 Det er aftalt, at Camilla har projektlederrollen. Rune har bolden ift, at skabe forbindelse til Mercell. Camilla skriver til Lasse fra Mercell, så de har hinandens kontaktoplysninger. Rune giver besked, når der er skabt forbindelse.

[CamillaOS]

Mail til Lasse fra Mercell: "Hej Lasse

Vi er nu endelig blevet klar og har fået ressourcerne til at gå videre med dette projekt. Det er Rune (også modtager på denne mail), som har bolden i forhold til at få genereret et sæt nøgler og skabe forbindelse til jer.

Har I tid til at sætte skub i det sammen med os nu?"

[rak-randers]

Har sendt en public key til Lasse

[CamillaOS]

Fra Lasse 13/12 efter rykker:

Hej Camilla, Beklager meget at du ikke har fået en status. Det er mig der har overset en besked fra teknikerne. Setuppet er klar til brug.

Alt I skal gøre er, at lave den skabelon I ønsker og herefter gemme et filter. På jeres gemt filter kan I vælge, at det skal være et ugentligt udtræk.

Fra udviklerne:

1. Created SFTP account trueanalyze_randers_autoexport with given key
2. Task runs at 8:00 a.m. every Sunday.
3. Autoexport for Randers is activated in j_Customer
4. Created autoExport_randers_move_file_sftp.bat file to remove Randers files from TPADEV to \SFTP\trueanalyze_randers_autoexport

5. Created task to run autoExport_randers_move_file_sftp.bat every 5minutes

   Med venlig hilsen / Best regards

Lasse Grønbeck Østergaard Customer Success Manager - P2P Mercell A/S E: Lasse.Oestergaard@mercell.com P: +45 27 52 58 95 A: Vesterbrogade 149, 1620 København

[CamillaOS]

@rak-randers Hej Rune Jeg har sat et filter op på Brændstofdata for 2023 til ugentlig overførsel. Jeg tænker, at vi kan bruge det til at teste, om setuppet virker. Jf. Lasses mail ovenfor, overføres data søndag morgen.

Skal jeg sætte et møde op i næste uge, så vi kan snakke om næste trin, eller skal vi lige vente og se, om det virker først?

[rak-randers]

@CamillaOS Jeg har forsøgt at forbinde til sftp serveren uden held. Serveren afviser key'en. Jeg har sendt en mail til Lasse

[rak-randers]

@CamillaOS Hej Camilla. Jeg har fået forbindelse til sftp serveren. Jeg vil prøve at trække data på mandag. Vi kan godt sætte et møde op i næste uge

[rak-randers]

repo