search

VNG-Realisatie / api-test-platform

6 stars 3 forks source link

Het API testplatform API test script faalt #285

Closed HenriKorver closed 4 years ago

HenriKorver commented 4 years ago

Bug

Het API testplatform API test script faalt: https://api-test.nl/server/61a9dd37-2481-47ba-b125-4dda95b36623/

stevenbal commented 4 years ago

Goed opgemerkt, ik heb de tests (en op api-test.nl gezet) weer geupdate na de aanpassingen aan de API. Wel loop tegen een ander probleem aan (lijkt aan Newman te liggen), namelijk dat de newman run voor de JSON logs om een of andere reden lijkt te falen https://api-test.nl/server/3e280041-8091-4613-9479-ae73619c3d41/, terwijl de newman run voor HTML logs gewoon goed gaat https://api-test.nl/server/3e280041-8091-4613-9479-ae73619c3d41/log/988/.

Ik zal sowieso kijken of ik deze twee runs kan combineren tot 1 newman run (al lijkt dat niet zomaar te kunnen).

alextreme commented 4 years ago

@stevenbal dat was Alvise inderdaad niet gelukt, het twee keer uitvoeren van de provider run (1x voor de JSON, 1x voor de HTML) leek noodzakelijk. Maar als je hier een oplossing voor weet te bedenken dan graag natuurlijk.

stevenbal commented 4 years ago

zodra https://github.com/VNG-Realisatie/api-test-platform-code/commit/626eeeb610887df65358642018edd72018df567c op productie zit, kan deze weer getest worden. Ik heb de het ATP testscript aangepast zodat nu het test scenario en session type van de Demo API gebruikt worden

stevenbal commented 4 years ago

Op productie slaagt het testscript weer

Screenshot from 2019-10-10 12-37-19

link: https://api-test.nl/server/dff1f823-ecc7-4ab8-8fb6-cc20793bd60f/6268fd7e-97b9-4837-b3d0-3197f4599327/

alextreme commented 4 years ago

Net een nieuwe ATP provider run gedaan met een nieuwe environment & token, bij mij falen nog 3 tests:

https://api-test.nl/server/12cb2325-3ee9-4b3b-9665-6d37c1ec8212/

Screenshot_2019-10-17_17-07-54

stevenbal commented 4 years ago

Dat kwam doordat er in de ATP tests via de API een provider run gestart wordt voor de demo API (Demo API Test), waarbij de default waarde voor de url van de API nog op http://example.com stond, en aangezien environments user gebonden zijn, faalde dat testscript onder mijn account niet en jouw account wel.

Ik heb de default waarde van de url gezet naar https://demo.api-test.nl/api/v2 en heb hem op jouw account nog eens gerund ter controle:

Screenshot from 2019-10-18 16-33-49 https://api-test.nl/server/dff1f823-ecc7-4ab8-8fb6-cc20793bd60f/3fa51402-62c6-42d6-89fd-e14a2b818a6c/

alextreme commented 4 years ago

Badge is inmiddels ook groen geworden, dus dit lijkt in mijn ogen te werken zoals verwacht:

Screenshot_2019-10-28_13-09-56

HenriKorver commented 4 years ago

Bij mij faalt het script nog steeds: https://staging.api-test.nl/server/823a5963-870a-4dd1-85c0-69b3751ab4f0/71e1f93b-c136-4e62-9e11-27acb67f4d26/

afbeelding

stevenbal commented 4 years ago

@HenriKorver voor de URLs stonden nog de oude staging urls (https://vng-staging.maykin.nl), en de redirect lijkt niet goed meer te werken. Ook was het ATP testscript op staging niet de nieuwste versie van het script, dus die heb ik geupdate: https://staging.api-test.nl/server/425ec655-2a2e-4223-bab6-a7f7ffa77afe/