Provider test faalt terwijl alle assertions geslaagd zijn

[stevenbal]

Bug

In de ZGW oas tests zat een foutje in de URL van een request, waardoor die request altijd resulteerde in een 404. Aan deze request zaten verder geen assertions vast, dus die waren allemaal geslaagd, maar toch werd de provider tests aangemerkt als failed: https://api-test.nl/server/1/68585695-95d6-4485-96eb-2a302e1bbe0c/

@HenriKorver @alextreme misschien is het een beter idee om het slagen/falen van een provider run te baseren op de assertions i.p.v. de requests zelf, aangezien het soms (in het geval van de tests voor de standaard) wenselijk is dat bepaalde requests falen, omdat validatie getest moet worden

[alextreme]

@HenriKorver het laten slagen op basis van de assertions ipv de requests lijkt mij een correcte aanpassing, daar soms requests bewust kunnen falen (een 404, of een 403 om te controleren of toegang wordt geweigerd).

Het is een edge-case aangezien je vooral de happy-flow wilt testen, maar dit kunnen we pas doorvoeren als jij je goedkeuring geeft.

[HenriKorver]

Bij deze mijn goedkeuring

[HenriKorver]

Immers wanneer we dit aanpassen dan zijn de resultaten van de detailpagina ook weer in sync met het HTML-report van Newman

[stevenbal]

@alextreme @HenriKorver en wat zal ik doen met de tabel op de detail pagina van de provider run en de lijst met calls daaronder? In die twee worden calls met een status code 400 of hoger namelijk rood aangegeven, terwijl het (zoals Alex ook zei) in het geval van de tests voor de ZGW standaard bij een aantal tests de bedoeling is dat er een 400 of 403 teruggegeven wordt)

[HenriKorver]

Wat mij betreft hanteren we de volgende conventies.

• Een call slaagt wanneer al zijn assertions slagen. Wanneer de call geen assertions heeft zal die altijd slagen.
• Een call faalt wanneer één of meer van zijn assertions faalt/falen

In dit geval zou "Calls failed" dus inderdaad 0 moeten zijn in plaats van 1.

[stevenbal]

@alextreme ik heb op test even een scenario gemaakt waarin ik drie requests doe, in de eerste test ik op 404 en die krijg ik ook, dus dan wordt die call als successful gezien, bij de tweede faalt de assertion (en de call dus ook, ondanks status code 200) en bij de derde is er een error in het testscript, dus faalt de call ook

https://test.api-test.nl/server/1/a73b5d3a-e351-4bb6-a603-42710946e2bd/

ik zal het doorgeven zodra het op staging staat

[alextreme]

Prima, dank alvast!

[stevenbal]

inmiddels doorgevoerd op staging

[alextreme]

Overgezet naar staging en daar werkt het conform verwachtingen, ter controle aan @HenriKorver

https://staging.api-test.nl/server/2/2caffa21-261e-423f-8125-f2c0a2735171/