italia / spid-sp-test

SAML2 SPID/CIE Service Provider validation tool
European Union Public License 1.2
38 stars 17 forks source link

Extend Responses Test in CLI with json file #151

Open K3V1981 opened 2 years ago

K3V1981 commented 2 years ago

Buongiorno @peppelinux, abbiamo un problema su tutte le response che attendono il risultato OK (1,31,94,95,96,109 e 110).

Lanciando il validator AgID da interfaccia web e selezionando i check elencati di sopra il risultato del flusso di login è quello atteso, quindi ogni volta che ci aspettiamo di atterrare sulla pagina finale del SP è effettivamente così. Se invece lanciamo il tool spid_sp_test le risposte sono dei falsi positivi, quindi per tutti i check che dovrebbero avere 200 OK riceviamo un errore, anche se le risposte HTTP sono quelle attese ovvero un 200 OK dopo un 302.

Utilizzando il flag --test-json e modificando il risultato atteso dalle response notiamo che l'output del tool è sempre lo stesso.

Abbiamo quindi lo stesso risultato dai test, sia che ci nel file json impostiamo un 200 OK sia che impostiamo tutti gli altri codici di errore il tool ci risponde sempre con errore.

Il flag --test-json quindi funziona parzialmente, ovvero esegue i test elencati del file ma non modifica il comportamento del tool in base ai codici HTTP che noi impostiamo nel json.

Si richiede cortesemente supporto non appena possibile, grazie in anticipo.

peppelinux commented 1 year ago

Ciao scusa il ritardo,

condividi (anche in privato su slack e in privato) sia il file json che l'entità da testare online e il comando che usi.

mi sembra strano che il test non utilizzi i codici di errore ma non lo escludo, appena mi consenti di fare i test ti confermo eventualmente il bug e contestualmente lo risolvo

grazie