hrmoller
commented
6 years ago Mine fem cent:
Historisk var det svært at opnå en stabil afvikling af seleniumtests på SauceLabs mod en bred vifte af browsere. SauceLabs var svær at arbejde med og en test der fejlede i første forsøg kunne godt gå grøn i andet forsøg uden ændringer af kode eller tests.
Jeg har ikke arbejdet med SauceLabs i et stykke tid men mit indtryk er at Browserstack er mere stabil. Browserstack blev tidligere i år(?) overtaget af Microsoft og dermed blev det gratis at teste mod alle versioner af Edge.
På nuværende tidspunkt bruges der selenium-webdriver til at afvikle Selenium tests, men man kunne overveje at bruge WebdriverIO istedet som vist også bruges i metakompasset(?). Personligt mener jeg WebdriverIO har et bedre API + nem integration med SauceLabs, Browserstack og også cucumber.js der lige nu afvikler feature tests.
I tilfælde af at der skiftes til WebdriverIO vil der skulle rettes i de fleste, hvis ikke alle, step_definitions men man kunne i den forbindelse tage et i kig på cucumber-boilerplate (link kommer) der har en fin suite af step_definitions der kan copy/pastes og som er formuleret lidt mere generelt end mange af dem der allerede befinder sig i Biblo er, hvilke til tider kan gøre det svært at genbruge de nuværende step_definitions.
Der skal undersøges hvor meget arbejde det kræver at afvikle seleniumtests i forskellige browsere som en del af deploy. Der er opsat saucelabs configuration (https://github.com/DBCDK/biblo/blob/master/selenium/saucelabs.config.js) men de bliver ikke afviklet ved deploy.