nodejs / citgm

Canary in the Gold Mine
https://www.npmjs.com/package/citgm
Other
559 stars 146 forks source link

Node.js latest CITGM results #1060

Open RafaelGSS opened 2 months ago

RafaelGSS commented 2 months ago

Hello everyone,

We are experiencing issues with CITGM again and I'm creating this issue to address the problems previously mentioned in https://github.com/nodejs/citgm/issues/1053, https://github.com/nodejs/citgm/issues/1052, and https://github.com/nodejs/citgm/issues/1033. I've initiated a CITGM test for the v18.x, v20.x, and v22.x branches to identify and resolve the failing modules.

Here are the runs for the respective branches:

To expedite the CITGM test, I've only selected the osx, ubuntu, rhel64, and windows environments, as these typically require more time to complete.

image
RafaelGSS commented 2 months ago

v18 Failures

┌─────────┬────────┐
│ (index) │ Values │
├─────────┼────────┤
│ Failed  │ 22     │
│ Skipped │ 30     │
│ Passed  │ 194    │
│ Total   │ 246    │
└─────────┴────────┘
┌───────────────┬───────────────────┬──────────────────┬────────────────────┬────────────────────┬──────────────────────┬───────────────────────┬───────────────────────────┬──────────────────────┬───────────────────────────┐
│ (index)       │ 0                 │ 1                │ 2                  │ 3                  │ 4                    │ 5                     │ 6                         │ 7                    │ 8                         │
├───────────────┼───────────────────┼──────────────────┼────────────────────┼────────────────────┼──────────────────────┼───────────────────────┼───────────────────────────┼──────────────────────┼───────────────────────────┤
│ osx11         │ 'fastify-v4.27.0' │ 'mime-v4.0.3'    │ 'node-gyp-v10.1.0' │ 'q-v1.5.1'         │ 'serialport-v12.0.0' │ 'through2-v4.0.2'     │ 'yeoman-generator-v7.1.1' │                      │                           │
│ rhel8-x64     │ 'fastify-v4.27.0' │ 'jest-v0.0.0'    │ 'mime-v4.0.3'      │ 'node-gyp-v10.1.0' │ 'serialport-v12.0.0' │ 'undici-v6.18.1'      │                           │                      │                           │
│ ubuntu2204-64 │ 'ava-v6.1.3'      │ 'clinic-v13.0.0' │ 'fastify-v4.27.0'  │ 'jest-v0.0.0'      │ 'mime-v4.0.3'        │ 'multer-v1.4.5-lts.1' │ 'node-gyp-v10.1.0'        │ 'serialport-v12.0.0' │ 'yeoman-generator-v7.1.1' │
└───────────────┴───────────────────┴──────────────────┴────────────────────┴────────────────────┴──────────────────────┴───────────────────────┴───────────────────────────┴──────────────────────┴───────────────────────────┘

v20 Failures

┌─────────┬────────┐
│ (index) │ Values │
├─────────┼────────┤
│ Failed  │ 34     │
│ Skipped │ 81     │
│ Passed  │ 295    │
│ Total   │ 410    │
└─────────┴────────┘
┌───────────────┬───────────────────────┬────────────────────┬───────────────────────┬───────────────────────────┬───────────────────┬───────────────────────────┬──────────────────────┬───────────────────────────┬───────────────────────────┐
│ (index)       │ 0                     │ 1                  │ 2                     │ 3                         │ 4                 │ 5                         │ 6                    │ 7                         │ 8                         │
├───────────────┼───────────────────────┼────────────────────┼───────────────────────┼───────────────────────────┼───────────────────┼───────────────────────────┼──────────────────────┼───────────────────────────┼───────────────────────────┤
│ rhel8-x64     │ 'jest-v0.0.0'         │ 'mime-v4.0.3'      │ 'node-gyp-v10.1.0'    │ 'serialport-v12.0.0'      │ 'undici-v6.18.1'  │                           │                      │                           │                           │
│ osx11         │ 'coffeescript-v2.7.0' │ 'mime-v4.0.3'      │ 'node-gyp-v10.1.0'    │ 'serialport-v12.0.0'      │ 'through2-v4.0.2' │ 'yeoman-generator-v7.1.1' │                      │                           │                           │
│ ubuntu2204-64 │ 'ava-v6.1.3'          │ 'clinic-v13.0.0'   │ 'coffeescript-v2.7.0' │ 'jest-v0.0.0'             │ 'mime-v4.0.3'     │ 'node-gyp-v10.1.0'        │ 'serialport-v12.0.0' │ 'yeoman-generator-v7.1.1' │                           │
│ win-vs2022    │ 'coffeescript-v2.7.0' │ 'leveldown-v6.1.1' │ 'pino-v9.1.0'         │ 'serialport-v12.0.0'      │ 'undici-v6.18.1'  │ 'yeoman-generator-v7.1.1' │                      │                           │                           │
│ osx11-x64     │ '@yarnpkg/cli'        │ 'ava-v6.1.3'       │ 'coffeescript-v2.7.0' │ 'ember-cli-v5.9.0-beta.1' │ 'mime-v4.0.3'     │ 'node-gyp-v10.1.0'        │ 'serialport-v12.0.0' │ 'undici-v6.18.1'          │ 'yeoman-generator-v7.1.1' │
└───────────────┴───────────────────────┴────────────────────┴───────────────────────┴───────────────────────────┴───────────────────┴───────────────────────────┴──────────────────────┴───────────────────────────┴───────────────────────────┘

v22 Failures

┌─────────┬────────┐
│ (index) │ Values │
├─────────┼────────┤
│ Failed  │ 38     │
│ Skipped │ 93     │
│ Passed  │ 279    │
│ Total   │ 410    │
└─────────┴────────┘
┌───────────────┬───────────────────────────────┬───────────────────────┬───────────────────────────────┬───────────────────────────────┬───────────────────────────────┬──────────────────────┬──────────────────────┬──────────────────────┬──────────────────┐
│ (index)       │ 0                             │ 1                     │ 2                             │ 3                             │ 4                             │ 5                    │ 6                    │ 7                    │ 8                │
├───────────────┼───────────────────────────────┼───────────────────────┼───────────────────────────────┼───────────────────────────────┼───────────────────────────────┼──────────────────────┼──────────────────────┼──────────────────────┼──────────────────┤
│ osx11-x64     │ '@yarnpkg/cli'                │ 'ava-v6.1.3'          │ 'coffeescript-v2.7.0'         │ 'import-in-the-middle-v1.7.4' │ 'mime-v4.0.3'                 │ 'node-gyp-v10.1.0'   │ 'serialport-v12.0.0' │ 'tape-v5.7.5'        │ 'undici-v6.18.1' │
│ win-vs2022    │ 'coffeescript-v2.7.0'         │ 'leveldown-v6.1.1'    │ 'pino-v9.1.0'                 │ 'serialport-v12.0.0'          │ 'undici-v6.18.1'              │                      │                      │                      │                  │
│ osx11         │ 'ava-v6.1.3'                  │ 'coffeescript-v2.7.0' │ 'import-in-the-middle-v1.7.4' │ 'mime-v4.0.3'                 │ 'node-gyp-v10.1.0'            │ 'serialport-v12.0.0' │ 'tape-v5.7.5'        │ 'through2-v4.0.2'    │                  │
│ ubuntu2204-64 │ 'ava-v6.1.3'                  │ 'clinic-v13.0.0'      │ 'coffeescript-v2.7.0'         │ 'gulp-v5.0.0'                 │ 'import-in-the-middle-v1.7.4' │ 'mime-v4.0.3'        │ 'node-gyp-v10.1.0'   │ 'serialport-v12.0.0' │ 'tape-v5.7.5'    │
│ rhel8-x64     │ 'import-in-the-middle-v1.7.4' │ 'jest-v0.0.0'         │ 'mime-v4.0.3'                 │ 'node-gyp-v10.1.0'            │ 'serialport-v12.0.0'          │ 'tape-v5.7.5'        │ 'undici-v6.18.1'     │                      │                  │
└───────────────┴───────────────────────────────┴───────────────────────┴───────────────────────────────┴───────────────────────────────┴───────────────────────────────┴──────────────────────┴──────────────────────┴──────────────────────┴──────────────────┘
RafaelGSS commented 2 months ago

Adding to Release agenda to discuss possibilities to solve timeout errors.

mcollina commented 2 months ago

A few notes on this: latest v18 release broke Fastify v4 test suite.