search

Bright-Computing / bic

Bright-Illumina collaboration
GNU General Public License v2.0
4 stars 5 forks source link

a test case for Lmod, when category depths get supported #10

Open fgeorgatos opened 8 years ago

fgeorgatos commented 8 years ago

Fixing this will be required for fully resolving #5 and #7:

[fgeorgatos@bright-lmod qtop]$ module av blas

---------------------------------------------- /cm/shared/modulefiles1 -----------------------------------------------
   blas/gcc/64/3.5.0    blas/open64/64/3.5.0    openblas/dynamic/0.2.14

Use "module spider" to find all possible modules.
Use "module keyword key1 key2 ..." to search for all possible modules matching any of the "keys".

[fgeorgatos@bright-lmod qtop]$ module load blas/gcc/64/3.5.0
[fgeorgatos@bright-lmod qtop]$ module list

Currently Loaded Modules:
  1) blas/gcc/64/3.5.0

[fgeorgatos@bright-lmod qtop]$ module load blas/open64/64/3.5.0
[fgeorgatos@bright-lmod qtop]$ module list

Currently Loaded Modules:
  1) blas/gcc/64/3.5.0   2) blas/open64/64/3.5.0

[fgeorgatos@bright-lmod qtop]$
fgeorgatos commented 8 years ago

For the record, breaking down the namespace into subsets would not be sufficient without either Lmod supporting multiple category depths or, (more quickly tractable) providing the needed modules via alternative names - these can be symlinks so it's a very cheap solution:

[fgeorgatos@bright-lmod qtop]$ LMOD_PAGER=cat module av

------------------------------------- /cm/shared/modulefiles -------------------------------------
   acml/gcc-int64/64/5.3.1              (D)      intel-cluster-runtime/ia32/3.7       (D)
   acml/gcc-int64/fma4/5.3.1            (D)      intel-cluster-runtime/intel64/3.7    (D)
   acml/gcc-int64/mp/64/5.3.1           (D)      intel-cluster-runtime/mic/3.7        (D)
   acml/gcc-int64/mp/fma4/5.3.1         (D)      intel-mpi/64/5.0.3/048               (D)
   acml/gcc/64/5.3.1                    (D)      intel-mpi/mic/5.0.3/048              (D)
   acml/gcc/fma4/5.3.1                  (D)      intel-tbb-oss/ia32/43_20150424oss    (D)
   acml/gcc/mp/64/5.3.1                 (D)      intel-tbb-oss/intel64/43_20150424oss (D)
   acml/gcc/mp/fma4/5.3.1               (D)      intel/compiler/64/15.0/2015.5.223    (D)
   acml/open64-int64/64/5.3.1           (D)      iozone/3_430                         (D)
   acml/open64-int64/fma4/5.3.1         (D)      lapack/gcc/64/3.5.0                  (D)
   acml/open64-int64/mp/64/5.3.1        (D)      lapack/open64/64/3.5.0               (D)
   acml/open64-int64/mp/fma4/5.3.1      (D)      mpich/ge/gcc/64/3.1.4                (D)
   acml/open64/64/5.3.1                 (D)      mpich/ge/open64/64/3.1.4             (D)
   acml/open64/fma4/5.3.1               (D)      mpiexec/0.84_432                     (D)
   acml/open64/mp/64/5.3.1              (D)      mvapich/gcc/64/1.2rc1                (D)
   acml/open64/mp/fma4/5.3.1            (D)      mvapich/intel/64/1.2rc1              (D)
   blacs/openmpi/gcc/64/1.1patch03      (D)      mvapich/open64/64/1.2rc1             (D)
   blacs/openmpi/open64/64/1.1patch03   (D)      mvapich2/gcc/64/2.1                  (D)
   blas/gcc/64/3.5.0                    (L,D)    mvapich2/intel/64/2.1                (D)
   blas/open64/64/3.5.0                 (L,D)    mvapich2/open64/64/2.1               (D)
   bonnie++/1.97.1                      (D)      netcdf/gcc/64/4.3.3.1
   cmgui/7.1                            (D)      netcdf/open64/64/4.3.3.1
   default-environment                           netperf/2.6.0                        (D)
   fftw2/openmpi/gcc/64/double/2.1.5    (D)      open64/4.5.2.1                       (D)
   fftw2/openmpi/gcc/64/float/2.1.5     (D)      openblas/dynamic/0.2.14              (D)
   fftw2/openmpi/open64/64/double/2.1.5 (D)      openlava/3.0                         (D)
   fftw2/openmpi/open64/64/float/2.1.5  (D)      openmpi/gcc/64/1.8.5                 (D)
   fftw3/openmpi/gcc/64/3.3.4           (D)      openmpi/intel/64/1.8.5               (D)
   fftw3/openmpi/open64/64/3.3.4        (D)      openmpi/open64/64/1.8.5              (D)
   gdb/7.9                              (D)      pbspro/13.0.0.151487                 (D)
   globalarrays/openmpi/gcc/64/5.3      (D)      puppet/3.7.5                         (D)
   globalarrays/openmpi/open64/64/5.3   (D)      scalapack/gcc/64/1.8.0               (D)
   hdf5/1.6.10                          (D)      scalapack/open64/64/1.8.0            (D)
   hdf5_18/1.8.14                       (D)      sge/2011.11p1                        (D)
   hpl/2.1                              (D)      slurm/14.11.6                        (D)
   hwloc/1.9.1                          (D)      torque/5.1.0                         (D)
   intel-cluster-checker/2.2.2          (D)

------------------------------------ /cm/shared/modulefiles1 -------------------------------------
   blas/gcc/64/3.5.0                    intel-mpi/64/5.0.3/048
   blas/open64/64/3.5.0                 intel-mpi/mic/5.0.3/048
   intel-cluster-runtime/ia32/3.7       intel-tbb-oss/ia32/43_20150424oss
   intel-cluster-runtime/intel64/3.7    intel-tbb-oss/intel64/43_20150424oss
   intel-cluster-runtime/mic/3.7        openblas/dynamic/0.2.14

------------------------------------- /cm/local/modulefiles0 -------------------------------------
   cmd     dot           module-info    openldap    use.own
   cmsh    module-git    null           shared      version

------------------------------------- /cm/local/modulefiles1 -------------------------------------
   cluster-tools/7.1    (D)    freeipmi/1.4.8 (D)    ipmitool/1.8.15 (D)
   cm-scale-cluster/7.1 (D)    gcc/5.1.0      (D)

------------------------------------ /cm/shared/modulefiles0 -------------------------------------
   bonnie++/1.97.1    hpl/2.1                        netperf/2.6.0           sge/2011.11p1
   cmgui/7.1          hwloc/1.9.1                    open64/4.5.2.1          slurm/14.11.6
   gdb/7.9            intel-cluster-checker/2.2.2    openlava/3.0            torque/5.1.0
   hdf5/1.6.10        iozone/3_430                   pbspro/13.0.0.151487
   hdf5_18/1.8.14     mpiexec/0.84_432               puppet/3.7.5

------------------------------------ /cm/shared/modulefiles2 -------------------------------------
   acml/gcc-int64/64/5.3.1                 fftw3/openmpi/gcc/64/3.3.4
   acml/gcc-int64/fma4/5.3.1               fftw3/openmpi/open64/64/3.3.4
   acml/gcc-int64/mp/64/5.3.1              globalarrays/openmpi/gcc/64/5.3
   acml/gcc-int64/mp/fma4/5.3.1            globalarrays/openmpi/open64/64/5.3
   acml/gcc/64/5.3.1                       intel/compiler/64/15.0/2015.5.223
   acml/gcc/fma4/5.3.1                     lapack/gcc/64/3.5.0
   acml/gcc/mp/64/5.3.1                    lapack/open64/64/3.5.0
   acml/gcc/mp/fma4/5.3.1                  mpich/ge/gcc/64/3.1.4
   acml/open64-int64/64/5.3.1              mpich/ge/open64/64/3.1.4
   acml/open64-int64/fma4/5.3.1            mvapich/gcc/64/1.2rc1
   acml/open64-int64/mp/64/5.3.1           mvapich/intel/64/1.2rc1
   acml/open64-int64/mp/fma4/5.3.1         mvapich/open64/64/1.2rc1
   acml/open64/64/5.3.1                    mvapich2/gcc/64/2.1
   acml/open64/fma4/5.3.1                  mvapich2/intel/64/2.1
   acml/open64/mp/64/5.3.1                 mvapich2/open64/64/2.1
   acml/open64/mp/fma4/5.3.1               netcdf/gcc/64/4.3.3.1              (D)
   blacs/openmpi/gcc/64/1.1patch03         netcdf/open64/64/4.3.3.1           (D)
   blacs/openmpi/open64/64/1.1patch03      openmpi/gcc/64/1.8.5
   fftw2/openmpi/gcc/64/double/2.1.5       openmpi/intel/64/1.8.5
   fftw2/openmpi/gcc/64/float/2.1.5        openmpi/open64/64/1.8.5
   fftw2/openmpi/open64/64/double/2.1.5    scalapack/gcc/64/1.8.0
   fftw2/openmpi/open64/64/float/2.1.5     scalapack/open64/64/1.8.0

------------------------------------- /cm/local/modulefiles --------------------------------------
   cluster-tools/7.1           dot             (D)    module-git  (D)    shared  (D)
   cm-scale-cluster/7.1        freeipmi/1.4.8         module-info (D)    use.own (D)
   cmd                  (D)    gcc/5.1.0              null        (D)    version (D)
   cmsh                 (D)    ipmitool/1.8.15        openldap    (D)

----------------------------- /usr/share/lmod/lmod/modulefiles/Core ------------------------------
   lmod/6.0.15    settarg/6.0.15

  Where:
   L:  Module is loaded
   D:  Default Module

Use "module spider" to find all possible modules.
Use "module keyword key1 key2 ..." to search for all possible modules matching any of the "keys".

[fgeorgatos@bright-lmod qtop]$

In fact, we are advancing with Bright towards the 2nd direction, in a subset of of modules.

fgeorgatos commented 7 years ago

one more case to test against:

[fg@node008 ~]$ ml av pgi

--------------------- /cm/shared/modulefiles ---------------------
   pgi/64/16.3

Use "module spider" to find all possible modules.
Use "module keyword key1 key2 ..." to search for all possible modules matching any of the "keys".

[fg@node008 ~]$ ml pgi
Lmod has detected the following error:  The following module(s) are unknown: "pgi"

Please check the spelling or version number. Also try "module spider ..."

[fg@node008 ~]$ ml pgi
Lmod has detected the following error:  The following module(s) are unknown: "pgi"

Please check the spelling or version number. Also try "module spider ..."

[fg@node008 ~]$ ml pgi/64/16.3
[fg@node008 ~]$ which pgcc
/cm/shared/apps/pgi/16.3/linux86-64/16.3/bin/pgcc