search

PCMDI / cmor

Climate Model Output Rewriter
BSD 3-Clause "New" or "Revised" License
51 stars 33 forks source link

Trouble with last conda package of cmor library: ImportError: libhdf5.so.103 #416

Closed treerink closed 5 years ago

treerink commented 5 years ago

Hi,

We are not able to update from the one but last to the last cmor library. This one:

cmor=2018.09.19.master.npy1.14=py27h9ac9557_0

still worked, but we get a 'ImportError: libhdf5.so.103' error for:

cmor=2018.11.07.master.npy1.14=py27h9ac9557_0

Something changed in the hdf5 dependencies? Trouble between hdf5 1.10.1 and 1.10.2?

We finally tested a very clean example, see below:

[thomas]{~}>conda clean --all -y

[thomas]{~}>conda create --name test-cmor
Solving environment: done

## Package Plan ##

  environment location: /home/thomas/anaconda2/envs/test-cmor

Proceed ([y]/n)? y

Preparing transaction: done
Verifying transaction: done
Executing transaction: done
#
# To activate this environment, use:
# > source activate test-cmor
#
# To deactivate an active environment, use:
# > source deactivate
#

[thomas]{~}>source activate test-cmor

(test-cmor) [thomas]{~}>conda install -c pcmdi/label/nightly -c conda-forge cmor=2018.11.07.master.npy1.14=py27h9ac9557_0
Solving environment: done

## Package Plan ##

  environment location: /home/thomas/anaconda2/envs/test-cmor

  added / updated specs: 
    - cmor==2018.11.07.master.npy1.14=py27h9ac9557_0

The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    udunits2-2.2.27.6          |       h3a4f0e9_1         161 KB  conda-forge
    pip-18.1                   |        py27_1000         1.7 MB  conda-forge
    intel-openmp-2019.1        |              144         885 KB
    esmf-7.1.0r                |                1        18.9 MB  conda-forge
    pysocks-1.6.8              |        py27_1002          22 KB  conda-forge
    libgfortran-ng-7.2.0       |       hdf63c60_3         1.2 MB  conda-forge
    jasper-1.900.1             |       hff1ad4c_5         275 KB  conda-forge
    cryptography-2.3.1         |   py27hdffb7b8_0         964 KB  conda-forge
    clapack-3.2.1              |       h470a237_1         6.3 MB  conda-forge
    cffi-1.11.5                |   py27h5e8e0c9_1         388 KB  conda-forge
    pyopenssl-18.0.0           |        py27_1000          78 KB  conda-forge
    libdrs_f-3.1.0             |       h2cd7f18_0         361 KB  conda-forge
    chardet-3.0.4              |        py27_1003         180 KB  conda-forge
    pycparser-2.19             |             py_0          87 KB  conda-forge
    six-1.11.0                 |        py27_1001          20 KB  conda-forge
    libedit-3.1.20170329       |       haf1bffa_1         158 KB  conda-forge
    libstdcxx-ng-7.2.0         |       hdf63c60_3         2.5 MB  conda-forge
    mpi-1.0                    |            mpich           4 KB  conda-forge
    ncurses-6.1                |       hfc679d8_1         1.2 MB  conda-forge
    libgcc-7.2.0               |       h69d50b8_2         304 KB  conda-forge
    readline-7.0               |       haf1bffa_1         381 KB  conda-forge
    distarray-2.12.2           |             py_1          10 KB  conda-forge
    libffi-3.2.1               |       hfc679d8_5          51 KB  conda-forge
    libgfortran-3.0.0          |                1         281 KB  conda-forge
    cmor-2018.11.07.master.npy1.14|   py27h9ac9557_0         1.8 MB  pcmdi/label/nightly
    cdms2-3.1.0                |   py27h6091dcd_0         1.2 MB  conda-forge
    future-0.17.0              |        py27_1000         708 KB  conda-forge
    curl-7.62.0                |       h74213dd_0         135 KB  conda-forge
    esmpy-7.1.0r               |           py27_1         159 KB  conda-forge
    requests-2.20.1            |        py27_1000          83 KB  conda-forge
    netcdf-fortran-4.4.4       |                7         890 KB  conda-forge
    idna-2.7                   |        py27_1002         131 KB  conda-forge
    cdat_info-8.0              |           py27_0          17 KB  conda-forge
    libcdms-3.0.1              |       h9ac9557_2         2.5 MB  conda-forge
    enum34-1.1.6               |        py27_1001          56 KB  conda-forge
    numpy-base-1.15.4          |   py27h81de0dd_0         4.2 MB
    mkl_fft-1.0.6              |           py27_0         526 KB  conda-forge
    libnetcdf-4.6.1            |                2         1.3 MB  conda-forge
    urllib3-1.23               |        py27_1001         150 KB  conda-forge
    mkl_random-1.0.2           |           py27_0         1.0 MB  conda-forge
    ca-certificates-2018.10.15 |       ha4d7672_0         135 KB  conda-forge
    libssh2-1.8.0              |       h5b517e9_3         225 KB  conda-forge
    libdrs-3.1.0               |       h6e3784b_0         368 KB  conda-forge
    g2clib-1.6.0               |                3          42 KB  conda-forge
    libpng-1.6.35              |       ha92aebf_2         305 KB  conda-forge
    lapack-3.6.1               |                1         2.2 MB  conda-forge
    expat-2.2.5                |       hfc679d8_2         144 KB  conda-forge
    setuptools-40.6.2          |           py27_0         622 KB  conda-forge
    tk-8.6.9                   |       ha92aebf_0         3.1 MB  conda-forge
    xz-5.2.4                   |       h470a237_1         328 KB  conda-forge
    hdf4-4.2.13                |       h951d187_2         970 KB  conda-forge
    mpich-3.2.1                |       h26a2512_6         5.4 MB  conda-forge
    wheel-0.32.3               |           py27_0          34 KB  conda-forge
    python-2.7.15              |       h33da82c_5        13.6 MB  conda-forge
    cryptography-vectors-2.3.1 |        py27_1000        30.5 MB  conda-forge
    cdtime-3.1.0               |   py27h6091dcd_1         629 KB  conda-forge
    sqlite-3.25.3              |       hb1c47c0_0         1.6 MB  conda-forge
    zlib-1.2.11                |       h470a237_3          93 KB  conda-forge
    ipaddress-1.0.22           |             py_1          18 KB  conda-forge
    hdf5-1.10.1                |                2         5.0 MB  conda-forge
    mkl-2018.0.3               |                1       198.7 MB
    jpeg-9c                    |       h470a237_1         229 KB  conda-forge
    libcurl-7.62.0             |       hbdb9355_0         535 KB  conda-forge
    krb5-1.16.2                |       hbb41f41_0         1.4 MB  conda-forge
    certifi-2018.10.15         |        py27_1000         138 KB  conda-forge
    libcf-1.0.1                |           py27_2         274 KB  conda-forge
    numpy-1.15.4               |   py27h1d66e8a_0          35 KB
    openssl-1.0.2p             |       h470a237_1         3.1 MB  conda-forge
    blas-1.0                   |              mkl           6 KB
    libtiff-4.0.9              |       he6b73bb_2         521 KB  conda-forge
    asn1crypto-0.24.0          |        py27_1003         154 KB  conda-forge
    ossuuid-1.6.2              |       hfc679d8_0          53 KB  conda-forge
    ------------------------------------------------------------
                                           Total:       321.4 MB

The following NEW packages will be INSTALLED:

    asn1crypto:           0.24.0-py27_1003                         conda-forge        
    blas:                 1.0-mkl                                                     
    ca-certificates:      2018.10.15-ha4d7672_0                    conda-forge        
    cdat_info:            8.0-py27_0                               conda-forge        
    cdms2:                3.1.0-py27h6091dcd_0                     conda-forge        
    cdtime:               3.1.0-py27h6091dcd_1                     conda-forge        
    certifi:              2018.10.15-py27_1000                     conda-forge        
    cffi:                 1.11.5-py27h5e8e0c9_1                    conda-forge        
    chardet:              3.0.4-py27_1003                          conda-forge        
    clapack:              3.2.1-h470a237_1                         conda-forge        
    cmor:                 2018.11.07.master.npy1.14-py27h9ac9557_0 pcmdi/label/nightly
    cryptography:         2.3.1-py27hdffb7b8_0                     conda-forge        
    cryptography-vectors: 2.3.1-py27_1000                          conda-forge        
    curl:                 7.62.0-h74213dd_0                        conda-forge        
    distarray:            2.12.2-py_1                              conda-forge        
    enum34:               1.1.6-py27_1001                          conda-forge        
    esmf:                 7.1.0r-1                                 conda-forge        
    esmpy:                7.1.0r-py27_1                            conda-forge        
    expat:                2.2.5-hfc679d8_2                         conda-forge        
    future:               0.17.0-py27_1000                         conda-forge        
    g2clib:               1.6.0-3                                  conda-forge        
    hdf4:                 4.2.13-h951d187_2                        conda-forge        
    hdf5:                 1.10.1-2                                 conda-forge        
    idna:                 2.7-py27_1002                            conda-forge        
    intel-openmp:         2019.1-144                                                  
    ipaddress:            1.0.22-py_1                              conda-forge        
    jasper:               1.900.1-hff1ad4c_5                       conda-forge        
    jpeg:                 9c-h470a237_1                            conda-forge        
    krb5:                 1.16.2-hbb41f41_0                        conda-forge        
    lapack:               3.6.1-1                                  conda-forge        
    libcdms:              3.0.1-h9ac9557_2                         conda-forge        
    libcf:                1.0.1-py27_2                             conda-forge        
    libcurl:              7.62.0-hbdb9355_0                        conda-forge        
    libdrs:               3.1.0-h6e3784b_0                         conda-forge        
    libdrs_f:             3.1.0-h2cd7f18_0                         conda-forge        
    libedit:              3.1.20170329-haf1bffa_1                  conda-forge        
    libffi:               3.2.1-hfc679d8_5                         conda-forge        
    libgcc:               7.2.0-h69d50b8_2                         conda-forge        
    libgcc-ng:            8.2.0-hdf63c60_1                                            
    libgfortran:          3.0.0-1                                  conda-forge        
    libgfortran-ng:       7.2.0-hdf63c60_3                         conda-forge        
    libnetcdf:            4.6.1-2                                  conda-forge        
    libpng:               1.6.35-ha92aebf_2                        conda-forge        
    libssh2:              1.8.0-h5b517e9_3                         conda-forge        
    libstdcxx-ng:         7.2.0-hdf63c60_3                         conda-forge        
    libtiff:              4.0.9-he6b73bb_2                         conda-forge        
    mkl:                  2018.0.3-1                                                  
    mkl_fft:              1.0.6-py27_0                             conda-forge        
    mkl_random:           1.0.2-py27_0                             conda-forge        
    mpi:                  1.0-mpich                                conda-forge        
    mpich:                3.2.1-h26a2512_6                         conda-forge        
    ncurses:              6.1-hfc679d8_1                           conda-forge        
    netcdf-fortran:       4.4.4-7                                  conda-forge        
    numpy:                1.15.4-py27h1d66e8a_0                                       
    numpy-base:           1.15.4-py27h81de0dd_0                                       
    openssl:              1.0.2p-h470a237_1                        conda-forge        
    ossuuid:              1.6.2-hfc679d8_0                         conda-forge        
    pip:                  18.1-py27_1000                           conda-forge        
    pycparser:            2.19-py_0                                conda-forge        
    pyopenssl:            18.0.0-py27_1000                         conda-forge        
    pysocks:              1.6.8-py27_1002                          conda-forge        
    python:               2.7.15-h33da82c_5                        conda-forge        
    readline:             7.0-haf1bffa_1                           conda-forge        
    requests:             2.20.1-py27_1000                         conda-forge        
    setuptools:           40.6.2-py27_0                            conda-forge        
    six:                  1.11.0-py27_1001                         conda-forge        
    sqlite:               3.25.3-hb1c47c0_0                        conda-forge        
    tk:                   8.6.9-ha92aebf_0                         conda-forge        
    udunits2:             2.2.27.6-h3a4f0e9_1                      conda-forge        
    urllib3:              1.23-py27_1001                           conda-forge        
    wheel:                0.32.3-py27_0                            conda-forge        
    xz:                   5.2.4-h470a237_1                         conda-forge        
    zlib:                 1.2.11-h470a237_3                        conda-forge        

Proceed ([y]/n)? y

Downloading and Extracting Packages
udunits2-2.2.27.6    | 161 KB    | #################################################################################################################################################### | 100% 
pip-18.1             | 1.7 MB    | #################################################################################################################################################### | 100% 
intel-openmp-2019.1  | 885 KB    | #################################################################################################################################################### | 100% 
esmf-7.1.0r          | 18.9 MB   | #################################################################################################################################################### | 100% 
pysocks-1.6.8        | 22 KB     | #################################################################################################################################################### | 100% 
libgfortran-ng-7.2.0 | 1.2 MB    | #################################################################################################################################################### | 100% 
jasper-1.900.1       | 275 KB    | #################################################################################################################################################### | 100% 
cryptography-2.3.1   | 964 KB    | #################################################################################################################################################### | 100% 
clapack-3.2.1        | 6.3 MB    | #################################################################################################################################################### | 100% 
cffi-1.11.5          | 388 KB    | #################################################################################################################################################### | 100% 
pyopenssl-18.0.0     | 78 KB     | #################################################################################################################################################### | 100% 
libdrs_f-3.1.0       | 361 KB    | #################################################################################################################################################### | 100% 
chardet-3.0.4        | 180 KB    | #################################################################################################################################################### | 100% 
pycparser-2.19       | 87 KB     | #################################################################################################################################################### | 100% 
six-1.11.0           | 20 KB     | #################################################################################################################################################### | 100% 
libedit-3.1.20170329 | 158 KB    | #################################################################################################################################################### | 100% 
libstdcxx-ng-7.2.0   | 2.5 MB    | #################################################################################################################################################### | 100% 
mpi-1.0              | 4 KB      | #################################################################################################################################################### | 100% 
ncurses-6.1          | 1.2 MB    | #################################################################################################################################################### | 100% 
libgcc-7.2.0         | 304 KB    | #################################################################################################################################################### | 100% 
readline-7.0         | 381 KB    | #################################################################################################################################################### | 100% 
distarray-2.12.2     | 10 KB     | #################################################################################################################################################### | 100% 
libffi-3.2.1         | 51 KB     | #################################################################################################################################################### | 100% 
libgfortran-3.0.0    | 281 KB    | #################################################################################################################################################### | 100% 
cmor-2018.11.07.mast | 1.8 MB    | #################################################################################################################################################### | 100% 
cdms2-3.1.0          | 1.2 MB    | #################################################################################################################################################### | 100% 
future-0.17.0        | 708 KB    | #################################################################################################################################################### | 100% 
curl-7.62.0          | 135 KB    | #################################################################################################################################################### | 100% 
esmpy-7.1.0r         | 159 KB    | #################################################################################################################################################### | 100% 
requests-2.20.1      | 83 KB     | #################################################################################################################################################### | 100% 
netcdf-fortran-4.4.4 | 890 KB    | #################################################################################################################################################### | 100% 
idna-2.7             | 131 KB    | #################################################################################################################################################### | 100% 
cdat_info-8.0        | 17 KB     | #################################################################################################################################################### | 100% 
libcdms-3.0.1        | 2.5 MB    | #################################################################################################################################################### | 100% 
enum34-1.1.6         | 56 KB     | #################################################################################################################################################### | 100% 
numpy-base-1.15.4    | 4.2 MB    | #################################################################################################################################################### | 100% 
mkl_fft-1.0.6        | 526 KB    | #################################################################################################################################################### | 100% 
libnetcdf-4.6.1      | 1.3 MB    | #################################################################################################################################################### | 100% 
urllib3-1.23         | 150 KB    | #################################################################################################################################################### | 100% 
mkl_random-1.0.2     | 1.0 MB    | #################################################################################################################################################### | 100% 
ca-certificates-2018 | 135 KB    | #################################################################################################################################################### | 100% 
libssh2-1.8.0        | 225 KB    | #################################################################################################################################################### | 100% 
libdrs-3.1.0         | 368 KB    | #################################################################################################################################################### | 100% 
g2clib-1.6.0         | 42 KB     | #################################################################################################################################################### | 100% 
libpng-1.6.35        | 305 KB    | #################################################################################################################################################### | 100% 
lapack-3.6.1         | 2.2 MB    | #################################################################################################################################################### | 100% 
expat-2.2.5          | 144 KB    | #################################################################################################################################################### | 100% 
setuptools-40.6.2    | 622 KB    | #################################################################################################################################################### | 100% 
tk-8.6.9             | 3.1 MB    | #################################################################################################################################################### | 100% 
xz-5.2.4             | 328 KB    | #################################################################################################################################################### | 100% 
hdf4-4.2.13          | 970 KB    | #################################################################################################################################################### | 100% 
mpich-3.2.1          | 5.4 MB    | #################################################################################################################################################### | 100% 
wheel-0.32.3         | 34 KB     | #################################################################################################################################################### | 100% 
python-2.7.15        | 13.6 MB   | #################################################################################################################################################### | 100% 
cryptography-vectors | 30.5 MB   | #################################################################################################################################################### | 100% 
cdtime-3.1.0         | 629 KB    | #################################################################################################################################################### | 100% 
sqlite-3.25.3        | 1.6 MB    | #################################################################################################################################################### | 100% 
zlib-1.2.11          | 93 KB     | #################################################################################################################################################### | 100% 
ipaddress-1.0.22     | 18 KB     | #################################################################################################################################################### | 100% 
hdf5-1.10.1          | 5.0 MB    | #################################################################################################################################################### | 100% 
mkl-2018.0.3         | 198.7 MB  | #################################################################################################################################################### | 100% 
jpeg-9c              | 229 KB    | #################################################################################################################################################### | 100% 
libcurl-7.62.0       | 535 KB    | #################################################################################################################################################### | 100% 
krb5-1.16.2          | 1.4 MB    | #################################################################################################################################################### | 100% 
certifi-2018.10.15   | 138 KB    | #################################################################################################################################################### | 100% 
libcf-1.0.1          | 274 KB    | #################################################################################################################################################### | 100% 
numpy-1.15.4         | 35 KB     | #################################################################################################################################################### | 100% 
openssl-1.0.2p       | 3.1 MB    | #################################################################################################################################################### | 100% 
blas-1.0             | 6 KB      | #################################################################################################################################################### | 100% 
libtiff-4.0.9        | 521 KB    | #################################################################################################################################################### | 100% 
asn1crypto-0.24.0    | 154 KB    | #################################################################################################################################################### | 100% 
ossuuid-1.6.2        | 53 KB     | #################################################################################################################################################### | 100% 
Preparing transaction: done
Verifying transaction: done
Executing transaction: done
(test-cmor) [thomas]{~}>PrePARE -h
Traceback (most recent call last):
  File "/home/thomas/anaconda2/envs/test-cmor/bin/PrePARE", line 11, in <module>
    load_entry_point('CMOR==3.3.3', 'console_scripts', 'PrePARE')()
  File "/home/thomas/anaconda2/envs/test-cmor/lib/python2.7/site-packages/pkg_resources/__init__.py", line 487, in load_entry_point
    return get_distribution(dist).load_entry_point(group, name)
  File "/home/thomas/anaconda2/envs/test-cmor/lib/python2.7/site-packages/pkg_resources/__init__.py", line 2728, in load_entry_point
    return ep.load()
  File "/home/thomas/anaconda2/envs/test-cmor/lib/python2.7/site-packages/pkg_resources/__init__.py", line 2346, in load
    return self.resolve()
  File "/home/thomas/anaconda2/envs/test-cmor/lib/python2.7/site-packages/pkg_resources/__init__.py", line 2352, in resolve
    module = __import__(self.module_name, fromlist=['__name__'], level=0)
  File "/home/thomas/anaconda2/envs/test-cmor/lib/python2.7/site-packages/cmip6_cv/__init__.py", line 1, in <module>
    from cmor_const import *
  File "/home/thomas/anaconda2/envs/test-cmor/lib/python2.7/site-packages/cmip6_cv/cmor_const.py", line 1, in <module>
    import _cmip6_cv
ImportError: libhdf5.so.103: cannot open shared object file: No such file or directory
(test-cmor) [thomas]{~}>
taylor13 commented 5 years ago

This should be high priority, I think, if we want CMOR to be usable.

doutriaux1 commented 5 years ago

look like you're building against 1.10 for hdf5 version, cmor locks to 1.8. Let me try to "up" hdf5 to 1.10 in cmor and see what happen then

doutriaux1 commented 5 years ago

I take this back we are building against 1.10 so feel free to try the latest version of cmor that we built today, it should be properly linked now

treerink commented 5 years ago

Thanks, I would like to test it, but I don't see an update here: https://anaconda.org/PCMDI/cmor/files

doutriaux1 commented 5 years ago

@mauzey1 can you please take a look it seems like master does not upload any longer.

mauzey1 commented 5 years ago

I merged a pull request into master a few hours ago. It was able to build and pass CMOR tests, but circle ci tests failed during the "solving environment" portion of conda_upload. When it was performing the conda build, it installed hdf5-1.10.4 even though the version built for the tests was hdf5-1.10.3.

doutriaux1 commented 5 years ago

thx @mauzey1 , I'm taking a look

doutriaux1 commented 5 years ago

@mauzey1 I was able to tweak the recipe and it is now uploading again. Looks like we're building/running against 1.10.3 now

treerink commented 5 years ago

Thanks, we are able to use this one

cmor_3.3.3.2018.12.17.20.22.g309f4c6.npy1.14_py27ha5dfbcb_0

for linux. Our test go fine.