search

WatsonLab / MAGpy

Snakemake pipeline for downstream analysis of metagenome-assembled genomes (MAGs) (pronounced mag-pie)
62 stars 23 forks source link

installation issue for sourmash #41

Open mars188 opened 2 years ago

mars188 commented 2 years ago

Hello,

I want to use MAGpy for my metagenomic data analysis but get the error at a very early stage. My command is here: git clone https://github.com/WatsonLab/MAGpy.git cd MAGpy conda env create -f envs/install.yaml This succesfully creates a conda environment.

I activated the environment conda activate maypy_install

Then ran the following command: nakemake -rp -s MAGpy --cores 24 --use-conda test But get the following error: `Building DAG of jobs... Creating conda environment envs/prodigal.yaml... Downloading and installing remote packages. Environment for envs/prodigal.yaml created (location: .snakemake/conda/55c7ff22b092c19217e5f2ec3f9e4209) Creating conda environment envs/bioperl.yaml... Downloading and installing remote packages. Environment for envs/bioperl.yaml created (location: .snakemake/conda/a38998cd23e9ca04e9db80dcbfc6e82c) Creating conda environment envs/pfam_scan.yaml... Downloading and installing remote packages. Environment for envs/pfam_scan.yaml created (location: .snakemake/conda/31f109d7845f53d8b16f172a493949bd) Creating conda environment envs/phylophlan.yaml... Downloading and installing remote packages. Environment for envs/phylophlan.yaml created (location: .snakemake/conda/d1d3c5ec64b4c2330ba4a92faf2e0eb3) Creating conda environment envs/diamond.yaml... Downloading and installing remote packages. Environment for envs/diamond.yaml created (location: .snakemake/conda/8435cfd2ff926a9883cafbdc8d09837d) Creating conda environment envs/sourmash.yaml... Downloading and installing remote packages. CreateCondaEnvironmentException: Could not create conda environment from /scratch/gencore/ma5877/MAGs/MAGpy/envs/sourmash.yaml: Preparing transaction: ...working... done Verifying transaction: ...working... done Executing transaction: ...working... done Encountered problems while solving:

Please help in solving this issue. Many thanks in advance!

mw55309 commented 2 years ago

Hello

Can you try just this:

conda env create -f envs/sourmash.yaml

It just worked for me

Collecting package metadata (repodata.json): done
Solving environment: done

Downloading and Extracting Packages
openssl-3.0.0        | 2.9 MB    | ######################################################################################################################################### | 100%
sourmash-4.1.1       | 6 KB      | ######################################################################################################################################### | 100%
libgfortran-ng-11.2. | 19 KB     | ######################################################################################################################################### | 100%
matplotlib-base-3.4. | 7.3 MB    | ######################################################################################################################################### | 100%
libcblas-3.9.0       | 12 KB     | ######################################################################################################################################### | 100%
sourmash-minimal-4.1 | 7.5 MB    | ######################################################################################################################################### | 100%
python-3.9.7         | 27.5 MB   | ######################################################################################################################################### | 100%
libffi-3.4.2         | 57 KB     | ######################################################################################################################################### | 100%
tzdata-2021e         | 121 KB    | ######################################################################################################################################### | 100%
liblapack-3.9.0      | 12 KB     | ######################################################################################################################################### | 100%
certifi-2021.10.8    | 145 KB    | ######################################################################################################################################### | 100%
numpy-1.21.4         | 6.2 MB    | ######################################################################################################################################### | 100%
libdeflate-1.8       | 67 KB     | ######################################################################################################################################### | 100%
pycparser-2.21       | 100 KB    | ######################################################################################################################################### | 100%
tornado-6.1          | 646 KB    | ######################################################################################################################################### | 100%
screed-1.0.5         | 85 KB     | ######################################################################################################################################### | 100%
lerc-3.0             | 216 KB    | ######################################################################################################################################### | 100%
libtiff-4.3.0        | 614 KB    | ######################################################################################################################################### | 100%
deprecation-2.1.0    | 14 KB     | ######################################################################################################################################### | 100%
pyparsing-3.0.5      | 78 KB     | ######################################################################################################################################### | 100%
cycler-0.11.0        | 10 KB     | ######################################################################################################################################### | 100%
bz2file-0.98         | 9 KB      | ######################################################################################################################################### | 100%
scipy-1.7.2          | 22.1 MB   | ######################################################################################################################################### | 100%
libblas-3.9.0        | 12 KB     | ######################################################################################################################################### | 100%
libopenblas-0.3.18   | 9.6 MB    | ######################################################################################################################################### | 100%
kiwisolver-1.3.2     | 80 KB     | ######################################################################################################################################### | 100%
setuptools-58.5.3    | 1011 KB   | ######################################################################################################################################### | 100%
libgfortran5-11.2.0  | 1.7 MB    | ######################################################################################################################################### | 100%
pip-21.3.1           | 1.2 MB    | ######################################################################################################################################### | 100%
cffi-1.15.0          | 227 KB    | ######################################################################################################################################### | 100%
cachetools-4.2.4     | 12 KB     | ######################################################################################################################################### | 100%
pillow-8.4.0         | 706 KB    | ######################################################################################################################################### | 100%
Preparing transaction: done
Verifying transaction: done
Executing transaction: \
mars188 commented 2 years ago

Thank you for pasting your results. It seems like installation goes well but I get few packages compared to what you have. My installing output is here:

Downloading and Extracting Packages botocore-1.23.4 | 5.0 MB | ################################################################################################################################################################################################## | 100% libxcb-1.13 | 391 KB | ################################################################################################################################################################################################## | 100% google-cloud-core-2. | 27 KB | ################################################################################################################################################################################################## | 100% boto3-1.20.3 | 71 KB | ################################################################################################################################################################################################## | 100% Preparing transaction: done Verifying transaction: done Executing transaction: /

And when I try to run the test i get another error: `CreateCondaEnvironmentException: Could not create conda environment from /scratch/gencore/ma5877/MAGs/MAGpy/envs/ete3.yaml: Preparing transaction: ...working... done Verifying transaction: ...working... done Executing transaction: ...working... done Encountered problems while solving:

So can you please share the text of your "sourmash.yaml"? I think I may be missing something.

more envs/sourmash.yaml

Many thanks,

mars188 commented 2 years ago

My "sourmash.yaml" file looks like this: `(base) [gencore@compute-15-1 MAGpy]$ :more envs/sourmash.yaml name: sourmash channels:

mw55309 commented 2 years ago

Just to confirm that the magpy_install and test commands ran to completion for me yesterday with no problems

This may be a problem with your conda setup....

mars188 commented 2 years ago

Ok, thanks for letting me know. I am going to download a new miniconda, and start everything from scratch. Hope it would work this time. Will update you. Many thanks for your time.

mw55309 commented 2 years ago

What OS are you using?

From: mars188 @.> Sent: Tuesday, November 16, 2021 4:32:11 PM To: WatsonLab/MAGpy @.> Cc: WATSON Mick @.>; Comment @.> Subject: Re: [WatsonLab/MAGpy] installation issue for sourmash (Issue #41)

This email was sent to you by someone outside the University. You should only click on links or attachments if you are certain that the email is genuine and the content is safe.

Ok, thanks for letting me know. I am going to download a new miniconda, and start everything from scratch. Hope it would work this time. Will update you. Many thanks for your time.

— You are receiving this because you commented. Reply to this email directly, view it on GitHubhttps://github.com/WatsonLab/MAGpy/issues/41#issuecomment-970447458, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AANR6UG7YBYJSTN5XDNFJQLUMKBQXANCNFSM5H2NUPKQ. Triage notifications on the go with GitHub Mobile for iOShttps://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675 or Androidhttps://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub.

The University of Edinburgh is a charitable body, registered in Scotland, with registration number SC005336. Is e buidheann carthannais a th’ ann an Oilthigh Dhùn Èideann, clàraichte an Alba, àireamh clàraidh SC005336.

mars188 commented 2 years ago

I'm running on HPC on commandline.

mars188 commented 2 years ago

So linux I guess...

mars188 commented 2 years ago

Ok, I downloaded the new miniconda, set up the new environment but get the same error again.

Not sure what's wrong with my conda set up :(

mw55309 commented 2 years ago

Sometimes it is the underlying OS – if some of the libraries conda wants to install are new and the OS is really old, then it can struggle

Do you have access to a different linux OS?

From: mars188 @.> Sent: 18 November 2021 08:15 To: WatsonLab/MAGpy @.> Cc: WATSON Mick @.>; Comment @.> Subject: Re: [WatsonLab/MAGpy] installation issue for sourmash (Issue #41)

This email was sent to you by someone outside the University. You should only click on links or attachments if you are certain that the email is genuine and the content is safe.

Ok, I downloaded the new miniconda, set up the new environment but get the same error again.

Not sure what's wrong with my conda set up :(

— You are receiving this because you commented. Reply to this email directly, view it on GitHubhttps://github.com/WatsonLab/MAGpy/issues/41#issuecomment-972632460, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AANR6UHB46AWOUIBYH45F6LUMSYYHANCNFSM5H2NUPKQ. Triage notifications on the go with GitHub Mobile for iOShttps://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675 or Androidhttps://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub.

The University of Edinburgh is a charitable body, registered in Scotland, with registration number SC005336. Is e buidheann carthannais a th’ ann an Oilthigh Dhùn Èideann, clàraichte an Alba, àireamh clàraidh SC005336.