EGA-archive / ega-download-client

A Python-based EGA download client
Apache License 2.0
94 stars 52 forks source link

`--connection` argument issue #231

Open SuhasSrinivasan opened 4 months ago

SuhasSrinivasan commented 4 months ago

Dear EGA Team,

Since there was a 503 error (#230) I was advised by the Help Desk team to try multiple connections. The multiple connection argument does not seem to be applied and downloads happen with only 1 connection.

$ pyega3 -c 4 -cf ./ega_cred.json fetch EGAD00001005039 --output-dir .
[2024-07-15 11:25:17 -0700]
[2024-07-15 11:25:17 -0700] pyEGA3 - EGA python client version 5.2.0 (https://github.com/EGA-archive/ega-download-client)
[2024-07-15 11:25:17 -0700] Parts of this software are derived from pyEGA (https://github.com/blachlylab/pyega) by James Blachly
[2024-07-15 11:25:17 -0700] Python version : 3.12.4
[2024-07-15 11:25:17 -0700] OS version : Darwin Darwin Kernel Version 23.5.0: Wed May  1 20:09:52 PDT 2024; root:xnu-10063.121.3~5/RELEASE_X86_64
[2024-07-15 11:25:17 -0700] MacOS version : 10.16
[2024-07-15 11:25:17 -0700] Server URL: https://ega.ebi.ac.uk:8443/v2
[2024-07-15 11:25:17 -0700] Session-Id: 868711876
[2024-07-15 11:25:30 -0700]
[2024-07-15 11:25:30 -0700] Authentication success for user 
[2024-07-15 11:26:24 -0700] File Id: 'EGAF00002464835'(6365930 bytes).
[2024-07-15 11:26:24 -0700] Total space : 233.47 GiB
[2024-07-15 11:26:24 -0700] Used space : 136.59 GiB
[2024-07-15 11:26:24 -0700] Free space : 96.87 GiB
[2024-07-15 11:26:24 -0700] Download starting [using 1 connection(s), file size 6365914 and chunk length 104857600]...
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.37M/6.37M [01:59<00:00, 53.2kB/s]
[2024-07-15 11:28:24 -0700] Combining file chunks (this operation can take a long time depending on the file size)
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.37M/6.37M [00:00<00:00, 25.5GB/s]
[2024-07-15 11:28:24 -0700] Calculating md5 (this operation can take a long time depending on the file size)
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.37M/6.37M [00:00<00:00, 528MB/s]
[2024-07-15 11:28:24 -0700] Verifying file checksum
[2024-07-15 11:28:24 -0700] Saved to : '/EGAF00002464835/SLE_200_49bp_v15_gene_raw_counts.txt.gz'(6365914 bytes, md5=35916eb7594a32c8e866fcb1f862010c)
[2024-07-15 11:28:42 -0700] File Id: 'EGAF00002464836'(5590205 bytes).
[2024-07-15 11:28:42 -0700] Total space : 233.47 GiB
[2024-07-15 11:28:42 -0700] Used space : 136.60 GiB
[2024-07-15 11:28:42 -0700] Free space : 96.87 GiB
[2024-07-15 11:28:42 -0700] Download starting [using 1 connection(s), file size 5590189 and chunk length 104857600]...
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5.59M/5.59M [01:09<00:00, 80.9kB/s]
[2024-07-15 11:29:51 -0700] Combining file chunks (this operation can take a long time depending on the file size)
100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5.59M/5.59M [00:00<00:00, 27.6GB/s]
[2024-07-15 11:29:51 -0700] Calculating md5 (this operation can take a long time depending on the file size)
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 5.59M/5.59M [00:00<00:00, 543MB/s]
[2024-07-15 11:29:51 -0700] Verifying file checksum
[2024-07-15 11:29:51 -0700] Saved to : '/EGAF00002464836/SLE_200_49bp_v15_gene_raw_counts_filtered_21851.txt.gz'(5590189 bytes, md5=862f320ee3dca9736f19f81c54a0aa44)
[2024-07-15 11:30:00 -0700] File Id: 'EGAF00002464837'(38590903 bytes).
[2024-07-15 11:30:00 -0700] Total space : 233.47 GiB
[2024-07-15 11:30:00 -0700] Used space : 136.61 GiB
[2024-07-15 11:30:00 -0700] Free space : 96.86 GiB
[2024-07-15 11:30:00 -0700] Download starting [using 1 connection(s), file size 38590887 and chunk length 104857600]...
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 38.6M/38.6M [04:11<00:00, 153kB/s]
[2024-07-15 11:34:11 -0700] Combining file chunks (this operation can take a long time depending on the file size)
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 38.6M/38.6M [00:00<00:00, 168GB/s]
[2024-07-15 11:34:11 -0700] Calculating md5 (this operation can take a long time depending on the file size)
100%|█████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 38.6M/38.6M [00:00<00:00, 540MB/s]
[2024-07-15 11:34:11 -0700] Verifying file checksum
[2024-07-15 11:34:11 -0700] Saved to : '/EGAF00002464837/SLE_200_49bp_v15_gene_RPKM.txt.gz'(38590887 bytes, md5=168bce8ba612049ef957f6ae41a25e33)