search

3dem / relion

Image-processing software for cryo-electron microscopy
https://relion.readthedocs.io/en/latest/
GNU General Public License v2.0
456 stars 203 forks source link

RELION 5.0-beta-3 (commit ad0c1f) fails to write output from tomogram particle picking #1118

Open rbs-sci opened 6 months ago

rbs-sci commented 6 months ago

Describe your problem

When using particle mode for picking in tomograms, RELION fails to write necessary output for further processing, Python traceback complains "ValueError: cannot insert rlnTomoName, already exists", even if dataset comprises a single tomogram.

Sphere picking in the tutorial works. Have not tested filament picker.

Environment:

Dataset:

Job options:

`which relion_python_tomo_pick`  particles --tilt-series-star-file Tomograms/job016/tomograms.star --output-directory Picks/job019/  --pipeline_control Picks/job019/ && `which relion_python_tomo_get_particle_poses` particles --tilt-series-star-file Tomograms/job016/tomograms.star --annotations-directory Picks/job019/annotations --output-directory Picks/job019/  --pipeline_control Picks/job019/

Error message:

Please cite the full error message as the example below.

╭───────────────────── Traceback (most recent call last) ──────────────────────╮
│ in combine_particle_annotations:2                                            │
│ ╭─────────────────────────────── locals ───────────────────────────────╮     │
│ │ annotations_directory = PosixPath('Picks/job019/annotations')        │     │
│ │      output_directory = PosixPath('Picks/job019')                    │     │
│ │      pipeline_control = PosixPath('Picks/job019')                    │     │
│ │ tilt_series_star_file = PosixPath('Tomograms/job016/tomograms.star') │     │
│ ╰──────────────────────────────────────────────────────────────────────╯     │
│                                                                              │
│ /opt/anaconda/envs/relion-5.0/lib/python3.10/site-packages/tomography_python │
│ _programs/_utils/relion.py:75 in pipeline_job                                │
│                                                                              │
│   72 │   │   │   job_directory.mkdir(parents=True, exist_ok=True)            │
│   73 │   │   try:                                                            │
│   74 │   │   │   pipeline_directory = kwargs.pop(PIPELINE_CONTROL_KEYWORD_AR │
│ ❱ 75 │   │   │   func(*args, **kwargs)                                       │
│   76 │   │   │   if job_directory is not None and pipeline_directory is not  │
│   77 │   │   │   │   write_job_success_file(job_directory)                   │
│   78 │   │   except BaseException:                                           │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │               args = ()                                                  │ │
│ │               func = <function combine_particle_annotations at           │ │
│ │                      0x74e7a41f9000>                                     │ │
│ │      job_directory = PosixPath('Picks/job019')                           │ │
│ │             kwargs = {                                                   │ │
│ │                      │   'tilt_series_star_file':                        │ │
│ │                      PosixPath('Tomograms/job016/tomograms.star'),       │ │
│ │                      │   'annotations_directory':                        │ │
│ │                      PosixPath('Picks/job019/annotations'),              │ │
│ │                      │   'output_directory': PosixPath('Picks/job019')   │ │
│ │                      }                                                   │ │
│ │ pipeline_directory = PosixPath('Picks/job019')                           │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /opt/anaconda/envs/relion-5.0/lib/python3.10/site-packages/tomography_python │
│ _programs/get_particle_poses/particles.py:59 in combine_particle_annotations │
│                                                                              │
│    56 │   │   │   'rlnCoordinateZ': 'rlnCenteredCoordinateZAngst'            │
│    57 │   │   }, inplace=True)                                               │
│    58 │   │                                                                  │
│ ❱  59 │   │   df.insert(loc=0, column='rlnTomoName', value=tilt_series_id)   │
│    60 │   │                                                                  │
│    61 │   │   dfs.append(df)                                                 │
│    62 │   df = pd.concat(dfs)                                                │
│                                                                              │
│ ╭───────────────────────────────── locals ─────────────────────────────────╮ │
│ │      annotation_files = <generator object Path.glob at 0x74e65da62ff0>   │ │
│ │ annotations_directory = PosixPath('Picks/job019/annotations')            │ │
│ │                    df =    rlnTomoName  ...  rlnCenteredCoordinateZAngst │ │
│ │                         0        TS_03  ...                     0.700300 │ │
│ │                         1        TS_03  ...                     0.700300 │ │
│ │                         2        TS_03  ...                     0.700300 │ │
│ │                         3        TS_03  ...                     0.700300 │ │
│ │                         4        TS_03  ...                     0.700300 │ │
│ │                         5        TS_03  ...                     0.700300 │ │
│ │                         6        TS_03  ...                     0.700300 │ │
│ │                         7        TS_03  ...                     0.700300 │ │
│ │                         8        TS_03  ...                     0.700300 │ │
│ │                         9        TS_03  ...                     0.700300 │ │
│ │                         10       TS_03  ...                     0.700300 │ │
│ │                         11       TS_03  ...                     0.700300 │ │
│ │                         12       TS_03  ...                     0.700300 │ │
│ │                         13       TS_03  ...                     0.700300 │ │
│ │                         14       TS_03  ...                     0.700300 │ │
│ │                         15       TS_03  ...                     0.700300 │ │
│ │                         16       TS_03  ...                     0.700300 │ │
│ │                         17       TS_03  ...                     0.700300 │ │
│ │                         18       TS_03  ...                     0.700300 │ │
│ │                         19       TS_03  ...                     0.700300 │ │
│ │                         20       TS_03  ...                     0.700300 │ │
│ │                         21       TS_03  ...                     0.700300 │ │
│ │                         22       TS_03  ...                     0.700300 │ │
│ │                         23       TS_03  ...                     0.700300 │ │
│ │                         24       TS_03  ...                  -143.210082 │ │
│ │                         25       TS_03  ...                  -143.210082 │ │
│ │                         26       TS_03  ...                  -143.210082 │ │
│ │                         27       TS_03  ...                  -143.210082 │ │
│ │                         28       TS_03  ...                  -143.210082 │ │
│ │                         29       TS_03  ...                  -143.210082 │ │
│ │                         30       TS_03  ...                  -143.210082 │ │
│ │                         31       TS_03  ...                  -143.210082 │ │
│ │                         32       TS_03  ...                  -143.210082 │ │
│ │                         33       TS_03  ...                  -143.210082 │ │
│ │                         34       TS_03  ...                  -143.210082 │ │
│ │                         35       TS_03  ...                  -143.210082 │ │
│ │                         36       TS_03  ...                  -143.210082 │ │
│ │                         37       TS_03  ...                  -143.210082 │ │
│ │                         38       TS_03  ...                  -143.210082 │ │
│ │                         39       TS_03  ...                  -143.210082 │ │
│ │                         40       TS_03  ...                  -143.210082 │ │
│ │                         41       TS_03  ...                  -143.210082 │ │
│ │                         42       TS_03  ...                  -143.210082 │ │
│ │                         43       TS_03  ...                  -143.210082 │ │
│ │                         44       TS_03  ...                  -143.210082 │ │
│ │                         45       TS_03  ...                  -143.210082 │ │
│ │                         46       TS_03  ...                  -143.210082 │ │
│ │                                                                          │ │
│ │                         [47 rows x 4 columns]                            │ │
│ │                   dfs = []                                               │ │
│ │                  file = PosixPath('Picks/job019/annotations/TS_03_parti… │ │
│ │             global_df = │   │   │    rlnVoltage  ...                     │ │
│ │                         rlnTomogramProjection                            │ │
│ │                         rlnTomoName              ...                     │ │
│ │                         TS_01             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_01.mrc       │ │
│ │                         TS_02             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_02.mrc       │ │
│ │                         TS_03             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_03.mrc       │ │
│ │                         TS_04             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_04.mrc       │ │
│ │                         TS_05             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_05.mrc       │ │
│ │                         TS_06             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_06.mrc       │ │
│ │                         TS_07             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_07.mrc       │ │
│ │                         TS_08             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_08.mrc       │ │
│ │                         TS_09             300.0  ...                     │ │
│ │                         Tomograms/job016/projections/rec_TS_09.mrc       │ │
│ │                                                                          │ │
│ │                         [9 rows x 14 columns]                            │ │
│ │      output_directory = PosixPath('Picks/job019')                        │ │
│ │            pixel_size = 1.7005                                           │ │
│ │          scale_factor = 9.9999994115                                     │ │
│ │        tilt_series_id = 'TS_03'                                          │ │
│ │ tilt_series_star_file = PosixPath('Tomograms/job016/tomograms.star')     │ │
│ │           tomo_center = array([3399.2995, 3399.2995, 3399.2995])         │ │
│ │             tomo_size = array([4000., 4000., 4000.])                     │ │
│ │                   xyz = array([[-1.82922769e+03,  1.22279731e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-1.13987547e+03,  1.24594838e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-8.06295463e+02,  9.23006886e+02,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-6.38710772e+02,  1.09388973e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-9.60375314e+02,  6.40784022e+02,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 3.80618068e+02,  1.15324592e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 1.90388089e+02,  1.59316615e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 4.53806103e+02,  1.67827271e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 1.02293763e+03,  1.33695648e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 1.11161857e+03,  1.55249337e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 1.24984572e+03,  1.76850728e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 1.23450048e+03,  5.48115963e+00,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 1.18717790e+03,  1.94937498e+02,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 7.70865675e+02, -1.11368326e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 5.90161875e+02, -1.62323111e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 8.04779223e+02, -1.61290777e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 4.46700554e+02, -2.14067743e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-7.93485254e+01, -2.38932489e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [ 9.94345541e+01, -2.51145921e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-3.76460028e+02, -2.40869952e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-2.16747307e+02, -2.68790124e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-1.43006221e+03, -2.34453007e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-3.06088543e+03, -7.21208648e+02,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-1.21495326e+03,  1.73239099e+03,        │ │
│ │                         7.00299910e-01],                                 │ │
│ │                         │      [-2.36399029e+03, -1.39334857e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-2.07033198e+03, -1.85291559e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-1.07461653e+03, -1.90938532e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-1.06073892e+03, -2.05787846e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-8.08796262e+02, -2.06370984e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-3.46931990e+02, -2.41431586e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-2.40935726e+02, -2.68990623e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 1.49358331e+02, -2.49210806e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-5.01932471e+01, -2.35778813e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 5.37307048e+02, -1.23743115e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 7.50611976e+02, -1.50785985e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 9.74066873e+02, -1.55525071e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 1.39388416e+03, -1.41909611e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 1.11008588e+03, -7.07594378e+02,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 1.56576589e+03, -3.02582683e+01,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-5.01985351e+02,  6.92967469e+02,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-9.92531512e+02,  6.09802664e+02,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-1.06080124e+03,  1.24080906e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-1.48797798e+03,  1.42660822e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-1.75412960e+03,  1.61395770e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [-8.26463811e+02,  1.75500180e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 4.10270356e+02,  1.13524521e+03,        │ │
│ │                         -1.43210082e+02],                                │ │
│ │                         │      [ 2.10693764e+03,  1.18048013e+03,        │ │
│ │                         -1.43210082e+02]])                               │ │
│ ╰──────────────────────────────────────────────────────────────────────────╯ │
│                                                                              │
│ /opt/anaconda/envs/relion-5.0/lib/python3.10/site-packages/pandas/core/frame │
│ .py:4931 in insert                                                           │
│                                                                              │
│    4928 │   │   │   )                                                        │
│    4929 │   │   if not allow_duplicates and column in self.columns:          │
│    4930 │   │   │   # Should this be a different kind of error??             │
│ ❱  4931 │   │   │   raise ValueError(f"cannot insert {column}, already exist │
│    4932 │   │   if not is_integer(loc):                                      │
│    4933 │   │   │   raise TypeError("loc must be int")                       │
│    4934 │   │   # convert non stdlib ints to satisfy typing checks           │
│                                                                              │
│ ╭────────────────────────────── locals ───────────────────────────────╮      │
│ │ allow_duplicates = False                                            │      │
│ │           column = 'rlnTomoName'                                    │      │
│ │              loc = 0                                                │      │
│ │             self =    rlnTomoName  ...  rlnCenteredCoordinateZAngst │      │
│ │                    0        TS_03  ...                     0.700300 │      │
│ │                    1        TS_03  ...                     0.700300 │      │
│ │                    2        TS_03  ...                     0.700300 │      │
│ │                    3        TS_03  ...                     0.700300 │      │
│ │                    4        TS_03  ...                     0.700300 │      │
│ │                    5        TS_03  ...                     0.700300 │      │
│ │                    6        TS_03  ...                     0.700300 │      │
│ │                    7        TS_03  ...                     0.700300 │      │
│ │                    8        TS_03  ...                     0.700300 │      │
│ │                    9        TS_03  ...                     0.700300 │      │
│ │                    10       TS_03  ...                     0.700300 │      │
│ │                    11       TS_03  ...                     0.700300 │      │
│ │                    12       TS_03  ...                     0.700300 │      │
│ │                    13       TS_03  ...                     0.700300 │      │
│ │                    14       TS_03  ...                     0.700300 │      │
│ │                    15       TS_03  ...                     0.700300 │      │
│ │                    16       TS_03  ...                     0.700300 │      │
│ │                    17       TS_03  ...                     0.700300 │      │
│ │                    18       TS_03  ...                     0.700300 │      │
│ │                    19       TS_03  ...                     0.700300 │      │
│ │                    20       TS_03  ...                     0.700300 │      │
│ │                    21       TS_03  ...                     0.700300 │      │
│ │                    22       TS_03  ...                     0.700300 │      │
│ │                    23       TS_03  ...                     0.700300 │      │
│ │                    24       TS_03  ...                  -143.210082 │      │
│ │                    25       TS_03  ...                  -143.210082 │      │
│ │                    26       TS_03  ...                  -143.210082 │      │
│ │                    27       TS_03  ...                  -143.210082 │      │
│ │                    28       TS_03  ...                  -143.210082 │      │
│ │                    29       TS_03  ...                  -143.210082 │      │
│ │                    30       TS_03  ...                  -143.210082 │      │
│ │                    31       TS_03  ...                  -143.210082 │      │
│ │                    32       TS_03  ...                  -143.210082 │      │
│ │                    33       TS_03  ...                  -143.210082 │      │
│ │                    34       TS_03  ...                  -143.210082 │      │
│ │                    35       TS_03  ...                  -143.210082 │      │
│ │                    36       TS_03  ...                  -143.210082 │      │
│ │                    37       TS_03  ...                  -143.210082 │      │
│ │                    38       TS_03  ...                  -143.210082 │      │
│ │                    39       TS_03  ...                  -143.210082 │      │
│ │                    40       TS_03  ...                  -143.210082 │      │
│ │                    41       TS_03  ...                  -143.210082 │      │
│ │                    42       TS_03  ...                  -143.210082 │      │
│ │                    43       TS_03  ...                  -143.210082 │      │
│ │                    44       TS_03  ...                  -143.210082 │      │
│ │                    45       TS_03  ...                  -143.210082 │      │
│ │                    46       TS_03  ...                  -143.210082 │      │
│ │                                                                     │      │
│ │                    [47 rows x 4 columns]                            │      │
│ │            value = 'TS_03'                                          │      │
│ ╰─────────────────────────────────────────────────────────────────────╯      │
╰──────────────────────────────────────────────────────────────────────────────╯
ValueError: cannot insert rlnTomoName, already exists
dmichalak commented 6 months ago

I have also encountered this error.

Error message:

Please cite the full error message as the example below.

run.err ``` ╭───────────────────── Traceback (most recent call last) ──────────────────────╮ │ in combine_particle_annotations:2 │ │ ╭─────────────────────────────── locals ───────────────────────────────╮ │ │ │ annotations_directory = PosixPath('Picks/job014/annotations') │ │ │ │ output_directory = PosixPath('Picks/job014') │ │ │ │ pipeline_control = PosixPath('Picks/job014') │ │ │ │ tilt_series_star_file = PosixPath('Tomograms/job005/tomograms.star') │ │ │ ╰──────────────────────────────────────────────────────────────────────╯ │ │ │ │ /home/michalakdj/mambaforge/envs/relion-5.0/lib/python3.10/site-packages/tom │ │ ography_python_programs/_utils/relion.py:75 in pipeline_job │ │ │ │ 72 │ │ │ job_directory.mkdir(parents=True, exist_ok=True) │ │ 73 │ │ try: │ │ 74 │ │ │ pipeline_directory = kwargs.pop(PIPELINE_CONTROL_KEYWORD_AR │ │ ❱ 75 │ │ │ func(*args, **kwargs) │ │ 76 │ │ │ if job_directory is not None and pipeline_directory is not │ │ 77 │ │ │ │ write_job_success_file(job_directory) │ │ 78 │ │ except BaseException: │ │ │ │ ╭───────────────────────────────── locals ─────────────────────────────────╮ │ │ │ args = () │ │ │ │ func = │ │ │ │ job_directory = PosixPath('Picks/job014') │ │ │ │ kwargs = { │ │ │ │ │ 'tilt_series_star_file': │ │ │ │ PosixPath('Tomograms/job005/tomograms.star'), │ │ │ │ │ 'annotations_directory': │ │ │ │ PosixPath('Picks/job014/annotations'), │ │ │ │ │ 'output_directory': PosixPath('Picks/job014') │ │ │ │ } │ │ │ │ pipeline_directory = PosixPath('Picks/job014') │ │ │ ╰──────────────────────────────────────────────────────────────────────────╯ │ │ │ │ /home/michalakdj/mambaforge/envs/relion-5.0/lib/python3.10/site-packages/tom │ │ ography_python_programs/get_particle_poses/particles.py:59 in │ │ combine_particle_annotations │ │ │ │ 56 │ │ │ 'rlnCoordinateZ': 'rlnCenteredCoordinateZAngst' │ │ 57 │ │ }, inplace=True) │ │ 58 │ │ │ │ ❱ 59 │ │ df.insert(loc=0, column='rlnTomoName', value=tilt_series_id) │ │ 60 │ │ │ │ 61 │ │ dfs.append(df) │ │ 62 │ df = pd.concat(dfs) │ │ │ │ ╭───────────────────────────────── locals ─────────────────────────────────╮ │ │ │ annotation_files = │ │ │ │ annotations_directory = PosixPath('Picks/job014/annotations') │ │ │ │ df = │ rlnTomoName ... │ │ │ │ rlnCenteredCoordinateZAngst │ │ │ │ 0 AQB1tomo008 ... │ │ │ │ 32.690865 │ │ │ │ 1 AQB1tomo008 ... │ │ │ │ 34.057845 │ │ │ │ 2 AQB1tomo008 ... │ │ │ │ 34.057845 │ │ │ │ 3 AQB1tomo008 ... │ │ │ │ 34.057845 │ │ │ │ 4 AQB1tomo008 ... │ │ │ │ 34.057845 │ │ │ │ 5 AQB1tomo008 ... │ │ │ │ 34.057845 │ │ │ │ 6 AQB1tomo008 ... │ │ │ │ 34.057845 │ │ │ │ 7 AQB1tomo008 ... │ │ │ │ 79.303406 │ │ │ │ 8 AQB1tomo008 ... │ │ │ │ 79.303406 │ │ │ │ 9 AQB1tomo008 ... │ │ │ │ 41.787226 │ │ │ │ 10 AQB1tomo008 ... │ │ │ │ 103.038337 │ │ │ │ 11 AQB1tomo008 ... │ │ │ │ 127.593457 │ │ │ │ 12 AQB1tomo008 ... │ │ │ │ 127.593457 │ │ │ │ 13 AQB1tomo008 ... │ │ │ │ 172.018818 │ │ │ │ 14 AQB1tomo008 ... │ │ │ │ -108.240357 │ │ │ │ 15 AQB1tomo008 ... │ │ │ │ -108.240357 │ │ │ │ 16 AQB1tomo008 ... │ │ │ │ -108.240357 │ │ │ │ 17 AQB1tomo008 ... │ │ │ │ -108.240357 │ │ │ │ 18 AQB1tomo008 ... │ │ │ │ -108.240357 │ │ │ │ 19 AQB1tomo008 ... │ │ │ │ -108.240357 │ │ │ │ 20 AQB1tomo008 ... │ │ │ │ -58.583316 │ │ │ │ 21 AQB1tomo008 ... │ │ │ │ -58.583316 │ │ │ │ 22 AQB1tomo008 ... │ │ │ │ -138.027147 │ │ │ │ 23 AQB1tomo008 ... │ │ │ │ -138.027147 │ │ │ │ 24 AQB1tomo008 ... │ │ │ │ -179.681418 │ │ │ │ 25 AQB1tomo008 ... │ │ │ │ -179.681418 │ │ │ │ 26 AQB1tomo008 ... │ │ │ │ -129.750977 │ │ │ │ 27 AQB1tomo008 ... │ │ │ │ -129.750977 │ │ │ │ 28 AQB1tomo008 ... │ │ │ │ -35.121776 │ │ │ │ 29 AQB1tomo008 ... │ │ │ │ -35.121776 │ │ │ │ 30 AQB1tomo008 ... │ │ │ │ -35.121776 │ │ │ │ 31 AQB1tomo008 ... │ │ │ │ -35.121776 │ │ │ │ 32 AQB1tomo008 ... │ │ │ │ -35.121776 │ │ │ │ 33 AQB1tomo008 ... │ │ │ │ -35.121776 │ │ │ │ 34 AQB1tomo008 ... │ │ │ │ -35.121776 │ │ │ │ 35 AQB1tomo008 ... │ │ │ │ -35.121776 │ │ │ │ 36 AQB1tomo008 ... │ │ │ │ -35.121776 │ │ │ │ 37 AQB1tomo008 ... │ │ │ │ -35.121776 │ │ │ │ 38 AQB1tomo008 ... │ │ │ │ -55.538816 │ │ │ │ 39 AQB1tomo008 ... │ │ │ │ -55.538816 │ │ │ │ 40 AQB1tomo008 ... │ │ │ │ -28.485986 │ │ │ │ │ │ │ │ [41 rows x 4 columns] │ │ │ │ dfs = [] │ │ │ │ file = PosixPath('Picks/job014/annotations/AQB1tomo008… │ │ │ │ global_df = │ │ │ rlnVoltage ... │ │ │ │ rlnTomogramProjection │ │ │ │ rlnTomoName ... │ │ │ │ AQB1tomo002 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo002.mrc │ │ │ │ AQB1tomo005 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo005.mrc │ │ │ │ AQB1tomo006 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo006.mrc │ │ │ │ AQB1tomo008 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo008.mrc │ │ │ │ AQB1tomo012 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo012.mrc │ │ │ │ AQB1tomo013 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo013.mrc │ │ │ │ AQB1tomo014 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo014.mrc │ │ │ │ AQB1tomo015 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo015.mrc │ │ │ │ AQB1tomo018 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo018.mrc │ │ │ │ AQB1tomo019 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo019.mrc │ │ │ │ AQB1tomo020 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo020.mrc │ │ │ │ AQB1tomo021 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo021.mrc │ │ │ │ AQB1tomo022 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo022.mrc │ │ │ │ AQB1tomo024 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo024.mrc │ │ │ │ AQB1tomo028 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo028.mrc │ │ │ │ AQB1tomo029 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo029.mrc │ │ │ │ AQB1tomo030 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo030.mrc │ │ │ │ AQB1tomo031 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo031.mrc │ │ │ │ AQB1tomo037 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo037.mrc │ │ │ │ AQB1tomo038 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo038.mrc │ │ │ │ AQB1tomo040 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo040.mrc │ │ │ │ AQB1tomo042 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo042.mrc │ │ │ │ AQB1tomo045 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo045.mrc │ │ │ │ AQB1tomo048 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo048.mrc │ │ │ │ AQB1tomo049 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo049.mrc │ │ │ │ AQB1tomo053 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo053.mrc │ │ │ │ AQB1tomo054 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo054.mrc │ │ │ │ AQB1tomo055 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo055.mrc │ │ │ │ AQB1tomo056 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo056.mrc │ │ │ │ AQB1tomo057 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo057.mrc │ │ │ │ AQB1tomo059 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo059.mrc │ │ │ │ AQB1tomo063 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo063.mrc │ │ │ │ AQB1tomo069 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo069.mrc │ │ │ │ AQB1tomo072 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo072.mrc │ │ │ │ AQB1tomo073 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo073.mrc │ │ │ │ AQB1tomo075 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo075.mrc │ │ │ │ AQB1tomo083 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo083.mrc │ │ │ │ AQB1tomo084 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo084.mrc │ │ │ │ AQB1tomo085 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo085.mrc │ │ │ │ AQB1tomo086 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo086.mrc │ │ │ │ AQB1tomo090 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo090.mrc │ │ │ │ AQB1tomo092 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo092.mrc │ │ │ │ AQB1tomo126 300.0 ... │ │ │ │ Tomograms/job005/projections/rec_AQB1tomo126.mrc │ │ │ │ │ │ │ │ [43 rows x 14 columns] │ │ │ │ output_directory = PosixPath('Picks/job014') │ │ │ │ pixel_size = 2.116 │ │ │ │ scale_factor = 10.000000168 │ │ │ │ tilt_series_id = 'AQB1tomo008' │ │ │ │ tilt_series_star_file = PosixPath('Tomograms/job005/tomograms.star') │ │ │ │ tomo_center = array([4758.884, 6345.884, 1479.084]) │ │ │ │ tomo_size = array([4500., 6000., 1400.]) │ │ │ │ xyz = array([[ 2909.48431883, -2202.07721038, │ │ │ │ 32.6908654 ], │ │ │ │ │ [ 3011.56576054, -1987.01280677, │ │ │ │ 34.05784542], │ │ │ │ │ [ 3218.98612403, -1942.16363602, │ │ │ │ 34.05784542], │ │ │ │ │ [ 3324.05659579, -2103.34633873, │ │ │ │ 34.05784542], │ │ │ │ │ [ 3217.346774 , -2305.80800213, │ │ │ │ 34.05784542], │ │ │ │ │ [ 3067.29606148, -2301.02093205, │ │ │ │ 34.05784542], │ │ │ │ │ [ 3379.78689673, -2417.354464 , │ │ │ │ 34.05784542], │ │ │ │ │ [ 3517.09849904, -2110.34495884, │ │ │ │ 79.30340618], │ │ │ │ │ [ 3623.29128082, -2250.97685121, │ │ │ │ 79.30340618], │ │ │ │ │ [ 3553.55110965, -2409.48865387, │ │ │ │ 41.78722555], │ │ │ │ │ [ 3779.74458345, -2229.97209085, │ │ │ │ 103.03833658], │ │ │ │ │ [ 3908.67670562, -2037.29586762, │ │ │ │ 127.59345699], │ │ │ │ │ [ 3599.98466043, -1934.80793589, │ │ │ │ 127.59345699], │ │ │ │ │ [ 3782.12793349, -1899.5240553 , │ │ │ │ 172.01881774], │ │ │ │ │ [ 2992.29405022, -2790.95607028, │ │ │ │ -108.24035697], │ │ │ │ │ [ 3099.60913202, -2911.03717229, │ │ │ │ -108.24035697], │ │ │ │ │ [ 3292.82736527, -2876.02822171, │ │ │ │ -108.24035697], │ │ │ │ │ [ 3394.61609698, -2680.27174842, │ │ │ │ -108.24035697], │ │ │ │ │ [ 3288.42331519, -2539.63984606, │ │ │ │ -108.24035697], │ │ │ │ │ [ 3089.72284186, -2591.62940693, │ │ │ │ -108.24035697], │ │ │ │ │ [ 2785.34294674, -2487.35316518, │ │ │ │ -58.58331614], │ │ │ │ │ [ 2961.68255971, -2427.78802418, │ │ │ │ -58.58331614], │ │ │ │ │ [ 2743.16286603, -2652.41618795, │ │ │ │ -138.02714747], │ │ │ │ │ [ 2826.43363743, -2795.74791036, │ │ │ │ -138.02714747], │ │ │ │ │ [ 2772.28458652, -2961.20795314, │ │ │ │ -179.68141817], │ │ │ │ │ [ 2863.71408806, -3121.95546584, │ │ │ │ -179.68141817], │ │ │ │ │ [ 3034.35776093, -3074.26099504, │ │ │ │ -129.75097733], │ │ │ │ │ [ 3139.9893827 , -3225.16829757, │ │ │ │ -129.75097733], │ │ │ │ │ [ 3562.06684979, -3038.29026443, │ │ │ │ -35.12177574], │ │ │ │ │ [ 3383.05073678, -3063.45901486, │ │ │ │ -35.12177574], │ │ │ │ │ [ 3433.29879763, -3394.44774042, │ │ │ │ -35.12177574], │ │ │ │ │ [ 3324.4295258 , -3219.41944748, │ │ │ │ -35.12177574], │ │ │ │ │ [ 3584.47181017, -3378.68402015, │ │ │ │ -35.12177574], │ │ │ │ │ [ 3673.74187167, -3161.94155651, │ │ │ │ -35.12177574], │ │ │ │ │ [ 3863.59320486, -3188.58499696, │ │ │ │ -35.12177574], │ │ │ │ │ [ 3738.75320276, -3472.81468173, │ │ │ │ -35.12177574], │ │ │ │ │ [ 3905.68252556, -3502.15794223, │ │ │ │ -35.12177574], │ │ │ │ │ [ 4001.98901718, -3323.38206922, │ │ │ │ -35.12177574], │ │ │ │ │ [ 3547.56321955, -2761.53655978, │ │ │ │ -55.53881608], │ │ │ │ │ [ 3664.72048152, -2868.20726158, │ │ │ │ -55.53881608], │ │ │ │ │ [ 3631.38320096, -3619.6572042 , │ │ │ │ -28.48598563]]) │ │ │ ╰──────────────────────────────────────────────────────────────────────────╯ │ │ │ │ /home/michalakdj/mambaforge/envs/relion-5.0/lib/python3.10/site-packages/pan │ │ das/core/frame.py:5158 in insert │ │ │ │ 5155 │ │ │ ) │ │ 5156 │ │ if not allow_duplicates and column in self.columns: │ │ 5157 │ │ │ # Should this be a different kind of error?? │ │ ❱ 5158 │ │ │ raise ValueError(f"cannot insert {column}, already exist │ │ 5159 │ │ if not is_integer(loc): │ │ 5160 │ │ │ raise TypeError("loc must be int") │ │ 5161 │ │ # convert non stdlib ints to satisfy typing checks │ │ │ │ ╭─────────────────────────────── locals ───────────────────────────────╮ │ │ │ allow_duplicates = False │ │ │ │ column = 'rlnTomoName' │ │ │ │ loc = 0 │ │ │ │ self = │ rlnTomoName ... rlnCenteredCoordinateZAngst │ │ │ │ 0 AQB1tomo008 ... 32.690865 │ │ │ │ 1 AQB1tomo008 ... 34.057845 │ │ │ │ 2 AQB1tomo008 ... 34.057845 │ │ │ │ 3 AQB1tomo008 ... 34.057845 │ │ │ │ 4 AQB1tomo008 ... 34.057845 │ │ │ │ 5 AQB1tomo008 ... 34.057845 │ │ │ │ 6 AQB1tomo008 ... 34.057845 │ │ │ │ 7 AQB1tomo008 ... 79.303406 │ │ │ │ 8 AQB1tomo008 ... 79.303406 │ │ │ │ 9 AQB1tomo008 ... 41.787226 │ │ │ │ 10 AQB1tomo008 ... 103.038337 │ │ │ │ 11 AQB1tomo008 ... 127.593457 │ │ │ │ 12 AQB1tomo008 ... 127.593457 │ │ │ │ 13 AQB1tomo008 ... 172.018818 │ │ │ │ 14 AQB1tomo008 ... -108.240357 │ │ │ │ 15 AQB1tomo008 ... -108.240357 │ │ │ │ 16 AQB1tomo008 ... -108.240357 │ │ │ │ 17 AQB1tomo008 ... -108.240357 │ │ │ │ 18 AQB1tomo008 ... -108.240357 │ │ │ │ 19 AQB1tomo008 ... -108.240357 │ │ │ │ 20 AQB1tomo008 ... -58.583316 │ │ │ │ 21 AQB1tomo008 ... -58.583316 │ │ │ │ 22 AQB1tomo008 ... -138.027147 │ │ │ │ 23 AQB1tomo008 ... -138.027147 │ │ │ │ 24 AQB1tomo008 ... -179.681418 │ │ │ │ 25 AQB1tomo008 ... -179.681418 │ │ │ │ 26 AQB1tomo008 ... -129.750977 │ │ │ │ 27 AQB1tomo008 ... -129.750977 │ │ │ │ 28 AQB1tomo008 ... -35.121776 │ │ │ │ 29 AQB1tomo008 ... -35.121776 │ │ │ │ 30 AQB1tomo008 ... -35.121776 │ │ │ │ 31 AQB1tomo008 ... -35.121776 │ │ │ │ 32 AQB1tomo008 ... -35.121776 │ │ │ │ 33 AQB1tomo008 ... -35.121776 │ │ │ │ 34 AQB1tomo008 ... -35.121776 │ │ │ │ 35 AQB1tomo008 ... -35.121776 │ │ │ │ 36 AQB1tomo008 ... -35.121776 │ │ │ │ 37 AQB1tomo008 ... -35.121776 │ │ │ │ 38 AQB1tomo008 ... -55.538816 │ │ │ │ 39 AQB1tomo008 ... -55.538816 │ │ │ │ 40 AQB1tomo008 ... -28.485986 │ │ │ │ │ │ │ │ [41 rows x 4 columns] │ │ │ │ value = 'AQB1tomo008' │ │ │ ╰──────────────────────────────────────────────────────────────────────╯ │ ╰──────────────────────────────────────────────────────────────────────────────╯ ValueError: cannot insert rlnTomoName, already exists ```
dmichalak commented 6 months ago

Solved my issue. I updated RELION's code with git pull and updated the conda environment. This added an if statement that takes care of the issue.

rbs-sci commented 6 months ago

Can confirm "particle" extraction works in commit 6331fe. git log attributes fix to Bogdan Toader, so thanks for the fix!