marginCaller: very long Cigar causes "Argument list too long" error

Hi,

the error seems to be thrown when a very long read/alignment (90kb) is processed. Please find the lines from my log file below:

cigar: 1ec35c6d-fed6-4814-8ef1-eaeb5e34c360 162178 253472 + chr17 21851107 21942767 + 1.000000 M 5 D 12 I 12 M 5 D 8 I 7 M 2 D 24 I 25 M 3 D 121 I 142 M 2 D 104 I 110 M 3 D 170 I 151 M 1 D 7 I 6 M 5 D 17 I 20 M 3 D 7 I 6 M 2 D 165 I 182 M 1 D 653 I 668 M 7 D 513 I 541 M 2 D 378 I 394 M 1 D 74 I 78 M 1 D 579 I 568 M 2 D 272 I 279 M 4 D 9 I 9 M 2 D 2 I 2 M 1 D 94 I 114 M 5 D 164 I 185 M 1 D 3 I 2 M 5 D 189 I 184 M 4 D 163 I 163 M 3 D 7 I 8 M 1 D 65 I 69 M 3 D 666 I 712 M 3 D 69 I 86 M 8 D 338 I 335 M 4 D 4 I 4 M 6 D 28 I 28 M 1 D 469 I 433 M 4 D 20 I 18 M 6 D 174 I 173 M 7 D 12 I 9 M 3 D 2 I 2 M 2 D 72 I 80 M 3 D 7 I 8 M 3 D 324 I 314 M 3 D 112 I 105 M 1 D 74 I 68 M 8 D 92 I 97 M 3 D 8 I 7 M 5 D 238 I 238 M 6 D 5 I 3 M 1 D 32 I 25 M 8 D 63 I 65 M 5 D 5 I 6 M 2 D 510 I 525 M 3 D 198 I 162 M 1 D 167 I 140 M 1 D 96 I 90 M 5 D 87 I 77 M 5 D 14 I 14 M 1 D 60 I 64 M 1 D 103 I 96 M 6 D 99 I 93 M 1 D 2 I 2 M 1 D 65 I 61 M 6 D 9 I 7 M 7 D 132 I 124 M 3 D 224 I 217 M 5 D 119 I 120 M 3 D 261 I 237 M 13 D 189 I 173 M 3 D 105 I 90 M 2 D 30 I 27 M 4 D 26 I 23 M 2 D 173 I 149 M 2 D 1 I 1 M 3 D 9 I 8 M 5 D 529 I 498 M 6 D 21 I 17 M 2 D 253 I 249 M 4 D 261 I 240 M 6 D 7 I 7 M 2 D 3 I 3 M 2 D 235 I 240 M 1 D 165 I 178 M 2 D 2 I 2 M 2 D 38 I 34 M 5 D 105 I 91 M 4 D 231 I 226 M 2 D 23 I 19 M 1 D 244 I 230 M 1 D 237 I 248 M 2 D 98 I 104 M 3 D 279 I 286 M 1 D 36 I 32 M 1 D 7 I 5 M 1 D 633 I 635 M 6 D 122 I 133 M 3 D 19 I 14 M 3 D 17 I 14 M 1 D 282 I 248 M 3 D 464 I 455 M 4 D 98 I 91 M 5 D 42 I 39 M 3 D 13 I 9 M 1 D 24 I 24 M 1 D 1 I 1 M 2 D 31 I 32 M 5 D 34 I 35 M 5 D 35 I 34 M 7 D 20 I 26 M 1 D 272 I 259 M 4 D 665 I 636 M 1 D 169 I 174 M 4 D 62 I 48 M 2 D 162 I 163 M 1 D 219 I 204 M 14 D 136 I 123 M 2 D 8 I 6 M 6 D 132 I 117 M 3 D 208 I 167 M 2 D 8 I 7 M 2 D 17 I 17 M 5 D 114 I 110 M 5 D 12 I 9 M 2 D 112 I 114 M 2 D 238 I 227 M 8 D 422 I 410 M 1 D 14 I 14 M 1 D 35 I 47 M 1 D 115 I 127 M 1 D 2 I 2 M 2 D 269 I 280 M 1 D 10 I 10 M 4 D 370 I 380 M 4 D 55 I 66 M 1 D 75 I 88 M 4 D 281 I 289 M 4 D 4 I 4 M 2 D 79 I 75 M 2 D 123 I 149 M 11 D 160 I 184 M 1 D 6 I 7 M 5 D 188 I 190 M 2 D 163 I 164 M 2 D 7 I 5 M 2 D 70 I 69 M 9 D 28 I 28 M 9 D 228 I 268 M 3 D 3 I 3 M 3 D 159 I 156 M 1 D 248 I 274 M 2 D 83 I 66 M 6 D 41 I 39 M 4 D 57 I 69 M 8 D 69 I 69 M 6 D 194 I 197 M 2 D 81 I 75 M 2 D 4 I 4 M 3 D 276 I 305 M 3 D 20 I 16 M 1 D 39 I 31 M 1 D 219 I 213 M 2 D 412 I 377 M 3 D 473 I 431 M 5 D 235 I 214 M 2 D 253 I 220 M 1 D 6 I 6 M 2 D 418 I 439 M 1 D 1 I 1 M 5 D 4 I 3 M 1 D 428 I 355 M 3 D 222 I 189 M 2 D 137 I 142 M 3 D 23 I 21 M 7 D 78 I 91 M 3 D 6 I 6 M 3 D 130 I 157 M 5 D 40 I 37 M 3 D 403 I 395 M 8 D 17 I 19 M 3 D 257 I 289 M 10 D 44 I 38 M 3 D 688 I 707 M 1 D 65 I 65 M 6 D 142 I 154 M 2 D 7 I 6 M 3 D 28 I 25 M 3 D 5 I 2 M 3 D 27 I 24 M 1 D 22 I 23 M 1 D 107 I 89 M 3 D 38 I 32 M 8 D 238 I 228 M 9 D 235 I 248 M 4 D 69 I 81 M 5 D 68 I 74 M 11 D 9 I 8 M 7 D 121 I 103 M 3 D 59 I 54 M 3 D 51 I 65 M 4 D 7 I 6 M 1 D 11 I 7 M 4 D 49 I 43 M 3 D 4 I 3 M 3 D 100 I 91 M 8 D 87 I 68 M 1 D 229 I 213 M 3 D 304 I 286 M 4 D 7 I 7 M 3 D 106 I 113 M 3 D 159 I 157 M 2 D 1 I 1 M 3 D 159 I 194 M 2 D 51 I 49 M 3 D 50 I 49 M 5 D 18 I 18 M 1 D 88 I 89 M 2 D 17 I 13 M 3 D 471 I 463 M 2 D 47 I 47 M 1 D 70 I 85 M 2 D 356 I 376 M 1 D 138 I 144 M 2 D 113 I 103 M 7 D 99 I 99 M 1 D 74 I 69 M 4 D 14 I 11 M 3 D 69 I 69 M 1 D 177 I 188 M 3 D 453 I 452 M 1 D 4 I 5 M 2 D 124 I 141 M 1 D 338 I 350 M 1 D 614 I 678 M 6 D 18 I 20 M 4 D 100 I 98 M 3 D 4 I 5 M 3 D 307 I 274 M 1 D 8 I 5 M 7 D 3 I 4 M 7 D 8 I 7 M 3 D 113 I 110 M 1 D 43 I 46 M 3 D 156 I 164 M 6 D 80 I 71 M 3 D 77 I 78 M 2 D 257 I 271 M 1 D 234 I 251 M 2 D 6 I 6 M 2 D 210 I 194 M 3 D 62 I 67 M 4 D 188 I 175 M 2 D 235 I 229 M 4 D 7 I 5 M 2 D 104 I 100 M 21 D 68 I 72 M 6 D 2 I 2 M 7 D 294 I 320 M 13 D 33 I 34 M 2 D 1 I 1 M 3 D 8 I 7 M 8 D 4 I 2 M 5 D 33 I 22 M 2 D 341 I 290 M 3 D 4 I 5 M 1 D 433 I 404 M 2 D 445 I 466 M 4 D 124 I 118 M 1 D 134 I 132 M 6 D 25 I 19 M 5 D 47 I 37 M 4 D 1 I 1 M 2 D 85 I 78 M 7 D 98 I 88 M 3 D 37 I 30 M 1 D 5 I 5 M 9 D 3 I 3 M 3 D 278 I 261 M 1 D 3 I 2 M 4 D 30 I 32 M 5 D 206 I 225 M 1 D 46 I 47 M 6 D 57 I 66 M 3 D 191 I 220 M 4 D 34 I 35 M 1 D 274 I 264 M 4 D 7 I 8 M 6 D 16 I 14 M 4 D 7 I 7 M 1 D 34 I 27 M 2 D 256 I 248 M 4 D 888 I 897 M 4 D 56 I 66 M 1 D 210 I 193 M 3 D 48 I 41 M 4 D 7 I 8 M 8 D 11 I 12 M 2 D 2 I 2 M 2 D 5 I 4 M 7 D 118 I 111 M 5 D 103 I 116 M 3 D 29 I 33 M 2 D 59 I 66 M 2 D 2 I 2 M 3 D 28 I 25 M 2 D 276 I 276 M 7 D 48 I 58 M 2 D 13 I 10 M 6 D 235 I 237 M 2 D 808 I 814 M 1 D 162 I 148 M 2 D 45 I 51 M 1 D 44 I 41 M 4 D 779 I 802 M 3 D 225 I 228 M 2 D 2 I 2 M 11 D 231 I 217 M 6 D 7 I 6 M 2 D 32 I 27 M 3 D 418 I 411 M 8 D 109 I 101 M 2 D 4 I 3 M 7 D 138 I 145 M 4 D 4 I 2 M 6 D 5 I 3 M 1 D 88 I 95 M 1 D 21 I 26 M 4 D 43 I 57 M 3 D 13 I 13 M 2 D 168 I 149 M 2 D 277 I 263 M 1 D 14 I 11 M 2 D 133 I 144 M 2 D 179 I 174 M 5 D 156 I 128 M 4 D 94 I 99 M 2 D 2 I 2 M 2 D 33 I 27 M 3 D 481 I 496 M 8 D 4 I 2 M 8 D 142 I 169 M 2 D 317 I 358 M 7 D 1 I 1 M 1 D 150 I 153 M 3 D 7 I 7 M 3 D 71 I 86 M 3 D 44 I 61 M 1 D 229 I 272 M 1 D 319 I 352 M 1 D 626 I 679 M 7 D 95 I 107 M 2 D 142 I 163 M 1 D 158 I 163 M 3 D 126 I 116 M 4 D 68 I 79 M 1 D 22 I 22 M 3 D 78 I 82 M 15 D 71 I 70 M 3 D 149 I 151 M 1 D 1 I 1 M 2 D 418 I 430 M 4 D 2 I 2 M 3 D 28 I 40 M 4 D 90 I 87 M 3 D 50 I 58 M 3 D 243 I 236 M 2 D 307 I 320 M 2 D 89 I 107 M 3 D 9 I 5 M 1 D 90 I 74 M 6 D 6 I 7 M 2 D 96 I 80 M 2 D 123 I 111 M 2 D 50 I 41 M 1 D 261 I 280 M 2 D 1 I 1 M 4 D 35 I 39 M 3 D 78 I 81 M 5 D 131 I 115 M 1 D 139 I 141 M 8 D 6 I 7 M 1 D 193 I 171 M 2 D 7 I 5 M 9 D 11 I 11 M 6 D 387 I 362 M 4 D 833 I 919 M 1 D 9 I 7 M 12 D 143 I 145 M 2 D 2 I 2 M 2 D 54 I 65 M 1 D 523 I 537 M 2 D 286 I 294 M 6 D 4 I 3 M 7 D 107 I 91 M 8 D 284 I 285 M 2 D 5 I 4 M 2 D 290 I 303 M 3 D 16 I 19 M 3 D 245 I 298 M 6 D 48 I 47 M 2 D 48 I 43 M 6 D 76 I 82 M 6 D 47 I 54 M 1 D 23 I 18 M 1 D 290 I 310 M 1 D 5 I 5 M 1 D 448 I 534 M 1 D 152 I 190 M 3 D 12 I 9 M 8 D 151 I 147 M 6 D 13 I 10 M 7 D 2 I 2 M 11 D 44 I 40 M 6 D 71 I 77 M 4 D 41 I 34 M 7 D 33 I 35 M 3 D 213 I 202 M 5 D 127 I 110 M 5 D 255 I 218 M 3 D 377 I 370 M 8 D 6 I 4 M 1 D 3 I 3 M 7 D 8 I 10 M 3 D 282 I 265 M 3 D 231 I 229 M 1 D 28 I 33 M 2 D 65 I 68 M 1 D 166 I 155 M 10 D 67 I 61 M 2 D 221 I 230 M 4 D 269 I 237 M 2 D 84 I 74 M 2 D 197 I 178 M 6 D 14 I 12 M 1 D 98 I 99 M 1 D 1 I 1 M 1 D 42 I 35 M 4 D 35 I 25 M 2 D 2 I 2 M 5 D 187 I 181 M 7 D 1 I 1 M 1 D 247 I 232 M 5 D 5 I 5 M 5 D 352 I 323 M 1 D 134 I 111 M 1 D 419 I 354 M 2 D 1 I 1 M 7 D 10 I 9 M 1 D 16 I 13 M 2 D 22 I 17 M 6 D 161 I 166 M 3 D 39 I 35 M 1 D 242 I 220 M 9 D 203 I 195 M 1 D 44 I 42 M 2 D 2 I 2 M 4 D 72 I 81 M 9 D 163 I 155 M 9 D 142 I 138 M 6 D 187 I 156 M 2 D 98 I 99 M 1 D 93 I 76 M 4 D 50 I 43 M 4 D 201 I 180 M 1 D 30 I 25 M 2 D 9 I 10 M 7 D 228 I 228 M 2 D 106 I 92 M 5 D 92 I 87 M 2 D 1 I 1 M 1 D 6 I 5 M 2 D 81 I 72 M 5 D 11 I 9 M 2 D 17 I 20 M 4 D 7 I 6 M 4 D 622 I 628 M 5 D 1 I 1 M 1 D 1 I 1 M 3 D 437 I 412 M 4 D 5 I 5 M 5 D 278 I 264 M 3 D 7 I 5 M 1 D 112 I 123 M 6 D 262 I 280 M 2 D 46 I 52 M 1 D 88 I 87 M 1 D 17 I 18 M 6 D 568 I 541 M 4 D 93 I 69 M 1 D 79 I 74 M 7 D 107 I 98 M 2 D 6 I 5 M 4 D 4 I 3 M 1 D 250 I 249 M 2 D 41 I 38 M 7 D 259 I 258 M 11 D 4 I 7 M 4 D 36 I 30 M 3 D 8 I 7 M 10 D 53 I 60 M 2 D 83 I 94 M 2 D 8 I 6 M 1 D 346 I 341 M 5 D 86 I 76 M 4 D 13 I 14 M 2 D 541 I 592 M 3 D 74 I 69 M 5 D 79 I 68 M 7 D 103 I 107 M 3 D 55 I 53 M 3 D 5 I 3 M 1 D 95 I 98 M 4 D 14 I 17 M 1 D 119 I 136 M 1 D 150 I 137 M 1 D 1 I 1 M 3 D 148 I 161 M 2 D 4 I 6 M 3 D 6 I 6 M 2 D 162 I 172 M 4 D 172 I 173 M 8 D 291 I 298 M 4 D 214 I 229 M 2 D 38 I 29 M 5 D 189 I 166 M 2 D 279 I 276 M 1 D 218 I 213 M 7 D 42 I 40 M 3 D 359 I 327 M 18 D 77 I 79 M 1 D 13 I 10 M 3 D 4 I 4 M 1 D 173 I 173 M 2 D 19 I 23 M 5 D 617 I 634 M 3 D 4 I 5 M 2 D 18 I 22 M 1 D 303 I 295 M 7 D 73 I 91 M 10 D 400 I 421 M 2 D 152 I 152 M 2 D 306 I 295 M 2 D 8 I 7 M 3 D 396 I 391 M 3 D 9 I 8 M 1 D 50 I 48 M 2 D 16 I 12 M 1 D 17 I 22 M 5 D 373 I 363 M 7 D 250 I 283 M 1 D 331 I 353 M 6 D 134 I 126 M 5 D 28 I 28 M 4 D 47 I 43 M 4 D 22 I 22 M 1 D 2 I 2 M 2 D 149 I 149 M 2 D 163 I 169 M 7 D 6 I 5 M 12 D 9 I 13 M 6 D 140 I 130 M 2 D 18 I 15 M 2 D 367 I 384 M 3 D 2 I 3 M 4 D 104 I 118 M 8 D 128 I 123 M 2 D 115 I 98 M 3 D 84 I 88 M 2 D 344 I 342 M 4 D 6 I 4 M 2 D 149 I 150 M 1 D 98 I 97 M 1 D 18 I 14 M 7 D 139 I 155 M 2 D 4 I 4 M 4 D 8 I 8 M 2 D 115 I 128 M 1 D 24 I 19 M 4 D 48 I 43 M 2 D 268 I 281 M 3 D 167 I 161 M 2 D 3 I 2 M 12 D 179 I 177 M 9 D 36 I 31 M 6 D 149 I 153 M 5 D 184 I 176 M 1 D 267 I 284 M 5 D 31 I 33 M 3 D 1 I 1 M 4 D 481 I 491 M 3 D 7 I 6 M 3 D 64 I 63 M 5 D 5 I 4 M 1 D 79 I 72 M 2 D 7 I 5 M 4 D 366 I 362 M 7 D 444 I 445 M 1 D 8 I 6 M 3 D 226 I 211 M 1 D 210 I 199 M 3 D 53 I 45 M 3 D 23 I 25 M 5 D 97 I 91 M 3 D 61 I 57 M 1 D 1 I 1 M 1 D 1 I 1 M 1 D 6 I 5 M 2 D 3 I 3 M 2 D 200 I 180 M 1 D 233 I 250 M 3 D 208 I 232 M 1 D 99 I 94 M 9 D 24 I 27 M 8 D 87 I 87 M 2 D 205 I 192 M 8 D 40 I 38 M 1 D 14 I 18 M 3 D 39 I 43 M 2 D 250 I 285 M 2 D 14 I 14 M 2 D 343 I 350 M 4 D 364 I 368 M 1 D 427 I 419 M 4 D 189 I 176 M 5 D 313 I 286 M 1 D 7 I 5 M 4 D 71 I 86 M 11 D 6 I 4 M 4 D 85 I 81 M 4 D 132 I 141 M 3 D 1 I 1 M 2 D 159 I 180 M 7 D 13 I 13 M 1 D 62 I 61 M 5 D 3 I 3 M 2 D 36 I 39 M 1 D 166 I 154 M 3 D 211 I 185 M 7 D 407 I 440 M 2 D 9 I 13 M 11 D 172 I 170 M 2 D 74 I 67 M 1 D 8 I 8 M 8 D 175 I 179 M 13 D 239 I 243 M 2 D 7 I 6 M 9 D 184 I 176 M 3 D 79 I 82 M 1 D 523 I 485 M 3 D 53 I 50 M 2 D 178 I 168 M 1 D 6 I 8 M 4 D 56 I 46 M 10 D 77 I 74 M 2 D 1 I 1 M 3 D 9 I 6 M 1 D 47 I 35 M 4 D 1 I 1 M 1 D 64 I 49 M 3 D 303 I 300 M 1 D 10 I 11 M 3 D 197 I 190 M 4 D 227 I 250 M 1 D 84 I 75 M 2 D 556 I 566 M 3 D 49 I 43 M 5 D 120 I 127 M 5 D 52 I 45 M 2 D 102 I 111 M 3 D 16 I 12 M 2 D 328 I 307 M 2 D 5 I 6 M 7 D 127 I 120 M 4 D 324 I 299 M 4 D 60 I 50 M 1 D 378 I 389 M 6 D 67 I 58 M 3 D 64 I 45 M 6 D 187 I 203 M 4 D 17 I 13 M 1 D 123 I 118 M 3 D 263 I 286 M 2 D 53 I 62 M 3 D 89 I 101 M 5 D 26 I 23 M 7 D 45 I 51 M 3 D 613 I 567 M 5 D 2 I 2 M 2 D 34 I 39 M 4 D 51 I 54 M 12 D 136 I 159 M 4 D 79 I 95 M 3 D 96 I 92 M 5 D 1177 I 1127 Traceback (most recent call last): File "/foo/bar/software/marginAlign/submodules/jobTree/src/jobTreeSlave.py", line 271, in main defaultMemory=defaultMemory, defaultCpu=defaultCpu, depth=depth) File "/foo/bar/software/marginAlign/submodules/jobTree/scriptTree/stack.py", line 153, in execute self.target.run() File "/foo/bar/software/marginAlign/submodules/jobTree/scriptTree/target.py", line 197, in run func(*((self,) + tuple(self.args)), *self.kwargs) File "/foo/bar/software/marginAlign/src/margin/marginCallerLib.py", line 57, in posteriorProbabilityCalculationTargetFn tempPosteriorProbsFile, options.alignmentModel)) File "/foo/bar/software/marginAlign/submodules/sonLib/bioio.py", line 182, in system sts = subprocess.call(command, shell=True, bufsize=-1, stdout=sys.stdout, stderr=sys.stderr) File "/usr/lib/python2.7/subprocess.py", line 523, in call return Popen(popenargs, **kwargs).wait() File "/usr/lib/python2.7/subprocess.py", line 711, in init errread, errwrite) File "/usr/lib/python2.7/subprocess.py", line 1343, in _execute_child raise child_exception OSError: [Errno 7] Argument list too long Exiting the slave because of a failed job on host thecomputername Due to failure we are reducing the remaining retry count of job /foo/bar/data/jobTree/jobs/t0/t3/t3/t0/job to 0 We have set the default memory of the failed job to 12884901888 bytes

benedictpaten / marginAlign

marginCaller: very long Cigar causes "Argument list too long" error #37