Pretrain代码执行不通问题

[447428054]

Code中存在下面2个错误

1. make_pretrain_data中 from propeller.data import feature_pb2, example_pb2 路径错误
2. readme中的脚本，需要加上save_dir 参数，pretrain 中batch_size需要设置

修改后执行一直卡在如图界面，python 3.6.2，paddlepaddle-gpu 2.0.1 执行顺序按照readme python3 ./demo/pretrain/make_pretrain_data.py ./demo/pretrain/test.txt ./demo/pretrain/output_file.gz --vocab /home/ytkj/root1/lizheng/2021April/MRC/experiment/DuReader-Checklist-BASELINE/finetuned_model/vocab.txt

python3 -m paddle.distributed.launch ./demo/pretrain/pretrain.py --data_dir "/home/ytkj/root1/lizheng/2021April/pretrain/ERNIE-develop/demo/pretrain/output_file.gz" --from_pretrained /home/ytkj/root1/lizheng/2021April/model/model-ernie1.0.1 --save_dir ./demo/pretrain/Output

使用数据为readme给出示例

执行view_pretrian_gz.py显示如下，未出现空的问题

***content
0 0 3 5 5 8 8 8 8 13 13 16 16 19 21 21 24 26 26 29 29 32 32 35 37 37 40 42 42 45 45 48 50 52 52 55 55 55 59 59 62 62 65 65 68 70 70 73 75 75 78 78 81 81 81 85 87 87 87 87 92 94 94 97 99 101 101 104 106 106 109 111 111 114 116 118 118 121 121 124 126 126 129 131 131 134 136 136 139 141 141 141 145 147 147 150 150 153 153 156 158 158 161 161 161 165 167 169 169 172 172 175 177 177 180 182 182 185 187 187 190 192 192 195 197 197 200 200 203 205 207 207 210 212 212 215 215 218 220 220 223 225 225 228 228 231 231 234 236 236 239 239 242 244 244 244 244 249 251 251 254 256 258 258 261 261 261 261 266 268 268 271 273 275 277 277 277 281 283 283 283 283 283 283 290 292 292 292 296 298 300 300 303 303 306 306 309 311 311 314 316 318 320 322 322 322 326 326 329 331 331 334 334 337 339 339 342 344 346 346 349 349 352 354 354 357 359 359 362 364 364 367 367 370 372 372 375 375 378 380 382 385 385 388 390 390 390 390 395 395 398 400 400 403 405 407 407 410 410 413 415 415 418 418 421 421 424 426 426 429 431 431 434 434 437 439 439 442 442 445 447 447 450 450 453
179|18|10|217|29|1092|500|405|545|166|229|179|150|6|215|307|6|282|73|22|107|411|143|43|1125|642|5|7|232|18|147|4|158|908|106|591|130|335|479|37|193|220|147|18|5|7|106|12043|179|18|1053|93|1571|528|73|14|2067|1001|426|38|5|175|29|4|190|159|179|6|159|559|6|150|130|14|51|122|82|193|498|107|287|70|5|394|788|83|66|21|12043|179|18|50|115|1403|117|47|309|1125|642|4|13|15|53|220|73|102|5|2646|313|22|107|158|352|91|5|53|38|107|91|393|12|81|202|200|678|2011|426|234|39|5|91|38|12043|168|672|179|18|5|264|474|54|287|29|238|10|27|8|54|395|82|21|205|12|16|48|172|1009|5|7|375|12043|51|179|18|168|89|1125|642|5|328|606|4|748|11|422|1710|107|6|188|861|16|302|256|631|107|422|749|130|103|5|422|140|179|18|68|89|518|48|394|373|4|83|11|422|905|2159|312|155|9|263|13|678|2011|5|239|38|12043|158|312|36|88|440|4|179|18|5|34|117|518|303|607|16|533|31|96|1345|71|117|4|268|1227|203|623|5|68|419|441|685|36|195|4|196|13|102|5|147|18|34|87|14|179|18|648|102|240|123|5|276|756|4|600|175|179|18|5|120|537|34|117|4|339|268|508|139|12043
***end
==============================
***content
0 0 0 4 6 8 10 10 13 15 15 18 18 21 21 24 24 27 29 29 32 34 36 36 39 39 42 44 44 47 49 49 52 52 52 52 57 57 60 62 64 64 64 68 68 71 73 75 75 78 78 78 82 84 84 87 89 91 91 94 94 97 97 100 102 102 105 105 108 110 110 113 115 115 118 120 122 124 126 126 129 129 132 132 135 137 139 141 141 144 144 147 149 151 151 154 156 158 158 161 161 164 166 168 168 171 173 173 173 177 177 180 180 183 185 187 189 189 192 192 195 197 197 197 201 201 204 206 206 209 211 211 214 216 216 219 219 222 224 224 227 227 230 230 233 233 233 237 237 240 240 243 245 245 245 249 249 252 254 254 257 257 257 261 261 264 264 267 269 269 272 272 272 276 278 278 281 283 283 286 288 288 291 291 294 294 297 299 299 302 304 304 307 309 309 312 312 315 317 317 320 322 322 325 325 328 328 328 332 334 334 337 339 341 341 344 344 347 347 350 352 354 356 356 359 361 361 364 364 367 369 371 373 373 376 378 378 381 383 383 386 388 390 390 393 395 397 397 400 402 404 406 406 409
644|137|1265|78|77|10|7|106|52|451|1204|1814|629|31|58|347|635|5|1265|85|4|113|170|277|87|11|5|128|367|4|172|10|1036|2148|628|8|602|2148|29|5|101|1406|497|7|314|12043|380|479|37|1046|1902|292|5|7|106|4|10|1265|85|382|60|502|17|49|1439|73|83|33|5|1647|1238|4|311|132|1265|1647|12043|105|9|8|178|644|137|1265|10|3128|1647|1439|73|83|33|5|4|153|3128|1647|5|2713|85|2279|19|4|635|128|367|5|1204|635|114|7|314|34|325|36|4|113|48|22|67|190|31|597|87|39|629|58|5|182|561|12043|578|132|5|1647|1238|1210|224|1306|176|379|1742|557|374|763|644|137|1265|60|223|390|505|1057|575|1647|1265|1741|985|4|196|13|575|1647|1265|48|22|1204|575|39|805|662|335|16|373|5|1647|1238|4|47|180|54|644|137|1265|32|1204|575|39|1238|712|5|1529|1098|10|9|309|156|847|12043|342|178|11|984|382|643|136|167|346|139|5|914|1010|4|11|101|1406|1752|103|490|596|101|4|174|1265|85|157|364|11|101|76|4|845|10|1204|575|39|1647|1238|5|469|314|4|113|197|496|47|76|1265|85|155|520|578|1647|1238|12043
***end
==============================
***content
0 0 3 5 5 8 8 8 8 13 13 16 16 19 21 21 24 26 26 29 29 32 32 35 37 37 40 42 42 45 45 48 50 52 52 55 55 55 59 59 62 62 65 65 68 70 70 73 75 75 78 78 81 81 81 85 87 87 87 87 92 94 94 97 99 101 101 104 106 106 109 111 111 114 116 118 118 121 121 124 126 126 129 131 131 134 136 136 139 141 141 141 145 147 147 150 150 153 153 156 158 158 161 161 161 165 167 169 169 172 172 175 177 177 180 182 182 185 187 187 190 192 192 195 197 197 200 200 203 205 207 207 210 212 212 215 215 218 220 220 223 225 225 228 228 231 231 234 236 236 239 239 242 244 244 244 244 249 251 251 254 256 258 258 261 261 261 261 266 268 268 271 273 275 277 277 277 281 283 283 283 283 283 283 290 292 292 292 296 298 300 300 303 303 306 306 309 311 311 314 316 318 320 322 322 322 326 326 329 331 331 334 334 337 339 339 342 344 346 346 349 349 352 354 354 357 359 359 362 364 364 367 367 370 372 372 375 375 378 380 382 385 385 388 390 390 390 390 395 395 398 400 400 403 405 407 407 410 410 413 415 415 418 418 421 421 424 426 426 429 431 431 434 434 437 439 439 442 442 445 447 447 450 450 453
179|18|10|217|29|1092|500|405|545|166|229|179|150|6|215|307|6|282|73|22|107|411|143|43|1125|642|5|7|232|18|147|4|158|908|106|591|130|335|479|37|193|220|147|18|5|7|106|12043|179|18|1053|93|1571|528|73|14|2067|1001|426|38|5|175|29|4|190|159|179|6|159|559|6|150|130|14|51|122|82|193|498|107|287|70|5|394|788|83|66|21|12043|179|18|50|115|1403|117|47|309|1125|642|4|13|15|53|220|73|102|5|2646|313|22|107|158|352|91|5|53|38|107|91|393|12|81|202|200|678|2011|426|234|39|5|91|38|12043|168|672|179|18|5|264|474|54|287|29|238|10|27|8|54|395|82|21|205|12|16|48|172|1009|5|7|375|12043|51|179|18|168|89|1125|642|5|328|606|4|748|11|422|1710|107|6|188|861|16|302|256|631|107|422|749|130|103|5|422|140|179|18|68|89|518|48|394|373|4|83|11|422|905|2159|312|155|9|263|13|678|2011|5|239|38|12043|158|312|36|88|440|4|179|18|5|34|117|518|303|607|16|533|31|96|1345|71|117|4|268|1227|203|623|5|68|419|441|685|36|195|4|196|13|102|5|147|18|34|87|14|179|18|648|102|240|123|5|276|756|4|600|175|179|18|5|120|537|34|117|4|339|268|508|139|12043
***end
==============================
***content
0 0 0 4 6 8 10 10 13 15 15 18 18 21 21 24 24 27 29 29 32 34 36 36 39 39 42 44 44 47 49 49 52 52 52 52 57 57 60 62 64 64 64 68 68 71 73 75 75 78 78 78 82 84 84 87 89 91 91 94 94 97 97 100 102 102 105 105 108 110 110 113 115 115 118 120 122 124 126 126 129 129 132 132 135 137 139 141 141 144 144 147 149 151 151 154 156 158 158 161 161 164 166 168 168 171 173 173 173 177 177 180 180 183 185 187 189 189 192 192 195 197 197 197 201 201 204 206 206 209 211 211 214 216 216 219 219 222 224 224 227 227 230 230 233 233 233 237 237 240 240 243 245 245 245 249 249 252 254 254 257 257 257 261 261 264 264 267 269 269 272 272 272 276 278 278 281 283 283 286 288 288 291 291 294 294 297 299 299 302 304 304 307 309 309 312 312 315 317 317 320 322 322 325 325 328 328 328 332 334 334 337 339 341 341 344 344 347 347 350 352 354 356 356 359 361 361 364 364 367 369 371 373 373 376 378 378 381 383 383 386 388 390 390 393 395 397 397 400 402 404 406 406 409
644|137|1265|78|77|10|7|106|52|451|1204|1814|629|31|58|347|635|5|1265|85|4|113|170|277|87|11|5|128|367|4|172|10|1036|2148|628|8|602|2148|29|5|101|1406|497|7|314|12043|380|479|37|1046|1902|292|5|7|106|4|10|1265|85|382|60|502|17|49|1439|73|83|33|5|1647|1238|4|311|132|1265|1647|12043|105|9|8|178|644|137|1265|10|3128|1647|1439|73|83|33|5|4|153|3128|1647|5|2713|85|2279|19|4|635|128|367|5|1204|635|114|7|314|34|325|36|4|113|48|22|67|190|31|597|87|39|629|58|5|182|561|12043|578|132|5|1647|1238|1210|224|1306|176|379|1742|557|374|763|644|137|1265|60|223|390|505|1057|575|1647|1265|1741|985|4|196|13|575|1647|1265|48|22|1204|575|39|805|662|335|16|373|5|1647|1238|4|47|180|54|644|137|1265|32|1204|575|39|1238|712|5|1529|1098|10|9|309|156|847|12043|342|178|11|984|382|643|136|167|346|139|5|914|1010|4|11|101|1406|1752|103|490|596|101|4|174|1265|85|157|364|11|101|76|4|845|10|1204|575|39|1647|1238|5|469|314|4|113|197|496|47|76|1265|85|155|520|578|1647|1238|12043
***end
==============================
***content
0 0 3 5 5 8 8 8 8 13 13 16 16 19 21 21 24 26 26 29 29 32 32 35 37 37 40 42 42 45 45 48 50 52 52 55 55 55 59 59 62 62 65 65 68 70 70 73 75 75 78 78 81 81 81 85 87 87 87 87 92 94 94 97 99 101 101 104 106 106 109 111 111 114 116 118 118 121 121 124 126 126 129 131 131 134 136 136 139 141 141 141 145 147 147 150 150 153 153 156 158 158 161 161 161 165 167 169 169 172 172 175 177 177 180 182 182 185 187 187 190 192 192 195 197 197 200 200 203 205 207 207 210 212 212 215 215 218 220 220 223 225 225 228 228 231 231 234 236 236 239 239 242 244 244 244 244 249 251 251 254 256 258 258 261 261 261 261 266 268 268 271 273 275 277 277 277 281 283 283 283 283 283 283 290 292 292 292 296 298 300 300 303 303 306 306 309 311 311 314 316 318 320 322 322 322 326 326 329 331 331 334 334 337 339 339 342 344 346 346 349 349 352 354 354 357 359 359 362 364 364 367 367 370 372 372 375 375 378 380 382 385 385 388 390 390 390 390 395 395 398 400 400 403 405 407 407 410 410 413 415 415 418 418 421 421 424 426 426 429 431 431 434 434 437 439 439 442 442 445 447 447 450 450 453
179|18|10|217|29|1092|500|405|545|166|229|179|150|6|215|307|6|282|73|22|107|411|143|43|1125|642|5|7|232|18|147|4|158|908|106|591|130|335|479|37|193|220|147|18|5|7|106|12043|179|18|1053|93|1571|528|73|14|2067|1001|426|38|5|175|29|4|190|159|179|6|159|559|6|150|130|14|51|122|82|193|498|107|287|70|5|394|788|83|66|21|12043|179|18|50|115|1403|117|47|309|1125|642|4|13|15|53|220|73|102|5|2646|313|22|107|158|352|91|5|53|38|107|91|393|12|81|202|200|678|2011|426|234|39|5|91|38|12043|168|672|179|18|5|264|474|54|287|29|238|10|27|8|54|395|82|21|205|12|16|48|172|1009|5|7|375|12043|51|179|18|168|89|1125|642|5|328|606|4|748|11|422|1710|107|6|188|861|16|302|256|631|107|422|749|130|103|5|422|140|179|18|68|89|518|48|394|373|4|83|11|422|905|2159|312|155|9|263|13|678|2011|5|239|38|12043|158|312|36|88|440|4|179|18|5|34|117|518|303|607|16|533|31|96|1345|71|117|4|268|1227|203|623|5|68|419|441|685|36|195|4|196|13|102|5|147|18|34|87|14|179|18|648|102|240|123|5|276|756|4|600|175|179|18|5|120|537|34|117|4|339|268|508|139|12043
***end
==============================
***content
0 0 0 4 6 8 10 10 13 15 15 18 18 21 21 24 24 27 29 29 32 34 36 36 39 39 42 44 44 47 49 49 52 52 52 52 57 57 60 62 64 64 64 68 68 71 73 75 75 78 78 78 82 84 84 87 89 91 91 94 94 97 97 100 102 102 105 105 108 110 110 113 115 115 118 120 122 124 126 126 129 129 132 132 135 137 139 141 141 144 144 147 149 151 151 154 156 158 158 161 161 164 166 168 168 171 173 173 173 177 177 180 180 183 185 187 189 189 192 192 195 197 197 197 201 201 204 206 206 209 211 211 214 216 216 219 219 222 224 224 227 227 230 230 233 233 233 237 237 240 240 243 245 245 245 249 249 252 254 254 257 257 257 261 261 264 264 267 269 269 272 272 272 276 278 278 281 283 283 286 288 288 291 291 294 294 297 299 299 302 304 304 307 309 309 312 312 315 317 317 320 322 322 325 325 328 328 328 332 334 334 337 339 341 341 344 344 347 347 350 352 354 356 356 359 361 361 364 364 367 369 371 373 373 376 378 378 381 383 383 386 388 390 390 393 395 397 397 400 402 404 406 406 409
644|137|1265|78|77|10|7|106|52|451|1204|1814|629|31|58|347|635|5|1265|85|4|113|170|277|87|11|5|128|367|4|172|10|1036|2148|628|8|602|2148|29|5|101|1406|497|7|314|12043|380|479|37|1046|1902|292|5|7|106|4|10|1265|85|382|60|502|17|49|1439|73|83|33|5|1647|1238|4|311|132|1265|1647|12043|105|9|8|178|644|137|1265|10|3128|1647|1439|73|83|33|5|4|153|3128|1647|5|2713|85|2279|19|4|635|128|367|5|1204|635|114|7|314|34|325|36|4|113|48|22|67|190|31|597|87|39|629|58|5|182|561|12043|578|132|5|1647|1238|1210|224|1306|176|379|1742|557|374|763|644|137|1265|60|223|390|505|1057|575|1647|1265|1741|985|4|196|13|575|1647|1265|48|22|1204|575|39|805|662|335|16|373|5|1647|1238|4|47|180|54|644|137|1265|32|1204|575|39|1238|712|5|1529|1098|10|9|309|156|847|12043|342|178|11|984|382|643|136|167|346|139|5|914|1010|4|11|101|1406|1752|103|490|596|101|4|174|1265|85|157|364|11|101|76|4|845|10|1204|575|39|1647|1238|5|469|314|4|113|197|496|47|76|1265|85|155|520|578|1647|1238|12043
***end
==============================
***content
0 0 3 5 5 8 8 8 8 13 13 16 16 19 21 21 24 26 26 29 29 32 32 35 37 37 40 42 42 45 45 48 50 52 52 55 55 55 59 59 62 62 65 65 68 70 70 73 75 75 78 78 81 81 81 85 87 87 87 87 92 94 94 97 99 101 101 104 106 106 109 111 111 114 116 118 118 121 121 124 126 126 129 131 131 134 136 136 139 141 141 141 145 147 147 150 150 153 153 156 158 158 161 161 161 165 167 169 169 172 172 175 177 177 180 182 182 185 187 187 190 192 192 195 197 197 200 200 203 205 207 207 210 212 212 215 215 218 220 220 223 225 225 228 228 231 231 234 236 236 239 239 242 244 244 244 244 249 251 251 254 256 258 258 261 261 261 261 266 268 268 271 273 275 277 277 277 281 283 283 283 283 283 283 290 292 292 292 296 298 300 300 303 303 306 306 309 311 311 314 316 318 320 322 322 322 326 326 329 331 331 334 334 337 339 339 342 344 346 346 349 349 352 354 354 357 359 359 362 364 364 367 367 370 372 372 375 375 378 380 382 385 385 388 390 390 390 390 395 395 398 400 400 403 405 407 407 410 410 413 415 415 418 418 421 421 424 426 426 429 431 431 434 434 437 439 439 442 442 445 447 447 450 450 453
179|18|10|217|29|1092|500|405|545|166|229|179|150|6|215|307|6|282|73|22|107|411|143|43|1125|642|5|7|232|18|147|4|158|908|106|591|130|335|479|37|193|220|147|18|5|7|106|12043|179|18|1053|93|1571|528|73|14|2067|1001|426|38|5|175|29|4|190|159|179|6|159|559|6|150|130|14|51|122|82|193|498|107|287|70|5|394|788|83|66|21|12043|179|18|50|115|1403|117|47|309|1125|642|4|13|15|53|220|73|102|5|2646|313|22|107|158|352|91|5|53|38|107|91|393|12|81|202|200|678|2011|426|234|39|5|91|38|12043|168|672|179|18|5|264|474|54|287|29|238|10|27|8|54|395|82|21|205|12|16|48|172|1009|5|7|375|12043|51|179|18|168|89|1125|642|5|328|606|4|748|11|422|1710|107|6|188|861|16|302|256|631|107|422|749|130|103|5|422|140|179|18|68|89|518|48|394|373|4|83|11|422|905|2159|312|155|9|263|13|678|2011|5|239|38|12043|158|312|36|88|440|4|179|18|5|34|117|518|303|607|16|533|31|96|1345|71|117|4|268|1227|203|623|5|68|419|441|685|36|195|4|196|13|102|5|147|18|34|87|14|179|18|648|102|240|123|5|276|756|4|600|175|179|18|5|120|537|34|117|4|339|268|508|139|12043
***end
==============================
***content
0 0 0 4 6 8 10 10 13 15 15 18 18 21 21 24 24 27 29 29 32 34 36 36 39 39 42 44 44 47 49 49 52 52 52 52 57 57 60 62 64 64 64 68 68 71 73 75 75 78 78 78 82 84 84 87 89 91 91 94 94 97 97 100 102 102 105 105 108 110 110 113 115 115 118 120 122 124 126 126 129 129 132 132 135 137 139 141 141 144 144 147 149 151 151 154 156 158 158 161 161 164 166 168 168 171 173 173 173 177 177 180 180 183 185 187 189 189 192 192 195 197 197 197 201 201 204 206 206 209 211 211 214 216 216 219 219 222 224 224 227 227 230 230 233 233 233 237 237 240 240 243 245 245 245 249 249 252 254 254 257 257 257 261 261 264 264 267 269 269 272 272 272 276 278 278 281 283 283 286 288 288 291 291 294 294 297 299 299 302 304 304 307 309 309 312 312 315 317 317 320 322 322 325 325 328 328 328 332 334 334 337 339 341 341 344 344 347 347 350 352 354 356 356 359 361 361 364 364 367 369 371 373 373 376 378 378 381 383 383 386 388 390 390 393 395 397 397 400 402 404 406 406 409
644|137|1265|78|77|10|7|106|52|451|1204|1814|629|31|58|347|635|5|1265|85|4|113|170|277|87|11|5|128|367|4|172|10|1036|2148|628|8|602|2148|29|5|101|1406|497|7|314|12043|380|479|37|1046|1902|292|5|7|106|4|10|1265|85|382|60|502|17|49|1439|73|83|33|5|1647|1238|4|311|132|1265|1647|12043|105|9|8|178|644|137|1265|10|3128|1647|1439|73|83|33|5|4|153|3128|1647|5|2713|85|2279|19|4|635|128|367|5|1204|635|114|7|314|34|325|36|4|113|48|22|67|190|31|597|87|39|629|58|5|182|561|12043|578|132|5|1647|1238|1210|224|1306|176|379|1742|557|374|763|644|137|1265|60|223|390|505|1057|575|1647|1265|1741|985|4|196|13|575|1647|1265|48|22|1204|575|39|805|662|335|16|373|5|1647|1238|4|47|180|54|644|137|1265|32|1204|575|39|1238|712|5|1529|1098|10|9|309|156|847|12043|342|178|11|984|382|643|136|167|346|139|5|914|1010|4|11|101|1406|1752|103|490|596|101|4|174|1265|85|157|364|11|101|76|4|845|10|1204|575|39|1647|1238|5|469|314|4|113|197|496|47|76|1265|85|155|520|578|1647|1238|12043
***end
==============================

降低paddle版本到1.8又出现版本报错 RuntimeError: propeller 0.2 requires paddle 2.0+, got 1.8.5

[Meiyim]

这份代码之前是在paddlepaddle-gpu 2.0rc1上完成测试的，采用python3.6运行。 pretrain出现hang死的错误，可能是数据前处理代码中触发了continue条件，导致数据流没有数据产出。 你可以在一下两个位置加入log并进行判断： https://github.com/PaddlePaddle/ERNIE/blob/develop/demo/pretrain/pretrain.py#L229 https://github.com/PaddlePaddle/ERNIE/blob/develop/demo/pretrain/pretrain.py#L189

[447428054]

@Meiyim https://github.com/PaddlePaddle/ERNIE/blob/develop/demo/pretrain/pretrain.py#L229 是这里continue了呢

[447428054]

@Meiyim 那里continue的话是数据没做好还是需要改动哪里呢

[Meiyim]

可能是每一个doc的sentence太短，或者是max_seqlen太大。导致前处理代码无法填充满buffer，所以一直在continue。

[447428054]

@Meiyim doc sentence长度到315， max_seqlen设置128、8还是一样呢

[Meiyim]

一个buffer不能包含一个完整句子，这样也是不行的。所以你可以把max_seqlen设置为512试试

[447428054]

@Meiyim 512也不行呢 数据是这样的

[447428054]

@Meiyim 方便复现看看这个问题吗，数据就是readme中的两句，python 3.6.2，paddlepaddle-gpu 2.0.1，cuda 10.0

[Meiyim]

这个数据的格式是，换行分句。空行分doc。 从你贴的数据来看我怀疑你的一个doc只有一句话，从而数据流采集不到第二句话。

你可以按照格式 重新组织一下你的数据：

xxxx
yyyyyyy
zzzz

1111
2222222
333

...

[447428054]

@Meiyim 数据为这样还是一样呢

我输出根据log，是卡在dataloader这里

[447428054]

@Meiyim 可以麻烦再看一下吗

[stale[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Feel free to reopen it. Thank you for your contributions.

[kaishxu]

@Meiyim 可以麻烦再看一下吗

哈咯，你最终解决这个问题了吗？我也想重新预训练。按照你的操作，卡的位置跟你一样。

[447428054]

@Meiyim 可以麻烦再看一下吗

哈咯，你最终解决这个问题了吗？我也想重新预训练。按照你的操作，卡的位置跟你一样。

我也没得到回复呢，最后使用原repo代码跑的

[kaishxu]

@Meiyim 可以麻烦再看一下吗

哈咯，你最终解决这个问题了吗？我也想重新预训练。按照你的操作，卡的位置跟你一样。

我也没得到回复呢，最后使用原repo代码跑的

这个repro可以吗，可以直接用develop处理好的.gz数据吗？