missing raw images

[IgorDroz]

Hi,

I am trying to use the raw_images as my input for the model. As i understood, i can find them in data/full_2.1.0 but apparently it is missing some images.

If I load the data/full_2.1.0/train/pick_cool_then_place_in_recep-LettuceSliced-None-SinkBasin-12/trial_T20190906_195846_462229/feat_conv.pt the tensor shape is (411,512,7,7) which means that i should have 411 photos. But in raw_images folder i only have 136. (as you see below there are missing images)

Am i doing something wrong or is it a problem with the data download link?

Igor

[MohitShridhar]

@IgorDroz The Full Dataset contains extracted Resnet features for each frame in ['images'] which include filler frames inbetween each low-action (used to generate smooth videos), whereas Modeling Quickstart only contains features for each low_idx that correspond to frames after taking each low-level action.

Added this to the FAQ.

[IgorDroz]

@MohitShridhar Thanks for the quick answer, but i still don't understand why there is a difference between the number of images in feat_conv.pt and the number of images in raw_images folder. shouldn't it be the same?

[MohitShridhar]

So each navigation action in THOR is jerky. When you call RotateLeft, the agent jumps 90 degrees. So we smoothened these transitions by adding interpolated steps. The seq2seq models don't make use of these intermediate steps, so we discarded them in Modeling Quickstart. But if your model can some how use these intermediate frames, then you can use the extra frames in Full Dataset.

[IgorDroz]

@MohitShridhar Yes i got that part. I will try to clarify my problem again - so i dont want to use the intermediate frames, only the frames that you used in Modeling Quickstart. But i want the raw frames and not the resnet-encoded frames. I believe that i can find those frames in the raw_images folder. for example here: 'data/full_2.1.0/train/pick_cool_then_place_in_recep-LettuceSliced-None-SinkBasin-12/trial_T20190906_195846_462229/'. But for some reason i dont have there all the frames. In the image that i uploaded in the first comment you can see that 000000005.jpg - 000000013.jpg are missing and so do 000000019.jpg - 000000029.jpg . At first i thought that it is fine and each raw image correspond to the frame before taking low-level action. But for that specific task i have 60 actions in the GT and 75 frames in raw_images which means that they do not correspond...

Why is that?

[MohitShridhar]

@IgorDroz

something is weird, this is what I have:

full_2.1.0$ ls train/pick_cool_then_place_in_recep-LettuceSliced-None-SinkBasin-12/trial_T20190906_195846_462229/raw_images/ | sort
000000000.jpg
000000001.jpg
000000002.jpg
000000003.jpg
000000004.jpg
000000005.jpg
000000006.jpg
000000007.jpg
000000008.jpg
000000009.jpg
000000010.jpg
000000011.jpg
000000012.jpg
000000013.jpg
000000014.jpg
000000015.jpg
000000016.jpg
000000017.jpg
000000018.jpg
000000019.jpg
000000020.jpg
000000021.jpg
000000022.jpg
000000023.jpg
000000024.jpg
000000025.jpg
000000026.jpg
000000027.jpg
000000028.jpg
000000029.jpg
000000030.jpg
000000031.jpg
000000032.jpg
000000033.jpg
000000034.jpg
000000035.jpg
000000036.jpg
000000037.jpg
000000038.jpg
000000039.jpg
000000040.jpg
000000041.jpg
000000042.jpg
000000043.jpg
000000044.jpg
000000045.jpg
000000046.jpg
000000047.jpg
000000048.jpg
000000049.jpg
000000050.jpg
000000051.jpg
000000052.jpg
000000053.jpg
000000054.jpg
000000055.jpg
000000056.jpg
000000057.jpg
000000058.jpg
000000059.jpg
000000060.jpg
000000061.jpg
000000062.jpg
000000063.jpg
000000064.jpg
000000065.jpg
000000066.jpg
000000067.jpg
000000068.jpg
000000069.jpg
000000070.jpg
000000071.jpg
000000072.jpg
000000073.jpg
000000074.jpg
000000075.jpg
000000076.jpg
000000077.jpg
000000078.jpg
000000079.jpg
000000080.jpg
000000081.jpg
000000082.jpg
000000083.jpg
000000084.jpg
000000085.jpg
000000086.jpg
000000087.jpg
000000088.jpg
000000089.jpg
000000090.jpg
000000091.jpg
000000092.jpg
000000093.jpg
000000094.jpg
000000095.jpg
000000096.jpg
000000097.jpg
000000098.jpg
000000099.jpg
000000100.jpg
000000101.jpg
000000102.jpg
000000103.jpg
000000104.jpg
000000105.jpg
000000106.jpg
000000107.jpg
000000108.jpg
000000109.jpg
000000110.jpg
000000111.jpg
000000112.jpg
000000113.jpg
000000114.jpg
000000115.jpg
000000116.jpg
000000117.jpg
000000118.jpg
000000119.jpg
000000120.jpg
000000121.jpg
000000122.jpg
000000123.jpg
000000124.jpg
000000125.jpg
000000126.jpg
000000127.jpg
000000128.jpg
000000129.jpg
000000130.jpg
000000131.jpg
000000132.jpg
000000133.jpg
000000134.jpg
000000135.jpg
000000136.jpg
000000137.jpg
000000138.jpg
000000139.jpg
000000140.jpg
000000141.jpg
000000142.jpg
000000143.jpg
000000144.jpg
000000145.jpg
000000146.jpg
000000147.jpg
000000148.jpg
000000149.jpg
000000150.jpg
000000151.jpg
000000152.jpg
000000153.jpg
000000154.jpg
000000155.jpg
000000156.jpg
000000157.jpg
000000158.jpg
000000159.jpg
000000160.jpg
000000161.jpg
000000162.jpg
000000163.jpg
000000164.jpg
000000165.jpg
000000166.jpg
000000167.jpg
000000168.jpg
000000169.jpg
000000170.jpg
000000171.jpg
000000172.jpg
000000173.jpg
000000174.jpg
000000175.jpg
000000176.jpg
000000177.jpg
000000178.jpg
000000179.jpg
000000180.jpg
000000181.jpg
000000182.jpg
000000183.jpg
000000184.jpg
000000185.jpg
000000186.jpg
000000187.jpg
000000188.jpg
000000189.jpg
000000190.jpg
000000191.jpg
000000192.jpg
000000193.jpg
000000194.jpg
000000195.jpg
000000196.jpg
000000197.jpg
000000198.jpg
000000199.jpg
000000200.jpg
000000201.jpg
000000202.jpg
000000203.jpg
000000204.jpg
000000205.jpg
000000206.jpg
000000207.jpg
000000208.jpg
000000209.jpg
000000210.jpg
000000211.jpg
000000212.jpg
000000213.jpg
000000214.jpg
000000215.jpg
000000216.jpg
000000217.jpg
000000218.jpg
000000219.jpg
000000220.jpg
000000221.jpg
000000222.jpg
000000223.jpg
000000224.jpg
000000225.jpg
000000226.jpg
000000227.jpg
000000228.jpg
000000229.jpg
000000230.jpg
000000231.jpg
000000232.jpg
000000233.jpg
000000234.jpg
000000235.jpg
000000236.jpg
000000237.jpg
000000238.jpg
000000239.jpg
000000240.jpg
000000241.jpg
000000242.jpg
000000243.jpg
000000244.jpg
000000245.jpg
000000246.jpg
000000247.jpg
000000248.jpg
000000249.jpg
000000250.jpg
000000251.jpg
000000252.jpg
000000253.jpg
000000254.jpg
000000255.jpg
000000256.jpg
000000257.jpg
000000258.jpg
000000259.jpg
000000260.jpg
000000261.jpg
000000262.jpg
000000263.jpg
000000264.jpg
000000265.jpg
000000266.jpg
000000267.jpg
000000268.jpg
000000269.jpg
000000270.jpg
000000271.jpg
000000272.jpg
000000273.jpg
000000274.jpg
000000275.jpg
000000276.jpg
000000277.jpg
000000278.jpg
000000279.jpg
000000280.jpg
000000281.jpg
000000282.jpg
000000283.jpg
000000284.jpg
000000285.jpg
000000286.jpg
000000287.jpg
000000288.jpg
000000289.jpg
000000290.jpg
000000291.jpg
000000292.jpg
000000293.jpg
000000294.jpg
000000295.jpg
000000296.jpg
000000297.jpg
000000298.jpg
000000299.jpg
000000300.jpg
000000301.jpg
000000302.jpg
000000303.jpg
000000304.jpg
000000305.jpg
000000306.jpg
000000307.jpg
000000308.jpg
000000309.jpg
000000310.jpg
000000311.jpg
000000312.jpg
000000313.jpg
000000314.jpg
000000315.jpg
000000316.jpg
000000317.jpg
000000318.jpg
000000319.jpg
000000320.jpg
000000321.jpg
000000322.jpg
000000323.jpg
000000324.jpg
000000325.jpg
000000326.jpg
000000327.jpg
000000328.jpg
000000329.jpg
000000330.jpg
000000331.jpg
000000332.jpg
000000333.jpg
000000334.jpg
000000335.jpg
000000336.jpg
000000337.jpg
000000338.jpg
000000339.jpg
000000340.jpg
000000341.jpg
000000342.jpg
000000343.jpg
000000344.jpg
000000345.jpg
000000346.jpg
000000347.jpg
000000348.jpg
000000349.jpg
000000350.jpg
000000351.jpg
000000352.jpg
000000353.jpg
000000354.jpg
000000355.jpg
000000356.jpg
000000357.jpg
000000358.jpg
000000359.jpg
000000360.jpg
000000361.jpg
000000362.jpg
000000363.jpg
000000364.jpg
000000365.jpg
000000366.jpg
000000367.jpg
000000368.jpg
000000369.jpg
000000370.jpg
000000371.jpg
000000372.jpg
000000373.jpg
000000374.jpg
000000375.jpg
000000376.jpg
000000377.jpg
000000378.jpg
000000379.jpg
000000380.jpg
000000381.jpg
000000382.jpg
000000383.jpg
000000384.jpg
000000385.jpg
000000386.jpg
000000387.jpg
000000388.jpg
000000389.jpg
000000390.jpg
000000391.jpg
000000392.jpg
000000393.jpg
000000394.jpg
000000395.jpg
000000396.jpg
000000397.jpg
000000398.jpg
000000399.jpg
000000400.jpg
000000401.jpg
000000402.jpg
000000403.jpg
000000404.jpg
000000405.jpg
000000406.jpg
000000407.jpg
000000408.jpg
000000409.jpg
000000410.jpg

Could something have gone wrong with the download or unzipping?

[IgorDroz]

@MohitShridhar Weird indeed, I will try to re-download it again.