Ресурс и Канопус

derevnya commented 5 years ago

Вопрос на обсуждение.

Мы начали получать снимки от Роскосмоса через ftp. Вот несколько примеров с папками в которых хранятся файлы снимков: /14788-КВ/2019-05-14/805775_10.04.19_Минусинск_МСС/805775_Минусинск_МСС/fr_KV4_06577_06577_01_3NP2_20_T_S_110010_080519/ /14788-КВ/2019-05-14/824238_14.05.19_Забайкалье_МСС(3)/824238_Забайкалье_МСС(3)/ /14788-КВ/2019-05-08/805773_10.04.19_Якутия-Центр_ПСС/805773_Якутия-Центр_ПСС/fr_KV1_37214_37213_03_3NP2_20_T_PSS1_133810_280419/ /14788-КВ/2019-05-08/819207_30.04.19_Забайкалье_МСС(3)/801607_Свалка Шумерля_ПСС/ /14787-РП/2019-05-14/810860_22.04.19_Зотино_Сангур/810860_Зотино_Сангур/ /14787-РП/2019-05-14/820769_06.05.19_Забайкалье_Сангур/820769_Забайкалье_Сангур/*

На верхнем уровне идет номер заказа. Сейчас у нас их два 14787-РП и 14788-КВ. Затем дата обработки (дата, когда снимки положили на ftp). 3 и 4 уровень содержат название области, ее номер и дату снимков.

Имена файлов выглядят так: fr_0041_0102_32786_1_02944_02_G_S_21.tiff или fr_KV1_37253_37245_02_3NP2_20_T_S_070711_280419.tiff Причем дата в имени снимка, это дата его обработки.

По итогу:

Для работы с этими снимками надо избавится от русского, т.к. с ним и с ftp есть ряд проблем в unix.
Нужно уменьшить вложенность, при том, что вложенность у исходных данных разная.
В имена файлов у Ресурса добавить дату съемки, а в именах Канопуса заменить дату обработки на дату съемки.

Предлагаю такую структуру:

Верхний уровень с названием КА: RSP и KV.
Второй уровень с названием области в транслитерации, например Zabajkale или YAkutiya_Centr.
Последний уровень с папкой, имя которой совпадает с названием снимка и содержит при этом дату съемки.

В качестве альтернативного варианта можно сделать по аналогии с остальными. Название КА, год, месяц.

Кто, что думает?

yakubailik commented 5 years ago

Как несколько часов назад выяснилось -- есть большая вероятность того, что в течение 1-2 недель вся эта поставка данных из Москвы (по ftp, с указанными здесь московскими правилами формирования вложенных ftp-папок) будет заменена на поставку данных из регионального центра (Железногорск) -- мне звонил их директор (Толстихин); он развил гипер-супер бурную деятельность на эту тему. Предварительно -- он настроен "по умолчанию" использовать мчс-овский канал для этого, который по его словам совсем не загружен... Так что можно начинать предварительные организационно-технические переговоры на эту тему с мчс-никами...

Все это не исключает необходимости формализовать структуру папок в нашем собственном каталоге этих данных, все совсем наоборот...

Предложенную структуру папок -- поддерживаю, предлагаю взять за основу.

yakubailik commented 5 years ago

В дополнение к вышесказанному. Толстихин -- заинтересован в том, чтобы мы через них работали. И вроде как готов принимать с нашей стороны любые предложения по спецификации выдаваемых нам данных. Как я понял -- если мы строго формализуем -- как нам хочется видеть структуру передаваемых нам папок/имен файлов на их ftp (какие каталоги, отсутствие кириллицы) -- так они и будут делать...

Так что обсуждаемая здесь спецификация может стать своего рода ТЗ для железногорского регионального центра...

Vtirko commented 5 years ago

Сангур, МСС и ПСС — это название съёмочной аппаратуры. Оно у них в ходу под именами собственными, а они не всегда аббревиатуры. Есть ещё Геотон, КШМСА-ВР, …-СР

Поскольку объекты в глобальном масштабе точечные — т.е. вряд ли будут граничить с другими такими объектами — надежд на появление хоть какого-то подобия покрытия с перекрытием съёмки разных объектов нет. Поэтому поддерживаю подразделение на объекты транслитерацией на верхнем уровне каталогов.

derevnya commented 5 years ago

Вопрос по Ресурсу. Что нам нужно? Сейчас каждую сцену выкладывают в 4х вариантах, все растры одноканальные:

Уровень 1а - панхроматический диапазон.
Уровень 2а - панхроматический диапазон.
Уровень 1а - 4 спектральных диапазона.
Уровень 2а - 4 спектральных диапазона.

Причем разброс размеров такой бывает: 1 - 14 Гб, 2 - 43 Гб, 3 - 6 Гб, 4 - 19 Гб. 1 - 1.5 Гб, 2 - 6 Гб, 3 - 0.7 Гб, 4 - 2.7 Гб. 1 - 6 Гб, 2 - 9.7 Гб, 3 - 2.6 Гб, 4 - 4.3 Гб. и т.д.

Я так понимаю, 1А нам не нужен?

Спектральные диапазоны: 0,45-0,52 (синий) 0,52-0,60 (зеленый) 0,61-0,67 (красный) 0,71-0,80 (ближний ИК)

Панхроматический диапазон: 0,62-0,79

EPavlichenko commented 5 years ago

Думаю не нужен.

30 июня 2019 г. 1:53:11 GMT+07:00, derevnya notifications@github.com пишет:

Вопрос по Ресурсу. Что нам нужно? Сейчас каждую сцену выкладывают в 4х вариантах, все растры одноканальные:

Уровень 1а - панхроматический диапазон.

Уровень 2а - панхроматический диапазон.

Уровень 1а - 4 спектральных диапазона.

Уровень 2а - 4 спектральных диапазона.

Причем разброс размеров такой бывает: 1 - 14 Гб, 2 - 43 Гб, 3 - 6 Гб, 4 - 19 Гб. 1 - 1.5 Гб, 2 - 6 Гб, 3 - 0.7 Гб, 4 - 2.7 Гб. 1 - 6 Гб, 2 - 9.7 Гб, 3 - 2.6 Гб, 4 - 4.3 Гб. и т.д.

Я так понимаю, 1А нам не нужен?

-- You are receiving this because you were assigned. Reply to this email directly or view it on GitHub: https://github.com/RS-Lab/SAT-Viewer/issues/15#issuecomment-506979338

-- Простите за краткость, создано в K-9 Mail.