search

itmo-infocom / BigData

2 stars 4 forks source link

create-test-file-dispersion.sh - в тестовом каталоге присутствуют файлы нулевого размера #5

Open korytko opened 10 years ago

korytko commented 10 years ago

Решили создавать тестовый каталог не на основе видеофайла, а на основе файла, созданного генератором случайных чисел. Тестирование ведется на виртуальной машине BigData-20G-1. Команда для входа на неё по ssh: ssh root@sdn.naulinux.ru -p 2032 При помощи генератора случайных чисел создан файл test.data: dd if=/dev/urandom of=test.data bs=1M count=42 При помощи скрипта create-test-file-sigma2014-04-23.sh создан тестовый каталог: ./create-test-file-sigma2014-04-23.sh /mnt/vdb/test.copybigdata 1073741824 51200 10240 \ /root/test.data Часть файлов в этом каталоге имеет нулевой размер.

kairkanov commented 10 years ago

2 с лишним тысячи файлов создались нормально, а потом пошли пустые и почему-то имена не по порядку. Точно сказать не могу. Но, возможно, дело в свободном месте? Вы писали в письме про Volume размером 120 Гб, а скриптом создаете 1 Тб. Если дело не в этом, я бы запустил еще раз эту команду на данной виртуалке с запиью лога. Только не уверен, могу ли ее использовать и не помешаю ли проведению тестов.

andrey4763913 commented 10 years ago

Арсен,

мне кажется, что после создания каждого файла надо проверять код возврата (или после каждой операции записи), чтобы сразу сообщать про проблемы. Иными словами скрипт должне быть "умным".

kairkanov commented 10 years ago

ok

korytko commented 10 years ago

В переписке в списке рассыки упоминался то 1 Tb, то 100 Gb. Мне показалось, что надо делать каталог размером 100 Gb. В общем, запуталась в Tb/Gb. Сделала тестовый каталог рамером 100 Gb командой ./create-test-file-sigma2014-04-23.sh /mnt/vdd/test 104857600 51200 10240 /root/test.data В полученном каталоге нулевых фалов нет. Возможно, для начала достаточно каталога такого размера? А вообще, на странице http://sdn.naulinux.ru/dashboard/project/ видно, что на создание volume мне выделено 1000.0 Gb. То есть создать каталог размером 1 Tb, видимо, можно (на самом деле на сколько-то меньше), а копировать точно будет некуда. Разве что в /dev/null.

andrey4763913 commented 10 years ago

В общем для изучения как что действует 100 GB видимо хватит.

По распредеделению памяти надо просить Александра обеспечить для тестирования два раздела по 1 TB (откуда писать и куда писать) или чуть больше.

Кстати, прошу всё-таки во избежание путаницы писать GB большими буквами. Обычно маленькая 'b' означает биты, а не байты.

2014-08-12 12:09 GMT+04:00 korytko notifications@github.com:

В переписке в списке рассыки упоминался то 1 Tb, то 100 Gb. Мне показалось, что надо делать каталог размером 100 Gb. В общем, запуталась в Tb/Gb. Сделала тестовый каталог рамером 100 Gb командой ./create-test-file-sigma2014-04-23.sh /mnt/vdd/test 104857600 51200 10240 /root/test.data В полученном каталоге нулевых фалов нет. Возможно, для начала достаточно каталога такого размера? А вообще, на странице http://sdn.naulinux.ru/dashboard/project/ видно, что на создание volume мне выделено 1000.0 Gb. То есть создать каталог размером 1 Tb, видимо, можно (на самом деле на сколько-то меньше), а копировать точно будет некуда. Разве что в /dev/null.

— Reply to this email directly or view it on GitHub https://github.com/itmo-infocom/BigData/issues/5#issuecomment-51885231.

Andrey Y Shevel