Не работает загрузка большого файла (325 МБ) в S3 бакет через Terraform

YakovenkoArtem commented 6 months ago

Добрый день. При попытке загрузить большой файл (325 МБ) в S3 SberCloud Advanced через Terraform выдается ошибка: fatal error: out of memory.

Terraform Version

OpenTofu v1.6.2 on windows_386 provider registry.opentofu.org/sbercloud-terraform/sbercloud v1.11.6

Affected Resource(s)

sbercloud_obs_bucket_object

Terraform Configuration Files

Подготовил полный проект с файлами и выложил его в своем GitHub https://github.com/YakovenkoArtem/Terraform/tree/main/BigFileToS3Bug

resource "sbercloud_obs_bucket_object" "GPU_driver" {
  bucket = sbercloud_obs_bucket.bucket.id
  key    = "drivers/NVIDIA-Linux-x86_64-535.161.07.run"
  source = "drivers/NVIDIA-Linux-x86_64-535.161.07.run"
  etag   = filemd5("drivers/NVIDIA-Linux-x86_64-535.161.07.run")
}

Debug Output

https://gist.github.com/YakovenkoArtem/945b404145bfb0f44c5d43ae1d6da372

Panic Output

https://gist.github.com/YakovenkoArtem/945b404145bfb0f44c5d43ae1d6da372

Expected Behavior

Локальный файл должен был успешно загрузиться в бакет в S3

Actual Behavior

Упал Terraform с ошибкой о нехватке памяти

Steps to Reproduce

terraform apply ИЛИ (если используется "православный" инструмент) tofu apply

Important Factoids

Стандартный аккаунт в SberCloud Advanced

References

https://github.com/hashicorp/terraform/issues/28678

Ccaswell42 commented 6 months ago

Ошибка "fatal error: out of memory" обычно указывает на то, что операционной системе не хватает памяти для выполнения операции. Если возможно, попробуйте выполнить операцию на машине с большим объемом оперативной памяти.

При воспроизведении кейса, у меня проблем не возникло, файл размером 480 МБ успешно загрузился в бакет.

YakovenkoArtem commented 6 months ago

Видимо у вас не установлен git lfs и по-этому файл с драйвером к вам не закачался полностью. А только скачались его метаданные. Попробуйте выполнить команду git lfs fetch --all что бы скачался драйвер.

YakovenkoArtem commented 6 months ago

Проверил на своем MacBook ARM. Загрузка работает. Видимо проблема только на Windows. В ближайшее время проверю и отпишусь.

sbercloud-terraform / terraform-provider-sbercloud