search

ydb-platform / ydb

YDB is an open source Distributed SQL Database that combines high availability and scalability with strong consistency and ACID transactions
https://ydb.tech
Apache License 2.0
3.55k stars 496 forks source link

[[make design of new storage API]] #3948

Open va-kuznecov opened 2 months ago

va-kuznecov commented 2 months ago

https://nebius.atlassian.net/wiki/spaces/YDB/pages/148542369/blobstorage+API

va-kuznecov commented 2 months ago

обсудили на встрече, нашли три вещи, которые нужно сделать:

  1. BlobDepot - единое место отказа. Нужно подумать про то, чтобы делать несколько на кластер, чтобы не вставала запись при проблемах в единой таблетке.
  2. проверить, не лопнет ли VDisk LSM если уменьшить huge. То есть если таблетка будет писать не 1 раз блоб 8МБ, а 8 блобов по 1МБ.
  3. посмотреть на BlobDepot - насколько она production-ready, насколько она эксплуатируема.

Как гипотезу стоит проверить можно ли сделать read proxy (discover в терминах NBS) через DataShard. То есть такой вызов, который вернёт не данные, а TLogoBlobId.