채팅 서비스 레퍼런스 2. MongoDB

[tonykang22]

채팅 서비스 레퍼런스 2. MongoDB

개요

• 채팅 서비스에서 MongoDB가 어떻게 사용될 수 있는지 리서치하기 위함

도입

채팅에 사용이 되나요?

https://tv.kakao.com/channel/3693125/cliplink/414072595

About mongoDB

특징

• Document-oriented
  • 데이터를 JSON 객체와 유사한 문서로 저장한다.
  • 때문에 유연하고 동적인 스키마 설계가 가능하며 복잡한 데이터 유형과 관계를 더 쉽게 저장할 수 있다.
• High scalability
  • 여러 노드에서 수평으로 확장할 수 있도록 설계되어 대량의 데이터와 높은 트래픽 부하를 처리할 수 있다.
• Rich query language
  • 복잡한 쿼리, 전체 텍스트 검색 및 지리 공간 쿼리를 지원하는 강력한 쿼리 언어를 제공한다.
• Replication and sharding
  • 자동 복제 및 샤딩을 지원하여 고가용성, 내결함성 및 확장성을 보장한다.
• Flexible data modeling
  • 유연한 데이터 모델을 사용하면 데이터 스키마를 쉽게 변경할 수 있으므로 애자일 개발 프로세스에 적합하다.

MongoDB: 핵심 요소

• Mongod
  • Mongod 데몬은 MongoDB의 기본 구성 요소이다.
  • 데이터 저장, 인덱싱 및 쿼리 처리를 관리한다.
  • Mongod 인스턴스는 성능 및 확장성을 높이기 위해 단일 시스템에서 실행하거나 여러 시스템에 분산할 수 있다.
• Mongos
  • Mongos 데몬은 MongoDB의 라우터 또는 로드 밸런서 역할을 한다.
  • 클라이언트 요청을 적절한 Mongod 인스턴스 또는 샤드 클러스터의 샤드로 보내는 라우터 역할을 한다.
• Replica Set
  • 동일한 데이터를 저장하는 Mongod 인스턴스 그룹이다.
  • 현재 사용되는 인스턴스에 장애가 발생하면, 새 인스턴스를 자동으로 primary로 선택하여 고가용성과 내결함성을 제공한다.
• Sharding
  • 데이터를 여러 Mongod 인스턴스 또는 샤드(Shard)에 분산하는 과정이다.
  • 샤딩을 사용하여 MongoDB를 수평으로 확장하고 성능을 향상할 수 있다.
• MongoDB Connector for BI
  • MongoDB Connector for BI는 MongoDB 데이터에 대한 SQL 인터페이스를 제공한다.
  • 이를 통해 표준 SQL 쿼리를 사용하여 MongoDB 데이터를 쿼리할 수 있다.
• MongoDB Compass
  • MongoDB용 GUI이다.

How mongodb stores data?

• MongoDB는 JSON(JavaScript Object Notation)의 변형인 BSON(Binary JSON)이라는 이진 형식으로 데이터를 저장한다.
  • BSON은 가볍고 효율적이며 구문 분석하기 쉽도록 설계되어 MongoDB에서 데이터를 저장하고 검색하기에 적합하다.
• 각 컬렉션에는 MongoDB의 데이터 저장 기본 단위인 BSON 문서가 하나 이상 포함되어 있다.
• 데이터 검색 성능을 최적화하기 위해 MongoDB는 인덱스를 사용하여 쿼리 속도를 높인다.
  • 단일 필드 인덱스, 복합 인덱스 및 지리공간 인덱스를 포함하여 다양한 유형의 인덱스를 지원한다.
  • 인덱스 데이터는 메모리와 디스크에 저장되는 인덱스 트리라는 별도의 데이터 구조에 저장된다.
  • WiredTiger 스토리지 엔진을 사용하여 인덱스 데이터를 디스크의 별도 파일에 저장한다.

수평 확장에 용이한 MongoDB

샤딩 구성요소

• 1. App server가 mongos와 통신한다.
• 2. mongos는 config server를 참조하여 적합한 샤드에 쿼리를 보낸다.
• 3. 쿼리 결과가 응용 프로그램에 반환됩니다.

• Shard
  • 데이터의 하위 집합을 보유하고 있는 기본의 단일 mongoDB 인스턴스이다.
  • 즉, 여러 샤드를 구성할 수록 가용성을 높일 수 있고 또한 데이터의 이중화가 가능해진다.
  • 샤드를 여러 개로 조합하고 데이터 셋을 생성할 수 있다.
  • 2TB 라면 4개의 샤드로 나눌경우 500GB로 각 샤드가 데이터를 갖게 된다.
• Mongos
  • 클라이언트 요청을 적절한 Mongod 인스턴스 또는 샤드 클러스터의 샤드로 보내는 라우터 역할을 한다.
• Config servers
  • 전체 클러스터의 메타 데이터, 구성 설정 등을 저장하는 서버이다.
  • Replica set으로도 config server 역할을 할 수 있다고 한다.
• Shard Keys
  • MongoDB collection을 샤딩 할 때 초기 단계에 샤드 키가 생성된다.
  • Collection의 document를 전체 샤드에 배포하는 데 사용된다.
  • 별도 지정하지 않으면 Object_id(_id)가 shard key가 된다.
  • 키는 해당 collection의 모든 document에 존재하는 필드 인덱스이어야 한다.
• Chunks
  • Sharding된 데이터를 분할하여 여러 shard 서버에 분산하여 저장하는데, 이때의 데이터 조각을 chunk라 한다.
  • Chunk는 여러 shard에 균등하게 저장되어야 좋은 성능을 이끌어 낼 수 있다.
  • 이를 위해 chunk를 split, migration하는 과정을 거친다.

Chunks

• Shard key를 기반으로 chunk가 생성되기 때문에 shard key는 성능과 큰 연관이 있다.
  • Hashed sharding등을 사용하는 이유이다.

x를 shard key로 하는 chunk들이다.

• 그외 Zone을 만들어 사용할 수도 있다.
  • 복합 shard key를 사용하는 것과 유사하다.

NCP: Cloud DB for MongoDB

• MongoDB 4.2 버전 제공
• Community Edition 및 Enterprise Edition 중에서 선택 가능
• WiredTiger 스토리지 엔진 지원

• Shard 수: Shard 개수 선택
  • 최초 설치 시는 2~3개 선택 가능
  • 설치 후 관리 화면에서 최대 5개까지 추가 가능
  • 5개를 초과하는 Shard 필요시 고객 지원에 문의

그외

• _id는 Shard(Replica Set) 단위로만 고유성을 보장한다.
  • 클러스터 환경에서는 고유성이 보장되지 않는다.
• spring-data-mongodb를 사용하면 된다.
  • 참고

결론

• NCP: Cloud DB for MongoDB를 사용해보도록 한다.

References

• mongodb interview questions
• mongoDB docs
• 2200만 사용자를 위한 채팅 시스템 아키텍처: 당근 마켓
• MongoDB _id 필드와 Sharded Cluster에서 Unique 보장하는 방법

[tonykang22]

예상 비용 산출

개요

• NCP의 MongoDB를 사용한 적이 없기 때문에 비용의 order of magnitude 파악을 목적으로 한다.
  • 1. HWAS MySQL 사용량이라면?
  • 2. 단일, 클러스터 비용 차이
  • QPS에 따른 확장 고민

1. HWAS MySQL 사용량이라면?

• HWAS MySQL : 약 18만원
  • QPS: 100 (order of magnitude)

• 유사 스펙의 MongoDB : 약 20만원
  • Edition: Enterprise시 약 30만원

2. 단일, 클러스터 비용 차이

Replica Set

• Replica Set: 약 46만원
  • Read 성능만 개선된다.
  • Write 성능은 stand alone과 동일하거나 오히려 더 좋지 않을 것이다.

• Stand Alone 2배: 약 40만원

Sharded Cluster

• Sharded Cluster: 약 290만원

[tonykang22]

Spring: MongoDB best practice

개요

• Spring에서 MongoDB를 올바르게 사용하기 위해 best practice 리서치이다.

  • JPA practice
  • @Entity 활용할 수 있을지, 어떻게 활용할지 ~

설정

• AbstractMongoClientConfiguration를 통해 설정할 수도 있고
• .properties, .yml 등의 설정 파일을 이용해도 된다.

@Configuration
@EnableMongoRepositories(basePackages = "com.baeldung.repository")
public class MongoConfig extends AbstractMongoClientConfiguration{

    @Bean
    MongoTransactionManager transactionManager(MongoDatabaseFactory dbFactory) {
        return new MongoTransactionManager(dbFactory);
    }

    @Override
    protected String getDatabaseName() {
        return "test";
    }

    @Override
    public MongoClient mongoClient() {
        final ConnectionString connectionString = new ConnectionString("mongodb://localhost:27017/test");
        final MongoClientSettings mongoClientSettings = MongoClientSettings.builder()
            .applyConnectionString(connectionString)
            .build();
        return MongoClients.create(mongoClientSettings);
    }
}

DB용 객체 생성

• Jpa
  • @Entity 사용
  • @Column 사용
• MongoDB
  • @Document 사용
  • @Field 사용

@Persistent
@Collation
@Inherited
@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.TYPE})
public @interface Document {
    @AliasFor("collection")
    String value() default "";

    @AliasFor("value")
    String collection() default "";

    String language() default "";

    @AliasFor(
        annotation = Collation.class,
        attribute = "value"
    )
    String collation() default "";
}

Repository

• JpaRepository처럼 CustomerRepository를 implement한 MongoRepository를 활용할 수 있다.

JpaRepository

MongoRepository

Queries

• Mongo Json Query

@Query("{ 'name' : ?0 }")
List<User> findUsersByName(String name);

• With regex

@Query("{ 'name' : { $regex: ?0 } }")
List<User> findUsersByRegexpName(String regexp);

복합키 사용

@Document
public class Ticket {
    @Id
    private TicketId id;

    private String event;

    // getters and setters
}

public class TicketId {
    private String venue;
    private String date;

    // getters and setters

    // override hashCode() and equals()
}

public interface TicketRepository extends MongoRepository<Ticket, TicketId> {
}

@Test
public void givenCompositeId_whenSearchingByIdObject_thenFound() {
    TicketId ticketId = new TicketId();
    ticketId.setDate("2020-01-01");
    ticketId.setVenue("Venue B");

    service.insert(new Ticket(ticketId, "Event B"));

    Optional<Ticket> optionalTicket = ticketRepository.findById(ticketId);

    assertThat(optionalTicket.isPresent());
    Ticket savedTicket = optionalTicket.get();

    assertEquals(savedTicket.getId(), ticketId);
}

주의 사항

• 복합키 내 요소의 순서도 유일성에 영향을 준다.
• spring-data를 사용하면, 자바 코드가 변경되지 않는 이상 복합키 내 요소는 순차적으로 저장되기 때문에 문제가 되지 않는다.
  • 그 외의 변경이 일어날 경우에는 대비가 필요하다는 점을 인지해야한다.

• 아래는 서로 다른 id를 가진 document이다.

{
  "id": {
    "venue":"Venue A",
    "date": "2023-05-27"
  },
  "event": "Event 1"
}

{
  "id": {
    "date": "2023-05-27",
    "venue":"Venue A"
  },
  "event": "Event 1"
}

MongoDB Reactive

• MongoDB Reactive를 사용하기 위해 ReactiveMongoRepository를 활용한다.

@Repository
public interface AccountReactiveRepository 
  extends ReactiveMongoRepository<Account, String> { }

Reference

• https://www.baeldung.com/spring-data-mongodb-tutorial
• https://www.baeldung.com/spring-data-mongodb-composite-key
• https://www.baeldung.com/queries-in-spring-data-mongodb