[elasticsearch] Elasticsearch의 샤드 및 복제본

답변과 답변이 도움이되지 않기 때문에 실제 예를 들어 설명하려고합니다.

elasticsearch를 다운로드하여 시작하면 사용 가능한 경우 기존 클러스터에 참여하거나 새 클러스터를 작성하는 elasticsearch 노드를 작성합니다. 방금 시작한 단일 노드를 사용하여 고유 한 새 클러스터를 생성했다고 가정하겠습니다. 데이터가 없으므로 인덱스를 만들어야합니다.

색인을 작성할 때 (첫 번째 문서를 색인 할 때 색인이 자동으로 작성 됨) 색인을 구성 할 샤드 수를 정의 할 수 있습니다. 숫자를 지정하지 않으면 기본 샤드 수가 5 개입니다. 무슨 뜻이에요?

Elasticsearch는 데이터를 포함 할 5 개의 기본 샤드를 생성합니다.

 ____    ____    ____    ____    ____
| 1  |  | 2  |  | 3  |  | 4  |  | 5  |
|____|  |____|  |____|  |____|  |____|

문서를 색인 할 때마다 elasticsearch는 해당 문서를 보유 할 기본 샤드를 결정하고 색인을 작성합니다. 기본 샤드는 데이터의 복사본이 아니라 데이터입니다! 샤드가 여러 개 있으면 단일 머신에서 병렬 처리를 활용할 수 있지만, 요점은 동일한 클러스터에서 다른 elasticsearch 인스턴스를 시작하면 샤드가 클러스터에 고른 방식으로 분산된다는 것입니다.

그런 다음 노드 1은 예를 들어 세 개의 샤드 만 보유합니다.

 ____    ____    ____
| 1  |  | 2  |  | 3  |
|____|  |____|  |____|

나머지 두 샤드는 새로 시작된 노드로 이동되었으므로

 ____    ____
| 4  |  | 5  |
|____|  |____|

왜 이런 일이 발생합니까? elasticsearch는 분산 검색 엔진이므로이 방법으로 여러 노드 / 시스템을 사용하여 대량의 데이터를 관리 할 수 ​​있습니다.

모든 elasticsearch 색인은 데이터가 저장되는 위치이므로 하나 이상의 기본 샤드로 구성됩니다. 그러나 모든 샤드에는 비용이 발생하므로 단일 노드가 있고 예측 가능한 성장이 없다면 기본 샤드 하나만 고수하십시오.

또 다른 유형의 샤드는 복제본입니다. 기본값은 1이며, 모든 기본 샤드는 동일한 데이터를 포함하는 다른 샤드로 복사됩니다. 복제본은 검색 성능을 높이고 장애 조치에 사용됩니다. 복제 샤드는 관련 기본 노드와 동일한 노드에 할당되지 않습니다 (원본 데이터와 동일한 디스크에 백업을 배치하는 것과 거의 유사 함).

예제로 돌아가서 1 개의 복제본을 사용하면 각 노드에 전체 색인이 생성됩니다. 2 개의 복제본 샤드가 첫 번째 노드에 할당되고 두 번째 노드의 기본 샤드와 정확히 동일한 데이터가 포함되기 때문입니다.

 ____    ____    ____    ____    ____
| 1  |  | 2  |  | 3  |  | 4R |  | 5R |
|____|  |____|  |____|  |____|  |____|

첫 번째 노드의 기본 샤드 사본을 포함하는 두 번째 노드와 동일합니다.

 ____    ____    ____    ____    ____
| 1R |  | 2R |  | 3R |  | 4  |  | 5  |
|____|  |____|  |____|  |____|  |____|

이와 같은 설정으로 노드가 다운되면 여전히 전체 인덱스가 있습니다. 복제본 샤드는 자동으로 기본 노드가되고 다음과 같이 노드 장애에도 불구하고 클러스터가 올바르게 작동합니다.

 ____    ____    ____    ____    ____
| 1  |  | 2  |  | 3  |  | 4  |  | 5  |
|____|  |____|  |____|  |____|  |____|

가 있으므로 "number_of_replicas":1기본 노드와 동일한 노드에 할당되지 않으므로 복제본을 더 이상 할당 할 수 없습니다. 따라서 할당되지 않은 샤드 5 개, 복제본 및 클러스터 상태가 YELLOW대신 사용됩니다 GREEN. 데이터 손실은 없지만 일부 샤드를 할당 할 수 없으므로 더 좋습니다.

남겨둔 노드가 백업 되 자마자 클러스터에 다시 가입하고 복제본이 다시 할당됩니다. 두 번째 노드의 기존 샤드는로드 할 수 있지만 노드가 작동 중지 된 동안 쓰기 작업이 발생했을 가능성이 있으므로 다른 샤드와 동기화해야합니다. 이 작업이 끝나면 클러스터 상태가됩니다 GREEN.

이것이 당신을 위해 일을 분명히하기를 바랍니다.

답변

curl -XPUT 'localhost:9200/_settings' -d '
{
    "index" : {
        "number_of_replicas" : 0
    }
}
'

curl -XPUT 'localhost:9200/sampleindex?pretty' -H 'Content-Type: application/json' -d '
{
  "settings":{
    "number_of_shards":2,
    "number_of_replicas":1
  }
}'