나는 ceph를 처음 접했고 ceph가 하드웨어 수준의 HBA를 지원하는지 확인하려고합니다.
슬프게도 정보를 찾을 수 없습니다. 내가 찾은 것은 OSD에 일반 디스크를 사용하는 것이 좋습니다. 그러나 이것은 요구 사항을 PCIe로, 디스크의 인터페이스를 높은 대역폭으로, CPU 요구 사항은 매우 높습니다. 하드웨어 RAID 컨트롤러는 이러한 요구 사항을 이미 해결했으며 PCIe, CPU 또는 기타 리소스를 사용하지 않고도 설정에 따라 높은 중복성을 제공합니다.
그래서 원하는 설정은 로컬 RAID 컨트롤러를 사용하는 것입니다.이 RAID 컨트롤러는 필요한 RAID 레벨에 관계없이 컨트롤러 레벨 (Raid 5, raid 6)에서 디스크 중복성을 처리합니다. ceph를 사용하여 호스트, 섀시, 랙, 행, 데이터 센터 또는 CRUSH에서 가능하거나 계획 가능한 모든 것 사이에서 더 높은 수준의 복제를 수행하려는 RAID LUN의 맨 위에
해당 설정에 경험이 있습니까?
권장 설정입니까?
이 하드웨어 RAID 통합에 대한 자세한 설명서가 있습니까?
답변
당신은 당신이해야한다는 것을 의미 할 수 없습니다. RAID LUN을 Ceph에 매핑하는 것은 가능하지만 Ceph 기능의 적어도 일부는 쓸모없는 하나의 추상화 계층과 종류의 렌더링을 추가합니다.
메일 링리스트의 비슷한 스레드 :
http://lists.ceph.com/pipermail/ceph-users-ceph.com/2017-September/021159.html
답변
그러나 이것은 요구 사항을 PCIe로, 디스크의 인터페이스를 높은 대역폭으로, CPU 요구 사항은 매우 높습니다.
실제로는 현대의 범용 CPU 및 상호 연결을 통해 많은 스토리지 워크로드가 제대로 제공됩니다.
예. RAID 컨트롤러는 하나의 섀시에있는 소수의 디스크로 중복성을 처리합니다. 그러나 Ceph와 같이 이미 중복 된 다중 노드 분산 스토리지 솔루션을 실행하면 비용과 복잡성이 증가합니다. Ceph에 이미 여러 복사본이있을 때 실제 디스크를 미러링하는 것이 왜 귀찮습니까?
이러한 솔루션의 구성 요소는 디스크의 무리 일뿐입니다. 같은 열기 컴퓨팅 스토리지의 열기 볼트. 인클로저에 30 개의 스핀들이 있으며 수십 개의 CPU 코어의 컴퓨팅 노드에 연결되어 있습니다. 수평 확장에 필요한만큼 노드를 추가하십시오. 처리량을 최대화하려는 경우 해당 계산을 Ceph 전용으로 남겨 둘 수 있습니다.
답변
권장되는 설정은 단일 디스크 또는 RAID-1 쌍의 디스크를 사용하는 것입니다.
단일 SAS 컨트롤러 (또는 JBOD 모드의 RAID 컨트롤러)는 아무런 문제없이 수백 개의 디스크를 구동 할 수 있습니다.
매우 큰 어레이를 사용하면 단일 장애 지점과 “핫 포인트”를 피하기위한 CEPH의 목적이 무너집니다. 또한 실제로 중복성을 해칠 것입니다.
36 개의 디스크 서버 섀시 (일반적인 Supermicro와 유사한 하드웨어)를 사용하여 8TB 드라이브를 사용하여 1 PB CEPH 클러스터를 구축한다고 가정 해 보겠습니다. 스토리지 용량 및 안정성 측면에서 RAID 유무에 관계없이 설정을 비교해 보겠습니다.
-
RAID-6을 사용하려면 5 개의 섀시 (및 10 개의 OSD)가 필요합니다.
- 각 섀시에는 2 개의 18 개의 디스크 RAID 어레이가 있습니다.
- 사용 가능한 스토리지는 1024TB입니다.
- 다중 디스크 충돌의 경우 256TB를 다시 작성해야합니다.
-
CEPH와 5 개의 섀시에는 180 개의 OSD가 있습니다.
- 사용 가능한 용량이 약간 우수합니다 (삭제 코딩 사용) : 1152TB
- 디스크가 여러 번 충돌하는 경우 실패한 디스크 수만 다시 작성해야합니다 (전체 서버가 아닌 한 항상 256TB 미만).
