[hadoop] Apache Spark : 코어 수와 실행기 수

짧은 대답 : tgbaggio 가 옳다고 생각 합니다. 실행기에서 HDFS 처리량 한계에 도달했습니다.

나는 여기에 대한 대답이 여기의 일부 권장 사항보다 약간 간단하다고 생각합니다.

나를위한 단서는 클러스터 네트워크 그래프에 있습니다. 실행 1의 경우 사용률은 ~ 50M bytes / s로 안정적입니다. 3을 실행하면 꾸준한 사용률이 약 100M 바이트 / 초로 두 배가됩니다.

에서 클라우 데라의 블로그 게시물 을 공유 DzOrd ,이 중요한 견적을 볼 수 있습니다 :

HDFS 클라이언트가 수많은 동시 스레드에 문제가 있음을 알았습니다. 대략적인 추측은 실행기 당 최대 5 개의 작업이 전체 쓰기 처리량을 달성 할 수 있으므로 실행기 당 코어 수를 해당 수 미만으로 유지하는 것이 좋습니다.

따라서 몇 가지 계산을 수행하여 그것이 사실이라면 어떤 성능을 기대하는지 봅시다.

---

실행 1 : 19GB, 코어 7 개, 실행기 3 개

• 3 개의 실행기 x 7 스레드 = 21 스레드
• 실행기 당 7 개의 코어를 사용하면 IO를 HDFS로 제한 할 것으로 예상됩니다 (최대 5 코어에서 최대)
• 유효 처리량 ~ = 3 개의 실행기 x 5 개의 스레드 = 15 개의 스레드

실행 3 : 4GB, 2 코어, 12 개의 실행기

• 2 개의 실행기 x 12 스레드 = 24 스레드
• 실행기 당 2 개의 코어가 있으므로 hdfs 처리량은 정상입니다
• 유효 처리량 ~ = 12 개의 실행기 x 2 개의 스레드 = 24 개의 스레드

---

작업이 동시성 (스레드 수)에 의해 100 % 제한되는 경우 우리는 런타임이 스레드 수와 완전히 역으로 상관 될 것으로 기대합니다.

ratio_num_threads = nthread_job1 / nthread_job3 = 15/24 = 0.625
inv_ratio_runtime = 1/(duration_job1 / duration_job3) = 1/(50/31) = 31/50 = 0.62

따라서 ratio_num_threads ~= inv_ratio_runtime네트워크 제한이있는 것 같습니다.

이 효과는 실행 1과 실행 2의 차이점을 설명합니다.

---

실행 2 : 19GB, 코어 4 개, 실행기 3 개

• 3 개의 실행기 x 4 개의 스레드 = 12 개의 스레드
• 실행기 당 4 개의 코어, 괜찮은 IO to HDFS
• 유효 처리량 ~ = 3 개의 실행기 x 4 개의 스레드 = 12 개의 스레드

---

유효 스레드 수와 런타임 비교

ratio_num_threads = nthread_job2 / nthread_job1 = 12/15 = 0.8
inv_ratio_runtime = 1/(duration_job2 / duration_job1) = 1/(55/50) = 50/55 = 0.91

마지막 비교만큼 완벽하지는 않지만 스레드를 잃어도 비슷한 성능 저하를 볼 수 있습니다.

마지막 비트 : 더 많은 스레드, 예를 들어 더 나은 성능을 얻는 이유는 무엇입니까? CPU 수보다 많은 스레드?

Rob Pike의 병행 성 (병렬 처리 (데이터를 여러 CPU로 분할하여 얻은 것)과 동시성 (여러 스레드를 사용하여 단일 CPU에서 작업 할 때 얻는 것)의 차이점에 대한 설명은 Rob Pike : Concurrency에서 제공합니다. 병렬 처리가 아닙니다 .

간단한 설명은 Spark 작업이 파일 시스템 또는 네트워크와 상호 작용하는 경우 CPU가 해당 인터페이스와의 통신을 기다리는 데 많은 시간을 소비하고 실제로 “작업을 수행”하는 데 많은 시간을 소비하지 않는다는 것입니다. CPU가 한 번에 하나 이상의 작업을 수행하도록함으로써 대기 시간과 작업 시간이 줄어들고 성능이 향상됩니다.

---

답변