[apache-spark] 진행률 표시 줄의 숫자는 Spark-shell에서 무엇을 의미합니까?

당신이 얻는 것은이고 Console Progress Bar,
[Stage 7:당신이 지금있는 무대를 보여주고,
(14174 + 5) / 62500]입니다 (numCompletedTasks + numActiveTasks) / totalNumOfTasksInThisStage]. 진행 표시 줄에 numCompletedTasks/가 표시 totalNumOfTasksInThisStage됩니다.

그것은 때 표시됩니다 모두가 spark.ui.showConsoleProgress (기본적으로) 사실 과 에 수준을 기록 conf/log4j.properties하다 ERROR거나 WARN( !log.isInfoEnabled사실).

이를 보여주는 ConsoleProgressBar.scala 의 코드를 살펴 보겠습니다 .

private def show(now: Long, stages: Seq[SparkStageInfo]) {
  val width = TerminalWidth / stages.size
  val bar = stages.map { s =>
    val total = s.numTasks()
    val header = s"[Stage ${s.stageId()}:"
    val tailer = s"(${s.numCompletedTasks()} + ${s.numActiveTasks()}) / $total]"
    val w = width - header.length - tailer.length
    val bar = if (w > 0) {
      val percent = w * s.numCompletedTasks() / total
      (0 until w).map { i =>
        if (i < percent) "=" else if (i == percent) ">" else " "
      }.mkString("")
    } else {
    ""
    }
    header + bar + tailer
  }.mkString("")

  // only refresh if it's changed of after 1 minute (or the ssh connection will be closed
  // after idle some time)
  if (bar != lastProgressBar || now - lastUpdateTime > 60 * 1000L) {
    System.err.print(CR + bar)
    lastUpdateTime = now
  }
  lastProgressBar = bar
}