Вопрос: Исправлена ​​ошибка запуска задания Spark


Застряли на этой ошибке в течение нескольких дней, отчаянно нуждаются в помощи.

Поэтому в автономном режиме развертывания я пытаюсь запустить пример задания, но независимо от того, насколько проста работа (даже запуск искровой оболочки с подсчетом массива чисел), следующая ошибка просто появляется (полный цикл журнала циклов Информация):

INFO AppClient$ClientActor: Executor added: app-20150604024526-0001/3 on worker-20150604023842-localhost-54417 (localhost:54417) with 1 cores
INFO SparkDeploySchedulerBackend: Granted executor ID app-20150604024526-0001/3 on hostPort localhost:54417 with 1 cores, 512.0 MB RAM

INFO AppClient$ClientActor: Executor updated: app-20150604024526-0001/3 is now RUNNING

INFO AppClient$ClientActor: Executor updated: app-20150604024526-0001/3 is now LOADING

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

INFO AppClient$ClientActor: Executor updated: app-20150604024526-0001/2 is now EXITED (Command exited with code 1)

INFO SparkDeploySchedulerBackend: Executor app-20150604024526-0001/2 removed: Command exited with code 1

ERROR SparkDeploySchedulerBackend: Asked to remove non-existent executor 2

Любые идеи или предложения будут глубоко оценены! Большое спасибо!


1
2018-06-04 02:51


Источник




Ответы: