Devopsadept
- Jak uzyskać dostęp do interfejsu użytkownika Spark w Kubernetes?
- Czy możemy uruchomić iskrę na Kubernetes?
- Jak przesłać zadanie iskrę w klastrze Kubernetes?
Jak uzyskać dostęp do interfejsu użytkownika Spark w Kubernetes?
UI powiązany z dowolną aplikacją można uzyskać lokalnie za pomocą Kubectl Port-forward . Następnie można uzyskać dostęp do interfejsu użytkownika Spark Driver na http: // localhost: 4040 .
Czy możemy uruchomić iskrę na Kubernetes?
Spark może działać na klastrach zarządzanych przez Kubernetes. Ta funkcja korzysta z natywnego harmonogramu Kubernetes, który został dodany do Spark. Harmonogram Kubernetes jest obecnie eksperymentalny. W przyszłych wersjach mogą występować zmiany behawioralne wokół konfiguracji, obrazów kontenerowych i punktów wejściowych.
Jak przesłać zadanie iskrę w klastrze Kubernetes?
Aby obsłużyć dane w S3 z zadaniami Spark, musisz dodać zależności związane z S3 do POM. XML w źródle Spark, aby uniknąć problemów brakujących zależności, gdy zadania Spark przesłane do Kubernetes w trybie klastra. Te zależności to te używane do przesyłania zadań spiskowych z opcją - pakiety com.
