728x90 yarn2 [Spark] Spark Cluster Manager Stand Alone spark 에서 자체적으로 제공하는 기능입니다. 클러스터 매니저로 각 노드에서 하나의 *익스큐터만 실행 가능한데요. 클러스터 매니저와 스파크 콘텍스트가 연결되면 각 클러스터 내부의 워커 노드에서 익스큐터를 얻게 되며 스파크만 돌릴 경우 다른 클러스터 매니저들이 제공하는 거의 모든 기능을 제공합니다. stand alone 클러스터 모드는 현재 애플리케이션 전체에서 간단한 FIFO 스케줄러만 지원하지만 동시 사용자를 설정하려면 각 응용프로그램에서 사용할 최대 리소스 수 설정이 가능하지만 기본 설정으로 사용할 시 클러스터의 모든 코어를 사용함으로 하나의 애플리케이션만 실행하는 것이 합리적입니다. 스케줄러는 마스터를 사용해 스케줄링 결정을 내리고 이는 단일 실패 지점을 생성하는데요 여기서 .. 2022. 12. 16. Apache Ranger 란? Apache Ranger 란 무엇이고 왜 사용할까? Apache Ranger 는 Hadoop 플랫폼 전반에 걸쳐 보안을 활성화, 모니터링 및 관리하는 프레임워크입니다. 그런데 각각의 서비스 별로 권한 관리가 가능한데 왜 Apache Ranger 를 사용하는 걸까요? 그 이유는 역할 혹은 속성 기반의 접근 제어 등 일관성 있는 보안 정책의 정의, 관리 및 운영이 가능하도록 중앙화 된 프레임워크를 제공하기 때문입니다. Ranger 지원 프로젝트 Ranger는 아래와 같은 서비스들에 대하여 권한 관리를 지원합니다. Apachce Hadoop Apachce Hive Apachce Hbase Apachce Storm Apachce Knox Apachce Solr Apachce Kafka Apachce Nifi Y.. 2022. 12. 6. 이전 1 다음 728x90
