728x90 spark structured streaming1 [Spark] Spark Streaming 의 종류 (DStream, Structured Streaming) 안녕하세요. 씨위드입니다. 오늘은 Spark Streaming의 종류에 대하여 알아보겠습니다. Spark Streaming은 DStream과 Structured Streaming으로 나눠집니다. 두 스트리밍에는 어떤 차이점이 있는지 알아보기 위하여 먼저 DStream에 대해 간단히 알아본 뒤 Structured Streaming에 대하여 조금 더 자세하게 알아보겠습니다. DStream DStream은 Discreatized Stream, 즉 불연속적 스트림입니다. 디스트림은 스파크의 코어인 RDD의 개념을 바탕으로 구축되었습니다. 카프카 등의 소스로부터 발생되는 데이터를 스파크에서 사용할 수 있도록 데이터의 형태를 재구성한 것이 바로 DStream입니다. DStream의 생성, 연산, 사용 DStream.. 2023. 1. 7. 이전 1 다음 728x90
