728x90 java22 [Spark] Spark Streaming 실행 방식 안녕하세요. 이번 포스팅에서는 스파크 스트리밍의 실행 방식에 대하여 알아보겠습니다. 스파크 스트리밍의 개념에 대하여 궁금하신 분들은 아래 포스팅을 참고 바랍니다. Spark Streaming 이란? Spark Streaming 은 실시간으로 들어오는 데이터 처리를 위한 모듈로써 빅데이터가 만족해야하는 세 가지 요소 (*3V)중 속도(Velocity)에 대한 니즈 충족을 위해 등장했습니다. 스파크 스트리밍을 통하 seaweed-one.tistory.com 스파크 스트리밍은 어떤 과정을 거쳐 실행될까요? 스파크 스트리밍은 각 입력 소스마다 Receiver를 실행합니다. Receiver란 애플리케이션의 익스큐터들 내에서데이터를 모으고 RDD에 저장하는 테스크인데요. Receiver는 건별로 들어오는 데이터를 .. 2023. 1. 8. [CleanCode] 오류처리와 단위테스트 이번 포스팅에서는 오류처리와 단위 테스트 작성법에 대해 알아보려고 합니다. 지난 포스팅을 못 보신 분들은 아래 링크를 참고해주세요. CleanCode 깨끗한 코드란? 클린 코드는 아래와 같은 특징을 가진다. 단순함 직접적 읽기 쉬움 고치기 쉬움 목적 달성의 방법은 오로지 하나 최소한의 의존성 테스트 케이스가 존재 주의 깊게 작성함 중복 seaweed-one.tistory.com CleanCode - 객체와 메서드 그리고 클래스 네이밍 의미 있는 이름 변수 및 메서드의 이름은 의미를 담아 짓는다. 무의미한 네이밍은 가독성을 떨어트린다. 접두어 사용 자제 아직까지 멤버 변수 앞에는 m을 붙이는 등 접두어를 사용하는 seaweed-one.tistory.com 그럼 본격적으로 클린코드를 위한 오류처리 방법과 테.. 2023. 1. 6. [Java] JNA? JNI? 안녕하세요. 오늘은 JNA 와 JNI 에 대하여 알아보려고 합니다. 두 가지 모두 Java의 Native와 관련된 개념들입니다. 때로는 기능 개발을 위해서 네이티브 코드 사용이 필요한 경우가 존재하는데요. 이때 사용할 수 있는 것이 바로 JNA, JNI입니다. 두 가지의 개념과 차이점은 무엇일까요? JNI (Java Native Interface) Java에서 C의 Native Lib를 접근하기 위해 이용하는 인터페이스입니다. JNI는 Java에서 Native 영역으로 들어가 호출 하거나 혹은 그 반대로 Native 에서 Java 로 호출하는 Interface로 C / C++ 로 만든 라이브러리 또는 솔루션을 Java 에서 바로 사용할 수 있도록 돕습니다. 실행 과정은 아래와 같습니다. Native Me.. 2023. 1. 4. [CleanCode] 객체와 메서드 그리고 클래스 안녕하세요~ 지난 포스팅에서는 클린코드의 개념에 대하여 알아보았죠? 이번 포스팅에서는 객체와 메서드 그리고 클래스를 생성할 때 주의할 점에 대하여 정리해보았습니다. 네이밍부터 클래스 생성 법칙까지 정리하였으니 도움이 되길 바랍니다! 네이밍 의미 있는 이름 변수 및 메서드의 이름은 의미를 담아 짓는다. 접두어 사용 자제 아직까지 멤버 변수 앞에는 m을 붙이는 등 접두어를 사용하는 경우가 종종 있다. 접두어 사용은 옛날 방식의 코딩! 클래스와 메서드 네이밍을 분리한다 클래스 이름은 명사로 , 메서드 이름은 동사로 명명한다. 메서드 작게 만들어라 Spark의 Source Code는 모든 함수가 2-3줄로 이루어져 있다 조건문 내부에 들어가는 함수는 되도록 한 줄로 만들어라 하나의 함수는 한 가지 기능만 한다 .. 2023. 1. 3. 이전 1 2 3 4 5 6 다음 728x90