apache storm 썸네일형 리스트형 빅데이처 처리 방식 3가지 : 배치 처리, 실시간 처리, 대화형 처리 빅데이처 처리 방식 3가지배치 처리(Batch Processing)Batch : 초, 분, 시간, 일, 월수준의 일괄 처리실시간 처리(Real-Time Processing)Near Real-Time : 초단위(seconds) 수준의 지연시간 보장Real-Time : 밀리세컨드(milliseconds, 1000분의 1초) 수준의 데이터 처리 보장Real Real-Time : 마이크로세컨드(Microseconds, 100만분의 1초) 수준의 데이터 처리 보장대화형 처리(Interactive Processing)REPL : Read-Eval-Print Loop의 약자로 스칼라, 파이썬 등 대화형 환경을 말한다. 콘솔에서 컴파일 없이 코드를 입력하고 출력 결과를 확인 할 수 있는 환경. 배치 처리(Batch-P.. 더보기 Ambari Storm Issue ambari org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts [블라블라~~~~] 이런 에러가 오늘 발생하였다. Aㅏㅏㅏ.. 멘붕 그 자체. 어디서부터 손을 대야될지 모르겠다. 일단 동물적인 감각으로는 Nimbus가 작동을 안하는것 같아서 Nimbus를 담당하고 있는 노드로 직행. UI를 통해 restart. 결과 ? 5분후 Nimbus 꺼짐,. 2차 멘붕이 왔다. 호흡을 가다듬고, 정신을 차려보자. 시간이없다. 자..Nimbus와 connect 되어있는 zookeeper를 한번 건드려보자. zookeeper가 동작하는 node로 이동하여서... ambari-agent가 살아있는.. 더보기 스트림 그룹핑 셔플 그룹핑(Shuffle Grouping) : target 볼트 작업단위들에게 무작위 순서로 튜플이 나누어 준다. 각각의 볼트가 받는 튜플 수는 동일하다. 필드 그룹핑(Field Grouping) : 그룹핑에서 정의한 필드의 값에 따라 튜플이 전달될 볼트가 정해진다. 예를 들어 스트림이 word 필드로 그룹핑되었다면 word필드 값이 동일한 튜플들은 항상 동일한 볼트 작업단위로 전달된다. 올 그룹핑(All Grouping) : 튜플 스트림의 복사본들이 모든 볼트 작업단위로 전달된다. 각각의 작업단위는 튜플의 복사본을 받는다. 글로벌 그룹핑(Global Grouping) : 스트림의 모든 튜플을 단일 작업단위로 전달한다. 이 때 작업단위 아이디 값이 가장 작은 작업단위로 전달한다. 글로벌 그룹핑을 사용하.. 더보기 이전 1 다음
