BigData
교육개요
Spark를 활용한 빅데이터 분석 방법을 이해하고 실제 업무에 적용할 수 있는 방법 학습
선수과목
Data 요소기술/활용
강의내용
1 데이터수집/변환
ㆍHadoop HDFS
ㆍFlume으로 실시간 데이터 수집
ㆍSqoop으로 실시간 데이터 수집
ㆍ데이터 저장 형식
ㆍ데이터 압축
2 아파치 스파크 API
ㆍ아파치 스파크 아키텍처 기본 Statistics
ㆍSpark Shell － Pyspark
ㆍ아파치 스파크 Core API Statistics
ㆍ아파치 스파크 RDD 와 Pair RDD 연산
ㆍ아파치 스파크 Dataframe 과 Schema
ㆍDataframe Query/Spark SQL Query
ㆍ아파치 스파크 RDD 와 Dataframe 연결
3 분산병렬 처리 system
ㆍ아파치 스파크 application
ㆍ병렬처리
ㆍPersistence
ㆍ아파치 Spark Streaming 기본
ㆍSpark Streaming 데이터 수＂