BigData
교육개요
시간 라이브 소스에서 데이터를 스트리밍하고 위의 엔진에 데이터가 도착하는 즉시 처리 역할을 이해
선수과목
Data 요소기술/활용
강의내용
＂HDFS Storage
ㆍ HDFS Architecture
ㆍ Using HDFS Storage
ㆍ HDFS Snapshots
ㆍ Heterogeneous Storage
Cloud Storage
ㆍ Azure Blob/File/Queue/Table 정의
ㆍ AWS S3
Kudu
ㆍ Overview and Architecture
ㆍ Designing Schemas
ㆍ Kudu tables
ㆍ Creating and Querying Tables
Interface with Impala and Spark
ㆍ Loading and Modifying data
ㆍ Spark SQL and Kudu
ㆍ Defining partition strategy
Hue
ㆍ Installing Hadoop Clients
Basic data analysis with Pig
ㆍ PIG Architecture
ㆍ Data Pre－processing with pig
ㆍ Pig Latin 활용한 데이터 분석
Introduction to Apache Hive and Impala
ㆍ hive and impala 기능
ㆍ Apache Hive 및 Impala를 사용하여 Query
ㆍ Data analysis with Hive and Impala
Integration with scheduler & data visualization
ㆍ Data visualization tool integration
ㆍ Oozie ? workflow integration＂