BigData
교육개요
시간 라이브 소스에서 데이터를 스트리밍하고 위의 엔진에 데이터가 도착하는 즉시 처리 역할을 이해
선수과목
Data 요소기술/활용
강의내용
1 HDFS Storage
ㆍHDFS Architecture
ㆍUsing HDFS Storage
ㆍHDFS Snapshots
ㆍHeterogeneous Storage
2 Cloud Storage
ㆍAzure Blob/File/Queue/Table 정의
ㆍAWS S3
3 Kudu
ㆍOverview and Architecture
ㆍDesigning Schemas
ㆍKudu tables
ㆍCreating and Querying Tables
4 Interface with Impala and Spark
ㆍLoading and Modifying data
ㆍSpark SQL and Kudu
ㆍDefining partition strategy
5 Hue
ㆍInstalling Hadoop Clients
6 Basic data analysis with Pig
ㆍPIG Architecture
ㆍData Pre－processing with pig
ㆍPig Latin 활용한 데이터 분석
7 Introduction to Apache Hive and Impala
ㆍhive and impala 기능
ㆍApache Hive 및 Impala를 사용하여 Query
ㆍData analysis with Hive and Impala
8 Integration with scheduler & data visualization
ㆍData visualization tool integration
ㆍOozie ? workflow integration＂