Global Vendors Training

Home > > 전체교육일정

Admin

DOPS-242: Ingesting with Cloudera DataFlow

교육일정
교육기간
4일
교육금액
2,634,000원(면세)
Admin전체일정보기 수강신청

교육개요

과정명이 변경되었습니다
기존 : Cloudera Data Flow powered by Apache NiFi
변경된 과정명 : DOPS-242: Ingesting with Cloudera DataFlow

데이터 중심 기업의 가장 중요한 기능 중 하나는 복잡한 생태계 전반에서 수집 및 데이터 흐름을 관리하는 기능입니다. NiFi를 사용하여 데이터의 입력, 흐름, 변환 및 출력을 자동화하는데 필요한 기본 개념과 환경을 제공합니다.
또한 이 과정에서는 데이터 흐름 프로세스를 조정, 문제 해결 및 모니터링하고 Cloudera CDP Hybrid 에코시스템과 외부 시스템 내에서 데이터 흐름을 통합하는 방법에 대해서도 다룹니다.



교육목표

본 과정을 수료하면 아래의 교육 목적을 달성할 수 있습니다.

- 데이터 흐름 정의, 구성, 구성 및 관리
- 데이터가 대상으로 이동할 때 변환 및 추적
- NiFi 레지스트리를 사용하여 데이터 흐름 변경 추적
- NiFi Expression Language를 사용하여 데이터 흐름 제어
- 데이터 흐름을 최적화하여 성능 및 유지보수 향상
- Apache Kafka, Apache Hive 및 HDFS와 같은 다른 시스템과 데이터 흐름 연결
- 데이터 흐름 서비스 활용



수강대상

개발자, 데이터 엔지니어, 데이터 과학자, 데이터 스튜어드



선수과목

리눅스 기본 경험
빅데이터 개념 및 애플리케이션에 대한 기본 이해



강의내용

1. Cloudera Flow Management 소개
- Cloudera Data-in-Motion 개요
- NiFi 사용자 인터페이스
- DataFlow Catalog
- ReadyFlows

2. 프로세서
- 프로세서 개요
- 프로세서 표면 패널
- 프로세서 구성

3. Connections
- 연결 개요
- 연결 구성
- Connector Context Menu

4. 데이터 흐름(Dataflows)
- 데이터 흐름의 명령 및 제어
- 프로세서 관계
- Back Pressure
- Prioritizers
- Labels

5. 프로세스 그룹
- Anatomy of Process Group
- 입력 및 출력 포트

6. FlowFile Provenance
- Data Provenance Events
- FlowFile Lineage
- Replaying a FlowFile

7. Parameters
- Parameter Contexts
- Referencing Parameters
- Managing Parameters
- Migrating from Variables

8. Flow Definitions and Templates
- Flow Definition Overview
- Creating a Flow Definition
- Importing and Deploying a Flow
- Using (migrating from) Templates

9. Apache NiFi Registry
- Apache NiFi egistry Overview
- Using the Registry

10. FlowFile Attributes
- FlowFile Attribute Overview
- Routing on Attributes

11. NiFi Expression Language
- NiFi Expression Language Overview
- Syntax
- Expression Language Editor
- Setting Conditional Values

12. Controller Services
- Controller Services Overview
- Common Controller Services

13. Record-based Components
- Record-oriented data
- Record-based Processors
- Avro Schema Registry
- Schema Format

14. Reading and Writing Record Data
- Querying Record Data
- QueryRecord Processor
- Writing Record Data

15. Enriching Record Data
- ETL Operations
- Split and Join Processor
- Update Record Processors
- Wait and Notify Processors

16. NiFi Architecture Overview
- NiFi Architecture Overview
- Public Cloud Architecture
- Private Cloud Architecture

17. DataFlow Functions
- Overview
- Serverless functions

18. Dataflow Optimization
- Dataflow Optimization
- Control Rate
- Managing Compute

19. Monitoring, Reporting, and Troubleshooting
- Monitoring from NiFi
- Reporting
- Examples of Common Reporting Tasks

20. NiFi Security
- NiFi Security Overview
- Securing Access to the NiFi UI
- Metadata Management

21. Integrating NiFi
- NiFi Integration Architecture
- Available ReadyFlows
- A Closer Look at NiFi and Apache Hive