Cloudera
교육개요
이 강의는 Retrieval-Augmented Generation(RAG)의 발전과정을 탐구하며, 검색 기반 생성 모델을 구축하는 데 필수적인 구성 요소와 실용적인 사용 사례를 파악하는 데 중점을 둡니다. 나아가 RAG와 파인 튜닝의 사용 시기를 비교 분석하며, RAG 기술 생태계 전반을 이해합니다. OpenAI API와 llamaindex를 사용한 RAG 파이프라인 구축, Hugging Face 모델의 선택 및 FastAPI를 통한 서빙 방법에 대해서도 학습합니다. 또한, HTML 문서 파싱부터 벡터 데이터베이스에 임베딩 저장, 그리고 LLM을 활용한 챗봇 개발까지, 실제 응용 프로그램에 RAG를 통합하는 실용적인 방법을 다룹니다. AI의 최전선에서 당신을 기다리는 새로운 가능성을 발견하고, 혁신적인 챗봇 서비스를 실현해보세요.
교육목표
검색 증강 생성(RAG)의 기초와 발전사, RAG의 구성 요소 및 sparse vs dense retrieval model 비교에 대한 이해를 통해, RAG의 다양한 응용과 사용 사례를 파악할 수 있습니다.
강의내용
[Chapter1. 최신 RAG 발전 동향]
· 학습 목표
RAG의 최신 발전사를 살펴보고, 검색 증강 생성 기초를 이해하여 RAG의 핵심 컴포넌트와 사용 사례를 파악한다.
· 주요 내용
1. 검색 증강 생성(Retrieval-Augmented Generation) 기초
2. naive RAG부터 modular RAG에 이르기까지 발전사
3. RAG를 구성하는 핵심 컴포넌트 소개
4. sparse retrieval model과 dense retrieval model의 비교
5. RAG 사용 사례와 응용
6. 파인 튜닝 vs RAG: 언제 무엇을 사용해야 하나?
7. RAG 기술 생태계 설명
[Chapter2. RAG 파이프라인과 컴포넌트 설명]
· 학습 목표
RAG 관점에서 각 구성 요소를 이해하고 파이프라인을 개괄적으로 설명한다.
· 주요 내용
1. RAG 파이프라인 개관 및 각 컴포넌트 설명 (LLM 모델, 임베딩 모델, 벡터데이터베이스, 문서 파싱과 청크, 챗봇 UI)
[Chapter3. RAG를 위한 프롬프트 엔지니어링]
· 학습 목표
프롬프트 엔지니어링을 사용하여 환각 없는 RAG를 구축하는 방법을 학습한다.
· 주요 내용
1. 환각없는 RAG를 위한 프롬프트 엔지니어링 기법 소개
[Chapter4. RAG 평가 방법]
· 학습 목표
다양한 방법을 사용하여 RAG 모델을 평가하는 방법을 소개한다.
· 주요 내용
1. RAG 평가에 대한 방법 소개
[Chapter5. 간단한 RAG 구현]
· 학습 목표
OpenAI API와 llamaindex를 사용하여 간단한 RAG 파이프라인을 구축한다.
· 주요 내용
1. OpenAI API와 llamaindex를 사용하여 간단한 RAG 파이프라인 구성하기
[Chapter6. 임베딩 서빙 구현]
· 학습 목표
허깅페이스에서 원하는 모델을 선택하고, 다운로드한 후 테스트를 진행하며, 마지막으로 FastAPI를 활용하여 임베딩 모델을 서빙하는 방법을 학습한다.
· 주요 내용
1. 허깅페이스에서 모델 선택 및 다운로드하기
2. FastAPI 서버를 사용해 임베딩 모델 서빙하기
[Chapter7. 문서 파싱 구현]
· 학습 목표
HTML 문서를 파싱하고, 임베딩이 가능한 문서를 구분하여 처리하며, 관련 메타 데이터를 추출하여 처리하는 방법을 학습한다.
· 주요 내용
1. HTML 문서 파싱
2. 임베딩 가능한 문서 청크로 나누기
3. 메타 데이터 추출 및 연결
[Chapter8. 임베딩 저장]
· 학습 목표
임베딩을 chroma 벡터데이터베이스에 저장하고, 저장된 임베딩을 간단히 추출하는 방법을 다룹니다.
· 주요 내용
1. chroma 벡터데이터베이스에 임베딩을 저장하기
2. 벡터데이터베이스에서 간단하게 인출해보기
[Chapter9. 질의 응답 챗봇 만들기]
· 학습 목표
LLM과 FastAPI를 활용하여 질의 응답이 가능한 챗봇을 개발하고, RAG 서비스를 통해 이를 서빙하는 방법을 다룹니다.
· 주요 내용
1. LLM과 연계해 질의응답이 가능하게 구성하기
2. FastAPI 서버를 사용해 RAG 서비스를 서빙하기
3. RAG 서비스를 활용해 간단한 챗봇을 구현하기