RAG (Document Loader)

* 해당 내용은 wikidoc “랭체인 입문부터 응용까지” 내용을 참고하였습니다.
* 개인 학습용도로 작성되었습니다.
* 문제시 댓글 부탁 드립니다.

RAG (Documnet Loader)

LangChain에서 Document Loader는 다양한 소스에서 문서를 불러오고 처리하는 과정을 담당합니다.
특히 사전지식이 필요한 지식 기반의 태스크, 정보 검색, 데이터 처리 작업 등을 처리할 때 반드시 필요합니다.
Document Loader의 주요 목적은 효율적으로 문서 데이터를 수집하고, 사용 가능한 형식으로 변환하는 것입니다.

1. 다양한 소스 지원:
웹페이지, pdf , 데이터베이스 등 다양한 소스에서 문서를 불러올 수 있습니다.

2. 데이터 변환 및 정제:
불러온 문서 데이터를 분석하고 처리하여,
랭체인의 다른 모듈이나 알고리즘이 처리하기 쉬운 형태로 변환.
불필요한 데이터를 제거하거나, 구조를 변경할 수 있음

3. 효율적인 데이터 관리:
대량의 문서 데이터를 효율적으로 관리하고, 필요할 때 쉽겍 접근할 수 있음
이를 통해 검색 속도를 향상시키고, 전체 시스템의 성능을 높일 수 있음