chromadb 2

[AI] ChromaDB와 FastAPI를 사용한 저장 과정 파일 모듈화

이 시스템은 CSV 파일을 업로드하고, 해당 데이터를 임베딩하여 벡터 데이터베이스에 저장하는 기능을 제공합니다.이를 위해 여러 모듈이 사용됩니다. 각 모듈의 역할과 순서를 설명하겠습니다. 1. 프로젝트 구조프로젝트 디렉토리는 다음과 같이 구성됩니다.project_root/├── core/│ ├── __init__.py│ ├── chat/│ │ ├── __init__.py│ │ ├── config.py│ │ ├── chroma_db.py│ │ ├── data_processing.py│ │ └── embedding.py├── api/│ ├── __init__.py│ ├── data_upload.py├── main.py└── requirements.txt 2...

딥러닝 2024.07.15

[AI프로젝트] CSV 파일의 데이터를 ChromaDB에 저장하는 과정

1. FastAPI 인스턴스 생성첫 번째 단계에서는 FastAPI 인스턴스를 생성한다.FastAPI는 Python으로 작성된 빠르고 현대적인 웹 프레임워크로, API를 쉽게 만들 수 있도록 도와준다.# FastAPI 인스턴스 생성app = FastAPI() 2. 임베딩 모델 로드 (SentenceTransformer 사용)문서를 벡터화하기 위해 SentenceTransformer 모델을 로드한다.SentenceTransformer는 문장 또는 텍스트를 고차원 벡터로 변환하는 데 사용된다.SentenceTransformer 모델은 텍스트 임베딩을 생성하는 데 사용되며, 이후 ChromaDB에 저장될 문서들의 임베딩 벡터를 생성하는 데 사용된다.# 임베딩 모델 로드 (SentenceTransformer 사용..

딥러닝 2024.07.01