CHUUUU__ CHUUUU__

1. vLLM이란?vLLM은 대규모 언어 모델(LLM)의 추론 및 서빙을 효율적으로 수행하기 위한 오픈 소스 라이브러리입니다. PagedAttention 기법을 활용하여 메모리 사용을 최적화하며, 기존 🤗 Transformers 대비 최대 24배 빠른 추론 속도를 제공합니다.이 글에서는 vLLM을 활용한 모델 로드, API 서버 배포, 그리고 LoRA 기반의 Fine-tuning 방법까지 자세히 설명하겠습니다.2. vLLM 설치 방법vLLM은 pip을 통해 간단하게 설치할 수 있습니다.pip install vllmvLLM은 PyTorch 및 Transformers 라이브러리와 호환되므로, 해당 라이브러리들이 설치되어 있어야 합니다. 필요 시 아래 명령어로 추가 패키지를 설치하세요.pip install ..

1. Llama 3.3이란?Llama 3.3은 Meta(구 페이스북)에서 개발한 최신 대규모 언어 모델(LLM)입니다. 오픈 소스로 공개되어 누구나 사용할 수 있으며, 비용 효율성이 높아 다양한 AI 활용 분야에서 인기를 끌고 있습니다. 특히, GPT-4와 같은 유료 모델에 비해 무료로 사용 가능하다는 점이 큰 장점입니다.이 글에서는 Llama 3.3을 로컬 환경에서 실행하는 방법과 활용법, 그리고 Fine-tuning(미세 조정)하는 방법까지 자세히 소개해드리겠습니다.2. Llama 3.3 설치 방법Llama 3.3을 로컬 환경에서 사용하려면 Ollama라는 도구를 이용하면 쉽고 간편하게 실행할 수 있습니다. 아래는 운영체제별 Ollama 설치 방법입니다.macOS 설치 방법Ollama 공식 사이트에서..