[AI] AWS - EC2 사용 후 비용 청구
얼마 전 AWS에서 EC2 사용하면서 발생된 비용에 대해 결제 알림이 왔다. GPU를 사용할 수 없는 t2.midium 인스턴스로만 실습했기 때문에 몇천원 나올 줄 알았는데 생각보다 많이 나왔다.
aws
[AI] llama.cpp
llama.cpp 라이브러리의 주요 역할 모델 최적화 및 효율적인 로드: llama.cpp는 LLaMA와 같은 언어 모델을 CPU 환경에서 효율적으로 실행할 수 있도록 최적화되어 있습니다. 주로 경량화된 메모리 사용과 양자화(Quantization) 기능을 제공합니다.