Docker19 [로컬AI] Ollama모델의 Q4 양자화 모델 설치 및 실행 홈 > AI활용 > 로컬AI > Q4양자화 > Ollama모델의 Q4 양자화 실행하기관련글 먼저 읽어보기 : 2025.07.22 - [AI 활용] - [로컬AI] AI모델 Q4 양자화의 의미와 원리 이해하기 로컬AI를 구축하기 위해 제일 먼저 GPU서버의 마련과 관련된 부담감을 안고 시작하게 됩니다. 우리가 사용하는 일반적인 PC를 사용해서 간단하게 구축하는 일반적인 프로젝트와는 부담감의 차이가 있을 수 밖에 없습니다. 글로벌 AI전문 기업이면서 일반인들이 쉽게 접할 수 잇는 생성형 AI인 ChatGPT, Gemini, Claude등은 GPU가 수백만장씩 사용되고 여기서 발생되는 전기료, 발열과 관련된 이슈를 기사로 접하다 보면 저걸 우리가 할 수 있나 하면서 조기에 포기하는 현상들이 있을 수 밖에 없습.. 2025. 7. 31. 이전 1 2 3 다음
