본문 바로가기
  • AI 시대에 적응하는 현대인을 위한 지식 공간
  • AI를 위한 데이터를 과학으로 역어본다

vLLM3

NVIDIA - NemoClaw 설치부터 활용까지 OpenClaw를 안전하게 운영하는 AI 에이전트 보안 스택, 설치부터 활용까지핵심 키워드: NemoClaw, NVIDIA OpenShell, OpenClaw 보안, AI 에이전트 샌드박스, Nemotron, 네트워크 정책, Claw 가드레일, 로컬 AI 추론 AI 에이전트가 파일을 읽고, 코드를 실행하고, API를 호출하며, 심지어 브라우저까지 제어하는 시대가 열렸습니다. OpenClaw는 이러한 자율 에이전트의 가능성을 보여주는 대표적인 오픈소스 프로젝트로, 출시 이후 GitHub에서 가장 빠르게 성장한 프로젝트 중 하나가 되었습니다. 하지만 이처럼 강력한 권한을 가진 AI 에이전트를 아무런 제약 없이 실행하는 것은 마치 관리자 권한을 가진 프로그램을 검증 없이 돌리는 것과 같습니다. 실제로 보안 연.. 2026. 3. 24.
vLLM 완벽 가이드 - 대규모 언어 모델 서빙의 새로운 표준 대규모 언어 모델(LLM)을 실제 서비스에 적용하려는 기업과 개발자가 급격히 늘어나고 있습니다. 챗봇, 코드 어시스턴트, 문서 요약 서비스 등 다양한 AI 애플리케이션이 등장하면서, LLM을 얼마나 빠르고 효율적으로 서빙할 수 있느냐가 핵심 경쟁력이 되었습니다. 그러나 기존의 추론(Inference) 엔진들은 GPU 메모리를 비효율적으로 사용하고, 동시 요청 처리에 한계를 보이는 문제가 있었습니다. 이러한 한계를 근본적으로 해결하기 위해 등장한 것이 바로 vLLM입니다. vLLM은 UC Berkeley의 Sky Computing Lab에서 2023년에 개발되어, 2026년 현재 v0.17.1까지 빠르게 발전하며 사실상 프로덕션 LLM 서빙의 업계 표준으로 자리 잡았습니다. 이 글에서는 vLLM의 핵심 개.. 2026. 3. 19.
[제조 AI] 4) 로컬 LLM 프레임워크 및 아키텍처 설계 제조업 품질관리를 위한 AI 시스템 구축을 중심으로 LLM 프레임워크 및 아키텍처를 설계합니다.제조업에서 품질관리 업무를 지원하는 개발자라면 AI를 활용한 솔루션 개발에 대한 관심이 높을 것입니다.하지만 대용량 언어모델(LLM)을 실제 제조 현장에서 안정적으로 운영하기 위해서는 단순히 모델을 실행하는 것 이상의 복잡한 시스템 설계가 필요합니다. 예를 들어, 제조 라인에서 실시간으로 발생하는 품질 데이터를 분석하고 즉각적인 피드백을 제공하려면 높은 처리 성능과 안정성을 보장하는 서빙 아키텍처가 구축되어야 합니다. 이번 편에서는 제조업 환경에서 AI 품질관리 시스템을 구축할 때 필요한 LLM 서빙 프레임워크의 선택 기준과 아키텍처 설계 방법을 초보자도 이해할 수 있도록 상세히 설명하겠습니다. 실제 제조 현장.. 2025. 8. 29.

티스토리툴바