로컬ai18 [제조 AI] 01) 제조업을 위한 로컬 AI 도입계획 중소 제조기업의 로컬AI 도입을 위한 로컬AI 생태계 이해 및 구체적인 도입계획 수립을 진행해보려고 합니다.4차 산업혁명의 핵심 동력인 AI가 제조업 현장을 빠르게 변화시키고 있습니다. 하지만 많은 제조기업들이 클라우드 기반 AI 솔루션의 한계를 경험하며, 보다 실질적이고 현실적인 대안을 찾고 있습니다. 특히 데이터 보안, 실시간 처리, 비용 효율성 측면에서 클라우드 AI만으로는 해결하기 어려운 제약사항들이 있습니다. 이러한 문제를 해결할 수 있는 대안이 바로 로컬 AI입니다. 로컬 AI는 제조 현장 내부에서 직접 AI 모델을 구동하는 방식으로, 클라우드에 의존하지 않고도 인공지능의 이점을 누릴 수 있는 혁신적인 접근법입니다. 이번 시리즈는 제조업 현장에서 실제로 적용 가능한 로컬 AI 개발과 도입에 대.. 2025. 8. 4. [로컬AI] 중소 제조기업의 로컬AI를 위한 하드웨어 구축 가이드 현재 제조업계는 디지털 전환의 물결 속에서 생존을 위한 변화를 요구받고 있습니다.특히 중소 제조기업들은 대기업과의 경쟁에서 살아남기 위해 스마트 팩토리와 AI 기술 도입이 필수가 되었습니다. 정부에서는 스마트 제조혁실 지원사업을 수 년간 지속하면서, 중소기업의 디지털 트랜스포메이션을 지원하고 있지만, 뜻 하는 대로 쉽게 실질적인 성공적인 구축이라고 말하기 어려운 경우가 많습니다.클라우드 기반 AI 서비스는 비용 부담과 데이터 보안 문제로 인해 중소기업에게는 부담스러운 선택지입니다. 이러한 상황에서 로컬 AI 시스템 구축은 중소 제조기업이 자체적으로 AI의 혜택을 누릴 수 있는 현실적인 대안이 됩니다.로컬 AI 시스템의 핵심 장점로컬 AI 시스템은 중소 제조기업에게 여러 가지 중요한 이점을 제공합니다.첫째.. 2025. 8. 2. [로컬AI] Ollama모델의 Q4 양자화 모델 설치 및 실행 홈 > AI활용 > 로컬AI > Q4양자화 > Ollama모델의 Q4 양자화 실행하기관련글 먼저 읽어보기 : 2025.07.22 - [AI 활용] - [로컬AI] AI모델 Q4 양자화의 의미와 원리 이해하기 로컬AI를 구축하기 위해 제일 먼저 GPU서버의 마련과 관련된 부담감을 안고 시작하게 됩니다. 우리가 사용하는 일반적인 PC를 사용해서 간단하게 구축하는 일반적인 프로젝트와는 부담감의 차이가 있을 수 밖에 없습니다. 글로벌 AI전문 기업이면서 일반인들이 쉽게 접할 수 잇는 생성형 AI인 ChatGPT, Gemini, Claude등은 GPU가 수백만장씩 사용되고 여기서 발생되는 전기료, 발열과 관련된 이슈를 기사로 접하다 보면 저걸 우리가 할 수 있나 하면서 조기에 포기하는 현상들이 있을 수 밖에 없습.. 2025. 7. 31. [로컬AI] AI모델 Q4 양자화의 의미와 원리 이해하기 로컬AI를 구축할 때 초기의 파일럿 프로젝트는 많은 비용을 사용할 수 없습니다. 소프트웨어 개발이야 어차피 투입되는 인력부분이고, 하드웨어는 투자의 개념이 많이 들어갑니다. 양자화는 조금은 더 가벼운 컴퓨터에서 좀 더 무거운 모델을 시험해보고 싶은 욕망에서 시작됩니다. 양자화는 기본적으로 저장되는 학습 데이터에 대한 압축기술입니다. 이러한 압출기술을 이용해서 VRAM등의 메모리 사용량을 줄이며, 처리속도 또한 개선하기 위한 접근입니다.양자화는 기본적으로 저장되는 학습데이터에 대한 압축기술입니다. [ 차례 ]1. 양자화(Quantization)의 기본 개념2. Q4 양자화의 구체적 의미3. 성능적 측면의 영향4. 실제 모델에서의 적용 과정5. 제조업 환경에서의 Q4 양자화 최적 활용마무리 1. .. 2025. 7. 30. CNC 제조업 특화 AI 모델 선정 가이드 제조업의 로컬AI 구축시 제조 특성에 맞는 특화된 모델이 선정하는것이 좋습니다. 중소기업의 로컬AI를 구축할 때는 제조업종에 따라 특화된 모델이나 학습 패턴이 달라져야 해당 제조 데이터에 최적화된 인공지능 서비스를 구축할 수 있습니다.MCT, CNC등의 가공설비를 이용하여 부품을 가공하는 대부분의 자동차 관련 제조업체는 잦은 공구 마모 및 수명과 관련된 불량문제를 겪게되며, 불량을 사전에 예측하지 못하면 잘못된 공구사용으로 인한 대량의 불량 제품이 생산될 문제점을 가지고 있습니다. 이러한 가공설비 기반의 중소기업은 공구 설비로 부터 수집된 가공 데이터를 활용한 로컬AI 구축을 통하여 예방점검 또는 공구 마모 예측 시스템 구축에 대한 꾸준한 현장 요구사항이 나타나고 있습니다.1. 모델 선정 기준 및 평가.. 2025. 7. 29. 로컬AI 구축의 핵심 : LLM과 임베딩 모델의 협업 AI가 어떻게 똑똑해지는 걸까요?많은 개발자들이 "AI를 만들려면 ChatGPT 같은 모델 하나만 있으면 되는 거 아닌가?"라고 생각합니다.하지만 실제로 업무에 활용할 수 있는 똑똑한 AI를 만들려면 두 개의 서로 다른 AI 모델이 팀워크를 이뤄야 합니다. 이는 마치 사람이 뇌에서 기억을 저장하는 부분(해마)과 생각하고 판단하는 부분(전두엽)이 따로 있는 것과 같습니다. AI도 마찬가지로 정보를 저장하고 찾는 역할을 하는 임베딩 모델과 그 정보를 바탕으로 똑똑한 답변을 만드는 LLM(대형 언어 모델)이 각각의 전문 역할을 담당합니다. 이 두 모델이 협력하는 이유는 각각이 서로 다른 강점을 가지고 있기 때문입니다.임베딩 모델은 마치 도서관 사서처럼 수많은 문서 중에서 질문과 관련된 정보를 빠르게 찾아내는 .. 2025. 7. 28. 제조업 특화 로컬 LLM 도구 TOP 5 제조업에 특화된 로컬 LLM모델을 선정하기 위해 선행 적용 모델들을 분석할 필요가 있습니다. 저는 아직도 중소 제조기업에 가장 적합한 로컬AI용 LLM모델이 어떤것일까? 를 계속 시험하고 있고, 아직도 정답을 모르겠습니다. 다양한 형태의 중소기업과 중소기업이 보유한 복잡하고 난해하고, 표준화 되지 않은 생산데이터를 어떻게 하면 가장 적은 비용과 시간안에 AI를 구축하고, 비 전문가인 현장에서 사용될 수 있을 정도의 로컬AI 구축용 LLM모델을 찾는것은 성공으로 가장 빠르게 접근 할 수 있는 방법입니다. 저는 Ollama 플랫폼 기반의 로컬LLM 모델을 이용한 학습과 시험을 진행하는 것을 선호합니다. 그래도 결과가 잘 나오지 않을 때는 다른 LLM도구들에 눈을 돌려 사용해보고 비교해 보기도 합니다. 그래서.. 2025. 7. 26. [AI코딩.07] 로컬 AI 모델 - Ollama와 Code Llama 활용법 AI코딩 활용을 위한 개발자 가이드 들어가며지금까지 ChatGPT, Claude, GitHub Copilot과 같은 클라우드 기반 AI 도구들을 활용한 개발 방법을 살펴보았습니다. 이러한 도구들은 분명히 강력하고 편리하지만, 때로는 인터넷 연결이 필요하거나 개인정보 보안에 대한 우려, 그리고 API 비용 등의 제약이 있을 수 있습니다. 이번 편에서는 이러한 한계를 극복할 수 있는 로컬 AI 모델의 세계를 탐험해보겠습니다. 특히 Ollama와 Code Llama를 중심으로 로컬 환경에서 AI 모델을 설치하고 활용하는 방법을 상세히 알아보겠습니다. 로컬 AI 모델은 여러분의 컴퓨터에서 직접 실행되는 인공지능 모델을 의미합니다. 이는 마치 여러분의 컴퓨터에 전문 프로그래머를 고용하는 것과 같아서, 인터넷 없이.. 2025. 7. 16. [AI코딩.01] AI 코딩 도구 생태계 개요 - 개발자의 새로운 동반자 안녕하세요! 오늘부터 시작하는 'LLM 기반 AI 코딩 도구' 연재의 첫 번째 이야기입니다. 혹시 최근에 "AI가 코드를 짜준다더라"는 이야기 들어보셨나요? 실제로 사용해보면 위기김을 느낄 정도로 프로그램 코딩에 매우 전문화 되어있습니다. 예전에 어리숙한 인공지능이 아닙니다. 그래도 전문분야와 같은 인터넷 상에 소스가 덜 공개된 분야는 아직 많이 미숙합니다. 느낌상 중급정도의 개발자고 보시면 됩니다. 그래도 초기의 프로그램 구조를 설정하거나, 테스트 및 디버깅에는 이만한 효자가 업습니다. 단순한 소문이 아니라 정말로 우리 개발 현실이 되어버린 2024-2025년의 상황을 함께 살펴보겠습니다.1. 왜 지금 AI 코딩 도구인가?며칠 전 후배 개발자가 제게 이런 말을 했습니다. "선배, 저 이제 구글링보다 .. 2025. 7. 1. 이전 1 2 다음
