실록④: 옛 마이닝 PC가 2일 만에 '사내 전용 ChatGPT'로

AI 도입 사례

'ChatGPT를 업무에서 쓰고 싶다. 하지만 고객 데이터나 자사 코드를 외부의 AI 서비스로 보낼 수는 없다'——많은 기업에서 듣는 고민입니다. 이번에는, 창고에서 잠자던암호화폐 마이닝에 쓰였던 중고 PC 1대를, 전 직원이 사용할 수 있는 '사내 전용 ChatGPT'로 다시 태어나게 한 실록입니다. 추가 하드웨어 투자는, 거의 제로. 구축 작업은 AI 에이전트(Claude)가 주도하여,실 작업 2일이었습니다.

재료는 '구형 중고 GPU 4장'.

사용한 것은 몇 년 전의 마이닝 붐에서 역할을 다한 PC. 탑재된 GPU는 AMD Radeon Vega 56/64가 4장——최신 AI용 GPU도 아니고, NVIDIA 제품조차 아닙니다. 세간의 'AI 서버' 상식에서 벗어난 재료입니다.

그러나 4장 합계 비디오 메모리는 32GB. 여기에 착안하여, AI용 표준 수단(CUDA)을 쓸 수 없는 제약을, 오픈된 그래픽·연산 API 'Vulkan'으로 회피하는 구성을 AI 에이전트가 설계.2024년의 GPT-4o에 필적하는것으로 평가되는 오픈 모델(300억 파라미터급)을 포함한, 용도별 3가지 AI 모델을 동시에 가동시키는 데 성공했습니다.

• 일상 채팅용(7B): 초당 43토큰——ChatGPT와 동등한 체감 속도
• 고도의 코드 생성·설계 상담용(30B급): 초당 30토큰——GPT-4o(2024)급의 똑똑함
• 에디터 내 코드 보완용(1.5B): 초당 127토큰——GitHub Copilot 같은 입력 보완

화면은 ChatGPT와 꼭 닮은 Web UI. 직원은 브라우저를 열기만 하면, 모델을 전환해 가며 이용할 수 있습니다. 엔지니어는 VS Code에 Copilot 스타일의 자동 보완도 도입 완료.모든 처리는 사내에서 완결되며, 데이터는 1바이트도 밖으로 나가지 않습니다.

구축의 주역은 AI 에이전트. 사람은 판단에 전념했습니다.

이번 구축은, 당사가 실천하는 'AI 주도 개발' 그 자체였습니다. OS 셋업, 추론 엔진 빌드, 네트워크 분리 설계, 장애 조사——직접 손을 움직인 것은 AI 에이전트입니다. 사람이 담당한 것은, 요소요소의 의사 결정과, 물리 작업(케이블 다시 꽂기 등)뿐.

특기할 만한 것은 장애 대응입니다. 구축 중, 오래된 GPU 1장이 상태가 나빠 통신 단절을 반복했습니다. AI 에이전트는 커널 로그에서 고장 부위를 특정하고, '어느 물리 슬롯의 카드인가'를 팬 회전으로 알려 교체를 유도. 나아가GPU가 앞으로 고장 나더라도 네트워크가 끊기지 않는 설계(MAC 주소 고정)와,이상을 5분마다 감지하여 자동 복구하는 감시까지 심어 넣었습니다. 지금 이 서버는, 전원을 켜기만 하면 전 서비스가 자동 기동되는 '방치할 수 있는' 상태입니다.

보안은 '침입당하는 것을 전제로'.

사외에서도 사용할 수 있도록 인터넷에도 공개했지만, 설계는 '만일 침입당하더라도 피해를 넓히지 않는다'가 전제입니다. 서버는 전용 네트워크(DMZ)에 격리하여, 사내의 다른 시스템에는 일절 도달할 수 없는 구성. 계정은 관리자 승인제, 통신은 모두 암호화.공격자에게 있어 '들어와도 아무것도 없는' 서버가 되어 있습니다.

든 비용과, 얻은 것.

• 하드웨어 추가 투자:거의 제로(기존의 유휴 마이닝 PC를 재활용)
• 구축 기간:실 작업 2일(장애 대응·보안 설계 포함)
• 운영: 전기 요금뿐(GPU 전력 제한으로 저전력화 완료).API 이용료는 정액 0엔·무제한
• 얻은 것: 전 직원이 사용할 수 있는 사내 전용 AI 채팅＋개발자용 코드 보완 기반

최신 GPU가 아니어도, NVIDIA가 아니어도, 방식에 따라 '실용 수준의 사내 AI 기반'은 만들 수 있습니다. 오히려 본질은, 제약투성이의 하드웨어를 앞에 두고올바른 구성을 재빠르게 찾아내고, 넘어져도 다시 일어나는 구조까지 만들어 넣는것——그것은 AI 에이전트가 가장 잘하는 일이었습니다.

'우리의 유휴 머신'도, AI 기반이 될지도 모릅니다.

'데이터를 밖으로 내보낼 수 없어서 AI 활용을 포기하고 있다', '클라우드 AI의 API 비용을 예측할 수 없다', '남아도는 서버나 게이밍 PC가 있다'——하나라도 해당된다면, 사내 AI 기반은 생각보다 가까이에 있습니다.

시리즈 '레거시 to AI 실록'

• 총집편: PC 1대로 22개 시스템·약 246,000줄 ― AI 개발 3.5개월의 실측 기록
• 실록①: 20년 된 Java를, 약 1주일 만에 전면 쇄신
• 실록②: 기존 코드 0줄 변경으로, 기간계에 새로운 입구를 만든다
• 실록③: 1개월급의 구성 검토를, 프로토타입 2일＋실측으로
• 실록④: 옛 마이닝 PC가 2일 만에 '사내 전용 ChatGPT'로(본 기사)

※본 기사의 수치는 2026년 8월 시점의 실측값입니다. 구축 성과는 하드웨어의 상태·요건에 따라 다릅니다.