공공 · 레저/리조트 · 사례
인터넷이 끊긴 사무실에서, 답 옆에 사내 문서 원문이 펼쳐진다
이걸로 되는 일외부 인터넷이 끊긴 망 안 단일 GPU 서버에서 요약·번역·교정·보고서·코딩을 한 화면으로 처리하고, 답마다 인용 표시와 Evidence Panel의 사내 문서 원문 구절을 확인한다.
이곳은 공공 레저·리조트를 운영하는 기관이다. 직원 PC와 업무 시스템이 외부 인터넷에 직접 연결되지 않는 망분리 환경에서 일한다. 시민의 정보와 운영 데이터를 다루는 공공 업무 특성상 보안은 타협할 수 없는 전제다. 문제는 요즘 쓰는 AI 도구가 거의 다 외부망 기반 클라우드 서비스라는 점이었다. 보안을 지키려면 생산성을 포기해야 하는 상황이었다.
그래서 던진 질문은 단순했다. 인터넷이 끊긴 방 안에서도, 직원들이 믿고 쓸 수 있는 AI가 가능할까. Consilience는 이 기관과 함께 그 답을 데모로 만들어 봤다. 이 글은 그 PoC에서 확인된 것과 아직 확인되지 않은 것을 그대로 적는다.
벽 안에 있는 것, 벽 밖에 있는 것
망분리는 말 그대로 망을 둘로 나누는 일이다. 업무용 네트워크와 인터넷을 물리적으로든 논리적으로든 끊어, 직원 PC에서 외부 웹사이트나 클라우드로 데이터가 새어 나갈 길 자체를 막는다. 공공기관에서는 흔하고, 또 반드시 필요한 보안 장치다. 이 기관이 가진 재료는 이렇다.
- 기관 내부 문서. 답의 근거가 되어야 할 자료가 전부 망 안에 있다
- 직원 PC와 업무 시스템. 외부 인터넷에 직접 연결되지 않는다
- 폐쇄망 내부의 GPU(그래픽 연산용 고성능 칩) 서버 한 대. 자원은 한정돼 있고 여러 직원이 동시에 매달려도 버텨야 한다
- 직원이 AI에 맡기고 싶은 업무 여섯 가지 — 요약, 번역, 교정, 보고서 작성, 코딩 등
- 매번 사람이 처음부터 끝까지 손으로 하는 반복 작업
지금은 손으로 하거나, 아예 못 한다
벽은 나쁜 것만 막아주지 않는다. 문서 요약, 번역, 교정, 보고서 초안, 간단한 코딩까지 — 요즘 사람들이 AI에게 떠넘기는 일상 업무가 전부 벽 너머에 있다. 직원들은 그 편리함을 알면서도 손을 댈 수 없었다. 정책을 어길 수는 없다. 그래서 반복되는 작업은 매번 사람 몫으로 남았다.
설령 외부 AI를 쓸 수 있다 해도 또 다른 벽이 남는다. 공공 업무에서는 이 답이 어느 문서에 근거하는가를 확인하지 못하면 그 답을 믿고 쓰기가 어렵다. 출처를 댈 수 없는 답은 아무리 그럴듯해도 결재 라인에 올릴 수 없다. 그래서 이 PoC는 답을 만드는 일과 함께, 그 답의 출처를 직원이 확인할 수 있게 하는 일도 다뤄야 했다.
AI가 무엇을 말했는지가 아니라, 그 말이 어느 문서의 어느 줄에서 나왔는지를 사용자가 직접 눈으로 확인할 수 있다.
AI를 벽 안으로 통째로 들여놓는다
방향은 명확했다. AI를 바깥에 두고 데이터를 내보내는 대신, AI 자체를 폐쇄망 안으로 통째로 들여놓는 것. 모델도 데이터도 모두 망 안의 단일 GPU 서버 한 대 위에서 돈다. 그 위에 기관 내부 문서를 인제스트했다. 인제스트란 흩어져 있던 사내 문서를 AI가 찾아볼 수 있도록 검색 인덱스로 정리해 두는 작업이다.
폐쇄망 안에 세우는 순서
서버 한 대에 한 묶음으로 올린다
AI의 두뇌에 해당하는 언어모델과 검색 인덱스, 그리고 직원이 마주하는 앱 화면까지 한 묶음으로 폐쇄망 내부 서버에 올린다. 질문을 던지고, 관련 문서를 찾고, 답을 만들어내는 모든 과정이 바깥 인터넷 없이 망 안에서 끝난다.
"소스 추출하기"(⌘⇧I)로 사내 문서를 넣는다
기관 내부 문서를 추출 마법사에 넣어 검색 인덱스로 정리한다. 이렇게 만들어 둔 인덱스 덕분에, 직원이 질문하면 시스템이 실제 사내 문서를 먼저 찾아내 답의 바탕으로 삼는다.
작업 성격에 맞게 모델을 나눠 보낸다
멀티모델 라우팅(작업마다 다른 모델로 나눠 보내는 방식)을 더했다. 가벼운 요약이나 번역은 가벼운 모델이, 무거운 코딩이나 분석은 그에 맞는 모델이 맡는다. 한정된 서버 자원을 알뜰하게 쓰기 위한 선택이기도 했다.
여러 계정으로 동시에 부하를 걸어 본다
폐쇄망 안의 GPU 서버는 한정돼 있는데, 여러 직원이 동시에 매달려도 버텨야 한다. 단일 GPU 서버 한 대에서 여러 계정이 동시에 멀티턴(주거니 받거니 이어지는 여러 차례의 대화) 부하를 거는 상황을 실제로 테스트했다.
묻고, 근거를 눈으로 확인한다
"이 규정 문서 핵심만 요약해 줘"
→ 답에 인용 표시가 붙는다. 화면 한쪽 Evidence Panel(근거 패널)에
답의 바탕이 된 사내 문서 원문 구절이 그대로 펼쳐진다.
"이 문단 번역하고 어색한 데 교정해 줘"
→ 가벼운 작업은 가벼운 모델로 간다. 도구를 갈아탈 필요 없이
요약도 번역도 교정도 같은 화면에서 끝난다.
"이 내용으로 보고서 초안 잡아 줘"
→ 초안과 함께 근거가 된 사내 문서 원문 구절이 같이 나온다.
결재 라인에 올리기 전에 직원이 원문을 직접 보고 판단한다.이 답이 나오는 이유는 이렇다. 사내 문서를 미리 인제스트해 검색 인덱스로 두었기 때문에, 질문이 들어오면 시스템이 관련 원문을 먼저 찾아낸 뒤 그걸 근거로 답을 만든다. 답변에는 인용 표시가 붙고, Evidence Panel에는 그 원문 구절이 그대로 펼쳐진다. 직원이 마주하는 화면은 하나다. 그 한 화면에서 여섯 가지 업무를 처리한다.
직원은 AI의 답을 곧이곧대로 믿는 대신 근거 패널의 원문을 보고 스스로 판단한다. 틀렸으면 바로 알아채고, 맞으면 가져다 쓴다. 답이 어느 문서에 근거하는지 확인할 수 없어 결재 라인에 올릴 수 없던 문제를, 근거 패널이 직접 다룬다.
무엇이 달라지나
| 예전 | 지금 |
|---|---|
| 업무망이 외부 인터넷과 끊겨 있어 요약·번역·교정을 AI에 맡길 수 없다 | 망 안 단일 GPU 서버에서 요약·번역·교정·보고서·코딩 등 여섯 가지를 하나의 앱 화면에서 처리한다 |
| 반복되는 작업은 매번 사람이 처음부터 끝까지 손으로 한다 | 도구를 갈아탈 필요 없이 평소 하던 일을 같은 자리에서 AI와 함께 해낸다 |
| 답이 어느 문서에 근거하는지 확인할 수 없어 결재 라인에 올릴 수 없다 | 답에 인용 표시가 붙고 Evidence Panel이 근거가 된 사내 문서 원문 구절을 그대로 펼친다 |
| AI를 쓰려면 데이터를 바깥 클라우드로 내보내야 한다 | 모델·검색 인덱스·앱 화면이 망 안 서버 한 대에서 돌아 데이터가 벽을 넘는 일이 없다 |
정리하면 이렇다. 외부 인터넷이 끊긴 폐쇄망 안에서 모델·검색 인덱스·앱 화면을 단일 GPU 서버 한 대에 올려 여섯 가지 업무를 한 화면에서 처리하고, 답마다 인용 표시와 사내 문서 원문을 확인하는 데모가 동작했다. 다섯 가지는 1차 검증을 통과했고, 복합 문서 태스크와 정량 수치는 남은 과제다.