커리큘럼
아카데미모듈 2 · 지식그래프 키우기
가져오기: 소스 추출 마법사
이 레슨에서 배우는 것
- 어디서든 "소스 추출" 마법사를 열고 파일·폴더·URL·Notion 페이지를 한꺼번에 가져올 수 있습니다
- 5단계 파이프라인과 파일별 상태 배지를 읽고 각 소스에 무슨 일이 있었는지 파악할 수 있습니다
- 중단·유예·멈춘 추출을 "이어서 진행"·"모두 재시도"·재추출 제안으로 복구할 수 있습니다
- .consilienceignore로 파일을 영구 제외하고 "제외 해제"로 되돌릴 수 있습니다
- 대량 구축 중에 채팅 메시지를 바로 보낼지, 잠시 맡겨 둘지 판단할 수 있습니다
지식이 처음부터 마크다운인 경우는 거의 없습니다. 연구하다 쌓인 PDF 폴더, 이제 떠나려는 Notion 워크스페이스, 어제 회의 녹음, 자꾸 다시 검색하는 웹 기사 몇 편. 이런 자료가 워크스페이스 안에 들어오기 전까지는 그래프가 인덱싱할 수도, 에이전트가 추론에 쓸 수도 없습니다.
"소스 추출" 마법사가 바로 그 관문입니다. 노트 하나를 저장할 때 돌던 그 추출을, 이번엔 흩어진 자료 전부에 한꺼번에 겨눈 셈이죠. 파일이든 폴더든 URL이든 Notion 페이지든, 5단계 파이프라인이 사본을 읽어 충실한 마크다운 노트로 기록합니다.
그 안의 사람과 아이디어, 관계는 지식그래프로 뽑아냅니다. 원본은 절대 손대지 않습니다. attachments/ 아래에 그대로 보관되고, 변환된 노트에서 링크로 이어집니다.
마법사 여는 법
마법사는 "소스 추출"이라는 전용 탭으로 열립니다. 모든 일이 여기서 시작되다 보니, 들어오는 길도 유난히 많습니다.
- 왼쪽 사이드바의 "소스 추출하기" 버튼. "새 문서" 바로 옆에 있습니다
- 단축키
Cmd+Shift+I(macOS) /Ctrl+Shift+I(Windows). 설정 → 단축키에서 바꿀 수 있습니다 - 커맨드 팔레트의 "소스 추출하기" 액션
- macOS 메뉴 막대: Go → "Ingest Wizard"
- 자동 열림. 추출하지 않은 문서가 있는 워크스페이스를 처음 열면, 대기 항목이 미리 채워진 채로 마법사가 알아서 열립니다
- 활동 센터의 "이 워크스페이스를 지식그래프로 만들까요?" 같은 제안 카드도 목록을 채워서 열어 줍니다
무엇을 넣을 수 있나
소스를 넣는 방법은 몇 가지입니다. 마법사 탭이 열려 있으면 창 어디에나 파일을 끌어다 놓으면 되고, 드롭존을 클릭해 파일 선택기를 열어도 됩니다. 아니면 "직접 추가하기" 드롭다운을 씁니다: "파일 추가", "폴더 추가", "URL 추가"(한 줄에 하나씩 여러 개), "Notion에서 가져오기"(검색해서 펼치고 원하는 걸 체크).
| 소스 | 형식 | 처리 방식 |
|---|---|---|
| 문서 | docx, pptx, hwp/hwpx, epub, odt, rtf | 이 기기에서 충실한 마크다운으로 변환 |
| 스프레드시트 | xlsx/xls/xlsm/ods, csv/tsv | 이 기기에서 변환 |
pdf | 글자 위주 PDF는 빠른 로컬 경로로, 스캔본이나 그래픽 위주는 비전 OCR로. 도판은 attachments/에 저장 | |
| 이미지 | png, jpg, gif, webp, bmp, tiff… | 비전 OCR로 글자를 읽어 냅니다. 원본은 늘 첨부로 보관 |
| 오디오 | mp3, wav, m4a, flac, ogg… | 클라우드에서 받아 적기(전사) |
| 웹페이지 | http(s) URL | 가져와서 변환. PDF URL도 지원 |
| Notion | 페이지 | 마크다운으로 받아 Notion/ 폴더에 저장 |
| 일반 텍스트 | md, txt, json, yaml, xml… | 손대지 않고 그대로 통과 |
| 레거시·알 수 없음 | .doc, .ppt, 알 수 없는 바이너리 | 첨부만 하고 자리표시 노트를 남김 |
코드 폴더는 다른 길로 갑니다. 노트 파이프라인을 건너뛰고 "가져올 코드 (구조 보존)" 카드에 나타나며, 폴더 구조를 그대로 유지한 채 복사되어 코드 인덱스가 읽을 수 있게 됩니다. 저장소 안 문서, 이를테면 README나 PDF는 같은 실행에서 함께 추출됩니다.
대량 가져오기 실행
첫 대량 가져오기
열고 채우기
Cmd+Shift+I를 누르고 문서 폴더를 끌어다 놓거나 "직접 추가하기"를 씁니다. 각 행에는 종류 라벨이 붙습니다: 문서, PDF, 스프레드시트, 이미지, 웹페이지, Notion…목록 다듬기
X 버튼은 이번 실행에서만 그 행을 뺍니다. Ban 버튼("추출에서 제외")은 워크스페이스 파일을 영구히 제외합니다. 자세한 건 아래에서 다룹니다.
"가져오기" 누르기
워크스페이스가 열려 있고 소스가 하나라도 있어야 버튼이 켜집니다. 비활성이면 무엇이 빠졌는지 툴팁이 알려 줍니다. 누르는 순간 바로 시작됩니다.
진행 지켜보기
라이브 체크리스트가 5단계를 따라가고, 파일별 목록이 각 소스의 상태를 보여 줍니다. 게이지는 지금 몇 개가 병렬로 도는지 보여 줍니다. 속도는 스스로 조절해, 여유가 있으면 빨라지고 버거우면 늦춥니다.
마무리
✓ "문서 준비가 끝났어요"가 뜨면 바로 이어가면 됩니다. "문서에 대해 질문하기"로 들어가거나, "지식그래프"를 열거나, "더 가져오기"를 누르세요. 걸린 파일이 있으면 제목이 일부 파일은 확인이 필요하다는 문구로 바뀝니다.
체크리스트의 5단계는 순서대로 이렇습니다.
- "파일 읽는 중": 규칙에 따라 도는 마크다운 변환입니다. 모든 소스가 이미 워크스페이스 노트라면 건너뜁니다
- "주제 파악 중": AI가 내 분야의 어휘를 뽑아내 추출을 그 분야에 맞춥니다. 이미 최신이면 건너뜁니다
- "지식그래프 추출 중": AI가 노트를 읽고 엔티티와 타입 있는 관계를 그래프에 기록합니다
- "관련 항목 연결 중": 같은 대상으로 보이는 항목을 찾아 알려 줍니다. 자동으로 합쳐지는 건 없습니다
- "테마로 정리 중": 새 그래프에서 묶음을 찾아 이름을 붙입니다
파일별 상태 배지는 이렇습니다.
- 스피너: 변환 중입니다. "OCR…": 비전이나 전사 호출이 진행 중입니다
- ✓: 노트 기록 완료
- "첨부됨"(주황): 자리표시 노트입니다. 이유는 마우스를 올리면 나옵니다
- "실패"(빨강): 오류 내용은 마우스를 올리면 나옵니다
- "한도가 초기화되면 마무리돼요"(주황): 잠깐 멈춰 둔 것뿐이고, 알아서 다시 이어갑니다
실행을 지켜보고 앉아 있을 필요는 없습니다. 끝나면 앱이 알려 줍니다. 마법사 탭은 늘 하나뿐이라 도중에 자리를 떠났다가 돌아와도 됩니다. "추출 중단"은 새 작업을 더 내보내는 것만 멈춥니다. 이미 시작된 변환은 백그라운드에서 끝나고, 만들어진 노트는 그대로 남습니다.
중단, 유예, 재시도
- 유예(Deferred)
- AI 사용 한도에 닿아 잠깐 멈춘 상태입니다. 실패가 아닙니다. 앱이 붙잡고 있다가 한도가 초기화되는 순간 알아서 다시 이어갑니다.
- 소진(Exhausted)
- 노트가 몇 번이나 걸림돌을 만나면, 앱이 자동 재시도를 멈추고 원할 때 누르는 원클릭 "재시도"를 건네줍니다.
- 낡음(Stale)
- 추출한 뒤에 파일이 디스크에서 바뀐 상태입니다. 앱이 이를 알아채고 그래프를 최신으로 맞추자고 제안합니다.
- .consilienceignore
- 워크스페이스마다 두는, .gitignore처럼 동작하는 파일입니다. 여기에 걸리는 파일은 추출에서도 코드 색인에서도 영영 빠집니다.
- 추출 게이트
- 대량 구축 중에 채팅하면 뜨는 보류/전송 선택입니다. 답변이 언제나 완성된 그래프를 근거로 나오게 해 줍니다.
실행 도중엔 앱을 닫거나, 잠시 자리를 뜨거나, 사용 한도에 닿는 일이 생깁니다. 이미 변환된 소스는 건너뛰고, 이어서 진행해도 노트가 중복되지 않습니다. 남은 일감은 앱이 알아서 다시 챙겨 옵니다.
- "소스 추출이 중단되었어요": 다 끝내지 못한 소스를 이어서 진행할지 묻습니다. "이어서 진행"은 마법사를 다시 채워 열고, "버리기"는 남은 작업을 취소해 제안이 더 뜨지 않게 합니다
- "추출 재시도가 필요해요": 여러 번 실패해 멈춘 노트들 → "모두 재시도"
- "앱 밖에서 수정된 노트가 있어요": 추출 뒤 디스크에서 바뀐 노트 → "재추출"
- 지식그래프 튜닝 → "추출" 탭: 커버리지 헤드라인("N개 중 M개 AI 검색에 추가됨")과 "AI 검색에 추가하지 못한 노트" 섹션이 있어, 노트별 오류와 재시도 버튼을 보여 줍니다
영구 제외하기
내보내기 산출물, 비밀 정보, 자동 생성된 잡동사니처럼 절대 스캔되면 안 되는 파일도 있습니다. .consilienceignore는 워크스페이스마다 두는, .gitignore처럼 동작하는 파일입니다. 여기에 걸리는 파일은 추출에서도 코드 색인에서도 빠지고, 앞으로의 어떤 스캔에서도 마찬가지입니다. 제외하면 거기서 이미 파생된 데이터도 함께 지워집니다.
- 마법사 인테이크 목록의 Ban 버튼("추출에서 제외")
- 파일 트리에서 우클릭 → "추출에서 제외"
- 지식그래프 튜닝 → "제외된 파일" 탭: "목록"(검색 + "제외 해제"), "찾아보기"(체크박스 파일 트리), "직접 편집"(패턴 직접 입력)의 세 가지 보기가 있습니다
# 한 줄에 .gitignore 형식 패턴 하나
*.snap
build/
/drafts/private-journal.md
!keep.md구축 중에 채팅하기
대량 구축이 도는 동안엔 채팅 답변이 아직 절반뿐인 그래프를 뒤지게 됩니다. 그래서 구축 중에 첫 메시지를 보내면 "지식 그래프 구축 중" 대화상자가 뜹니다. 실시간 진행("지금까지 N개 중 M개 추출됨")과 함께 세 가지 선택지를 줍니다: "추출 완료 후 자동 전송", "지금 전송", 취소. 고른 값은 그 구축이 끝날 때까지 기억되고, 대화상자는 구축당 많아야 한 번만 나타납니다.
보류된 메시지는 입력창 위 스트립에서 기다리다가 구축이 안정되면 알아서 전송됩니다. 그 전까지는 "기다리지 않고 보내기"를 누르거나, 수정해서 다시 대기열에 넣거나, 삭제할 수 있습니다. 노트 하나를 저장할 때는 게이트가 절대 뜨지 않습니다. 최근 편집이 아직 그래프에 반영되지 않았을 수 있다는 잔잔한 힌트만 보일 뿐입니다.
이해도 체크
구축 중에 "추출 완료 후 자동 전송"을 선택하면 메시지는 어떻게 될까요?
마무리
이해도 체크
실행이 끝난 뒤 어떤 행에 주황색 "첨부됨" 배지가 보입니다. 무슨 뜻일까요?
정리하면 이렇습니다. 무엇이든 들어오고, 원본은 건드리지 않고, 실패는 복구되고, 제외는 영구적이지만 되돌릴 수 있습니다. 다음 강의에서는 추출이 실제로 짓는 것, 그 모든 엔티티와 관계 뒤의 온톨로지를 살펴봅니다.