커리큘럼

아카데미모듈 2 · 지식그래프 키우기

가져오기: 소스 추출 마법사

6개 레슨 중 2번째12분

이 레슨에서 배우는 것

  • 어디서든 "소스 추출" 마법사를 열고 파일·폴더·URL·Notion 페이지를 한꺼번에 가져올 수 있습니다
  • 5단계 파이프라인과 파일별 상태 배지를 읽고 각 소스에 무슨 일이 있었는지 파악할 수 있습니다
  • 중단·유예·멈춘 추출을 "이어서 진행"·"모두 재시도"·재추출 제안으로 복구할 수 있습니다
  • .consilienceignore로 파일을 영구 제외하고 "제외 해제"로 되돌릴 수 있습니다
  • 대량 구축 중에 채팅 메시지를 바로 보낼지, 잠시 맡겨 둘지 판단할 수 있습니다

지식이 처음부터 마크다운인 경우는 거의 없습니다. 연구하다 쌓인 PDF 폴더, 이제 떠나려는 Notion 워크스페이스, 어제 회의 녹음, 자꾸 다시 검색하는 웹 기사 몇 편. 이런 자료가 워크스페이스 안에 들어오기 전까지는 그래프가 인덱싱할 수도, 에이전트가 추론에 쓸 수도 없습니다.

"소스 추출" 마법사가 바로 그 관문입니다. 노트 하나를 저장할 때 돌던 그 추출을, 이번엔 흩어진 자료 전부에 한꺼번에 겨눈 셈이죠. 파일이든 폴더든 URL이든 Notion 페이지든, 5단계 파이프라인이 사본을 읽어 충실한 마크다운 노트로 기록합니다.

그 안의 사람과 아이디어, 관계는 지식그래프로 뽑아냅니다. 원본은 절대 손대지 않습니다. attachments/ 아래에 그대로 보관되고, 변환된 노트에서 링크로 이어집니다.

실제 소스 추출 마법사입니다. 소스를 끌어다 놓고 직접 가져와 보세요.

마법사 여는 법

마법사는 "소스 추출"이라는 전용 탭으로 열립니다. 모든 일이 여기서 시작되다 보니, 들어오는 길도 유난히 많습니다.

  • 왼쪽 사이드바의 "소스 추출하기" 버튼. "새 문서" 바로 옆에 있습니다
  • 단축키 Cmd+Shift+I(macOS) / Ctrl+Shift+I(Windows). 설정 → 단축키에서 바꿀 수 있습니다
  • 커맨드 팔레트의 "소스 추출하기" 액션
  • macOS 메뉴 막대: Go → "Ingest Wizard"
  • 자동 열림. 추출하지 않은 문서가 있는 워크스페이스를 처음 열면, 대기 항목이 미리 채워진 채로 마법사가 알아서 열립니다
  • 활동 센터의 "이 워크스페이스를 지식그래프로 만들까요?" 같은 제안 카드도 목록을 채워서 열어 줍니다

무엇을 넣을 수 있나

소스를 넣는 방법은 몇 가지입니다. 마법사 탭이 열려 있으면 창 어디에나 파일을 끌어다 놓으면 되고, 드롭존을 클릭해 파일 선택기를 열어도 됩니다. 아니면 "직접 추가하기" 드롭다운을 씁니다: "파일 추가", "폴더 추가", "URL 추가"(한 줄에 하나씩 여러 개), "Notion에서 가져오기"(검색해서 펼치고 원하는 걸 체크).

소스형식처리 방식
문서docx, pptx, hwp/hwpx, epub, odt, rtf이 기기에서 충실한 마크다운으로 변환
스프레드시트xlsx/xls/xlsm/ods, csv/tsv이 기기에서 변환
PDFpdf글자 위주 PDF는 빠른 로컬 경로로, 스캔본이나 그래픽 위주는 비전 OCR로. 도판은 attachments/에 저장
이미지png, jpg, gif, webp, bmp, tiff비전 OCR로 글자를 읽어 냅니다. 원본은 늘 첨부로 보관
오디오mp3, wav, m4a, flac, ogg클라우드에서 받아 적기(전사)
웹페이지http(s) URL가져와서 변환. PDF URL도 지원
Notion페이지마크다운으로 받아 Notion/ 폴더에 저장
일반 텍스트md, txt, json, yaml, xml손대지 않고 그대로 통과
레거시·알 수 없음.doc, .ppt, 알 수 없는 바이너리첨부만 하고 자리표시 노트를 남김

코드 폴더는 다른 길로 갑니다. 노트 파이프라인을 건너뛰고 "가져올 코드 (구조 보존)" 카드에 나타나며, 폴더 구조를 그대로 유지한 채 복사되어 코드 인덱스가 읽을 수 있게 됩니다. 저장소 안 문서, 이를테면 README나 PDF는 같은 실행에서 함께 추출됩니다.

대량 가져오기 실행

첫 대량 가져오기

  1. 열고 채우기

    Cmd+Shift+I를 누르고 문서 폴더를 끌어다 놓거나 "직접 추가하기"를 씁니다. 각 행에는 종류 라벨이 붙습니다: 문서, PDF, 스프레드시트, 이미지, 웹페이지, Notion…

  2. 목록 다듬기

    X 버튼은 이번 실행에서만 그 행을 뺍니다. Ban 버튼("추출에서 제외")은 워크스페이스 파일을 영구히 제외합니다. 자세한 건 아래에서 다룹니다.

  3. "가져오기" 누르기

    워크스페이스가 열려 있고 소스가 하나라도 있어야 버튼이 켜집니다. 비활성이면 무엇이 빠졌는지 툴팁이 알려 줍니다. 누르는 순간 바로 시작됩니다.

  4. 진행 지켜보기

    라이브 체크리스트가 5단계를 따라가고, 파일별 목록이 각 소스의 상태를 보여 줍니다. 게이지는 지금 몇 개가 병렬로 도는지 보여 줍니다. 속도는 스스로 조절해, 여유가 있으면 빨라지고 버거우면 늦춥니다.

  5. 마무리

    ✓ "문서 준비가 끝났어요"가 뜨면 바로 이어가면 됩니다. "문서에 대해 질문하기"로 들어가거나, "지식그래프"를 열거나, "더 가져오기"를 누르세요. 걸린 파일이 있으면 제목이 일부 파일은 확인이 필요하다는 문구로 바뀝니다.

체크리스트의 5단계는 순서대로 이렇습니다.

  1. "파일 읽는 중": 규칙에 따라 도는 마크다운 변환입니다. 모든 소스가 이미 워크스페이스 노트라면 건너뜁니다
  2. "주제 파악 중": AI가 내 분야의 어휘를 뽑아내 추출을 그 분야에 맞춥니다. 이미 최신이면 건너뜁니다
  3. "지식그래프 추출 중": AI가 노트를 읽고 엔티티와 타입 있는 관계를 그래프에 기록합니다
  4. "관련 항목 연결 중": 같은 대상으로 보이는 항목을 찾아 알려 줍니다. 자동으로 합쳐지는 건 없습니다
  5. "테마로 정리 중": 새 그래프에서 묶음을 찾아 이름을 붙입니다

파일별 상태 배지는 이렇습니다.

  • 스피너: 변환 중입니다. "OCR…": 비전이나 전사 호출이 진행 중입니다
  • ✓: 노트 기록 완료
  • "첨부됨"(주황): 자리표시 노트입니다. 이유는 마우스를 올리면 나옵니다
  • "실패"(빨강): 오류 내용은 마우스를 올리면 나옵니다
  • "한도가 초기화되면 마무리돼요"(주황): 잠깐 멈춰 둔 것뿐이고, 알아서 다시 이어갑니다

실행을 지켜보고 앉아 있을 필요는 없습니다. 끝나면 앱이 알려 줍니다. 마법사 탭은 늘 하나뿐이라 도중에 자리를 떠났다가 돌아와도 됩니다. "추출 중단"은 새 작업을 더 내보내는 것만 멈춥니다. 이미 시작된 변환은 백그라운드에서 끝나고, 만들어진 노트는 그대로 남습니다.

중단, 유예, 재시도

유예(Deferred)
AI 사용 한도에 닿아 잠깐 멈춘 상태입니다. 실패가 아닙니다. 앱이 붙잡고 있다가 한도가 초기화되는 순간 알아서 다시 이어갑니다.
소진(Exhausted)
노트가 몇 번이나 걸림돌을 만나면, 앱이 자동 재시도를 멈추고 원할 때 누르는 원클릭 "재시도"를 건네줍니다.
낡음(Stale)
추출한 뒤에 파일이 디스크에서 바뀐 상태입니다. 앱이 이를 알아채고 그래프를 최신으로 맞추자고 제안합니다.
.consilienceignore
워크스페이스마다 두는, .gitignore처럼 동작하는 파일입니다. 여기에 걸리는 파일은 추출에서도 코드 색인에서도 영영 빠집니다.
추출 게이트
대량 구축 중에 채팅하면 뜨는 보류/전송 선택입니다. 답변이 언제나 완성된 그래프를 근거로 나오게 해 줍니다.

실행 도중엔 앱을 닫거나, 잠시 자리를 뜨거나, 사용 한도에 닿는 일이 생깁니다. 이미 변환된 소스는 건너뛰고, 이어서 진행해도 노트가 중복되지 않습니다. 남은 일감은 앱이 알아서 다시 챙겨 옵니다.

  • "소스 추출이 중단되었어요": 다 끝내지 못한 소스를 이어서 진행할지 묻습니다. "이어서 진행"은 마법사를 다시 채워 열고, "버리기"는 남은 작업을 취소해 제안이 더 뜨지 않게 합니다
  • "추출 재시도가 필요해요": 여러 번 실패해 멈춘 노트들 → "모두 재시도"
  • "앱 밖에서 수정된 노트가 있어요": 추출 뒤 디스크에서 바뀐 노트 → "재추출"
  • 지식그래프 튜닝 → "추출" 탭: 커버리지 헤드라인("N개 중 M개 AI 검색에 추가됨")과 "AI 검색에 추가하지 못한 노트" 섹션이 있어, 노트별 오류와 재시도 버튼을 보여 줍니다

영구 제외하기

내보내기 산출물, 비밀 정보, 자동 생성된 잡동사니처럼 절대 스캔되면 안 되는 파일도 있습니다. .consilienceignore는 워크스페이스마다 두는, .gitignore처럼 동작하는 파일입니다. 여기에 걸리는 파일은 추출에서도 코드 색인에서도 빠지고, 앞으로의 어떤 스캔에서도 마찬가지입니다. 제외하면 거기서 이미 파생된 데이터도 함께 지워집니다.

  • 마법사 인테이크 목록의 Ban 버튼("추출에서 제외")
  • 파일 트리에서 우클릭 → "추출에서 제외"
  • 지식그래프 튜닝 → "제외된 파일" 탭: "목록"(검색 + "제외 해제"), "찾아보기"(체크박스 파일 트리), "직접 편집"(패턴 직접 입력)의 세 가지 보기가 있습니다
.consilienceignore
# 한 줄에 .gitignore 형식 패턴 하나
*.snap
build/
/drafts/private-journal.md
!keep.md

구축 중에 채팅하기

대량 구축이 도는 동안엔 채팅 답변이 아직 절반뿐인 그래프를 뒤지게 됩니다. 그래서 구축 중에 첫 메시지를 보내면 "지식 그래프 구축 중" 대화상자가 뜹니다. 실시간 진행("지금까지 N개 중 M개 추출됨")과 함께 세 가지 선택지를 줍니다: "추출 완료 후 자동 전송", "지금 전송", 취소. 고른 값은 그 구축이 끝날 때까지 기억되고, 대화상자는 구축당 많아야 한 번만 나타납니다.

보류된 메시지는 입력창 위 스트립에서 기다리다가 구축이 안정되면 알아서 전송됩니다. 그 전까지는 "기다리지 않고 보내기"를 누르거나, 수정해서 다시 대기열에 넣거나, 삭제할 수 있습니다. 노트 하나를 저장할 때는 게이트가 절대 뜨지 않습니다. 최근 편집이 아직 그래프에 반영되지 않았을 수 있다는 잔잔한 힌트만 보일 뿐입니다.

이해도 체크

구축 중에 "추출 완료 후 자동 전송"을 선택하면 메시지는 어떻게 될까요?

마무리

이해도 체크

실행이 끝난 뒤 어떤 행에 주황색 "첨부됨" 배지가 보입니다. 무슨 뜻일까요?

정리하면 이렇습니다. 무엇이든 들어오고, 원본은 건드리지 않고, 실패는 복구되고, 제외는 영구적이지만 되돌릴 수 있습니다. 다음 강의에서는 추출이 실제로 짓는 것, 그 모든 엔티티와 관계 뒤의 온톨로지를 살펴봅니다.

가져오기: 소스 추출 마법사 · Consilience Academy