본문으로 건너뛰기
커리큘럼

아카데미모듈 8 · 자료 수집과 실전 활용

피드·뉴스·시세 수집

3개 레슨 중 1번째13분

이 레슨에서 배우는 것

  • 실시간 데이터가 그래프로 들어오는 세 경로(지금 조회, 엔티티 팔로우, 상시 피드)를 설명할 수 있습니다
  • 피드가 내부에서 도는 방식(스케줄 → 가져오기 → 중복 제거 → live/ 노트 또는 숫자 관측치)을 따라갈 수 있습니다
  • 타이틀바의 라이브 창으로 분 단위 수집을 언제 켤지 고르고, 실시간 피드와 예약 수집(시간별·일별)의 차이를 구분할 수 있습니다
  • 카탈로그에서 소스를 켜거나 내 RSS 피드를 붙여넣고, 엔티티를 팔로우해 뉴스를 받을 수 있습니다
  • 주식·크립토 시세를 스파크라인으로 추적하고, 모든 피드에서 특정 키워드를 감시할 수 있습니다

지금까지 쌓은 건 전부 당신 것입니다. 직접 쓴 노트, 가져온 파일, 에이전트가 추론하는 그래프.

그런데 바깥 세상은 계속 움직입니다. 경쟁사가 가격을 내리고, 어떤 회사가 돌발 공시를 내고, 주가가 갭 하락하고, 뉴스가 터집니다. 지난주에 입력한 것만 아는 지식그래프는 늘 한 발 늦습니다.

실시간 데이터가 그 간극을 메웁니다. Consilience는 뉴스·공시·연구·시세를 워크스페이스로 끌어오고, 그것은 평범한 노트가 되어 같은 그래프로 추출됩니다. 이 레슨은 뒤이을 레시피들이 쓸 마지막 재료로, 그 세 가지 방식과 피드의 내부 동작을 다룹니다.

라이브 피드
Consilience가 일정에 따라 확인하는 소스(뉴스·공시·시세…). 새 항목이 워크스페이스에 자동으로 기록됩니다.
라이브 창(live window)
분 단위 피드를 언제 폴링할지 정하는 워크스페이스별 스위치. 타이틀바의 안테나 버튼에 있고 끄기·30분·몇 시간·항상 중에 고릅니다. 시간별·일별 피드는 여기에 영향받지 않습니다.
live/ 폴더
기록된 피드 항목이 마크다운 노트로 떨어지는 곳. 추가 전용(append-only)에 시각이 찍히고, 직접 쓴 노트처럼 그래프로 추출됩니다.
팔로우
엔티티 페이지의 원클릭 구독. 그 엔티티에 묶인 뉴스 피드를 만들어 줍니다.
관측치(observation)
하나의 숫자 표본(시세, 값). 별도의 시계열 저장소에 담겨 스파크라인으로 그려집니다. 노트로는 저장되지 않습니다.
감시(watch)
키워드 규칙. 어떤 피드든 매칭되는 항목을 기록하면 알림이 옵니다.

외부 데이터를 받는 세 가지 방법

실시간 데이터에는 세 가지 방식이 있습니다. 가장 가벼운 것부터 상시까지, 얼마나 계속 지켜보고 싶은지에 따라 고르세요.

방식하는 일이럴 때
지금 조회엔티티에 대해 지금 한 번 웹 검색. 예약 없음.딱 하나, 최신 소식만 한 번 알고 싶을 때
엔티티 팔로우엔티티에 묶인 뉴스 피드를 만들어, 관련 소식이 계속 유입됩니다.특정 엔티티를 계속 따라가고 싶을 때
상시 피드소스(매체·공시 스트림·시세)를 일정에 따라 확인합니다.한 엔티티가 아니라 스트림 전체가 필요할 때

셋을 관통하는 단 하나의 원리

어떤 방식이든 결과의 모양은 같습니다. 항목은 시각이 찍힌 추가 전용 `live/` 폴더의 마크다운 노트가 됩니다. 평범한 노트이므로 직접 타이핑한 것과 똑같이 지식그래프로 추출됩니다. 거기 언급된 사람·회사·주장이 당신의 엔티티와 연결로 합류합니다. 실시간 데이터도 결국 노트입니다. 스스로 도착할 뿐입니다.

예외는 순수한 숫자뿐입니다. 시세 한 틱에는 추출할 산문이 없으니, 관측치로 가벼운 시계열 저장소에 담겨 스파크라인으로 그려집니다. 노트도 아니고 그래프에도 들어가지 않습니다. 산문의 집은 live/, 숫자의 집은 관측치입니다.

피드는 내부에서 어떻게 도는가

백그라운드에서 스케줄러 하나가 째깍거리며 각 피드에 "지금 돌 차례인가?" 하나만 묻습니다. 차례가 된 피드는 작고 지루한 파이프라인 하나를 거칩니다. 이걸 이해하면 UI에서 보이는 모든 게 설명됩니다.

한 번의 틱에서 벌어지는 일

  1. 스케줄

    스케줄러가 각 피드를 주기와 대조합니다. 차례가 된 피드만 돌고 나머지는 기다립니다. 피드는 그 워크스페이스가 열려 있을 때만 돌아갑니다. 닫으면 아무것도 폴링하지 않습니다. 여기에 더해, 분 단위(5–30분) 피드는 라이브 창이 켜져 있어야 돕니다. 시간별·일별 피드는 창과 무관하게 예약대로 계속 수집합니다(바로 아래에서 설명).

  2. 가져오기

    커넥터가 소스를 당겨옵니다. RSS/Atom 피드, GDELT 뉴스 질의, SEC EDGAR 공시 스트림, 시세 엔드포인트 등. 조건부 요청이라 바뀐 게 없는 소스는 비용이 거의 0입니다.

  3. 중복 제거

    모든 항목을 이미 기록된 것과 대조합니다. 본 적 있는 항목은 추출 전에 여기서 걸러집니다. 이 판정은 워크스페이스 전체에 걸쳐서, 겹치는 두 피드가 같은 기사를 물어와도 이미 있는 노트를 가리킬 뿐 같은 문서를 두 번 쓰지 않습니다. 바쁜 피드가 그래프를 뒤덮지 못하게 하는 볼륨 방어선입니다.

  4. 기록

    진짜 새 항목은 live/ 폴더에 노트로 쓰이고(추출 대기열에 올라갑니다), 숫자라면 관측치 저장소에 덧붙습니다. 어느 쪽이든 다시 들르지 않아도 나타납니다.

실시간 데이터가 돌아오는 곳은 엔티티 프로필 페이지입니다. "외부 신호" 섹션에 팔로우·가격 추적·지금 웹에서 찾아보기가 모여 있습니다.

카탈로그, 그리고 내 피드

왼쪽 사이드바에서 "실시간 피드"를 엽니다(명령 팔레트나 macOS Go 메뉴로도 됩니다). "소스 추가"를 열면 뉴스·금융·연구·소셜 등 8개 카테고리에 걸친 약 60개의 내장 소스가 나옵니다. 대부분은 키가 필요 없어 바로 기록됩니다. 몇몇(주가용 Finnhub 등)은 무료 API 키를 요구하는데, 발급 링크와 안내가 연결 다이얼로그 안에 바로 있습니다.

카탈로그에 없나요? 맨 위의 점선 "내 피드 추가" 박스가 어떤 RSS·Atom URL이든 받습니다. 붙여넣고 "추가"를 누르면 다른 피드와 똑같은 피드가 되고, 파일 트리에 live/ 폴더가 생겨 노트를 담습니다.

피드는 워크스페이스별이고, 열어 둔 동안에만 돌아갑니다

피드는 그것을 추가한 워크스페이스에 속하고, 그 워크스페이스가 열려 있을 때만 폴링합니다. 앱이 닫혀 있을 때 도는 글로벌 백그라운드 크롤러 같은 건 없습니다.

기록된 노트는 추가 전용입니다. 피드를 꺼도(또는 엔티티를 언팔로우해도) 이미 쓴 노트는 남고 새 노트만 멈추며, 무엇을 봤는지 기억하는 중복 제거 장부도 함께 남습니다. 그래서 나중에 다시 켜면 그동안의 소스를 통째로 다시 기록하지 않고 새 항목부터 이어 갑니다.

언제 받을지: 라이브 창

실시간이라고 해서 앱이 켜진 내내 분 단위로 쏟아질 필요는 없습니다. 타이틀바 오른쪽, 엔티티 테이블 버튼 왼쪽의 안테나 버튼이 그 수도꼭지입니다. 눌러서 끄기 · 30분 · 1시간 · 4시간 · 오늘 자정까지 · 항상 켜기 중에 고르면, 그동안만 분 단위 피드가 새 항목을 당겨옵니다.

실시간과 예약 수집은 다릅니다

분 단위 피드(5·15·30분 주기)는 라이브 창이 켜져 있는 동안에만 폴링합니다. 잠깐 지켜보고 싶을 때 켜고, 끄면 조용해집니다. 기본값은 꺼짐이라, 앱을 열어 뒀다고 데이터가 하염없이 밀려들지 않습니다.

시간별·일별 피드는 예약 수집입니다. 라이브 창과 무관하게, 워크스페이스가 열려 있으면 주기대로 돕니다. "매일 아침 한 번 훑기" 같은 리듬은 창을 켜 둘 필요가 없습니다. 피드 목록의 라이브/예약 칩이 각 피드가 어느 쪽인지 알려 줍니다.

라이브 창이 꺼져 있는데 분 단위 피드가 대기 중이면, 안테나 버튼에 대기 개수 배지가 뜨고(활동센터 알림 개수와 같은 방식) 피드 탭 상단에도 켜라는 배너가 보입니다. 조용한 '꺼짐'이 실수로 방치되지 않도록 하는 장치입니다.

엔티티를 팔로우해 뉴스 받기

아무 엔티티의 프로필 페이지를 열고 "외부 신호"를 찾으세요. "뉴스 팔로우" 버튼은 그 엔티티에 묶인 뉴스 피드를 만듭니다. 내부적으로는 엔티티 이름에 대한 질의라서, 그에 관한 소식이 live/ 폴더와 그래프로 흘러 들어옵니다.

다시 누르면 언팔로우되어 피드가 꺼지고 노트는 남습니다. 지우는 게 아니라 꺼 두는 것이라, 나중에 다시 팔로우하면 같은 소식을 처음부터 중복으로 담지 않고 이어서 받습니다. 알맞은 소스를 뒤지지 않고도 회사·인물·제품 하나를 최신으로 유지하는 가장 빠른 길입니다.

시세를 스파크라인으로 추적하기

같은 "외부 신호" 섹션에 "가격 추적"이 있고 "주식 / 암호화폐" 토글이 붙어 있습니다. 크립토는 키가 필요 없는 소스라 BTC 같은 심볼만 있으면 됩니다. 주식은 Finnhub를 쓰므로 처음 한 번만 무료 API 키를 붙여넣습니다. 키는 운영체제 키체인에 저장되어 이후 모든 티커에 재사용되니, 다시 입력할 일이 없습니다.

  • 추적하는 시세마다 스파크라인이 최신 값과 시작 이후 변동폭과 함께 그려집니다. 첫 표본은 즉시 뜨고, 표본이 쌓이며 추세선이 채워집니다.
  • 표본 간격은 직접 고릅니다. 5분, 15분, 1시간, 매일(기본 15분). 5·15분은 라이브 창이 켜져 있을 때 표본을 뜨고, 1시간·매일은 예약 수집이라 창과 무관하게 돕니다. 편집기를 다시 열면 이미 고른 간격이 미리 선택되어, 조용히 초기화되는 일이 없습니다.
  • 시세는 관측치라는 점을 기억하세요. 별도 저장소의 시계열이라 그래프를 어지럽히지 않습니다.

모든 피드에서 키워드 감시하기

"실시간 피드" 하단의 "키워드 감시"가 감시 규칙을 추가합니다. 제품명·경쟁사·문구 같은 용어를 입력하면, 어떤 피드든 매칭되는 항목을 기록할 때마다 알림이 뜹니다(감시: "Nvidia"). 클릭하면 그 노트로 바로 이동합니다. 피드의 홍수와, 정작 신경 쓰는 딱 하나만 알림으로 받는 것의 차이입니다.

피드를 추가하고 엔티티를 팔로우해 보기

  1. 왼쪽 사이드바에서 "실시간 피드"를 엽니다. 점선 "내 피드 추가" 박스에 즐겨 읽는 RSS URL(예: 뉴스 사이트 피드)을 붙여넣고 "추가"를 누릅니다.
  2. 파일 트리에 live/ 폴더가 생기고 안에 노트가 도착하는 걸 지켜보세요. 하나 열어 헤드라인·출처·시각을 확인합니다.
  3. 이제 엔티티 프로필 페이지를 열고 "외부 신호"에서 "뉴스 팔로우"를 누릅니다.
  4. 잠시 후 엔티티의 신호 리스트와 live/ 폴더에서 첫 소식들을 확인합니다.

피드 노트가 live/에 떨어져 그래프로 추출되고, 팔로우한 엔티티는 그에 묶인 소식을 모으기 시작합니다. 전부 손으로 폴링하지 않고요.

한눈에 지켜보는 곳

지식그래프 뷰에는 자체 "외부 신호" 패널이 있어, 최근 피드 항목을 소스별로 묶어 보여줍니다. 노트를 하나씩 열지 않고도 도착한 걸 훑을 수 있습니다.

피드를 걸기까지는 아니고 그냥 신선한 답 하나가 필요할 땐, 엔티티 페이지의 "지금 웹에서 찾아보기"를 쓰세요. 워크스페이스로 클립할 수 있는 일회성 웹 검색으로, "외부 신호"에서 피드와 나란히 있습니다.

이게 전부입니다. 일정, 가져오기, 중복 제거 게이트, 그다음 노트 아니면 숫자. 노트는 지금까지 쌓아 온 바로 그 그래프로 흘러 들어갑니다. 그래서 다음 질문에서 에이전트는 오늘 아침에 일어난 일까지 추론할 수 있습니다.

다음은 연구·독서·결정을 하나로 잇는 첫 실전 레시피입니다.

피드·뉴스·시세 수집