모듈 1 · CH03 데이터 소스

3-1. 어떤 데이터를 어디서

CH03 강의 영상 · 전체 4:46

가설이 서면 데이터는 따라옵니다. 한국엔 의외로 공개된 공공·민간 데이터가 많아요. 도메인별로 어떤 소스가 어떤 신호를 잡는지 — 카탈로그로 익혀두면 다음 분석에서 바로 꺼내 씁니다.


1. 신호의 3종 — 무엇을 잡고 싶나

관심 (Interest)

사람들이 검색하나? SNS에 올리나? 검색·트렌드·SNS 언급이 잡힘.

실제 (Behavior)

실제로 가나? 사나? 이용하나? 방문·판매·이용·승하차 같은 행동 데이터.

동인 (Driver)

왜 그런가? 인프라·이벤트·정책·미디어 같은 외부 변수.

가설 검증은 가능한 한 세 종류 신호를 엮어서. 한 종류만 보면 편향에 빠지기 쉬워요.

2. 한국 공공·민간 데이터 — 핵심 카탈로그

data.go.kr (공공데이터포털)

한국 정부의 공식 API 관문. 활용신청만 하면 무료. 한국관광 데이터랩(방문)·코레일(철도)·통계청·기상청 등 수천 개. TOUR_API_KEY 한 개로 여러 서비스.

네이버 데이터랩

한국 검색·쇼핑 트렌드. 검색어 트렌드는 키워드 그룹·연령·기기별 분해. 쇼핑인사이트는 카테고리별. NAVER_ID/SECRET 발급.

네이버 검색 API

블로그·뉴스·카페 검색. 누적 글 수(total) 뽑기 좋음. 주의: 1000건 상한 · 날짜필터 X → 시계열 어렵고 cross-section만.

구글트렌드

pytrends로 키 없이. 한국·전세계 비교 가능. 저볼륨 키워드는 월별 노이즈(0과 스파이크 혼재) — 멀티이어 추세에만 신뢰.

서울 열린데이터광장

서울시 데이터. 생활인구·지하철 승하차·상권 분석 등 도시 상권 분석에 강력. 무료.

KOSIS (통계청)

인구·경제·산업 공식 통계. 시계열·연도별 표 다운로드. 인구 보정 등 메타 통계에 필수.

Apify (스크래핑)

인스타·웹 스크래퍼. $5 free 크레딧. 최근 ~1개월만 — 시계열 증명 못함, 정체성 확인용으로만.

도메인별 추가

출판(알라딘 API·KPIPA·도서관정보나루) · 스포츠(KBO 기록) · 상권(서울 상권분석) · 부동산(국토부 실거래가) 등.

3. 신호 ↔ 소스 매핑 (관광 예)

신호소스비고
관심네이버 데이터랩 검색한국 패널 큼·연령별 가능
관심구글트렌드멀티이어 보조
관심(SNS)네이버 블로그·Apify 인스타cross-section만
실제(방문)한국관광 데이터랩시군구까지(동단위 X)
실제(이동)코레일 카리지 통계역별 노선별
동인언론·정책·이벤트 기록맥락 확인용

4. 키 관리의 정석 — .env

키를 코드에 하드코딩하면 깃에 올릴 때 사고. .env 파일에 모으고 코드에선 환경변수로 읽기가 원칙.

# .env (gitignore에 추가)
TOUR_API_KEY=...
NAVER_ID=...
NAVER_SECRET=...

# Python에서
import os
KEY = os.environ["TOUR_API_KEY"]

5. data.go.kr 함정 두 개 — 미리 알고 가기

★ 핵심. 가설이 정해지면 카탈로그에서 관심·실제·동인 각 하나씩 골라 시작. 한 소스로 답이 나와도 의심하고 다른 소스로 교차검증하는 게 분석가의 일.

다음 클립
4-1 전처리·EDA — 데이터를 다듬고 보기
이어보기 →