3-1. 어떤 데이터를 어디서
가설이 서면 데이터는 따라옵니다. 한국엔 의외로 공개된 공공·민간 데이터가 많아요. 도메인별로 어떤 소스가 어떤 신호를 잡는지 — 카탈로그로 익혀두면 다음 분석에서 바로 꺼내 씁니다.
1. 신호의 3종 — 무엇을 잡고 싶나
관심 (Interest)
사람들이 검색하나? SNS에 올리나? 검색·트렌드·SNS 언급이 잡힘.
실제 (Behavior)
실제로 가나? 사나? 이용하나? 방문·판매·이용·승하차 같은 행동 데이터.
동인 (Driver)
왜 그런가? 인프라·이벤트·정책·미디어 같은 외부 변수.
가설 검증은 가능한 한 세 종류 신호를 엮어서. 한 종류만 보면 편향에 빠지기 쉬워요.
2. 한국 공공·민간 데이터 — 핵심 카탈로그
data.go.kr (공공데이터포털)
한국 정부의 공식 API 관문. 활용신청만 하면 무료. 한국관광 데이터랩(방문)·코레일(철도)·통계청·기상청 등 수천 개. TOUR_API_KEY 한 개로 여러 서비스.
네이버 데이터랩
한국 검색·쇼핑 트렌드. 검색어 트렌드는 키워드 그룹·연령·기기별 분해. 쇼핑인사이트는 카테고리별. NAVER_ID/SECRET 발급.
네이버 검색 API
블로그·뉴스·카페 검색. 누적 글 수(total) 뽑기 좋음. 주의: 1000건 상한 · 날짜필터 X → 시계열 어렵고 cross-section만.
구글트렌드
pytrends로 키 없이. 한국·전세계 비교 가능. 저볼륨 키워드는 월별 노이즈(0과 스파이크 혼재) — 멀티이어 추세에만 신뢰.
서울 열린데이터광장
서울시 데이터. 생활인구·지하철 승하차·상권 분석 등 도시 상권 분석에 강력. 무료.
KOSIS (통계청)
인구·경제·산업 공식 통계. 시계열·연도별 표 다운로드. 인구 보정 등 메타 통계에 필수.
Apify (스크래핑)
인스타·웹 스크래퍼. $5 free 크레딧. 최근 ~1개월만 — 시계열 증명 못함, 정체성 확인용으로만.
도메인별 추가
출판(알라딘 API·KPIPA·도서관정보나루) · 스포츠(KBO 기록) · 상권(서울 상권분석) · 부동산(국토부 실거래가) 등.
3. 신호 ↔ 소스 매핑 (관광 예)
| 신호 | 소스 | 비고 |
|---|---|---|
| 관심 | 네이버 데이터랩 검색 | 한국 패널 큼·연령별 가능 |
| 관심 | 구글트렌드 | 멀티이어 보조 |
| 관심(SNS) | 네이버 블로그·Apify 인스타 | cross-section만 |
| 실제(방문) | 한국관광 데이터랩 | 시군구까지(동단위 X) |
| 실제(이동) | 코레일 카리지 통계 | 역별 노선별 |
| 동인 | 언론·정책·이벤트 기록 | 맥락 확인용 |
4. 키 관리의 정석 — .env
키를 코드에 하드코딩하면 깃에 올릴 때 사고. .env 파일에 모으고 코드에선 환경변수로 읽기가 원칙.
# .env (gitignore에 추가)
TOUR_API_KEY=...
NAVER_ID=...
NAVER_SECRET=...
# Python에서
import os
KEY = os.environ["TOUR_API_KEY"]
5. data.go.kr 함정 두 개 — 미리 알고 가기
- 디코딩 키 사용 — '인증키(Decoding)'을 그대로. 인코딩 키 쓰면 requests가 이중 인코딩해 403.
- User-Agent 헤더 필수 — 헤더 없으면 403.
{"User-Agent": "Mozilla/5.0 ..."}항상. - 발급 후 1~2시간 키 전파 지연 — 처음 호출 실패해도 잠시 후 재시도.
★ 핵심. 가설이 정해지면 카탈로그에서 관심·실제·동인 각 하나씩 골라 시작. 한 소스로 답이 나와도 의심하고 다른 소스로 교차검증하는 게 분석가의 일.