magma-collect — 커머스 수집·적재 파이프라인

목적

남성 패션 시장 데이터(리얼 축)를 세 소스에서 수집해 하나의 정규 스키마로 적재한다. 소스마다 주는 필드가 다르다 — 그 차이를 감추지 않고 nullable로 기록하는 것이 이 스킬의 설계 철학이다.

수집 윤리 (필수 준수)

• 공개 화면의 집계 수치(가격·할인율·리뷰 수·평점·랭킹)만 수집한다.
• 리뷰 본문, 작성자명 등 저작물·개인정보성 데이터는 수집하지 않는다.
• 키워드당 1~2페이지, 소스당 상위 50개 이내로 제한한다. 반복 대량 요청을 하지 않는다.
• 교육 목적 수집임을 전제로 하며, 수집 결과를 상업적으로 재배포하지 않는다.

절차

1. 수집 대상 확인: 사용자에게 키워드(예: 남성셔츠)와 소스(기본: 무신사+네이버+쿠팡)를 확인받는다.
2. 수집: references/site-field-map.md의 소스별 URL 패턴과 필드 추출 규칙을 따라

Bright Data 도구(scrapeasmarkdown 계열)로 목록 페이지를 가져와 필드를 추출한다. - 11번가·29cm은 전면 JS 렌더라 이 방식으로 수집되지 않는다(실측 2026-07-26). 시도하지 않는다. - 광고 상품은 is_ad=true로 표시해 포함한다(제외하지 않는다 — 정제 단계의 재료).

1. CSV 생성: 정규 스키마(아래) 순서 그대로 collected_products.csv를 만든다.

소스에 없는 필드는 빈 값으로 둔다(예: 쿠팡의 rating).

1. 검증: python3 scripts/validatecsv.py collectedproducts.csv 를 실행해

컬럼·타입·범위 검사를 통과시킨다. 실패 행은 고치거나 사유와 함께 제외 보고한다.

1. 컨펌 게이트: 소스별 수집 건수·샘플 5행·검증 결과를 사용자에게 보여주고

적재 승인을 받는다. 승인 전에 데이터베이스에 쓰지 않는다.

1. 적재: references/schema.sql의 collected_products 테이블에 insert 하고,

적재 후 소스별 count를 조회해 CSV와 대조 보고한다.

정규 CSV 스키마 (컬럼 순서 고정)

규칙

• 스키마 컬럼을 임의로 추가·개명하지 않는다(강의 화면과 어긋난다). 확장이 필요하면 사용자에게 먼저 묻는다.
• 수집 실패(차단·구조 변경) 시 실패 소스를 정직하게 보고하고, 성공한 소스만으로 진행할지 확인받는다.
• 원본 마크다운 응답은 임시 파일로만 두고 저장소·DB에 넣지 않는다.