## 웹 크롤링 복붙 프롬프트 모음
## 제5회 문과코딩 워크숍 · 4일차 · 2026. 8. 27.(목) · 이문혁


[사용법]

· 아래 프롬프트를 그대로 복사해 Claude Code / Codex / Gemini CLI 입력창에 붙여넣으세요.

· <꺾쇠> 부분만 본인 것으로 바꿔 넣으세요.

· 시작하기 전에: VS Code에서 File > Open Folder 로 다운로드 폴더 안의 mypython 을 열고,
  Terminal > New Terminal 에서 claude 를 실행하세요.
  (Codex 는 codex, Gemini CLI 는 gemini)

· ★ 새 대화를 시작하면 아래 [0-1] 을 먼저 붙여넣으세요.
  뒤의 프롬프트들이 짧은 것은 그 규칙이 이미 깔려 있다고 보기 때문입니다.

· ★ 0건이 나오면 성공이 아닙니다. 몇 건이 나왔는지 반드시 눈으로 확인하세요.


================================================================
0. 맨 처음에 한 번 — 작업 규칙 정하기
================================================================

새 대화를 열 때마다 이것부터 붙여넣습니다.
한 번 넣어 두면 그 대화 안에서는 계속 적용됩니다.


[0-1] 작업 규칙                   ★ 대화를 시작할 때마다
----------------------------------------------------------------
지금부터 웹에서 자료를 모으는 작업을 할 거야.
아래 규칙을 이 대화 내내 지켜 줘.

[코드]
· 코딩을 처음 하는 사람이 읽는다고 생각하고, 주석은 한국어로 써 줘.
· 변수 이름은 알아보기 쉽게 지어 줘.
· 코드만 주고 끝내지 말고 반드시 실행해서 결과를 보여 줘.
· 수집 결과는 엑셀(.xlsx)로 저장하되, 파일 이름 끝에 수집 날짜를 붙여 줘.
· 저장한 경로와 파일 이름을 메시지로 출력해 줘. 지금 열려 있는 폴더에 저장해 줘.
· 표는 몇 행인지와 앞뒤가 보이게 출력해 줘.

[방법을 고르는 순서]
· 먼저 정적인지 동적인지 확인해 줘.
  페이지를 그대로 받아서 값이 있으면 그대로,
  값이 나중에 채워지면 그 값이 오는 주소를 찾아서,
  클릭이나 스크롤을 해야 나오면 브라우저를 띄워서 해 줘.
· 값이 나중에 채워지면, 그 값이 오는 요청을 그대로 다시 보내 보는 것까지
  먼저 시도해 줘. 토큰·세션이 필요해 보여도 빈 값으로 먼저 해 보고,
  안 되는 것을 확인한 뒤에 다음 방법으로 가 줘.
· 브라우저를 띄우는 것은 마지막 수단이야.
· 브라우저를 띄울 때는 창이 보이게 해 줘(headless 끄기).
· 선택자(class·id)는 추측하지 말고, 실제 HTML을 받아 확인한 뒤에 써 줘.

[결과 확인]
· 0건이면 성공으로 처리하지 말고 원인을 찾아 줘.
· 특정 열만 전부 비어 있으면 그 선택자가 틀린 것으로 보고 다시 확인해 줘.
· 화면에 보이는 개수와 수집된 개수가 다르면 그 사실을 먼저 알려 줘.
· 같은 방법을 세 번 이상 되풀이하지 말고, 세 번째부터는 다른 접근을 제안해 줘.
· 사이트가 막은 것인지(403·429) 코드가 틀린 것인지 구분해서 알려 줘.
· 실행하지 않은 채 "동작할 것"이라고 말하지 말아 줘.
----------------------------------------------------------------


================================================================
1. 코랩에서 한 것을 AI로 다시 해 보기
================================================================

코랩에서 코드로 한 일을 말로 시켜 봅니다.
괄호 안 숫자가 정상 결과입니다. 다르면 AI가 어딘가 틀린 것입니다.


[1-1] Yes24 베스트셀러          (정상 = 24권)
----------------------------------------------------------------
https://www.yes24.com/product/category/bestseller?categoryNumber=001
이 페이지에서 베스트셀러의 순위, 제목, 지은이, 출판사, 출간일, 가격 을 수집해서
yes24_best_260827.xlsx 로 저장해 줘.

끝내지 말고 실행해서 몇 권이 수집됐는지와 상위 5행, 마지막 5행을 보여 줘.
----------------------------------------------------------------


[1-2] 멜론 TOP100               (정상 = 100곡)
----------------------------------------------------------------
https://www.melon.com/chart/index.htm
이 페이지에서 TOP100 차트의 순위, 곡명, 아티스트, 앨범 을 수집해서
melon_top100_260827.xlsx 로 저장해 줘.

끝내지 말고 실행해서 몇 곡이 수집됐는지와 상위 5행, 마지막 5행을 보여 줘.
----------------------------------------------------------------


[1-3] 메가박스 영화목록          (정상 = 20편)
----------------------------------------------------------------
https://www.megabox.co.kr/movie
이 페이지에서 영화 목록의 순위, 제목, 예매율, 개봉일 을 수집해서
megabox_movies_260827.xlsx 로 저장해 줘.

끝내지 말고 실행해서 몇 편이 수집됐는지와 상위 5행, 마지막 5행을 보여 줘.
----------------------------------------------------------------


[1-4] KOBIS 실시간 예매율        (정상 = 300행 이상)
----------------------------------------------------------------
https://www.kobis.or.kr/kobis/business/stat/boxs/findRealTicketList.do
이 페이지의 실시간 예매율 표를 수집해서 kobis_realtime_260827.xlsx 로 저장해 줘.

끝내지 말고 실행해서 몇 행이 수집됐는지와 상위 10행을 보여 줘.
(이 표는 뒤쪽에 예매 1명짜리가 길게 이어져서 앞쪽만 봄)
----------------------------------------------------------------


[1-5] 네이버뉴스                 (정상 = 지정한 건수. 그 기간 기사가 적으면 그만큼)
----------------------------------------------------------------
네이버 뉴스 검색 결과를 수집하고 싶어.
검색어는 <올림픽>, 언론사는 <전체>, 기간은 <2026-08-20 ~ 2026-08-27>, 최신순으로
<30>건만 모아서 <검색어>_<언론사>_news_260827.xlsx 로 저장해 줘.
제목, 언론사, 작성일시, 기사 주소 를 넣어 줘.
작성일시는 "3시간 전" 같은 상대시각 말고 정확한 날짜·시각으로 넣어 줘.

끝내지 말고 실행해서 몇 건이 수집됐는지와 상위 5행, 마지막 5행을 보여 줘.
----------------------------------------------------------------


================================================================
2. 아무 사이트나 — 내가 하고 싶은 곳
================================================================

★ 여기서부터가 오늘 집에 가져갈 것입니다.
  사이트마다 프롬프트를 새로 만들 필요 없이 아래 하나면 됩니다.


[2-1] 기본 크롤링 프롬프트 ★     정적이든 동적이든 상관없음
----------------------------------------------------------------
<여기에 주소를 넣으세요> 이 페이지에서
<가져오고 싶은 것을 적으세요> 를 수집해서
<파일이름>.xlsx 로 저장해 줘.

먼저 이 페이지가 정적인지 동적인지 확인해 줘.
  · 정적이면 requests 와 BeautifulSoup 으로,
  · 값이 나중에 채워지면 그 값이 오는 주소를 찾아서,
  · 클릭이나 스크롤을 해야 나오면 브라우저를 띄워서 해 줘.

끝내지 말고 실행해서 몇 건이 수집됐는지와 상위 5행, 마지막 5행을 보여 줘.
----------------------------------------------------------------


[2-2] 스크롤·클릭해야 나오는 페이지     코랩이 못 하는 것
----------------------------------------------------------------
<여기에 주소를 넣으세요> 이 페이지는 아래로 스크롤해야 항목이 더 나와.

브라우저를 실제로 띄워서 30개쯤 나올 때까지 스크롤한 다음
<제목과 링크> 를 엑셀로 모아 줘.

창이 보이게 해 줘(headless 끄기). 스크롤할 때마다 몇 개가 됐는지 알려 줘.
30개를 넘기지 말고, 무한 반복되지 않게 최대 횟수를 정해 줘.
----------------------------------------------------------------


================================================================
3. 모은 다음 — 수집이 끝이 아닙니다
================================================================

[3-1] 더 가져올 수 있는 게 뭔지 물어보기     두 번에 나눠 시킴
----------------------------------------------------------------
(1턴)
아까 만든 수집 코드를 다시 보자.
지금 가져오는 것 말고 이 페이지의 HTML에 어떤 값이 더 들어 있는지
실제로 확인해서 목록으로 알려 줘. 아직 코드는 고치지 말고 알려 주기만 해 줘.

(2턴 — 1턴 답변을 보고 고른 뒤)
그중에서 <고른 것> 을 열로 추가해서 다시 수집해 줘.
파일은 <파일이름>_확장.xlsx 로 따로 저장해 줘.
----------------------------------------------------------------


[3-2] 통계 내고 그림 그리기
----------------------------------------------------------------
방금 만든 <파일이름>.xlsx 를 열어서 아래를 알려 줘.
- <가장 많은 것 상위 10개와 각각 몇 개인지>
- <중복이 있는지>
표로 정리해서 보여 주고 결과도 엑셀로 저장해 줘.

이어서 그 상위 10개를 가로 막대그래프로 그려서 png 로 저장해 줘.
한글이 네모로 깨지지 않게 한글 폰트를 설정해 줘.
그래프 제목과 축 이름도 한국어로 넣어 줘.
----------------------------------------------------------------


================================================================
4. 막혔을 때 하는 말
================================================================

프롬프트보다 실제로 더 자주 쓰게 됩니다. 그대로 말하면 됩니다.


· 0건이 나왔을 때
  "0건이야. 실제 HTML을 받아서 선택자를 다시 확인해 줘."

· 결과가 이상할 때
  "첫 행과 마지막 행을 그대로 보여 줘. 화면이랑 비교하고 싶어."

· 뭘 하는지 모르겠을 때
  "지금 무슨 일을 하고 있는지 한국어로 한 줄씩 설명해 줘."

· 브라우저 창이 안 보일 때
  "창이 보이게 headless 를 끄고 다시 실행해 줘."

· 같은 에러가 반복될 때
  "지금까지 시도한 방법을 정리하고, 다른 접근을 제안해 줘."

· 코드가 너무 길어질 때
  "지금 단계까지만 되게 하고 멈춰 줘. 확인하고 다음을 시킬게."

· 코드만 주고 끝낼 때
  "코드만 주지 말고 실제로 실행해서 결과를 보여 줘."

· 파일을 못 찾을 때
  "지금 폴더의 전체 경로와 파일 목록을 보여 줘."

· 사이트가 바뀌어 안 될 때
  "이 코드가 전에는 됐는데 지금은 0건이야.
   지금 HTML을 받아서 선택자를 다시 확인하고 고쳐 줘."
