블로그스팟, 설정<-robots.txt 하기

prfparkst
By -
0

블로그스팟,  설정<-robots.txt 하기

1. 현재 https://ganatoday.kr/robots.txt 에서 확인되는 내용

다음과 같습니다:
User-agent: *
Allow: /
Disallow: /search
Disallow: /feeds
Sitemap: https://ganatoday.kr/sitemap.xml
이 설정은 Blogger 사이트에 적합한 매우 안전한 기본 설정입니다.
현재 상태 평가
항목
상태
의미
전체 경로 (/)
Allow
대부분의 페이지 크롤링 허용
/search
Disallow
검색 결과 페이지 차단 (정상)
/feeds
Disallow
RSS/피드 페이지 차단 (정상)
실제 게시물 페이지
허용
/2026/02/2026-3.html 같은 글 URL은 차단되지 않음
사이트맵
명시됨
구글이 sitemap.xml을 쉽게 찾을 수 있음
→ 이전에 문제였던 Disallow: /? 같은 위험한 규칙이 완전히 사라졌습니다.

2. 지금 해야 할 다음 단계 (순서대로)

  1. robots.txt 변경이 구글에 반영될 때까지 10~60분 정도 기다리기
    (구글은 robots.txt를 자주 캐싱하기 때문에 바로 반영되지 않을 수 있습니다)
  2. 구글 서치 콘솔에서 다시 검사
    다음 URL을 넣고 라이브 테스트(Live Test) 실행해보세요: 확인해야 할 포인트:
    • “robots.txt에 의해 차단됨” 메시지가 사라졌는지
    • 크롤링 허용 여부가 예로 바뀌었는지
    • 페이지가 색인될 수 있음 또는 색인 가능 같은 긍정적인 상태인지
  3. 색인 생성 요청 보내기
    라이브 테스트 결과가 정상(차단 안 됨)으로 나오면
    바로 색인 생성 요청 버튼을 눌러주세요.
    3~5개 정도 다른 글 주소로도 반복하면 좋습니다.
  4. 사이트맵 재제출
    서치 콘솔 → Sitemaps 메뉴
    https://ganatoday.kr/sitemap.xml
    → 이미 등록되어 있어도 제출 버튼을 다시 눌러 새로고침

3. 예상되는 진행 과정

  • 0~1시간 : robots.txt 변경 인지
  • 1~3일 : 구글이 다시 크롤링 시작
  • 3~14일 : 정상적인 게시물들이 서서히 색인됨
지금 당장 해볼 수 있는 빠른 확인지금 서치 콘솔에 들어가서
https://ganatoday.kr/2026/02/2026-3.html 을 다시 검사해보시고
라이브 테스트 결과가 어떻게 나오는지 알려주시면 좋겠습니다.가능한 결과 예시와 대응:
  • “robots.txt에 의해 차단됨” → 아직 캐시가 남아있음 → 1~2시간 더 기다려보세요
  • “크롤링은 허용되지만 다른 이유로 색인 제외” → 추가 원인 분석
  • “페이지가 색인될 수 있음” → 성공 → 색인 요청 누르기

4. 현재 색인 진행 상황 & 지금 당장 할 수 있는 일

Bing에서 이미 57개 페이지가 잡혔습니다.
→ 사이트가 크롤링·색인 가능한 상태라는 강력한 증거입니다.

구글은 보통 Bing보다 조금 늦게 반영됩니다.
지금 단계에서는 추가 요청을 최소화하고 기다리는 것이 가장 효과적입니다.

5. 지금 당장 할 수 있는 일 (추천 순서)

  1. 구글에서 site: 검색 해보기
    구글 검색창에 아래를 입력하세요
    site:ganatoday.kr

    → 현재 몇 개가 나오는지 확인해보세요.
    Bing보다 늦게 나올 수 있지만, 이미 1~2개라도 나오면 색인이 본격 시작된 신호입니다.
  2. 홈페이지 검사 다시 한 번
    서치 콘솔 → URL 검사 → https://ganatoday.kr/
    상태가 아래와 같은지 확인하세요
    • “URL을 Google에 등록할 수 있음”
    • “페이지 색인 생성 가능”
  3. 아직 요청 안 한 중요한 페이지 2~3개만 추가 요청
    추천 대상:
    • 홈페이지
    • 가장 최근 글 1개
    • 조회수가 높은 인기글 1개
    → 너무 많이 하지 말고 최대 2~3개만 걸어두세요.
  4. 기다리면서 지켜보기
    • 매일 1번씩 site:ganatoday.kr 검색 결과 숫자 변화 확인
    • 서치 콘솔 → 페이지 메뉴에서 “색인된 페이지” 수가 서서히 늘어나는지 보기
예상 기간
앞으로 3~7일 정도만 더 지켜보시면
구글 검색에서도 점점 페이지가 늘어나는 걸 보실 수 있을 겁니다. 🚀
Tags:

댓글 쓰기

0댓글

댓글 쓰기 (0)