안녕하세요, 오픈타임 박실장입니다.
오늘은 SEO를 시작하는 분들이 꼭 알아야 할 기초 중의 기초,
바로 robots.txt에 대해 말씀드리려 합니다.
혹시 사이트를 만들었는데 구글 검색에 안 잡히시나요?
그렇다면 robots.txt 파일이 잘못 설정되어 있을 가능성이 높습니다.
robots.txt란?
robots.txt는 검색 엔진 크롤러에게 사이트의 어느 부분을 크롤링해도 되는지 알려주는 파일입니다.
사이트의 루트 디렉토리 (example.com/robots.txt)에 위치하며,
다음과 같은 간단한 구조를 가지고 있습니다:
txt복사편집User-agent: *
Disallow: /private/
Allow: /private/open/
Sitemap: https://example.com/sitemap.xml
User-agent: 어떤 봇에게 적용할지 지정Disallow: 크롤링을 막고 싶은 경로Allow: 크롤링을 허용할 예외 경로Sitemap: 사이트맵 URL을 함께 명시하여 구조 전달
왜 robots.txt가 중요한가요?
1. 검색엔진의 효율적인 크롤링 유도
크롤러가 중요하지 않은 페이지까지 모두 수집하면,
정작 중요한 페이지의 크롤링이 지연될 수 있습니다.
robots.txt로 크롤링 경로를 제한하면 크롤링 효율을 높일 수 있습니다.
2. 민감한 페이지 제외 가능
- 로그인 페이지
- 관리자 페이지
- 결제 이력 등
검색엔진 노출을 원치 않는 경로는Disallow로 차단해두는 것이 좋습니다.
3. SEO 평가 지표에 긍정적인 신호 제공
robots.txt 설정은 검색엔진이 사이트 구조를 더 명확히 이해하도록 도와주며,
사이트 신뢰도에 긍정적인 영향을 줄 수 있습니다.
robots.txt 구성 방법
🔹 특정 디렉터리 차단
txt복사편집User-agent: *
Disallow: /admin/
🔹 전체 사이트 차단
txt복사편집User-agent: *
Disallow: /
전체 차단은 개발 중이거나 외부 노출을 막아야 할 때만 사용하세요.
🔹 전체 허용
txt복사편집User-agent: *
Disallow:
추가 명령어와 팁
✔ Allow
특정 디렉터리만 차단하고, 그 안의 일부만 허용할 수 있습니다.
txt복사편집Disallow: /private/
Allow: /private/guide.html
✔ Crawl-delay
크롤링 간격 설정 (일부 검색엔진만 지원)
txt복사편집Crawl-delay: 10
✔ Sitemap
사이트맵을 명시하면 크롤러가 페이지 구조를 더 빠르게 이해합니다.
txt복사편집Sitemap: https://example.com/sitemap.xml
robots.txt 적용 여부 확인하는 법
- 주소창에
도메인/robots.txt입력
예:https://opentime.co.kr/robots.txt - 또는 구글 서치 콘솔에서 확인
- “크롤링 → robots.txt 테스트 도구” 사용
- 크롬 확장 도구 사용
- SEO META in 1 CLICK
- Detailed SEO Extension 등
robots.txt 설정 시 주의사항
Disallow설정이 검색 노출을 완전히 막는 건 아닙니다.
단순히 크롤링만 막을 뿐, 외부 링크가 있다면 인덱싱될 수 있습니다.- 중요한 페이지가 Disallow로 차단되어 있는지 꼭 확인하세요.
의도치 않은 차단은 검색 트래픽 손실로 이어질 수 있습니다. - 민감 정보 보호용으로 사용하지 마세요.
보안은robots.txt가 아닌 **서버 설정(로그인, 권한 제한)**으로 관리해야 합니다.
마지막으로, robots.txt 이스터에그도?
일부 사이트는 재미있는 메시지를 숨겨두기도 합니다.
예: YouTube의 robots.txt
bash복사편집#90년대 중반 로봇 봉기 이후 생성됨.
#안녕, 로봇! 잘 부탁해.
검색엔진 크롤러만 보는 파일에도 센스가 녹아있는 모습이죠 😊
