robots.txt 란?
robots.txt은 구글 같은 검색엔진 봇이 내 사이트에서 어디는 들어와도 되고 어디는 들어오면 안 되는지 요청하는 텍스트 파일이에요.
구글 공식 문서에 따르면 robots.txt는 크롤러가 사이트에서 접근할 수 있는 URL을 알려주는 용도로 사용되고 주로 서버에 너무 많은 요청이 몰리는 걸 막기 위한 목적으로 씁니다. 쉽게 말해 봇한테 건네는 안내문 같은 거예요.
robots.txt 왜 중요한가요?
구글 봇이 사이트를 돌아다니는 경로를 내가 직접 조율할 수 있는 거의 유일한 파일이에요.
다만 구글 공식 문서에서도 robots.txt 규칙을 따를지 여부는 크롤러에 달려 있다고 명시하고 있어요. 강제로 막는 장치가 아니라 “이쪽은 오지 말아줘”라고 요청하는 신호에 가깝습니다. 구글봇은 이 신호를 잘 따르는 편이지만 모든 봇이 그런 건 아니에요.
robots.txt 언제 중요한가?
크롤러가 쓸데없는 페이지를 너무 많이 돌아다니지 않도록 정리해줄 필요가 있을 때 씁니다.
예를 들어 로그인 페이지 장바구니 페이지 내부 검색 결과 페이지처럼 검색 결과에 나와봤자 아무 의미 없는 URL들이 있죠. 사이트 소유자가 검색 결과에 나타날 만큼 중요하지 않은 페이지나 이미지 같은 리소스에 크롤 요청을 처리하느라 시간과 자원을 낭비하지 않도록 만들어두는 파일이에요. 그래서 작은 사이트라면 굳이 신경 쓰지 않아도 된다고 구글도 이야기하고 있어요.
robots.txt에 대해 잘못 알고 있는 사실
“robots.txt로 막으면 검색 결과에 안 나온다“는 게 가장 흔한 오해예요.
구글 공식 문서에서도 robots.txt는 페이지를 검색 결과에서 숨기는 수단이 아니라고 명시하고 있어요. 검색 결과에서 없애고 싶다면 noindex나 비밀번호 보호를 써야 합니다. robots.txt는 크롤링을 요청하는 신호일 뿐이고 인덱싱을 막는 기능은 없거든요.