크롤러빌리티 뜻
크롤러빌리티란 구글 검색 봇이 내 사이트 페이지를 얼마나 잘 찾아서 읽을 수 있는지를 나타내는 개념이에요.
참고로 구글 공식 문서에서는 “crawlability”라는 단어를 직접 쓰지 않고 “crawling(크롤링)”과 “crawlable(크롤 가능한)”이라는 표현을 씁니다. 크롤러빌리티는 업계에서 이 개념을 묶어 부르는 용어입니다.
크롤러빌리티 왜 중요한가?
크롤링이 안 되면 색인도 없고 순위도 없어요.
구글은 검색 봇(Googlebot)이 페이지를 발견하고 읽는 것을 검색 노출의 첫 번째 단계로 설명합니다. 아무리 좋은 콘텐츠를 써도 봇이 페이지를 읽지 못하면 검색 결과에 나타날 수 없어요.
크롤러빌리티 언제 중요한가?
새 페이지를 만들거나 사이트 구조를 바꿀 때 가장 먼저 확인해야 합니다.
특히 사이트 이전이나 대규모 페이지 추가 작업 후에는 구글이 새 URL들을 다시 처리하는 과정이 생기기 때문에 크롤링 관련 점검이 필요합니다. 구글도 공식 문서에서 사이트 이동 같은 이벤트가 발생하면 크롤 수요가 증가한다고 설명하고 있어요.
크롤러빌리티를 떨어뜨리는 주요 원인
크롤링을 막는 원인은 대부분 사이트 설정 실수에서 나옵니다. 구글 공식 문서 중 크롤링 오류에 대한 문서에서는 대표적인 원인은 네 가지예요.
robots.txt 차단
글 봇이 사이트에 오기 전에 가장 먼저 확인하는 파일이에요. 여기서 막히면 페이지 자체를 읽지 못합니다.
내부 링크 부재
구글 봇은 링크를 타고 페이지를 발견해요. 어디서도 링크가 걸려있지 않은 페이지는 봇이 찾아올 방법이 없어요. 업계에서는 이런 페이지를 고아 페이지(Orphaned Page)라고 불러요.
서버 에러
5xx 에러처럼 서버가 제대로 응답하지 못하면 봇이 페이지를 읽다가 그냥 떠나버려요.
중복 콘텐츠
구글은 크롤 예산(Crawl Budget) 라는 한정된 자원이 있기 때문에, 중복된 페이지가 많으면 봇이 거기에 시간을 다 써버려서 정작 중요한 페이지를 못 읽고 가는 상황이 생겨요.