크롤러란?
크롤러는 웹사이트를 자동으로 돌아다니며 페이지 내용을 수집하는 프로그램이에요.
구글에서는 크롤러를 “웹사이트를 자동으로 발견하고 스캔하는 모든 프로그램을 통칭하는 용어”라고 정의합니다. 업계에서는 로봇(Robot) 또는 스파이더(Spider)라고도 부르고 있습니다.
크롤러 왜 중요한가?
크롤러가 페이지를 읽어야 검색 결과에 올라갈 수 있습니다.
구글 검색에 노출되는 과정은 크롤링 → 인덱싱 → 랭킹 순서로 진행됩니다. 크롤러가 페이지를 방문하지 못하면 그 이후 단계는 아예 시작도 안 돼요. 아무리 좋은 글을 써도 크롤러가 못 읽으면 구글 입장에서는 존재하지 않는 페이지입니다. 구글의 크롤러 이름은 Googlebot이에요.
크롤러 언제 중요한가?
사이트 구조를 바꾸거나 새 콘텐츠를 올릴 때 크롤러가 제대로 접근할 수 있는지 확인해야 합니다.
robots.txt 파일 설정이 잘못되면 크롤러를 의도치 않게 차단할 수 있어요. 또 링크가 아예 없는 페이지는 크롤러가 발견하기 어렵습니다. 구글에서는 Googlebot은 이미 크롤링된 페이지에 삽입된 링크를 통해 새 URL을 발견하는 게 기본 방식이라고 말하고 있어요.
크롤러에 대해 잘못 알고 있는 사실
크롤러가 방문했다고 해서 검색 결과에 바로 노출되는 건 아닙니다.
크롤링과 인덱싱은 별개의 단계예요. 크롤러가 페이지를 읽더라도 구글이 색인에 추가하지 않기로 판단하면 검색 결과에 나타나지 않아요. noindex 태그가 있거나 콘텐츠 품질 기준에 미치지 못하는 경우가 대표적입니다. 크롤링은 검색 노출의 시작일 뿐 보장이 아닙니다.