Robots.txt 검사기 사용 방법- 테스트 사이트

websiteplanet 사이트의 robots.txt 검사기 사용 방법과 테스트 결과를 알아봅니다. 한국어 지원이 되며 사용법이 간단하고 쉽습니다.

글을 올리기에 앞서 저는 컴퓨터 관련 기계적인 지식이 별로 없습니다. 그러니 깊이 있는 질문이나 태클은 정중히 사양합니다.

구글블로그를 운영하다 보니 HTML, 구조 등 손 봐야 할 것도 많고 답답함에 부지런히 검색해서 하나 씩 알아가고 있는 형편입니다. 네이버, 다음, 티스토리는 사용자가 많아 그런지 정보가 다양하지만 구글블로그(블로거, 블로그스팟)는 정보 찾는 것도 쉽지가 않네요.

희망 사항 이라면 국내에서도 블로거 사용자가 많이 늘어 고수 분들이 정보 보따리를 풀어 놓기를 기다려 봅니다.

Robots.txt 파일을 검사하는 이유

아래 내용은 websiteplanet 사이트에 게시된 도움 글입니다. 영문 번역이라 매끄럽지 않는 부분도 있지만 이해하는데 큰 어려움은 없을 듯 합니다.

Robots.txt 파일에 문제가 있거나 robots.txt 를 전혀 보유하지 않을 경우에 SEO에 부정적인 영향을 끼쳐서 웹사이트가 검색 엔진 결과 페이지(SERPs)에 랭크되지 않을 수도 있습니다.

이는 관련 없는 콘텐츠가 크롤링 된 적이 있거나 중요한 콘텐츠 대신에 크롤링되는 리스크때문입니다.

웹사이트가 크롤링되기 전에 파일을 확인하면 모든 웹사이트 콘텐츠가 크롤링되고 인덱스되는 문제를 피해서 원하는 페이지만 크롤링 및 인덱스할 수 있습니다.

예를 들어, 구독 양식을 제출하거나 멤버 로그인 페이지 후에 액세스하길 원하는 페이지가 있는데, 이 페이지가 robot.tx 파일에 포함되어 있다면 인덱스될 수 있습니다.

Websiteplanet 홈페이지에 들어가면 영문으로 되어있습니다. 여러 국가의 언어를 지원하기 때문에 설정 가능하고, 다행히 한국어도 지원합니다.

영어가 짧아 한국어 버전으로 확인해 robots.txt 검사기 테스트를 진행해 보겠습니다. 우측 상단 언어를 클릭하면 한국어를 선택할 수 있습니다.

사이트 상단 카테고리 "도구" 그룹 중 "웹마스터 도구" 에서 "Robots.txt 체커"를 클릭해 검사를 진행할 수 있습니다.

그 외 사이트맵 테스트 검사기 등 다양한 도구 기능이 있으니 본인에게 필요한 항목을 테스트 할 수 있습니다.

검색창에 자신의 블로그 또는 사이트 주소 뒤에 robot.txt 를 입력합니다. 아래 그림은 세븐 포인트 주소 뒤에 입력 완료한 상태입니다.

세븐 포인트 블로그의 경우 오류가 2개 나왔네요. 본인 소유 사이트가 아니라도 검사를 할 수 있으니 관심 있는 사이트나 블로그 주소를 입력해도 됩니다. 주소 뒤에 robots.txt 입력은 꼭 해야 하고요.

Websiteplanet 사이트 링크입니다. 영문으로 접속 되니 한국어가 필요할 경우 언어 설정하면 됩니다. 연결이 안 될 경우 댓글 남겨 주시면 수정합니다.

Robots.txt 검사기를 이용한 테스트 사이트는 많습니다. 그 중 한국어 지원이 되는 Websiteplanet 사이트 사용 방법을 알아봤습니다.