robots.txt : 웹 포털의 색인 방지 (내 서버가 호출되는것을 막기위해)

대형 포털사이트들..

구글, 야후, 네이버 등등등은

운영중인 웹서버들의 URL을 색인한다고 한다.

즉 검색결과로 노출시키기 위한 ?

뭐암튼

웹서버는 있으나, 외부의 검색에 노출될 필요가 없는경우

불필요하게 외부 웹포털 사이트로부터 호출을 받는것을 막을 수 있다

이름하야 robots.txt

방법 : robots.txt 를 작성하여 TOMCAT_HOME/webapps 에 둔다. 끝.

이러게 도메인 바로뒤에 tobots.txt 를 작성했을때 정상적으로 로딩이 되어야지만 해당 도메인에 색인을 방지할수있다고 합니다.

그렇다면 robots.txt 안에 내용작성 방법은 ? 아래 두줄만 작성하면 끝.

User-agent: *
Disallow: /

위 두줄의 의미는 접근하려는모든 웹포털사이트로부터 내 웹서버에 모든경로에 대한 색인을 차단함 이라고 해석될수있을것 같네요

아 그리고.. 각 웹포털 사이트별로 차단설정을 하고싶다면 아래 사이트에서 제공해주는 robots.txt 작성 툴을 사용하여

robots.txt를 작성하는 방법도 있겠습니다.

:)