아티클

Search Crawler and Meta Tag

2007-02-15 16:27:03

검색관련 리포팅을 하다 문득 메타태그와 검색크롤링에 대해 정리좀 해야겠다는 생각이 들어 포스팅해봅니다. :) (개인의 공간은 아니건만 혹 다른분들에게 도움이 될까 해서..)

<meta content="NHN" name="author" /> <meta content="" name="keywords" /> <meta content="" name="description" /> 

위 예시코드 처럼 기술되는 메타태그는 이름에서도 유추가 가능하듯 문서 그 자체를 설명하는 역활을 합니다. 문서가 어떤 내용을 담고 있고, 그 문서의 핵심어는 무엇이고, 저작자는 누구인제 캐릭터셋은 어떤지 등의 정보를 담게 됩니다.

이 메타태그는 문서의 성격(?)을 나타내주는 특징으로 검색엔진이 crawling하게 될때 도움을 줍니다. crawler가 메타태그의 keywords나 description 과 같은 프로퍼티의 값들을 검색하고 검색결과를 나타내주게 됩니다.

crawler입장에서는 단지 meta들만 검색하면서 제작자가 설명한 웹페이지내용을 검색/분류하게 되니 좋을것 같지만 keywords 내용에 페이지 검색율을 높이기 위해 해당 페이지와 상관없는 이상한(?)단어들을 채워 악용하는 사례가 많아 검색엔진에서의 meta태그는 사실상 무효하게 다뤄지게 되고 결국 meta 태그의 실효성은 별로 없는 실정입니다.

아래 표를 보시면 링크구조 검색기반인 구글의 경우 Meta Keywords의 경우는 참고하지 않고 있습니다.
This chart covers the crawler

하지만 meta태그는 분명히 없는것 보다는 있는것이 좋은 웹페이지 성능을 가져다게 주게 됩니다. 그렇다고 해서 meta name="keywords" 부분에 많은 것을 넣을수록 검색율이 높아지거나 좋아지진 않습니다. 사실상 crawler는 제한을 두고 몇자 까지만 검색하게 되므로 keywords를 많이 넣는것보다 정확하게 넣는것이 중요합니다.

말이 많은(?) robots.txt의 crawling역시 meta tag로 제어가 가능합니다.

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

NOINDEX 해당 문서를 인덱싱하지 않습니다
NOFOLLOW 링크된 문서를 인덱싱하지 않습니다.
NOIMAGEINDEX 이미지를 뺀 텍스트만 인덱싱합니다.
NOIMAGECLICK 이미지에 걸린 링크는 무시하고 웹페이지의 링크만 인덱싱합니다.

meta태그에 대한 자세한 내용은 아래 주소를 참고하시면 됩니다 http://vancouver-webpages.com/META/metatags.detail.html

댓글 0
댓글을 작성하려면 해주세요.