사이트맵이란 무엇인지 알아보고, 사이트맵을 생성해주는 사이트와 프로그램을 소개드리겠습니다.
사이트나 블로그를 운영한다면, 사이트맵과 RSS 개념에 대해서 잘 알아두시면 신세계를 경험할 수 있습니다.
분량에 비해 이해가 쉬운 글이니, 이 글과 밑의 참고글도 함께 읽어봐 주세요.
(2020.5.10 추가내용)
드디어 티스토리에서 자체적으로 사이트맵을 만들어줍니다.
URL주소에 https://maternalgradndfather.tistory.com/sitemap.xml 과 같이 입력해보시면 확인할 수 있어요.
직접 사이트맵을 만들 필요 없이, 티스토리에서 제공해주는 sitemap을 사용하면 됩니다.
# 참고글
1. 티스토리 사이트맵 만들기 : 사이트맵 생성 사이트 및 생성 프로그램 소개 (현재 글)
3. 티스토리 검색엔진에 등록하기 : 사이트맵과 RSS 피드 추가하는 법
4. 티스토리나 워드프레스가 구글 검색에 뜨지 않을 때 : 색인 생성 요청
5. 티스토리 저품질 여부를 알아보는 방법과 푸는 방법
사이트맵이란?
사이트맵은 쉽게 말씀드리면 내 블로그의 지도라고 생각하시면 됩니다.
예를 들어, "내 블로그에 어떤 URL들이 있고, 그중 이 URL은 최근 수정시간이 언제이고, 이 URL은 내가 자주 수정하는 글이다. 이 URL은 내 블로그에서 중요도가 높은 (또는 낮은) 글이다. " 이런 식으로 알려주는 파일이에요.
sitemap.xml 예시
그림을 보며 말씀드릴게요.
위 사진은 제 블로그의 사이트맵 (sitemap.xml)입니다.
URL 주소는 필수항목입니다.
필수가 아닌 항목 (최종 수정시간 , 변경 빈도 , 중요도 )도
넣어주면 좀 더 자세한 사이트맵이 되겠죠.
재미있는 점은, 글의 URL만 모아둔 사이트맵 말고도,
어떤 이미지가 있는지 모아둔 "이미지 사이트맵"도 있어요.
구글에서 권장하는 "이미지 사이트맵"
※ 구글에서는 이미지 사이트맵도 만들길 권장하지만, 저는 이미지 사이트맵은 만들지 않습니다.
밑의 링크는 더 자세히 보고 싶어하는 분들을 위해
참고하실 수 있게끔 달아놨습니다.
사이트맵이 왜 필요한가요?
블로그가 구글, 네이버, 다음 등에서 노출되기 위해서는
각 검색엔진의 수집봇이 블로그에 방문해서 자료를 수집해야 합니다.
수집봇들이 일을 해야지만 검색엔진에 검색되는 것이지요.
수집봇이 우리 사이트나 블로그에 들어오면, 사이트맵과 RSS를 살펴보고,
수집이 안된 글을 수집하거나, 수집되었지만 이후 변경된 글을 재수집합니다.
즉, 내 블로그 (또는 사이트)가 검색엔진에 노출되기 위해서 사이트맵과 RSS를 제출하는 거죠.
하지만, 사실 수집봇이 우리 사이트에 와서 사이트맵과 RSS만 구경하고 가는 것은 아니에요.
웹페이지에 보이는 내부링크도 살펴보고, 외부링크도 살펴보면서 이것저것 다 수집하기는 해요.
완전히 동일어는 아니지만, 간단하게 설명드리면,
수집봇은 크롤러, 수집행위는 크롤링으로 부른다고 생각해주세요.
각 검색엔진별 수집봇의 이름은 다음과 같습니다.
구글은 구글봇 (Googlebot), 네이버는 Yeti와 Naverbot, 다음은 Daum, Daumoa입니다.
사이트맵의 종류
XML
사이트맵으로 가장 많이 쓰입니다.
사이트맵의 확장자는 xml이니, 파일명은 "sitemap.xml"으로 쓰는 경우가 많아요.
이 xml 파일은 메모장으로 작성할 수도 있고,
사이트맵 작성 프로그램이나 사이트맵 작성 사이트에서 만들 수도 있어요.
사이트맵은 xml로 만드시는 걸 추천드려요.
RSS
RSS 피드 - 몇몇 사이트에서 가끔 보인다.
일반적으로 RSS feed (RSS 구독)로 알려져 있어요.
특정 사이트에서 어떤 최근글이 올라왔는지 보여주는 파일이죠.
저는 RSS도 사이트맵의 종류로 본다는 건 이번에 처음 알았어요.
RSS feed는 최근글에 대한 내용만 담고 있다는 점을 염두해주세요.
XML과 RSS는 둘 다 검색엔진에 제출하시는 게 가장 좋습니다.
참고로, 워드프레스나 티스토리에서는 RSS를 자체적으로 생성해줍니다.
티스토리의 rss 주소는 url주소 뒤에 "/rss"를 붙이면 되요.
https://maternalgrandfather.tistory.com/rss
(참고글 : RSS 피드의 뜻과 사용법)
mRSS, Atom 1.0
RSS feed와 설명은 일맥상통합니다.
텍스트
txt 파일로 사이트맵 작성하기 (sitemap.txt)
위 사진처럼 메모장으로 txt 파일로 만들고, url 주소만 입력해놔도 되요.
하지만, xml 파일로 작성하시는 걸 추천드려요.
사이트맵은 주기적으로 업데이트해서 제출해야 하나요?
블로그에 글을 10개 쓰고 나서,
사이트맵 (xml)을 제작했다고 생각해봅시다.
제작한 사이트맵에는 글 10개 URL과 그 외 잡다한 URL (카테고리, 태그, 방명록 등의 URL)이 들어있습니다.
이렇게 제작한 사이트맵은 구글, 네이버, 다음, 빙, zum에 제출될 텐데요.
(구글 검색콘솔, 네이버 웹마스터도구, 다음 검색등록, 빙 웹마스터 도구, zum 사이트 검색등록)
사이트맵을 제출한 뒤에, 또 글을 3개 썼다면,
새 글은 기존의 xml 사이트맵에는 등록되어 있지 않죠.
글을 쓸 때마다 새로 xml 사이트맵을 만들어서 제출하는 건 여간 귀찮은 일이 아닙니다.
하지만 두 가지 방법 덕에 사이트맵은 추가로 제작하지 않으셔도 됩니다.
물론, 사이트맵도 가끔씩 새로 제작해서 다시 제출하면 수집봇들이 더 좋아하겠지만,
곧 말씀드릴 두 가지 방법 덕분에 굳이 그럴 필요는 없습니다.
첫 번째 방법은, RSS feed입니다.
RSS feed는 최근글을 소개해주는 파일입니다.
RSS feed 주소를 제출하면 수집봇이 블로그에 들릴 때마다, 사이트맵뿐 아니라 RSS feed도 분석하게 됩니다.
즉, 사이트맵에 없는 새 글도 RSS feed 덕에 무사히 수집해갑니다.
말씀드렸듯이, 대부분의 CMS (예. 워드프레스, 티스토리, 구글블로그 등)에서는 자체적으로 RSS를 생성합니다.
제 블로그의 RSS 주소는 https://maternalgrandfather.tistory.com/rss이니,
RSS에 대해서는 다음의 참고글을 읽어주세요.
(참고글 : RSS 피드의 뜻과 사용법)
두 번째 방법은, 색인 생성 요청입니다.
구글이나 네이버에서 본인 사이트를 검색해보시고,
검색에 안 뜰 경우, 구글 검색콘솔과 네이버 웹마스터도구에서 색인생성요청을 하시면 됩니다.
구글, 네이버에 본인 글이 잘 등록되어 있는지,
그리고 색인생성요청은 어떻게 하는지에 대해서는 다음 참고글을 읽어주세요.
(참고글 : 티스토리나 워드프레스 구글 검색에 뜨게 하는 법 : 색인 생성 요청)
사이트맵 만드는 법
(2020.5.10 추가내용)
드디어 티스토리에서 사이트맵을 자체적으로 생성해줍니다.
웹브라우저의 URL 주소창에 https://maternalgrandfather.tistory.com/sitemap.xml 를 입력하면 확인할 수 있어요.
밑의 사이트맵 직접 만드는 방법은 궁금하신 분들만 봐주시면 되겠습니다 ㅎㅎ
가장 널리 사용되는 xml 사이트맵 제작법만 말씀드리겠습니다.
사이트맵 제작방법 중 일부 - $는 유료 프로그램을 뜻한다.
위의 사진은 방법 중 일부이며, 더 많은 방법은 Google Code에서 확인하실 수 있습니다.
메모장으로 작성하기
sitemap.xml을 메모장으로 직접 작성하면 상당히 오래 걸립니다.
xml 사이트맵은 메모장으로 작성할 수 있지만, 고된 작업이에요.
당연히 무료 사이트 또는 무료 프로그램을 쓰시는 걸 추천드려요.
무료 온라인 사이트 이용하기
몇 군데 들어가보니 XML-Sitemaps Generator가 가장 무난한 것 같습니다.
사용방법
1. 사이트에 접속하셔서, 자신의 블로그 url을 입력하고, 옵션을 조절한다.
각 페이지별 변경빈도 (Change Frequency)에선,
글 업데이트가 잦은 분들은 "Hourly 또는 Daily"로 하시면 될것 같아요.
사이트에 들어간 후, url주소를 입력하고, Option을 위와 같이 설정한다.
2. 완성된 사이트맵을 다운로드 받는다.
완성된 사이트맵 다운로드 받기
3. 압축을 풀고, "sitemap.xml"을 구글, 네이버, 다음, 빙, zum에 제출하면 된다.
압축파일 안에 "sitemap.xml" 파일이 보인다.
무료 프로그램 이용하기
무료프로그램 중에는 페이지 제한이 없는 WonderWebWare Sitemap Generator가 가장 좋더군요.
링크된 사이트에서 ver 0.975 beta 다운로드 받고 설치해주세요.
사용방법
1. 프로그램을 실행시켜, 기본 정보를 입력한다.
블로그 URL주소 입력
Spider settings에서 연결갯수 1~4개 중 적당한 수 선택
Spider settings은 동시에 몇개가 url을 수집할지 정하는 건데, 수를 늘릴수록 더 빠르겠지만,
무한정 늘리면 블로그에서 과부하 공격으로 오인해서 차단시킬 수 있어서, 1~4개가 적당해요.
Exclude Patterns에는 제외시킬 url 입력
티스토리에는 다음과 같은 주소들은 별로 필요없을 것 같아서 제외시켰어요.
https://maternalgrandfather.tistory.com/tag/xxxxxxx https://maternalgrandfather.tistory.com/toolbar/xxxxxx https://maternalgrandfather.tistory.com/23?category=xxxxxxx https://maternalgrandfather.tistory.com/?page=3
add 누르시고
*?page=* *?category=* *tag/* *toolbar/*
한개 한개 추가해주세요 ㅎㅎ
워드프레스에서는 본인 사이트에 맞게끔 Exclude Patterns 작성하시면 되요.
URL 주소를 입력하고, 동시접속은 1~4개 정도로 진행시키고, 티스토리 쓰는 분들은 제외패턴에는 위와 같이 입력해주세요.
2. Settings에 들어가서, 사진과 같이 세팅해주세요.
는 현재 날짜로 세팅하시면 무난할테고,
는 본인의 블로그에 글을 자주 작성하시면 hourly 또는 daily로,
블로그 업데이트가 드물면 daily 또는 weekly 정도면 좋겠습니다.
는 개별 url마다 중요도를 매기는건데, 0~1까지가 있어요.
일괄 0.5로 해서 하나하나 높이고 낮추셔도 되고, 일괄 1로 해도 되고, 아예 체크안하셔도 되요.
설정에 들어가서, 우측과 비슷하게 설정하세요. <lastmod>, <changefreq>, <priority>는 본인 블로그에 알맞게 설정하시면 되요.
3. 상단 탭 "Google Sitemap / XML"을 눌러서 파일로 저장해주세요.
상단 탭 "Google Sitemap / XML"로 들어가서 파일로 저장해주세요.
4. 다운로드 된 "sitemap.xml" 파일을 메모장으로 열고
http://ooo.tistory.com → https://ooo.tistory.com
로 바꿔주시고, 구글, 네이버, 다음, 빙, zum에 제출하시면 됩니다.
완성된 sitemap.xml을 열고 http://oooo → https://oooo 로 바꿔줍니다.
온라인 사이트와 프로그램의 장단점
온라인 사이트를 이용하는 것과 프로그램을 이용하는 것은 장단점이 있습니다.
온라인 사이트의 장점 및 단점
제 개인적으로 제일 좋은 사이트라고 생각하는 XML-Sitemaps Generator에 대한 장단점입니다.
대부분의 온라인 사이트맵 제작 사이트가 비슷한 특징을 보입니다.
장점 : 각 글의 최종수정시간 을 분석해준다.
단점 : 많이 느리다. URL 주소에서 파라미터를 없애지 못한다. URL 갯수제한이 있다 (보통 최대 500개).
프로그램의 장점 및 단점
무료인 WonderWebWare Sitemap Generator에 해당되는 장단점이며,
프로그램 공통사항은 "(공통)"을 적었습니다.
장점 : 온라인보다 훨씬 빠르다. URL 갯수가 무제한이다. URL 주소에서 파라미터를 없앨 수 있다.
단점 : 각 글의 최종수정시간 은 특정일자로 일괄적용만 할 수 있다. (공통) 대부분 유료이다.
Q&A
1. URL에서 파라미터를 없애지 못한다는 말은 어떤 뜻인가요?
https://maternalgrandfather.tistory.com/2 는
https://maternalgrandfather.tistory.com/2?category=770882 와 똑같습니다.
이 때 파라미터는 물음표 뒤에 있는 category를 말합니다.
티스토리에서는 "?category=ooo" 또는 "?page=oo" 이런 파라미터가 덕지덕지 붙는 경우가 많은데,
파라미터가 붙어있는 것과 없는 것은 사실상 중복된 페이지므로 사이트맵 xml에 두개 다 작성할 필요가 없습니다.
2. 최종수정시간 을 서버에서 받는다는 것은 무슨 뜻인가요?
xml 사이트맵 파일을 보면 다음과 같이, 글의 최종수정시간을 보여줍니다.
<lastmod>2020-03-10T11:51:26+00:00</lastmod>
최종수정시간은 서버에서 받아올 수 있는데,
무료프로그램 WonderWebWare Sitemap Generator는 서버에서 받아오지 못하고, 직접 작성할 수만 있습니다.
예를 들어, 2020-03-10으로 일괄적용 하는 방법밖에 없다는거지요.
맺음말
간단한 내용인데, 쓰다보니 글이 길어졌어요.
블로그 또는 사이트를 운영중인 분들은, 사이트맵과 RSS 피드를 공부하고 나면
수집봇이 어떤 방식으로 내 블로그 (또는 사이트)의 많은 글들을 수집해가는지 명쾌하게 이해하실 수 있을 거예요.
다른 참고글도 읽어보시면 많은 도움 되실거예요.
# 참고글
1. 티스토리 사이트맵 만들기 : 사이트맵 생성 사이트 및 생성 프로그램 소개 (현재 글)
3. 티스토리 검색엔진에 등록하기 : 사이트맵과 RSS 피드 추가하는 법
'IT' 카테고리의 다른 글
| 네이버웹마스터도구-사이트맵 등록(sitemap.xml)-서브 링크(사이트 메뉴) (0) | 2021.06.27 |
|---|---|
| 네이버 서브링크(Sublinks)란? (0) | 2021.06.27 |
| 크롤링) 접속 차단되었을때 User-Agent지정(header) (0) | 2021.06.27 |
| 크롤링(crawling) - robots.txt와 주의점 (0) | 2021.06.27 |
| 웹 테트리스 (0) | 2021.06.26 |
댓글