빠른 색인을 위한 대안 인덱스나우 IndexNow

비정기적인 크롤링봇의 수집으로 인한 느린 수집과 색인을 개선할 수 있는 새로운 기술인 인덱스나우(IndexNow)가 무엇이고 어떻게 사용할 수 있는지에 대해 알아봅니다.

 

지난 글에서 구글 색인이 너무 느린 것 같다고 불만 아닌 불만을 토로했었죠.

 

목마른 사람이 우물판다고 언제 될지 모르는 구글봇을 기다리다가 못해 티스토리 글들을 일일이 구글 서치콘솔에 개별 수동 등록하였습니다.

 

결과는 효과적이어서 하루도 안되어 그 글들이 구글 검색에 반영되었더군요.

 

구글 서치콘솔 URL 개별 요청으로 빠른 색인하기

 

일반적으로 무엇인가가 변경되었는지를 확인하는 방법은 크게 보면 두 가지입니다.

 

1. 지속적으로 확인하기 (polling)

2. 변경이 있을 때 알려주기 (notification)

 

크롤링봇이 비정기적으로 방문해서 변경사항을 확인하는 것은 polling 방식이고, 블로그 글이 추가/변경/삭제되었을 때 블로그 측에서 검색엔진에 알려주는 notification 방식이 인덱스나우(IndexNow)인 것입니다.

 

인덱스나우란?

 

공식 홈페이지: https://indexnow.org

Home | IndexNow.org

 

지원하는 검색엔진: 

1. IndexNow.org: 검색엔진은 아니고 IndexNow 공식 조직으로 IndexNow 등록 수신을 받고 있습니다.
2. Microsoft Bing: 세계 2위 점유율 검색엔진
3. Naver: 한국의 대표 포탈 겸 검색엔진
4. Seznam.cz: 체코의 대표 검색엔진
5. Yandex: 러시아 1위의 검색엔진
6. Yep: 싱가포르 검색엔진

 

인덱스나우에 대한 자세한 사항은 네이버 웹마스터 블로그에 너무도 상세히 기록되어 있습니다.

 

IndexNow 란 무엇인가요?

IndexNow는 웹 사이트의 변경사항을 검색 엔진에 쉽게 알릴 수 있도록 Microsoft Bing이 Yandex, Seznam 등의 다른 글로벌 검색 엔진과 공동으로 만든 프로토콜입니다.​

IndexNow는 어떻게 동작하나요?
IndexNow는 웹사이트 소유자 또는 관리자가 웹페이지가 추가, 삭제 또는 수정이 되었을 때 변경사항을 검색엔진에게 알리는 방식입니다. 간단히 말해 사이트의 업데이트 사항을 검색엔진에게 알리는 핑(Ping)을 보내는 것입니다. IndexNow을 통해 핑을 보내게 되면 이를 다른 검색엔진 (Bing, Yandex, Seznam)에게도 전달되는 장점이 있습니다.​

어떻게 하면 내 사이트에 IndexNow를 적용할 수 있나요?
IndexNow는 서치어드바이저 사용자 등록자가 아니어도 Key만 생성하면 사용 가능합니다. 생성된 Key를 웹사이트에 업로드하고 사이트가 업데이트될 때마다 페이지 갱신 요청을 하면 됩니다. 자세한 사항은 IndexNow 웹마스터 가이드를 참고하세요.

[출처] 네이버 검색에서 IndexNow 프로토콜을 지원합니다.

 

 

주요 특징

IndexNow가 없으면 검색 엔진이 모든 URL을 자주 크롤링하지 않기 때문에 검색 엔진이 콘텐츠가 변경된 것을 발견하는 데 며칠에서 몇 주가 걸릴 수 있습니다. IndexNow를 사용하면 검색 엔진이 "변경된 URL"을 즉시 파악하여 이러한 URL에 대한 크롤링의 우선순위를 정하고 새로운 콘텐츠를 발견하기 위해 유기적 크롤링을 제한할 수 있습니다.

https://www.indexnow.org/ko_kr/index

 

 

제가 매우 주목한 부분은 아래와 같습니다.

IndexNow-enabled search engines shares immediately all URLs submitted to all other IndexNow-enabled search engines, so you just need to notify one endpoint.

IndexNow 지원 검색 엔진은 다른 모든 IndexNow 지원 검색 엔진에 제출된 모든 URL을 즉시 공유하므로, 하나의 엔드포인트에만 알리면 됩니다.

 

즉, 네이버에 IndexNow로 글의 변경을 알리면 다른 IndexNow를 지원하는 MS Bing, Yandex 등에도 해당 정보가 쫙 뿌려진다는 것이죠.

 

소위 일타 N피인 것이죠.

 

 

네이버의 IndexNow 지원

 

2023년 7월 말부터 공식 지원하고 있습니다.

 

• 네이버 웹마스터 블로그 링크
• 네이버 서치어드바이저 IndexNow 소개

 

 

MS Bing IndexNow 지원

 

역시 웹마스터 툴에서 IndexNow 메뉴가 있네요.

 

Bing 사이트에 들어가면 보다 자세한 설명이 있습니다.

 

 

이용방법

참고 1) 네이버 IndexNow API Key 생성하기 가이드 문서

참고 2) Bing의 GetStarted 문서 

 

 

1. API Key를 생성합니다. 

 - Bing의 GetStarted 문서에서 tool을 제공하므로 보다 편하게 생성할 수 있습니다.

 

2. Key 파일을 인증받을 서버(ex: 티스토리)의 root 영역에 놓아 소유 인증을 받습니다.

 - Key 파일명은 만들어진 Key 이름 이어야 하고, 안의 내용도 Key가 담겨있어야 합니다.

 - 해당 파일을 서버 root에 두어 소유 인증을 받습니다.

 

3. 추가/변경/삭제가 된 글의 URL을 IndexNow 서버에 보냅니다. (API 연동 필요)

 

4. Bing 웹마스터 툴이나 네이버 서치어드바이저 등에서 해당 URL 색인 요청이 등록되었는지 확인합니다.

 

 

 

티스토리에 적용하려면?

사실 티스토리뿐만이 아니라 어느 서버이든지 웹서버 root에 Key 파일을 두어서 소유 인증을 받을 수만 있다면 IndexNow 연동이 가능합니다.

 

거꾸로 이 소유인증을 받을 수 없으면 후속 진행이 불가합니다.

 

제가 알기로 티스토리에는 서버 root에 파일 생성이나 업로드가 안됩니다.

 

 

티스토리 운영팀에 이게 허용되는지, 방법이 있는지 문의한 상태로 답변이 오면 다시 공유하겠습니다.

 

 

다른 CMS 지원 현황

Bing 사이트에 보면 IndexNow를 지원하는 설루션에 대한 안내가 있습니다.

 

IndexNow 자체 지원 솔루션

Plugin 등으로 쉽게 활성화 가능

 

세계적으로 유명한 CMS(Contents Management System)인 Wix.com은 이미 IndexNow 지원이 내장되어 있고, WordPress, Shopify, Joomla, Drupal 등은 워낙 해당 plugin이 있어 이를 통해 자연스럽게 활성화할 수 있다고 하네요.

 

개인적으로 WordPress에 매우 관심이 많은데 조만간 WordPress도 운영하지 않을까 싶습니다.

 

그때가 되면 IndexNow 손쉽게 연동할 수 있을 듯하네요. (너무도 매력적인 WordPress)

 

사실 검색엔진 1위인 구글이 지원하지 않아 티스토리에 적용한다고 해도 바로 큰 이득은 없겠지만 네이버, 빙(bing)에 빠른 색인 요청을 할 수 있다는 것이 조금이나마 도움이 될 것 같네요.

 

그리고 언젠가는 구글도 IndexNow를 지원하지 않을까요?

 

정리

1. 네이버, 빙(Bing), Yandex 등이 IndexNow를 지원함

2. IndexNow를 쓰면 글이 변화했을 때 빠른 색인 요청을 할 수 있음 (색인이 빨리 된다는 보장은 아님)

3. 구글은 IndexNow를 지원하지 않음

4. 티스토리에는 소유 인증이 어려워 후속 진행이 어려워 보이는 데 운영팀에 문의하였음

5. 역시 WordPress는 대세!

 

 

티스토리 하나 팠을 뿐인데 참 재미있네요.

 

이 글을 보시는 분들께 조금이나마 도움이 되면 좋겠습니다.