블로그스팟 근황보고 (11/12~11/21)

* 이전까지의 블로그스팟 활동 내역

11/01(추정) : 구글에서 신규 게시물에 대한 색인 및 노출이 안되기 시작함.

11/04 : 구글 검색 시 파비콘이 뜨기 시작.

11/11 : 빙 검색엔진 통누락 현상 발생.

* 11/12

특별한 일 없음.

* 11/13

구글 서치콘솔의 색인 개수는 여전히 96개에서 변한 게 없다.

벌써 열흘이나 지났다. 열흘이나... 뒷통수나 치는 음습한 구글 놈들 같으니라고...

* 11/14

하지만 뛰는 놈 위엔 나는 놈이 있는 법이다. 뛰는 놈이 구글이라면 나는 놈은 마이크로소프트의 빙(Bing)이라고 할 수 있겠다.

나는 지난 11일, 빙 쪽에 검색 통누락 문제로 항의한 적이 있었다. 사흘이 지나서 그에 대한 답변이 도착했다. 그리고 돌아오는 건 역시... 매크로 답변 뿐이었다.

'Bing이 제시한 기준을 충족하지 못한다?' 'Bing 웹마스터 가이드라인?'

그 잘난 가이드라인을 읽어봐도, 이 블로그스팟에 무슨 결격 사유가 있다는 건지 모르겠다.

이 블로그스팟의 도메인은 무슨 백링크 작업 같은 건 한 적도 없다. 이곳의 링크를 걸어놓은 곳도 내 티스토리 블로그와 이제는 별로 쓰지 않는 내 네이버 블로그가 전부다.

그렇다면 더빙 애니 창고 쪽 게시물에 걸어놓은 하이퍼링크가 많아서? 그래서 모든 링크에 rel=nofollow 속성을 추가해서 크롤러가 신경 끄도록 처리했다. 또한 크롤러가 링크를 타고 들어가면 검색 색인이 안 되도록 해당 페이지에 noindex 처리도 해놓았다.

그래 뭐 좋다. 백 번 양보해서 이 블로그스팟에 검색엔진에게 차단당할 만큼 부적절한 내용이 있다고 치자. 그렇다면 다음과 네이버는 왜 지금까지 내 블로그 글을 꾸준히 검색 결과에 노출시켜 주고 있을까? 니들보다 관대해서? 니들도 10월까지는 노출시켜 줬는데? 왜 11월 들어서 갑자기 정신이 헷까닥 한 것 마냥 '너같이 수준 낮은 블로그의 글은 우리 수준 높은 빙 검색결과에 끼워줄 수 없어~ 오호호호!' 거리고 자빠졌냐고. 일본 AV 사이트도 검색 결과에 잘만 노출시키는 것들이, 내 블로그에 무슨 수준을 논한다는 거야. 쓰레기 같은 놈들...

다시 제출한 사이트맵은 계속 '처리 중' 이라는 말만 뜨고 있다. 제출한 지 사흘이 지났는데도 말이다.

분명 사이트맵 주소를 차단 먹인게 틀림 없겠지. 엿같은 빙신 놈들... 니네는 이제 끝이다.

사이트맵을 삭제하고, 블로그 등록도 삭제한 뒤 빙 웹마스터 도구를 탈퇴하기로 한다.

그리고 엿같은 bingbot이 이 블로그스팟에 접근하지 못 하도록 robots.txt로 차단시키도록 한다.

와 봤자 검색 결과에 노출도 안 시켜줄거면서 뭣하러 와? 꼴값 떨지 말고 꺼지라고 하는 게 낫다.

User-agent: bingbot

Disallow: /

* 11/15

빙 놈들에게 모욕을 당한 나는, 러시아 검색엔진인 얀덱스에 관심을 가지게 되었다.

현재 이 블로그스팟은 홈페이지만 색인되어 있는 상태다.

내 티스토리 블로그도 색인은 되어있지만, 게시물 제목과 글 내용이 숨겨져서 나온다.

검색 등록을 하면 풀릴지도 모르겠지만... 귀찮다. 그냥 써먹기 어렵다고 생각하자.

네이버 블로그의 내용도 검색된다.

그러나 구글처럼 모바일 페이지 쪽만 색인되고, 야한 내용들(?)의 포스팅이 상위에 많이 뜨고 있다.

국내에서는 거의 사용하지 않고, 검색 결과에도 므흣한 것들이 판을 치는 곳이지만 뭐 어쩔 수 없다.

지푸라기 잡는 심정으로 얀덱스 웹마스터 도구에도 가입하기로 한다...

사이트 인증 후 사이트맵을 추가하였다. 그런데 사이트맵 등록도 최대 1~2주를 기다려야 하는 모양이다.

어휴... 일단 등록해놓고 2주 동안은 방치해두도록 한다.

서치콘솔의 색인 개수는 여전히 96개 그대로다.

90회의 클릭 수를 기록해서 축하한다는 메일이 왔다.

지금 사람 염장 지르러 왔냐? 색인이나 잘 좀 해줘라... 제발!!!

* 11/16

특별한 일 없음.

얀덱스 웹마스터 도구에서 가입 감사 메일이 왔을 뿐이다.

* 11/17

얀덱스에서 망초칼럼 글 하나가 색인되었다.

* 11/18

특별한 일 없음.

* 11/19

서치콘솔이 색인을 멈춘지도 보름을 지나서 거의 20일째가 다 되어간다.

대체 무엇이 문제인지... 생각해보다가 의문스러운 점을 발견했다.

나는 사이트맵을 11월 19일에 제출한 기억이 없다. 사이트맵 제출일이 왜 자기 마음대로 바뀌는거지? 이전에는 11월 15일, 또 이전에는 10월 28일... 그렇게 날짜가 바뀌었던 걸로 기억한다. 그러나 내가 직접 사이트맵을 제출한 날은 서치콘솔에 처음 등록한 9월 24일 말고는 없었다.

티스토리 블로그 쪽은 사이트맵 제출일이 작년 11월 22일로 되어있었다.

옛날에 내가 따로 적어놓은 기록을 찾아보니... 10월에 발생한 카카오 데이터센터 화재 이후, 내 티스토리 블로그에서 서치콘솔 소유자 태그가 삭제되었다고 한다. 그래서 태그를 복구하는 겸 사이트맵도 다시 제출한 걸로 보인다.

별로 쓸모도 없는 구글의 'Search Console 고객센터' 에서는 구글 봇이 스스로 고치는 거라는 의견이 있었다. (링크)

그럼 robots.txt를 수정해서 사이트맵 갱신을 못하게 하면... 그만큼 '크롤링 자원'을 덜 낭비하니 현재 색인이 안되고 있는 게시물들도 색인이 가능해질까?

외국 웹페이지에서 블로그스팟의 robots.txt 최적화 팁을 알아보기로 하였다. (링크)

우선 분류 전체보기, 카테고리(라벨) 메뉴, 아카이브(날짜별 게시물) 메뉴의 색인을 막으려면 다음과 같이 개조해야 되는 모양이다.

User-agent: *

Disallow: /search*

Disallow: /20*

Allow: /*.html

티스토리는 '/archive/yyyymmdd' 식으로 아카이브 주소가 게시물 주소와 따로 떨어져 있지만,

블로그스팟은 '/yyyy/mm/' 으로 되어있다. 여기에 '~.html'만 붙이면 게시물 주소가 되어버린다. 따라서 예외적으로 또 허용 규칙을 추가해줘야 한다.

티스토리의 robots.txt에는 따로 사이트맵 주소가 지정되어 있지 않았다.

뭐, 어차피 서치콘솔에 따로 제출하고 있으니 중복으로 제출할 필요는 없다. 위쪽의 내용까지 참고해서, 이 블로그스팟의 robots.txt를 수정하기로 한다.

맞춤 robots.txt 속성에서 수정하고...

서치콘솔에서 robots.txt 파일의 재크롤링을 요청했다.

또한, 더빙 애니 창고 게시물의 링크 페이지들도 noindex 태그 만으로는 부족하다는 생각이 들어서, 아예 robots.txt까지 추가하여 모든 검색 봇을 접근 금지시키도록 한다. 이러면 '크롤링 예산' 이라는 게 조금이라도 아껴질려나.

여기까지 작업을 마치고, 꼴보기도 싫은 빙 검색엔진에서 내 블로그 글이 어떻게 되었는지 확인해보기로 하였다.

여전히 '일부 검색 결과가 삭제되었습니다.' 같은 소리만 나오고 있었다. robots.txt로 bingbot을 차단시킨지 5일이 지났는데, 아직도 색인에서 안 빠졌단 말인가?

어차피 검색 노출도 안되니까... 이 블로그스팟의 모든 색인된 글을 빙 검색결과에서 차단시키기로 하였다.

빙 웹마스터 도구에 재가입 하고, 사이트 메타 태그 다시 넣고 재인증 하였다.

그리고 'URL 차단' 메뉴로 가서 URL은 이 블로그스팟의 주소, URL 유형은 '디렉터리', 차단 유형은 'URL & 캐시'로 지정하였다. (www 붙은 주소와 안 붙은 주소, http인 주소와 https인 주소 모두 지정했다.)

이러면 3개월 동안은 빙에서 이 블로그스팟 주소를 검색했을 때 아무런 글도 뜨지 않을 것이다. 그래도 '일부 검색 결과가 삭제되었습니다.' 처럼 내 블로그가 스팸 취급받는 문구를 보는 것 보다는, 차라리 아무것도 없이 텅 빈 검색 결과를 보는 게 낫다.

3개월 후에 어떻게 될지 한 번 두고 보자고... 이렇게 조치해 놓은 뒤, 다시 빙 웹마스터 도구를 탈퇴했다.

구글 서치콘솔의 색인 개수는 여전히 96개로 변화가 없다.

음습하기 짝이 없는 구글 놈들... 대체 언제쯤 해방시켜 줄 건가?

* 11/20

아침에 시간을 내서, 지금까지 빙 놈들에게 당한 치욕적인 일들을 낱낱이 고하는 글을 썼다. (링크)

하지만 해당 글은 여기 블로그스팟이 아닌 티스토리 블로그에 쓸 수 밖에 없었다... 이곳에 쓰면 언제 검색 노출이 이루어질지 알 수 없고, 상위 노출도 안되고, 무엇보다 만악의 근원인 빙 검색 결과에 글을 노출시킬 수 없기 때문이다.

그나마 내 티스토리 블로그는 12년 넘게 운영했기 때문에, 상위 노출이 될 확률이 아주 높다. 제대로 각 잡고 글을 쓴다면 빙 검색결과에도 올릴 수 있을 것이다. 그러면 빙신 놈들에게 제대로 엿을 먹일 수 있을 거다.

저녁에는 다시 서치콘솔을 확인했다. 여전히 변한 게 없었다.

그런데... 오늘은 '찾을 수 없음(404)'에 있는 항목들에게 눈길이 갔다.

해당 항목들은 내가 API 방식으로 구글에 색인 요청을 했을 때, 잘못 입력한 주소들이다. 따라서 해당 주소로 접속해봤자 404 오류만 뜬다.

혹시 크롤링 봇이 자꾸 저기에만 기웃거리고 있어서 색인을 안 하고 있는 게 아닐까? 흠.. 그렇다면 '오래된 페이지 삭제' 기능으로 아예 색인에서 빼면 어떨까하는 생각이 들었다. 서치콘솔 왼쪽 메뉴의 '색인생성 - 삭제 - 오래된 콘텐츠 - ? - 오래된 콘텐츠 삭제 도구' 로 들어간 뒤, 잘못 입력한 주소들을 등록했다.