구글 서치 콘솔(Search Console)을 이용하는 주된 이유는 구글 검색 엔진에 내가 작성한 글의 색인을 생성하기 위함 입니다. 그런데 구글 서치 콘솔을 이용하더라도 색인이 생성되지 않는 경우가 여럿 발생하죠. 처음 경험하시는 분들은 당황하실 수 있는데요 막상 이유를 알면 별 문제 아닌 경우가 많습니다. 이번 글에서는 구글 서치 콘솔을 이용해서 색인생성 실패 이유를 어떻게 찾는지 설명 드릴게요.
들어가기 전에
혹시 색인(Index)이나 구글 서치 콘솔이 뭘 하는 도구인지 좀 더 자세한 설명이 필요하신 분은 기존에 작성한 글을 참고해주세요. 그럼 시작하겠습니다.
색인 생성현황 살펴보기
구글 서치 콘솔 색인생성 카테고리 하위에 “페이지”라는 메뉴가 있습니다. 위에 이미지에서 빨간색 박스로 표시한 메뉴인데요, 선택하시면 위와 같은 화면이 나옵니다. 현재 제 워드프레스는 85개의 페이지에 대해 색인을 생성했고, 52개의 페이지에 대해 색인을 생성하지 못했습니다. 색인을 생성하지 못한 이유는 5가지라고 화면에 나오네요. 우선 색인이 생성된 페이지가 무엇인지 확인하시려면 우측 하단 네모 박스 안에 있는 버튼을 클릭하시면 됩니다.
그리고 색인이 생성되지 않은 페이지가 있다고 해서 크게 걱정하실 필요는 없습니다. 물론 모든 페이지에 대해 색인을 생성하지 못하면 문제겠지만 일부에 대해 생성하지 못할 때는 정상적인 경우가 대부분입니다. 우리가 해야 할 일은 혹시나 정상적이지 않은 이유로 색인 생성 실패가 발생하지 않았나 살펴보는것이죠.
색인생성 불가사유 살펴보기
앞서 말씀드렸던 “페이지” 메뉴에서 화면을 스크롤해서 아래로 내려보시면 위와 같은 색인생성 불가사유 리스트를 볼 수 있습니다. 여기 표에서 노란색 표시가 되어있는 “소스”라는 항목은 한번 눈여겨 봐주세요. 소스에 웹사이트라고 되어있다면 색인생성 불가사유가 해당 블로그에 있다는 이야깁니다. 만약 여기에 Google 시스템이라고 되어있다면 색인생성 불가사유가 Google에 있기 때문에 블로그 관리자가 따로 할수있는게 없습니다. 색인생성 불가사유에 대해 이어서 계속 설명드릴게요.
리디렉션이 포함된 페이지
리디렉션은 페이지 이동을 이야기 합니다. 예를들어 A라는 페이지를 입력했는데 아무 조건없이 B라는 페이지로 바로 이동한다면 A라는 페이지는 리디렉션이 포함되어 있기 때문에 색인 생성이 안됩니다. 실제로 리디렉션이 포함되어 색인 생성이 제외된 페이지를 살펴보겠습니다. 이 페이지의 URL은 다음과 같습니다.
“https://logicladder.org/연금계좌-매수-주의-상품”
위의 URL을 직접 입력해보시면 아시겠지만 입력하자마자 다른 페이지로 이동합니다. 이동된 페이지의 URL을 보면 다음과 같습니다.
“https://logicladder.org/연금계좌-매수-주의-상품/”
혹시 두 URL의 차이를 눈치채셨나요? 네 맞습니다. URL 가장 뒤에 ‘/’가 포함된 페이지로 이동했습니다. 사실 두 URL은 본질적으로 동일하지만 워드프레스에서 URL 뒤에 ‘/’가 빠진 상태로 입력하면 ‘/’를 추가한 페이지로 이동시켜줍니다. 당연히 ‘/’가 포함된 URL은 색인이 생성되어 있기 때문에 ‘/’가 빠진 URL에 대해서는 색인생성 누락이 전혀 상관 없습니다.
조금전에 색인 생성이 안된 페이지를 A, 자동으로 이동된 페이지를 B라고 말씀드렸었죠. A 페이지에 대해 URL 검사를 해보면 위와 같은 화면이 나오는데요, 구글 봇이 A라는 링크를 어떻게 발견하게 됐는지는 URL 검사결과를 보면 알 수 있습니다. Sitemaps 정보에는 참조된 정보가 없다고 나오는걸 보면 A라는 링크를 Sitemaps 을 통해 알게된건 아니라는걸 알 수 있으며, 결국 참조 페이지 항목에 있는 또 다른 페이지 C에서 A라는 링크를 직접적으로 사용한것으로 보입니다. 즉 구글 봇이 C 페이지에 방문해보니 A라는 링크가 있었고, 그 링크 A에 대해 색인을 생성하려고 보니 B라는 페이지로 자동 이동되어서 색인을 생성하지 않았다 라고 정리하면 될것 같습니다.
적절한 표준 태그가 포함된 대체 페이지
- https://xxxxxxxx.com/테스트-페이지/
- https://xxxxxxxx.com/12/
- https://xxxxxxxx.com/m/테스트-페이지/
이 문제는 주로 티스토리 블로그에서 많이 발생하는데요, 특정한 페이지에 접근하는 URL이 여러개가 있을 때 생기는 문제입니다. 위에 작성한 예와 같이, 어떤 페이지에 접근하는 URL이 한글 URL도 있고 숫자 URL도 있으며 모바일 웹 전용 URL도 있다면 동일 페이지에 대한 접근 방법이 3가지나 있는거죠. 이런 상황에서 구글 엔진은 대표 URL 1개만 색인을 등록하고 나머지 URL에 대해서는 “적절한 표준 태그가 포함된 대체 페이지”라는 사유로 색인을 생성하지 않습니다.
예를들어 티스토리 블로그에서 한글 URL을 사용중인데, 숫자 URL과 모바일 전용 URL이 위의 사유로 색인 생성이 안됐다면 지극히 정상적인 상황이니 고민하지 않으셔도 됩니다. 한글 URL을 사용중 이시라면 해당 페이지의 HTML 태그에 대표 URL (Canonical URL)이 한글 URL로 지정되어 있으며, 이걸 확인한 구글 엔진은 대표 URL에 대해서만 색인을 생성합니다.
robots.txt에 의해 차단됨
블로그마다 관리하는 robots.txt 파일이 있습니다. 제 블로그의 robots.txt 파일은 위와 같은데요, 여기에 보시면 노란색 형광색 줄이 그어져 있는, Disallow 항목이 보이시죠? 즉 이 항목에 있는 URL은 접근을 불허 한다는 의미 입니다. 구글 봇이 https://logicladder.org/wp-admin 주소에 대한 색인을 생성하고 싶어도 robots.txt 파일의 Disallow 때문에 색인 생성을 할 수 없죠. 따라서 robots.txt 파일에 명시된 URL에 대해 색인 생성을 못하고 있다면 지극히 정상적인 상황 입니다.
‘NOINDEX’ 태그에 의해 제외되었습니다
NOINDEX 태그에 의해 색인생성이 안된 경우는 방금 설명드린 robots.txt에 의해 차단된것과 비슷한 상황 입니다. 단지 위의 경우는 robots.txt 파일에 명시된 URL이 차단되는 것이고 NOINDEX 태그에 의해 차단된 페이지는 각 페이지에 NOINDEX라는 태그가 포함됐기 때문입니다.
실제로 NOINDEX 태그에 의해 색인생성이 안된 제 블로그 페이지의 HTML을 보면 위와 같은 태그가 포함돼 있습니다. 위에 이미지를 보시고 아마 눈치 채셨을것 같은데, NOINDEX 태그는 제가 추가하지 않았습니다. 저 대신 제가 사용하는 Rank Math라는 워드프레스 플러그인이 추가 했더라고요. 그럼 플러그인이 왜 NOINDEX 라는 태그를 추가했을까요? 구글 SEO 관점에서 봤을 때 공개되면 오히려 블로그 순위에 도움이 안된다고 판단한 페이지였기 때문입니다.
Rank-Math에 위와 같은 설정이 있는데, 연결된 글이 없는 태그나 카테고리에 대해서 자동으로 NOINDEX 태그를 포함시켜주는 기능 입니다. 만약 구글 서치 콘솔에서 NOINDEX로 제외된 페이지가 모두 이와 비슷한 이유에 근거한다면 따로 걱정하실 필요는 없습니다. 오히려 블로그 지수를 높이기 위해 설정된 NOINDEX 이니까요 (저는 제가 사용하는 Rank Math를 예로 말씀드렸지만 대표적인 구글 SEO 플러그인 YOAST나 기타 유사 플러그인에도 이러한 기능이 있을 수 있습니다)
찾을 수 없음(404)
말 그대로 특정 URL을 찾을 수 없어서 색인 생성을 하지 못한 경우입니다. 만약 글을 발행하고 나서 해당 글에 대한 URL을 수정하거나 작성하신 글을 삭제하시면 이 문제가 발생할 수 있습니다. 만약 실제로 URL이 바뀌거나 해당 글이 삭제 혹은 숨김처리돼서 “찾을 수 없음(404)”문제가 발생했다면 이 문제는 그냥 무시하셔도 됩니다. 왜냐면 404 오류는 블로그의 순위나 품질 평가에 전혀 영향을 미치지 않기 때문입니다. 구글 고객센터의 설명에 의하면 그렇습니다.
맺음말
사실 제가 구글 직원이 아니기 때문에 색인 생성이 안된 모든 경우에 대한 이유를 알지 못합니다. 하지만 색인이 생성되지 않는 몇 가지 주된 이유에 대해 파악하고 있으면서, 전체적인 색인 생성 건수의 급감이나, 글을 작성해도 색인이 늘어나지 않는 이상한 상황 정도만 모니터링 해도 큰 문제는 없다고 생각합니다. 혹시 글을 보시며 궁금한 점이 있으시면 언제든 질문 주세요. 감사합니다.
- 구글 서치 콘솔 – URL 검사 및 실제 URL 테스트
- 구글 서치 콘솔 – 홈페이지 서버 안정성 확인
- 구글 서치 콘솔 – 실적 페이지 분석
- 구글 서치 콘솔 – 색인 생성 실패 이유찾기
- 구글 서치 콘솔 – 통계 비교를 통해 블로그 성장 확인
안녕하세요. 기존 22개 등록 되어있던 글 들이 14개나 내려갔습니다. 모두 NOINDEX로 내려간 상황이구요. 랭크메스 로봇메타, 글 로봇메타 둘 다 색인으로 설정 되어있구요. 페이지,카테고리 글은 중복으로 너무 노출이되서 인덱스 없음으로 설정 되어있습니다. 내려간 글 14개를 CARL+U 로 봤을 시 메타네임 로봇 모두 INDEX로 되어있는데 이런 경우는 왜 그런걸까요..? https://totorimet.com 입니다 ㅠㅠ..
‘NOINDEX 태그에 의해 제외되었습니다.’ 라는 글씨를 누르시면 어떤 글들이 제외되었는지 볼 수 있는데요, 거기서도 카테고리나 태그에 해당하는 주소가 아닌 진짜 작성하신 글에 대한 주소가 뜨고 있나요? 그렇다면 이상하기는 하네요. 제가 말씀해주신 사이트 주소로 들어가서 앞에 있는 글 몇개를 살펴봤는데 말씀하신대로 NOINDEX 처리는 되어있지 않더라고요.
정말 말씀하신대로라면, 제가 추측할 수 있는건 랭크메스 등 어떠한 프로그램의 설정에 의해 잠시 NOINDEX 처리 되었는데 그 때 색인에서 제외되었고, 지금은 정상 상태이지만 그게 반영이 안된게 아닐까 라는 생각뿐 입니다. 지금 상황에서 해볼 수 있는건 제외된 페이지에 대한 색인 생성을 다시 요청 하시고, ‘NOINDEX 태그에 의해 제외되었습니다’ 라는 글씨를 눌러 들어간 화면에 있는 “수정결과 확인” 버튼을 클릭해보는 정도일것 같아요. 현재 정말 NOINDEX 태그가 없는 상태라면 이정도만 하셔도 문제가 해결되지 않을까 싶습니다. 잘 해결되었으면 좋겠네요.
답변감사합니다 선생님! 10월 구글 잠수함 패치로 구글이 이상한거 같습니다. 카테고리, 페이지 같은경우 중복 글 노출이 싫어서 noindex로 설정되어있는데 오늘 페이지 글이 등록이 되어 있는 현상이 발생했네요. 날씨가 많이 추워지는데 감기 조심하시고 블로그 번창 하시길 바랍니다^^
안녕하세요? 구글 색인이 안되어서 질문드려봅니다.
구글 서치콘솔에 색인 요청을 해서 색인이 되었던 글들이 어떤 이유에서인지 색인 생성이 줄어들었습니다. 색인 생성 글이 13개에서 3개로 줄었습니다. 구글 서치콘솔에서는 크롤링이 되었지만 현재 색인이 생성되지 않았다는게 이유입니다. 아무리 다시 색인 요청을 해도 색인이 되지 않습니다. 글을 추가로 작성해서 색인 요청을 해보아도 반영이 되지 않고요. 이런 경우 어떻게 해야하는지 아실까요? 글을 꾸준히 쓰면서 기다리면 언젠가 다시 색인이 되는건지, 어떤 조치가 필요한건지 답답한 마음에 문의 남깁니다.
사실 “크롤링됨-현재 색인이 생성되지 않음” 이라는 사유에 대해서는 저희가 특별히 할 수 있는게 없습니다. 구글 시스템에서 자체적으로 판단 후 색인을 생성하지 않은거거든요. 우선 구글 서치콘솔의 URL 검사 화면에서 “실제 URL 테스트”를 한번 해보세요. 만약 색인이 생성되지 않은 특정한 이유가 있다면 실제 URL 테스트 결과에 그러한 이유가 보일 수 있습니다. 또 한가지 확인해보시면 좋을만한게, 말씀하신 이유로 색인이 생성되지 않은 URL들을 살펴보는건데요, 저의 경우에도 말씀하신 이유로 색인이 생성되지 않은 페이지들이 꽤 있거든요. 그런데 어떤 페이지들이 URL 생성이 안됐는지 확인해보면 실제 글에 대한 URL이 아닌, logicladder.org/글-제목/feed/ 와 같이 SEO 관련 툴이 자동으로 생성한 URL이 대부분 입니다. 이런 페이지들은 색인이 꼭 생성되어야 하는 페이지가 아니기 때문에 크게 신경쓰지 않으셔도 되고요.
이런 저런 이유가 다 아니라면 몇 번씩 색인생성 요청을 해보시는것도 방법중 하나이지만 이 방법은 이미 시도해보신것 같아 제가 뭐라고 더 말씀을 못드리겠네요. 관련 문제에 대해서 제가 드릴 수 있는 말씀은 위에 두 가지 정도인것 같아요. 만약 작성하신 모든 글이 다 색인생성이 안된다면 구조적인 문제가 있는거겠지만 그렇지 않다면 말씀하신대로 글을 쓰면서 차분하게 기다려보시는 것도 한 방법입니다. 저라면 그렇게 할것 같아요. 블로그 초기에는 관련 정보가 많이 수집되지 않은 상태이기 때문에 구글 서치콘솔에도 부정확한 정보들이 많이 떴던 기억이 있습니다.
답변 감사합니다.
실제 제가 글을 작성하고 색인하고 싶은 글이 색인이 안되고 있습니다. 기존에 색인이 되어서 검색이 되었다가 글이 안보이게 된 기존 글들이 문제가 있을까 싶어서 모두 삭제 한 후 새로 글을 작성해서 색인 요청을 했는데도 반영이 안되고 있습니다.
구글 서치콘솔의 URL 검사 화면에서 “실제 URL 테스트”를 한 후에 ‘테스트된 페이지 보기’를 눌러서 확인해보니 ‘robots.txt에서 Googlebot이 차단됨’이라는게 떠 있더라고요.
제가 따로 한게 없는데, robot.txt가 검색을 차단한게 되는건가요?
답답한 마음에 질문을 남겨봅니다.
질문 주신것과 관계없는 내용이긴 하지만 생각처럼 색인생성이 잘 되지 않는다고 하여 글을 삭제하고 지우는 방법은 좋은 방법은 아닙니다. 색인이 구글 검색엔진에만 생성된 것이 아니라 네이버, 다음 등에 생성되어 있을 수 있는데 글을 삭제하고 다시 작성하면 다른 검색엔진에서 새로 작성한 글을 중복된 글로 여겨서 색인 생성이 잘 안될 수 있거든요.
다시 본론으로 돌아가서 “robots.txt에서 Googlebot이 차단됨” 이라는 문구가 있다면 설정상 문제가 있는겁니다. robots.txt 파일은 검색엔진 봇이 내 웹사이트를 방문했을 때 크롤링을 허용하느냐 안하느냐에 대한 규칙을 설정하는 파일인데 거기에 GoogleBot을 허용하지 않음으로 설정했다면 구글 색인이 생성되지 않는건 너무 당연합니다. 제 블로그의 robots.txt 파일을 보시면 (https://logicladder.org/robots.txt) “User-agent: *” 이런 문구가 있는데 이건 모든 크롤러의 방문을 허용한다는 뜻이고요, “Disallow: /wp-admin” 이 문구는 크롤러가 관리자 페이지에 접근하는걸 허용하지 않는다는 뜻입니다. 한번 관리하시는 웹사이트의 robots.txt 파일을 점검해보세요. 그런데 운영하시는 웹사이트의 종류에 따라 robots.txt 파일에 대한 접근이 제한적일순 있습니다. 혹시 어떤 플랫폼의 블로그를 운영하세요?
시간을 내서 답변 주셔서 정말 감사합니다. 어디 물어볼 곳도 없고 답답했거든요.
일단 저는 워드프레스로 블로그를 운영하고 있습니다. 블로그 만든지는 얼마 안되었고요.
글을 구글 서치콘솔에서 URL 검사를 했을 때 등록할 수 있다고 나오고, 색인이 생성 가능하다고 나옵니다. 그러나 색인 요청을 하면 색인이 안됩니다. 만약 robot.txt 파일이 문제가 있으면 URL 검사를 했을 때 문제가 되어야 하는게 아닐까요?
그런데 글을 실시간 테스트를 누른 후 ‘테스트된 페이지 보기’를 눌러보면 과 이런게 떠있습니다.
이건 글과 상관없는 부분이라서 색인을 차단했다는 말이 되는걸까요?
블로그 설정에 가서 보니 robot.txt는 크게 문제가 없는 것 같아요.
정말 답답합니다.ㅠㅠ 그냥 기다리는게 답일지 모르겠습니다.ㅠ
URL 검사를 했을때는 문제가 나오지 않지만 실시간 검사를 했을때 문제가 발견되는건 자연스러운 현상입니다. 글 하단에 관련글 링크가 있는데 “구글 서치 콘솔 – URL 검사 및 실제 URL 테스트” 라는 글을 한번 읽어보세요. 요약해서 말씀드리면 URL 검사는 구글이 색인한 정보중에 해당 글이 있는지를 테스트 하는거고 실제 URL을 방문해서 검사하지는 않습니다. 실제 URL 테스트를 해야 그제서야 구글봇이 사이트에 방문해서 색인 가능여부를 판단하거든요.
robots.txt 파일은 블로그 설정 메뉴나 SEO 관련 플러그인 메뉴에서 보는것 보다 직접 URL을 입력해서 확인 해보시는걸 추천 드립니다. 예향님 블로그 주소 https://블로그주소/robots.txt 이렇게 입력하시면 실제 robots.txt 파일에 어떤 설정이 되어있는지 볼 수 있으실거에요. 거기에 구글 봇에대한 특별한 설정이 있는지 찾아보시면 좋을것 같습니다.
색인생성 문제나 검색엔진의 노출 순위 등은 검색엔진 회사의 고유영역이라 아무리 분석할려고 해도 한계가 있어서 저도 피상적으로 밖에 말씀 못드리는게 답답하네요. 잘 해결되었으면 좋겠습니다. 기타 궁금한게 있으면 언제든지 질문 주세요. 제가 모든 답을 드릴 수 있는건 아니지만 제가 아는 선 내에서는 뭐든 말씀 드릴게요.
시간을 내주셔서 이렇게 빠른 답변 해주셔서 정말 감사합니다. 이렇게 알려주시는게 얼마나 큰 힘이 되는지 모르겠습니다.
제가 말씀해주신 https://블로그주소/robot.txt로 입력해서 들어가보면 ‘Oops! That page can’t be found.’ 이렇게 나옵니다.ㅠㅠ
뭐가 뭔지 정말 어렵습니다.ㅠㅠ 네이버에 색인이 되었는지 확인해보니 네이버는 색인이 되었더라고요. 만약 robot에 문제가 있다면 네이버에서도 색인이 안되어 있어야 하는거 아닌가요?
블로그 운영을 제대로 해보고 싶은데,, 너무 어렵습니다.ㅠㅠ
네 마침 제가 컴퓨터를 하고 있어서요. robot.txt 가 아닌 robots.txt로 시도 해보시겠어요? 하시다 보면 많이 익숙해지실거에요. 처음에는 어려운게 당연합니다.
User-agent: *
Disallow: /wp-admin/
Allow: /
이렇게 되어있습니다. 문제가 없는 것 같아요. 정말 답답합니다.ㅠㅠ
구글에 문의해볼 수는 없는거지요?
블로그 운영하시는 분들이 대단해보입니다.ㅠㅠ
그러게요, robots.txt 파일 자체에는 문제가 없어보이는데요. robots.txt 파일 자체에 문제가 없는데 서치콘솔에서 그렇게 응답한다고 한다면 더이상 어디를 봐야할지 잘 모르겠네요. 답은 모르겠지만 저라면 몇 가지 더 확인해볼것 같은데요, 아래에 말씀드리는 부분은 참고만 해보세요.
1. 혹시’실제 URL 테스트’하면 작성한 모든 글에 대해 robots.txt에 의해 차단됐다는 메세지가 나오는지? 그렇다면 전체 설정의 문제이고 그렇지 않다면 robots.txt 문제로 색인생성이 안되는 몇 개 글만의 문제일 수 있음.
2. 색인된 글의 개수가 줄어들었을 때 블로그의 특정 설정이 바뀌었는지? 특히 전에 없던 플러그인을 설치하지는 않았는지?
3. 이런 저런 방법으로도 안되면 SEO 관련 플러그인(요스트, Rank Math 등) 또는 robots.txt 관리 관련 플러그인을 비활성화 해볼것 같습니다. 일단 비활성화 하고 실제 URL 테스트를 해보고 색인 생성이 가능하다고 나오면 SEO 관련 플러그인의 문제일 수 있고 비활성화 했는데도 같은 문제가 발생하면 또 다른데서 문제를 찾아봐야겠지요 ㅜㅜ
그런데 구글 서치콘솔에서 실시간 테스트 해본 후 ‘테스트된 글보기’를 눌르서 robot.txt.에 차단되었다는 메세지에서 robo.txt를 누르면
User-Agent: *
Allow: /ads/preferences/
Allow: /dtt/k
Allow: /gpt/
Allow: /pagead/show_ads.js
Allow: /pagead/js/adsbygoogle.js
Allow: /pagead/*/show_ads_impl.js
Allow: /static/glade.js
Allow: /static/glade/
Allow: /tag/js/
Disallow: /
Noindex: /
이렇게 나옵니다. 이 글에서 필요없는 부분을 색인하지 않았다는 말일까요?ㅠㅠ 어렵습니다.
귀한 시간 내주셔서 정말 정말 감사합니다.
위에 robots.txt 는 확실히 문제가 있어보입니다. 관건은 구글봇이 인식하는 robots.txt 파일이 왜 위와 같은지를 파악하는지가 되겠네요. 위에 내용은 Allow 다음에 있는 주소를 제외하고는 모두 허용하지 않는다 라는 의미거든요. 앞에서 말씀드린대로 SEO 관련 플러그인이나 robots.txt 관리 플러그인을 비활성화 시켜보는것도 문제를 찾는데 도움이 될 것 같다는 생각이 들고요, https://support.google.com/webmasters/answer/6062598?hl=ko 여기 접속하셔서 robots.txt 보고서 열기 버튼 클릭하신 다음 화면 좌상단 콤보박스에서 운영하시는 워드프레스 선택하시고 조회해보시면 robots.txt 관련 문제를 찾는데 도움이 되는 내용이 나오지 않을까 하는 생각도 드네요.
상세한 답변 감사합니다.
큰 도움이 되었습니다. 이것저것 더 시도해보도록 하겠습니다!!!
블로그가 더 번창하시길 바랍니다~*^^*