구글 서치 콘솔 (Search Console) 이해하기 – 색인 생성 실패 이유찾기

16 responses

1. 

   토토리메

   2023년 11월 14일

   안녕하세요. 기존 22개 등록 되어있던 글 들이 14개나 내려갔습니다. 모두 NOINDEX로 내려간 상황이구요. 랭크메스 로봇메타, 글 로봇메타 둘 다 색인으로 설정 되어있구요. 페이지,카테고리 글은 중복으로 너무 노출이되서 인덱스 없음으로 설정 되어있습니다. 내려간 글 14개를 CARL+U 로 봤을 시 메타네임 로봇 모두 INDEX로 되어있는데 이런 경우는 왜 그런걸까요..? https://totorimet.com 입니다 ㅠㅠ..

   Reply
   1. 

      logicladder

      2023년 11월 14일

      ‘NOINDEX 태그에 의해 제외되었습니다.’ 라는 글씨를 누르시면 어떤 글들이 제외되었는지 볼 수 있는데요, 거기서도 카테고리나 태그에 해당하는 주소가 아닌 진짜 작성하신 글에 대한 주소가 뜨고 있나요? 그렇다면 이상하기는 하네요. 제가 말씀해주신 사이트 주소로 들어가서 앞에 있는 글 몇개를 살펴봤는데 말씀하신대로 NOINDEX 처리는 되어있지 않더라고요.

      정말 말씀하신대로라면, 제가 추측할 수 있는건 랭크메스 등 어떠한 프로그램의 설정에 의해 잠시 NOINDEX 처리 되었는데 그 때 색인에서 제외되었고, 지금은 정상 상태이지만 그게 반영이 안된게 아닐까 라는 생각뿐 입니다. 지금 상황에서 해볼 수 있는건 제외된 페이지에 대한 색인 생성을 다시 요청 하시고, ‘NOINDEX 태그에 의해 제외되었습니다’ 라는 글씨를 눌러 들어간 화면에 있는 “수정결과 확인” 버튼을 클릭해보는 정도일것 같아요. 현재 정말 NOINDEX 태그가 없는 상태라면 이정도만 하셔도 문제가 해결되지 않을까 싶습니다. 잘 해결되었으면 좋겠네요.

      Reply
      1. 

         토토리메

         2023년 11월 15일

         답변감사합니다 선생님! 10월 구글 잠수함 패치로 구글이 이상한거 같습니다. 카테고리, 페이지 같은경우 중복 글 노출이 싫어서 noindex로 설정되어있는데 오늘 페이지 글이 등록이 되어 있는 현상이 발생했네요. 날씨가 많이 추워지는데 감기 조심하시고 블로그 번창 하시길 바랍니다^^

         Reply
2. 

   예향

   2024년 02월 13일

   안녕하세요? 구글 색인이 안되어서 질문드려봅니다.
   구글 서치콘솔에 색인 요청을 해서 색인이 되었던 글들이 어떤 이유에서인지 색인 생성이 줄어들었습니다. 색인 생성 글이 13개에서 3개로 줄었습니다. 구글 서치콘솔에서는 크롤링이 되었지만 현재 색인이 생성되지 않았다는게 이유입니다. 아무리 다시 색인 요청을 해도 색인이 되지 않습니다. 글을 추가로 작성해서 색인 요청을 해보아도 반영이 되지 않고요. 이런 경우 어떻게 해야하는지 아실까요? 글을 꾸준히 쓰면서 기다리면 언젠가 다시 색인이 되는건지, 어떤 조치가 필요한건지 답답한 마음에 문의 남깁니다.

   Reply
   1. 

      logicladder

      2024년 02월 13일

      사실 “크롤링됨-현재 색인이 생성되지 않음” 이라는 사유에 대해서는 저희가 특별히 할 수 있는게 없습니다. 구글 시스템에서 자체적으로 판단 후 색인을 생성하지 않은거거든요. 우선 구글 서치콘솔의 URL 검사 화면에서 “실제 URL 테스트”를 한번 해보세요. 만약 색인이 생성되지 않은 특정한 이유가 있다면 실제 URL 테스트 결과에 그러한 이유가 보일 수 있습니다. 또 한가지 확인해보시면 좋을만한게, 말씀하신 이유로 색인이 생성되지 않은 URL들을 살펴보는건데요, 저의 경우에도 말씀하신 이유로 색인이 생성되지 않은 페이지들이 꽤 있거든요. 그런데 어떤 페이지들이 URL 생성이 안됐는지 확인해보면 실제 글에 대한 URL이 아닌, logicladder.org/글-제목/feed/ 와 같이 SEO 관련 툴이 자동으로 생성한 URL이 대부분 입니다. 이런 페이지들은 색인이 꼭 생성되어야 하는 페이지가 아니기 때문에 크게 신경쓰지 않으셔도 되고요.

      이런 저런 이유가 다 아니라면 몇 번씩 색인생성 요청을 해보시는것도 방법중 하나이지만 이 방법은 이미 시도해보신것 같아 제가 뭐라고 더 말씀을 못드리겠네요. 관련 문제에 대해서 제가 드릴 수 있는 말씀은 위에 두 가지 정도인것 같아요. 만약 작성하신 모든 글이 다 색인생성이 안된다면 구조적인 문제가 있는거겠지만 그렇지 않다면 말씀하신대로 글을 쓰면서 차분하게 기다려보시는 것도 한 방법입니다. 저라면 그렇게 할것 같아요. 블로그 초기에는 관련 정보가 많이 수집되지 않은 상태이기 때문에 구글 서치콘솔에도 부정확한 정보들이 많이 떴던 기억이 있습니다.

      Reply
      1. 

         예향

         2024년 02월 13일

         답변 감사합니다.
         실제 제가 글을 작성하고 색인하고 싶은 글이 색인이 안되고 있습니다. 기존에 색인이 되어서 검색이 되었다가 글이 안보이게 된 기존 글들이 문제가 있을까 싶어서 모두 삭제 한 후 새로 글을 작성해서 색인 요청을 했는데도 반영이 안되고 있습니다.
         구글 서치콘솔의 URL 검사 화면에서 “실제 URL 테스트”를 한 후에 ‘테스트된 페이지 보기’를 눌러서 확인해보니 ‘robots.txt에서 Googlebot이 차단됨’이라는게 떠 있더라고요.
         제가 따로 한게 없는데, robot.txt가 검색을 차단한게 되는건가요?
         답답한 마음에 질문을 남겨봅니다.

         Reply
         1. 

            logicladder

            2024년 02월 13일

            질문 주신것과 관계없는 내용이긴 하지만 생각처럼 색인생성이 잘 되지 않는다고 하여 글을 삭제하고 지우는 방법은 좋은 방법은 아닙니다. 색인이 구글 검색엔진에만 생성된 것이 아니라 네이버, 다음 등에 생성되어 있을 수 있는데 글을 삭제하고 다시 작성하면 다른 검색엔진에서 새로 작성한 글을 중복된 글로 여겨서 색인 생성이 잘 안될 수 있거든요.

            다시 본론으로 돌아가서 “robots.txt에서 Googlebot이 차단됨” 이라는 문구가 있다면 설정상 문제가 있는겁니다. robots.txt 파일은 검색엔진 봇이 내 웹사이트를 방문했을 때 크롤링을 허용하느냐 안하느냐에 대한 규칙을 설정하는 파일인데 거기에 GoogleBot을 허용하지 않음으로 설정했다면 구글 색인이 생성되지 않는건 너무 당연합니다. 제 블로그의 robots.txt 파일을 보시면 (https://141.164.50.190/robots.txt) “User-agent: *” 이런 문구가 있는데 이건 모든 크롤러의 방문을 허용한다는 뜻이고요, “Disallow: /wp-admin” 이 문구는 크롤러가 관리자 페이지에 접근하는걸 허용하지 않는다는 뜻입니다. 한번 관리하시는 웹사이트의 robots.txt 파일을 점검해보세요. 그런데 운영하시는 웹사이트의 종류에 따라 robots.txt 파일에 대한 접근이 제한적일순 있습니다. 혹시 어떤 플랫폼의 블로그를 운영하세요?

            Reply
3. 

   예향

   2024년 02월 14일

   시간을 내서 답변 주셔서 정말 감사합니다. 어디 물어볼 곳도 없고 답답했거든요.
   일단 저는 워드프레스로 블로그를 운영하고 있습니다. 블로그 만든지는 얼마 안되었고요.
   글을 구글 서치콘솔에서 URL 검사를 했을 때 등록할 수 있다고 나오고, 색인이 생성 가능하다고 나옵니다. 그러나 색인 요청을 하면 색인이 안됩니다. 만약 robot.txt 파일이 문제가 있으면 URL 검사를 했을 때 문제가 되어야 하는게 아닐까요?
   그런데 글을 실시간 테스트를 누른 후 ‘테스트된 페이지 보기’를 눌러보면 과 이런게 떠있습니다.
   이건 글과 상관없는 부분이라서 색인을 차단했다는 말이 되는걸까요?
   블로그 설정에 가서 보니 robot.txt는 크게 문제가 없는 것 같아요.
   정말 답답합니다.ㅠㅠ 그냥 기다리는게 답일지 모르겠습니다.ㅠ

   Reply
   1. 

      logicladder

      2024년 02월 14일

      URL 검사를 했을때는 문제가 나오지 않지만 실시간 검사를 했을때 문제가 발견되는건 자연스러운 현상입니다. 글 하단에 관련글 링크가 있는데 “구글 서치 콘솔 – URL 검사 및 실제 URL 테스트” 라는 글을 한번 읽어보세요. 요약해서 말씀드리면 URL 검사는 구글이 색인한 정보중에 해당 글이 있는지를 테스트 하는거고 실제 URL을 방문해서 검사하지는 않습니다. 실제 URL 테스트를 해야 그제서야 구글봇이 사이트에 방문해서 색인 가능여부를 판단하거든요.

      robots.txt 파일은 블로그 설정 메뉴나 SEO 관련 플러그인 메뉴에서 보는것 보다 직접 URL을 입력해서 확인 해보시는걸 추천 드립니다. 예향님 블로그 주소 https://블로그주소/robots.txt 이렇게 입력하시면 실제 robots.txt 파일에 어떤 설정이 되어있는지 볼 수 있으실거에요. 거기에 구글 봇에대한 특별한 설정이 있는지 찾아보시면 좋을것 같습니다.

      색인생성 문제나 검색엔진의 노출 순위 등은 검색엔진 회사의 고유영역이라 아무리 분석할려고 해도 한계가 있어서 저도 피상적으로 밖에 말씀 못드리는게 답답하네요. 잘 해결되었으면 좋겠습니다. 기타 궁금한게 있으면 언제든지 질문 주세요. 제가 모든 답을 드릴 수 있는건 아니지만 제가 아는 선 내에서는 뭐든 말씀 드릴게요.

      Reply
      1. 

         예향

         2024년 02월 14일

         시간을 내주셔서 이렇게 빠른 답변 해주셔서 정말 감사합니다. 이렇게 알려주시는게 얼마나 큰 힘이 되는지 모르겠습니다.
         제가 말씀해주신 https://블로그주소/robot.txt로 입력해서 들어가보면 ‘Oops! That page can’t be found.’ 이렇게 나옵니다.ㅠㅠ
         뭐가 뭔지 정말 어렵습니다.ㅠㅠ 네이버에 색인이 되었는지 확인해보니 네이버는 색인이 되었더라고요. 만약 robot에 문제가 있다면 네이버에서도 색인이 안되어 있어야 하는거 아닌가요?
         블로그 운영을 제대로 해보고 싶은데,, 너무 어렵습니다.ㅠㅠ

         Reply
         1. 

            logicladder

            2024년 02월 14일

            네 마침 제가 컴퓨터를 하고 있어서요. robot.txt 가 아닌 robots.txt로 시도 해보시겠어요? 하시다 보면 많이 익숙해지실거에요. 처음에는 어려운게 당연합니다.

            Reply
            1. 

               예향

               2024년 02월 14일

               User-agent: *
               Disallow: /wp-admin/
               Allow: /

               이렇게 되어있습니다. 문제가 없는 것 같아요. 정말 답답합니다.ㅠㅠ
               구글에 문의해볼 수는 없는거지요?

               블로그 운영하시는 분들이 대단해보입니다.ㅠㅠ

            2. 

               logicladder

               2024년 02월 14일

               그러게요, robots.txt 파일 자체에는 문제가 없어보이는데요. robots.txt 파일 자체에 문제가 없는데 서치콘솔에서 그렇게 응답한다고 한다면 더이상 어디를 봐야할지 잘 모르겠네요. 답은 모르겠지만 저라면 몇 가지 더 확인해볼것 같은데요, 아래에 말씀드리는 부분은 참고만 해보세요.

               1. 혹시’실제 URL 테스트’하면 작성한 모든 글에 대해 robots.txt에 의해 차단됐다는 메세지가 나오는지? 그렇다면 전체 설정의 문제이고 그렇지 않다면 robots.txt 문제로 색인생성이 안되는 몇 개 글만의 문제일 수 있음.

               2. 색인된 글의 개수가 줄어들었을 때 블로그의 특정 설정이 바뀌었는지? 특히 전에 없던 플러그인을 설치하지는 않았는지?

               3. 이런 저런 방법으로도 안되면 SEO 관련 플러그인(요스트, Rank Math 등) 또는 robots.txt 관리 관련 플러그인을 비활성화 해볼것 같습니다. 일단 비활성화 하고 실제 URL 테스트를 해보고 색인 생성이 가능하다고 나오면 SEO 관련 플러그인의 문제일 수 있고 비활성화 했는데도 같은 문제가 발생하면 또 다른데서 문제를 찾아봐야겠지요 ㅜㅜ

            3. 

               예향

               2024년 02월 14일

               그런데 구글 서치콘솔에서 실시간 테스트 해본 후 ‘테스트된 글보기’를 눌르서 robot.txt.에 차단되었다는 메세지에서 robo.txt를 누르면

               User-Agent: *
               Allow: /ads/preferences/
               Allow: /dtt/k
               Allow: /gpt/
               Allow: /pagead/show_ads.js
               Allow: /pagead/js/adsbygoogle.js
               Allow: /pagead/*/show_ads_impl.js
               Allow: /static/glade.js
               Allow: /static/glade/
               Allow: /tag/js/
               Disallow: /
               Noindex: /

               이렇게 나옵니다. 이 글에서 필요없는 부분을 색인하지 않았다는 말일까요?ㅠㅠ 어렵습니다.
               귀한 시간 내주셔서 정말 정말 감사합니다.

            4. 

               logicladder

               2024년 02월 14일

               위에 robots.txt 는 확실히 문제가 있어보입니다. 관건은 구글봇이 인식하는 robots.txt 파일이 왜 위와 같은지를 파악하는지가 되겠네요. 위에 내용은 Allow 다음에 있는 주소를 제외하고는 모두 허용하지 않는다 라는 의미거든요. 앞에서 말씀드린대로 SEO 관련 플러그인이나 robots.txt 관리 플러그인을 비활성화 시켜보는것도 문제를 찾는데 도움이 될 것 같다는 생각이 들고요, https://support.google.com/webmasters/answer/6062598?hl=ko 여기 접속하셔서 robots.txt 보고서 열기 버튼 클릭하신 다음 화면 좌상단 콤보박스에서 운영하시는 워드프레스 선택하시고 조회해보시면 robots.txt 관련 문제를 찾는데 도움이 되는 내용이 나오지 않을까 하는 생각도 드네요.

4. 

   예향

   2024년 02월 14일

   상세한 답변 감사합니다.
   큰 도움이 되었습니다. 이것저것 더 시도해보도록 하겠습니다!!!
   블로그가 더 번창하시길 바랍니다~*^^*

   Reply