実は私のメインサイトがずっとSearch Consoleでindexされておりませんでした。
ものすごくズボラな性格なので、「あれ、設定しなかったんだったかな？」というくらいの感じでついこの間 Search Console につなげようと思ったら…
すでに設定はしているらしい。はて？と思い、そこから気になって仕方なかったこの「Google Search Console でサイトがindexされない問題」
見ると、6月17日から全くindexされなくなってしまったようなんです。（それをここまで放置していた私も私なんですが…）
思い当たる節があるとすれば、このドメインは私が人生で初めて持ったドメインで、これまで3回リニューアルしていて、最後のリニューアルは去年。Wordpress→HTMLへと変更した時に、引き継ぎをちゃんとしなかったからだろうか？と思いました。
今その過去のフォルダもサーバー内にあるので、それが悪さをしているのでは…と、試行錯誤を重ねました。
最初は軽く考えていてすぐに治るだろうと思っていたのですが、3日格闘してもSearch Consoleはうんともすんとも言わなくて。これはいよいよダメかもしれない、誰か先生に助けてもらいたい…と思っていたくらいでした。
でも4日目の朝、解決した夢を見て起きて、なんか今日はいけるかもしれないと思ったら解決できたんです！嬉しかった〜！！！よくある「寝たら直る」系の問題ではなかったのですが、ちゃんと自力で解決できたので、忘備録として記録しておきます。
Search Console の何が問題だったのか？
元々所有権は獲得できており、緑色で表示されていて、プロパティは存在していました。でも、Fabiconが表示されていないということは、つながっていない感じです。
「公開URLをテストする」を押すと、この画面に行きついてしまうのです。
インデックス登録リクエストに失敗してしまい、「インデックス登録に関する問題が見つかりました」と表示されるので「ライブテストを表示」ボタンを押すと、以下のような状況が説明されました。
理由についての「詳細」を押すと、こちらのページに飛んでしまい、大海に放り出されたような解説しか得られませんでした。
よーく読めば解決策が書いてあるのでしょうけど、最初の段階では読む気になれず、同様の症例があるかどうかをたくさん検索しました。でも、
- 過去にリニューアルを重ねている
- WordPressからHTML/CSSのサイトに変更している
- 所有権は確認できているがindexだけされない
- robots.txtが原因であるっぽい
これらの条件を満たす解説はなかなか見つけられなくて、途方に暮れました。
私がやったこととしては、
- HTML タグ
- Google Analytics
- Google タグ マネージャー
それぞれで接続を試みましたが、どれも成功はするので、これは接続の問題ではなさそう。
他にDNSレコードやHTMLファイルという方法があったけど、問題はそこではないということがわかったのでやめておきました。
どうやら、所有権の確認後の問題であるとわかりました。だとすると、書いてある通りにRobots.txt が問題なんだと思います。でも、検索すればするほど、「robots.txtなんて作った覚えもないから関係ない」という例もあって、ここですごく時間がかかりました。
他にもいろいろ試行錯誤しましたが、やっぱり私の場合、これ以外に行き当たる問題がなかったのです。別のページではこんな指摘も。やっぱりrobots.txt！
「先週の不合格率はしきい値を超えました」ここを開くと、
クロールが失敗しているということは、やっぱりクローラーが来てくれているのに、robots.txtがはじいているのかも？
サーバー内部を見ても、robots.txtは存在しなかったのですが、私の場合はリニューアルを重ねたということもあって昔の方がサーバーに残っている可能性もあるのかなと思い、robots.txtを作って入れることにしました。
Robots.txtを自作して入れてみた
Robots.txtはテキストファイルでサーバーのURLの直下に配置します。
https://xxx.com/robots.txtと打って出てくれば存在するということ！最初に自作したrobots.txtは、拡張子が間違っていて500のサーバーエラーを返しました。
作り直して入れ直すと、エラーを返さず見れるように。
これはいけるかも！と思ってSearch Consoleに戻りインデックスをリクエストしてみると…
リクエスト送信成功！やった〜！！
リクエストがはじかれて赤い画面を見て3晩かかってしまったので、リクエストを送信できてグリーンの画面を見たときはときは飛び上がるように嬉しかったです！
不思議なのが、インデックスされる夢を見た日にこれが起こったことです！夢の中でもsearch consoleと向き合っていたようです…笑（結構私の場合あるあるです。）
結果、robots.txt設置で解決しました！
結果的にこれが功を奏して、インデックスリクエストを送信することができて、最終的にこうなりました！
よかった〜！Search Consoleはデータがたまらないとみることができないので、あとは１週間ほど時間を置いてからまた確認してみようと思います。
愛着のあるサイトなので、成功して本当に良かったです。これから大事に育てていきたいと思います。
