サイトをつくったあとのこと

たまたま似たような、っていうか、症状は似てないけど、ともに「サイトを作ったあとのこと」のトラブル目にしたり聞いたので、書いておこうかな、と。
僕のブログを読んでくださっている方には認識しておいていただけるといいかな、と思いまして。
制作会社や広告代理店さんの中には、サイト制作を請け負っているけど、それに付随することがわからない、というか、「そこまでは俺らの仕事じゃないし」と思う方もいまして、でも、クライアント側からすれば「そんなの言わなくてもわかってると思うし、常識から考えてやるのが当たり前じゃないの？1セットでしょ、普通」と思う部分でもあります。

何か、と言いますと、検索へのインデックスや、旧コンテンツへのアクセス禁止や転送設定です（こっちはどちらかというとサイトリニューアル時）。
クライアント側企業さまでもチェックされてみてもいいかも。

それぞれの経緯

社名検索で上位にあがってこない

とある企業さんが、コーポレートサイトを新規作成したのですが、社名検索しても上部はもちろんHITもしない。受けた広告代理店右往左往。どうやらデザインとHTMLの制作だけを依頼して、サーバーアップやCMSへの組み込みは広告代理店側でやるという話だったらしく・・・。わかる人はこれ読んでわかると思いますが、「WEBサイトってそれだけじゃないんだよ」ってことです。

あれ？CSSが外れてる？

たまたま別企業さんへの提案資料を作成していた際に、検索して色んな企業さんのサイトを調べていました。
その際に開いたページが、「あれ？」という表示のされ方をしていて、いわゆるCSSが外れてる状態でテキスト羅列の表記。まぁ、たまにあったりします（ただ大きな企業さんだったので、かなり珍しいですが）。
たまにキャッシュだったりもするので、Ctrl+F5でキャッシュクリアすることで表示がなおることもありますが、キャッシュクリアしても崩れたままだし、別ブラウザで見ても変わらない。
そしてURLのディレクトリ単位で削っていくと、あれ？別ディレクトリに似たようなコンテンツが・・・あれ？ナビゲーションにさっきのURLに飛ぶリンクがない・・・。
これってもしかして、リニューアル前の旧コンテンツか・・・。

ということがありまして、わかりやすく書いておこうかなと。

サイトを新たに作成したとき

サーバーにアップした時点で確かに検索エンジンにインデックスの対象にはなりますが、すぐに検索にひっかかるようなことはありません※1。検索エンジンの「クローラー」と呼ばれるロボットが回ってきて、インデックスされたりします。新しくサイトを作成した際には以下のような作業が必要です。

sitemap.xmlを申請する

Googleには「サーチコンソール」というツールがあります。このツールはGoogleが提供してくる「あなたのサイトはこういう状態ですよ」的なカルテのようなサービスでして、色々と便利です。
ここにある「インデックス」→「サイトマップ」で自社のURL/sitemap.xmlを申請します※2。僕のブログの場合はhttps://mutsu.me/blog/sitemap.xml　ですけどね（僕の場合は、WPを設置する階層を間違えましてｗ）

これは、検索エンジン側に「このサイトにはこんなページがあって、こんな構造になってますよ」というものを伝えるものでして、簡単に言うと、サイト内にある「サイトマップ」ページが人間が見る「サイト内ページ一覧」であるならば、このsitemap.xmlは機械（Google検索ロボット）が見る「サイト内ページ一覧」です。まずは、これをやらないと短期間で検索にひっかかることはよほどありません（まぁ、放置しておいても時間の経過とともにインデックスはされますけども）。

※1：ちなみに、検索にかからない理由として他にあるのは、HTMLのソースコードなどに、って書いてあったら、検索にはひっかかりません。これはページ側に「検索にHITさせないようにして」って書いてあることになります。制作時に制作側のテストサーバーなどでコーディングチェックしたり、客先に提示して確認をしてもらう際に、テストサーバーにあるページが検索にHITしてしまうと厄介なので、このようなコードを入れたりします。それがそのまま残ってしまっている場合は、検索にはかかりません。

※2：当然のことながら、ルートディレクトリ（自社ドメインのURLの直下で例えば、https://○○○○.co.jp/sitemap.xmlとなるように）にsitemap.xmlというファイルを設置しないといけません。WordPressであれば、プラグインなどで簡単に作成できます（プラグインなくても簡易なものは勝手に作成されるみたいですが）。CMSなどを使っていない場合は、サイトマップジェネレーターなんかを使ってsitemap.xmlを作成します。

補足：ちなみに、sitemap.xml以外にも、サイトマップとして送信出来るものがあります。インデックスしたいURLを一覧に記載して、ファイル名をurllist.txt（URLリスト.txt）としてルートディレクトリにアップすると、読み込まれて登録されます（そういや、昔は.rorなんていうファイルもありました）。WordPressだと、/feedってのもあります。

補足：このサーチコンソールですが、昔はGoogle WEBマスターツールと呼ばれていました。そして、それぞれの検索エンジンにはこういったサービスがあるのですが、Bing（マイクロソフトの検索エンジン。Windowsを買うとまずは、この検索が初期設定になっているかと）にもありますので、Bing WEBマスターツールでも登録されたほうがいいです（中国の百度も前はあったけど今もあるんかな・・・）。

プレスリリース

これは企業規模や内容にも依りますけど、ある程度の規模であったり、今回のサイト公開はチカラを入れている、という場合はプレスリリースサービスなどを使って、PRすることをおすすめします。上述のsitemap.xmlはほぼ必須ですが、これに関してはやれるならやったほうがいいかも、というレベルです。プレスリリースを配信することで色んな被リンクが増えますし、各媒体に掲載された記事には新サイトへのリンクが掲載されているはずですから、そこからサイトへ流入もしてくれます。

デザイン参考サイトへ登録

更に副次的な方法ですが、デザインの参考サイトへ登録したりします。まぁ、被リンク稼ぎくらいですが、デザインが素晴らしければ、目を引きます。

まとめ

と、まぁ、プレスと参考サイトはやってもやらなくてもですけど、sitemap.xmlの申請は必須なので、これやってないのに、公開してそれほど日数経過していないのに「社名で検索しても上位にあがってこない」といっても、そりゃそうですよ、という返答になります。だって、Google側に伝えてないんだもん。クローラーが回ってくるのを待ってるだけなんで。
ちなみにインデックスされているかどうかを調べるには、サーチコンソールの「サマリー」→「URL検査」するとインデックスされているかどうかが調べられます。

サイトリニューアルしたときも

サーチコンソールで再度設定

上述にあるように、どういったページがあるかを伝えるものですから、リニューアル時に増えたページ、減ったページがあるはずです。そういったものを伝える必要があります。
増えたページはもちろんですが、減ったページも伝えておかないと、検索側から「サイトマップには、/○▲○■.htmlというページがあるのに、実際に訪れるとクローラーが見つけられないみたいです」というエラーがサーチコンソール側に届きます（間取り図にはある部屋が見学に行ったらない、ってみたいな）。なので、リニューアルしたサイトの新しい状態をサーチコンソール（及びBing WEBマスターツール）を使って伝えます。

転送設定

さて、ここからがちょっと説明がややこしくなるかも。
リニューアルにあたってなくなったコンテンツ（ページ）があるかと思うのですが、リニューアル前にメールやSNSなどでコンテンツを拡散していますし、名刺やQRコード、ブラウザのお気に入り（最近あまり聞かなくなったけど）から旧コンテンツにアクセスされることもあります。その際に、過去に情報を見てくれた方全員に「リニューアルしました！」なんている連絡をするのはほぼ不可能です。そこで、「転送設定（301リダイレクト）」をするのですが、これが意外と忘れていたりすることはあります。

この転送設定をすることで、旧コンテンツにアクセスされても、トップページや、リニューアル後のサイトの該当するコンテンツに転送させることができます。逆にこの転送設定を入れないと、検索にインデックスされているから、リニューアル後のWEBサイトのトップや下層ページにボタン（リンク）がなくても、検索結果から直接流入されたりしてしまうので、表立ってはアクセスされませんが、検索結果や過去に配布したリンクからは流入されてしまいます。

特にクライアント側の企業さんですと、「ユーザーはトップページ経由で流入する」と思われている方が多いのか、気づかないことが多いです。下層ページにダイレクトに流入されたり、下層ページが直接検索にHITしてしまいますから、上述のように「古いページに直接アクセスされる」事象が発生します。

旧コンテンツは削除したらダメなの？

削除しても問題はないです（使ってないファイルなら）。ただ、削除してしまうと、そこは「ページが見つかりません」という表示になってしまいます。sitemap.xmlに旧コンテンツのURLが記載されていた場合はサーチコンソール上でエラーが出ますし、転送させるURLが存在しないので、転送も効きません（サーバー側に直接書き込む？設定するみたいなことで転送は出来る？と聞いたことがありますが、そこまでやるのって結構手間なので）。転送させる元URLと転送させたい先のURLが揃って転送が動くので、旧コンテンツは消さないこともあります（転送はサーチコンソールでもエラーにならない）。

robots.txtでインデックスさせない

ちょっと重複作業でもありますが、sitemap.xmlを再送信して、新しいサイトの構成とかを伝えたあと、robots.txtで検索エンジンにアクセスさせたくない（インデックスさせない）ページを記述します。上述のようにを旧コンテンツにそれぞれ記述するのは面倒ですからね。これで検索のロボットを弾きます。ちょっとややこしいですが、「検索にインデックスされる」のと「ユーザーがダイレクトにアクセスしてくる」のは違うので、robots.txtで検索にインデックスされないようにしてもURLを直接入力されたらそのページは開きます。

制作会社が変わった場合は注意

制作会社が変わった場合も注意です。100％完璧に制作会社同士が引き継ぎ出来ていればいいですが、まぁ、制作会社同士がデータや情報のやり取りをするってのはあまりないです。商流上で縦のつながりがあるならありますが。前回作った会社が今回作った会社のために時間割いて、資料とか用意したり、説明に時間割いたりはあまりしません。元請けとなった広告代理店に説明したり、クライアントに説明して伝言ゲームになります。
そういった引き継ぎが上手く出来てない、伝達がされていない場合、新たに制作する会社側では細かい設定や仕様はわかりませんので、リニューアルの対象となるサイト（現行で表示されているサイト）は調べていても、その一つ前のサイトやそれ以前のサイトまでは調べないです。
例えば、2つ以上前のサイトのコンテンツを現在のサイトでは転送で見せないようにしていたけど、リニューアルに依って転送設定が外れてしまい、リニューアルした結果、2つ以上前のサイトのコンテンツが復活してしまうようなことは有りえます（イメージ的に言うと、その土地に封印していた妖怪が、土地の再開発によって封印が解かれ、現代によみがえってしまい、再び悪さをする的な。鬼太郎とかによくあるような話です。）

インデックスの削除

更に言うと、検索エンジンへのインデックスを削除することも出来ます。
サーチコンソールの「インデックス」→「削除」で該当のURLを入力すると、削除されます。この削除期間ですが、半年間となっており、申請後、半年間は該当のURLは検索にHITしません（実際に試してみましたけど、およそ半年後、消したページが再インデックスされてました）。その半年間に「検索にインデックスしないようにしてね」とrobots.txtに記述したり、sitemap.xmlに記載されたURLの一覧から旧コンテンツを削除したり、転送設定をセットします。なお、WordPressなどのCMSの管理下のページの場合、「使ってないから」と思っていても、システムの管轄内にあることで、勝手にsitemap.xmlに記載されている可能性はあります。

まとめ

順番としては、そんなに厳密ではないけど、転送設定後、robots.txtでインデックスさせないようにしてファイルアップ、削除で消す対象のURLを入力後、sitemap.xmlを送信になるにかな。

任せっぱなしにしないこと

契約や要件定義に依っても変わりますが、上記は広告代理店や制作側で実施することが多い作業ですが、若干「（純粋なる）制作」とも違う一面があり（SEO的な要素もあるので）、制作会社によってはやらなかったり、知らない会社もあります（契約に依っては作業範囲外であることも多い）。そこで間に入る代理店の営業マンとかが知らないと上のような事故につながることもあります。

WEBサイトのデータが格納されているサーバーへのアクセス権限はクライアント側のシステム担当者や、広告代理店、制作会社や管理会社が持っている、共有されていたりましますが、サーチコンソールの権限までは共有されなかったりするので、そうなると、sitemap.xmlの送信はクライアント側でしか出来ない作業になります。広告代理店さんに共有されていたとしても、担当営業とかが知らないと放置になっているので、サーチコンソールへアクセス出来るクライアント側の企業様においては、操作も簡単なので一度確認してみてもいいかもしれません。