Google 八分 の確認と対応の方法

臨時:「初音ミク」の画像が Google・Yahoo! で削除された件について
グーグル八分つながりで、こちらに来られる方が最近増えています。しかし、問題の本質で言えば、見るべきページは別の所にあります。
続・このサイトへの悪質な妨害行為
検索エンジンでの検索結果のランキング操作による、このサイトへの妨害行為が書かれています。こちらの方が参考になる内容だと思いますので、こちらへどうぞ。
Google 八分 
「グーグルはちぶ」と読む。
Google の検索結果から削除されること。Google による村八分という意味。
Google は検索エンジンとして有力であり、かなりの影響力を持つ。そこから削除される事は、Google からの閲覧者がいなくなることを意味しており、そのサイトにとってかなりの不利益となる。

なお、「グーグル八部」と書いているのをかなり見かける。漢字変換ミスもあるだろうが、Google に検索で見つけられないようにするために、故意にこう書いているものがけっこうありそうだ。

ここでは Google から削除されるという問題をまとめた。
以前に、僕のこのサイトで Google から削除されるという問題が起きたことがある。しかし、その様相は当時すでに知られてたケースとはかなり異なっていた。そこで、Google 八分について自分の経験でわかったことをまとめてここで公開したところ、かなりの反響をいただいた。
その後新たにわかったことも追記していったところ、内容が雑然としてしまった。今では、「Google八分」の持つ意味合いが若干変わってきているし、対応方法も変わってきたので、思い切って全面的に改定した。

ほとんどが、Google 八分ではない 

「自分のサイトも削除されたようだ」という声があちこちから上がっている。が、「あわてるな!!」

最初にこの「Google 八分の確認と対応の方法」を公開したとき、この文章を書いた。これは今でも通用する。

Google 八分は、めったにおこらない 

まず、これをしっかりと覚えてほしい。Google 八分を食らうってのは、本当にまれなケースなのだ。Google 社自身、Google 八分を発動するのにはかなり慎重になっている。発動するのに相応のきちんとした理由がないとユーザは納得しないし、乱用すると Google の評判を下げてしまうことになる。Google 八分そのものは実際にあるのだが、よっぽどのことがないかぎり、起きない。ごく普通の使い方をしていれば、Google 八分を食らうことはまずない。

検索エンジンスパムは、ここでは考慮しない 

内容の充実をはかろうとせずに検索エンジンの検索結果を操作しようとする、検索エンジンスパムに走る人はかなりいる。今では、こうした検索エンジンスパムへの対策が進んでおり、スパム行為を検出すると、ランキングを大幅に下げるペナルティを課するようになっている。
それでも、別な手口に変えて検索エンジンスパムを繰り返す懲りない連中もいる。

まあこのページでは、こんな検索エンジンスパムに走る連中のことは対象外とする。自分から好きこのんで悪いことをしているヤツらなのだし、承知の上でやっているのだから。

単純に、ランキングが下がっただけ 

Google では、検索結果は最大1000件と決まっている。Google による評価が1000位以下になってしまった場合、Google に登録されてても検索結果には出てこない、それだけの事である。おそらく、大半の人はランクが落ちただけであわてているのではないかと思う。

そもそも検索結果を1000件全部、マジメにチェックした人がどれくらいいるのか、怪しいものだと思う。100位以内に入っていたサイトが、100位以下に下がっただけで「Google 八分された!!」と騒いだ人が実際にいたのだから。
「1000件全部チェックなんて、できるわけないだろ!!」
こう言いたい人もいるかも知れないが、僕は本当に1000件全部チェックしている。まあタネあかしをすれば、簡単だ。検索結果の表示件数を100件に設定した上で、ウェブブラウザの検索機能で自分のサイトの URI を検索すればいい。ブラウザで ^F を押下すれば、検索ダイアログが出る。これで検索を十回繰り返せば、1000件全部チェックできる。慣れれば数分で終わる作業だ。
検索に使うウェブブラウザとしては、FireFox を勧める。理由は、使ってみればすぐわかる。FireFox が一番使いやすいのだ。こればかりは、好みの問題ではない。

それに、Google でのランキングってのは、時々変わるものだ。ページ評価のアルゴリズムだって、時々変更がある。ある特定のアルゴリズムに強く依存した、中途半端な SEO (検索エンジン最適化) のやり方をしていたら、変更されるとランキングが大幅に下がってしまうのは当然なのだ。
事実、以前はランキング向上に有効だった画像に付ける代替テキストの記述が、今ではあまり効かなくなっている。

上位を、共同サーバの他サイトに取られた 

プロバイダの格安なウェブサービスやブログサービスを利用していた場合、こうなるのはよくある。こうしたサービスの場合、多数のユーザをひとつのサーバにまとめてサポートしている。ドメインも共通になっている。

Google の場合、同じドメインにつき最大二件までしか表示しない。そうなるように、フィルタがかかっているのだ。だから、共有サーバを利用していた他サイトに上位を取られてしまった場合、自分のサイトは検索結果に出てこなくなる。このケースかどうかチェックするのは簡単で、自分のドメインの URI 共通部分をキーワードにして、検索結果をチェックすればいい。
例えば、このサイト(www001.upp.so-net.ne.jp/wakan)の場合は、「www001.upp.so-net.ne.jp」をキーワードにして、ブラウザの検索機能で検索するのだ。自分のサイトでなく他のサイトが先に出てくれば、このケースである。
共有サーバを利用している以上、こんな問題が出るのは避けられない。これを防ぐには、独自ドメインを持てばいいことだ。

ちなみに、最大二件までというフィルタをはずすこともできる。Google 検索結果画面の URI 末尾に「&filter=0」を追加して表示し直せればいい。YST の場合は「&dups=1」となる。msn の場合は未だに不明。

そもそも Google に登録されてない 

新設したばかりのサイトでは、実際に時々ある。
検索エンジンは、ウェブページの新設や更新をチェックするためにクローラを飛ばしている。このクローラを全世界のすべてのサイトに巡回させるのは、けっこう大変な作業だ。すぐに自分のサイトを見つけてくれるわけではないのだ。だから、新設して一週間ぐらいで「Google に出てこない」と騒ぐのは、あわてすぎである。きちんと Google に見つけてもらいやすいようにした上で、一ヶ月ぐらいは様子を見てほしい。

ランキングが一時的に乱れる、Google Dance 

時々「Google Dance (グーグルダンス)」と呼ばれる現象が起きるので、これにも注意のこと。Google はサーバマシンが40万台[2007年8月時点での数値]をこえる大規模な分散システムとなっている。データの更新がけっこう大変なようで、一時的に検索結果が乱れておかしくなることがある。これが、グーグルダンスだ。以前は一ヶ月に一度と定期的に起きていたが、今は不定期となっている。Google 社としてはグーグルダンスを無くしたいらしいが、うまくいってないようだ。
グーグルダンスは一時的な現象であり、数日のうちに治まるので、しばらく様子を見てほしい。

まず、本当に Google から削除されたのか確認を 

現在は、削除したことを明記するようになっている 

現在の Google では、検索結果から削除したことを明記するようになった。これまであいまいだった Google からの削除が、はっきりした形で確認できる。もっとも、別の原因による削除の可能性も残っているので、あとで述べる方法で確認するのは無駄ではないと思う。

削除がおこなわれた表記を見つけた場合、次のサイトでチェック可能。

Google Banned Tool
「Enter URL」の欄に、自分のサイトの URI を入れてください。各ページまでを指定する必要はなく、ディレクトリ単位でよい。

もう一つ、Google ウェブマスターツールを利用していた場合、そこでもページを削除したことを知らせるメッセージが出る。僕は見たことないけど。不正行為を働いた覚えがあるなら、すぐに修正して Google に届ければ、取り消してくれるとの事。

info: 演算子によるサイト情報確認 

[Google の入力画面] 左図のように、検索する単語を入力する欄に自分のサイトの URI を直接入力する。タイプミスに注意すること。ブラウザで自分のサイトを表示してから、URI をコピー&ペーストすれば確実だろう。

正確な記法は、「info:http://www001.upp.so-net.ne.jp/wakan/index.html」と「info:」をつけるものだが、まあ省略しても結果は同じだ。Google には検索用の演算子があり、info: 演算子でサイトに関する情報が表示される。

Google から削除されていなければ、下図のような表示になる。このように、そのページに関する情報が出てくる。たとえ評価が低くて1000位以下になってしまっていても、この方法で Google には登録されていることをきちんと確認できる。

[サイトが登録されてる時の表示]

もし本当に Google から削除されてしまった場合、あるいは元々から存在しないページの場合は、下図のように「情報は見つかりませんでした」と表示される。まずは、これをきちんと確認すること。
[サイトが削除された時の表示]

site: 演算子による登録ページ確認 

自分のサイトのページが検索エンジンに登録されているかを、サイト単位でまとめてチェックする方法がある。
自分の場合は、「site:www001.upp.so-net.ne.jp/wakan」というキーワードで検索している。こうすると、検索エンジンに登録された自分のページがまとめてリスト表示される。「site:」パラメータに、自分のサイトの URI を記述すればいい。このリストで、登録もれがないかどうかチェックしている。
なお、この方法は他の検索エンジン Yahoo、msn、Ask でも有効だ。
サイトによっては、登録されてないページがけっこうあるのを見つけるだろう。ただし、これをもって「Google八分だ!!」と判断してはいけない。本当は、けっこうよくある事なのだ。Google八分を疑う前に、検索エンジンに見つけてもらいにくいサイトの作り方をしてないか、情報のないページ内容になってないか点検するのが先だ。特にブログの場合は、全ページが登録されていることを期待しない方がいい。

ホントに削除されてた時の次の手 

上記の方法で、不幸にも本当に削除されていることがわかった場合でも、まだ打つ手はある。

サイトの再登録をする 

Google の サイトの登録のページ で、もう一度登録してみること。

この再登録で注意すべき点としては、削除されたページを一つ一つ繰り返して再登録する必要はない。
サイト全体のトップページだけを再登録すれば十分である。そうすれば、Google からクローラロボットが出動して、自動的にすべてのページを拾って行ってくれる。だから、神経質になって一つ一つのページをいちいち再登録しないように。すべてのページについていちいち再登録すると、Google にスパム行為だと誤解される恐れもある。

ただし、javascript や Flash などでリンクを記述しており、html ソースにはリンクの記述がないケースには、効果はない。クローラにはリンクが見えなくなってしまうのだから、当然の結果である。これは、そういう技法をわざわざ選んだ人の責任であり、Google のせいではない。
本当に Google に登録されたいのなら、そのような作り方を改めるべきだろう。具体的には、html ソースにもきちんとリンクを記述する事である。これはアクセシビリティの向上にもつながるので、ぜひやるべきだと思う。

僕の場合は、このサイトの再登録で削除されたページを回復できた。
おそらく、悪意を持った者が僕のサイトを削除したのだろう。実は、僕も初めは Google による削除、いわゆる Google 八分を疑っていた。しかし、今では Google から削除する手口についてだいたい見当がついている。念のために断っておくが、この手口は Google にある「ページの削除」 によるものではない。この方法は、サイト管理者からの申請かどうか確認した上でおこなうようになっており、悪意の第三者には利用できない。

この手口は、削除依頼のページではなく、Google への登録申請ページを悪用したものと考えられる。Google にサイト登録してもらう申込手続を、故意にスパムにかけるもので、頭に来た Google が逆にサイトを削除してしまう、というわけ。現在の Google では、この悪意の削除の手口に対してはすでに対策済だ。
たぶん、アクセスアップをねらった SEO 業者が最初にこれをやり、削除されてしまうことを知ってからは、これを悪用するようになったのだと思う。

Google Sitemap を利用する 

Google のインデックスに URI を効率的に登録
自分のサイトの URI リスト(サイトマップ)を作成して Google に送信し、登録状況を確認できるサービス。

今はまだβ版だし、利用するには Google にアカウントを登録する必要がある。その代わり、無料だ。サイトマップ作成や手続きの手間はあるが、一度設定できてしまえば確実に Google に登録してもらえるようになる。

Google Sitemap の使い方だが、正直言って説明がイマイチわかりにくいと感じた。正式版になったときには、もっとわかりやすくしてほしいところだ。
ここでは、自分で使ってみてわかったことを述べる。

サイトマップを登録するとき、自サイトのサイトマップを作成する必要がある。サイトマップのデータ形式は、Google 推奨、というかディフォルトは xml 形式になっている。サイトマップ作成ツールの紹介があるので見てみると、プログラム言語 Python が必要だと書かれていたりする。多くの人はここでつまづくと思う。
が、実はそんな面倒なことをする必要はない。単純に、自分のサイトの全ページの URI を並べたテキストデータでもいいのだ。Google はちゃんと受け付けてくれる。最初は、とりあえずテキストデータを作成して申請し、慣れてから改めて xml 形式での申請にとりかかればいいだろう。xml のメリットはそれなりにあるらしいが、この辺の正式な公開資料はまだなさそうだ。(今は xml 形式にしているけど、priority 属性の使い方がイマイチよくわからん)

Google Sitemap を利用する大きなメリットは、自サイトの登録状況に関する統計データが出ることだ。
クローラが読み取れなかった時は、読み取れなかった原因もちゃんとレポートしてくれる。これによって、自分のサイト作成のどこがまずかったのかがわかる。Google 自身が原因を教えてくれるのだから、これまで登録できない理由を自分でアレコレと推察して試行錯誤していたのが、解決できてしまうわけだ。

考えてみると、これって Google 専用の無料版 PFI (Paid For Inclusion) ではないか。
日本国内には無いサービスなのであまり知られてないが、有料で検索エンジンに登録してもらうサービスが存在する。それが PFI だ。PFI を利用すれば、クローラは優先的に自分のサイトをチェックしてもらえる。短期間にいろいろと変更して検索エンジンの反応を見ることができるため、SEO 的には有利になる、というわけだ。僕は Inktomi 系検索エンジン対策としてちょっと使ってみたことがあるが、けっこう高額だ。半端な気持ちで使える代物ではない。
これが、無料で使えるのだ!! スゴイじゃないか。

ホントに Google 八分だったら…… 

実は、検索エンジンスパムをやっていた場合でも、Google 八分を食らうことはめったにない。たいていは、ランキングを大きく下げられてしまうが。ランキングの低下と Google からの削除は、全くの別物として考えるべきだ。ランキングの低下は Google 八分ではないのだから、このページの対象外である。

ホントに Google 八分を食らったらしいが、検索エンジンスパムとかいった原因に全然心当たりがない場合は、Google に問い合わせるしかないだろう。

問い合わせ先:Google ヘルプ センター お問い合わせ

再登録ではすまなかった、僕のケース 

大部分のケースでは、以上で解決できると思う。
しかし、僕の場合はこれでは終わらなかった!!

何と、執拗に削除攻撃を繰り返して来たのだ。
再登録を繰り返すことで防戦するかたわら、Google にこの状況を訴えた。Google からは素っ気ない自動処理の返信メールしか返ってこなかったが、そのうちに削除攻撃は止まった。いくつかの兆候から推察するに、削除攻撃そのものは止まっていないのだが、Google のほうで対策を講じたらしい。

この経緯は、「このサイトへの悪質な妨害行為」にまとめてある。
やりすぎると、Google にばれるのだ。ヤツは、明らかにやりすぎた。まあ、ここまであからさまなやりすぎをやってくれたおかげで、「悪意の第三者による削除」が本当にあることを、自信を持って説明できるようになったわけだが……。

厳密に言えば、僕のようなケースは「Google 八分」ではない。しかし、悪意の第三者による Google からの削除もある、という話はあまり知られていないようだ。おそらく Google 八分を疑われているケースの中には、このような Google ではない第三者による削除もあったかも知れない。
ただ、今では Google の方で対策を講じたらしく、少なくとも僕が被害を受けた時のような手口では削除できなくなっている。「Google 八分にあった」と言われたケースを調べてみて、僕と同じようなケースは見あたらなかった。ほとんどは勘違いしたり、ランキングされない理由が別にあったりしたものだった。もう、神経質になる必要はなさそうだ。

ブログについて 

以前はブログについては保留していた。

上記のアドバイスを見てもなお、「ウチのサイトが検索に出てこないのはおかしい」と言うケースが時々ある。実は、こういうサイトのほとんどがブログだ。

この「Google 八分 の確認と対応の方法」を公開したのは2004年5月3日。この時点ではブログのことは念頭になかった。そして僕はまだブログを使った経験がない。しかし、観察してみたところでは、検索エンジンでのブログの挙動は独特のものがあるようだ。

今ではだいぶわかってきたので、改めて書く。

わりと知られているのが、「ブログだと検索エンジンで上位に上がりやすい」という事だ。しかし逆に「下位に落ちるのも早い」という現象もある。以前は「現象もあるようだ」と断定した書き方をしていなかったが、今では断定できる。

ブログは、動的なページである 
ブログはプログラムで記事を表示する、動的なウェブページになっている。あらかじめ html 形式のテキストを作成してウェブサーバにアップロードする静的なページとは異なるものだ。そして Google に限らず、検索エンジンは動的なページの扱いが苦手なものなのだ。
今では対応が進んでいて、ブログでも登録できるようになっている。それでもなお、静的なウェブページほどの効率には達していないようだ。実際、site: 演算子で検索するとかなり登録もれがあるのがわかる。
ブログは、更新するたびにリンク構造が変わる 
ブログでは記事を、日付別・カテゴリー別・最近の記事・トラックバック、といろいろな切り口でリンク構造を作っている。このへんが、検索エンジンで上位に上がりやすいとされている理由になっている。が、更新するたびにこのリンク構造は変わる。一つ一つのページについては固定の URI が割り当てられているので、「検索エンジンでの評価は変わらないはずだ」と思いがちなのだが、違う。リンク構造が変わると、ページの評価も変わるのだ。
当初は浅い階層にあった記事も、日にちがたつに連れてだんだんと深い階層に沈んでいく。そうなると、検索エンジンにもかかりにくくなる。検索エンジンでの評価も下がってしまう。
検索エンジンも「ブログ検索」を設けている 
通常のウェブ検索とは別に、ブログ全容の検索を設けるようになっている。ウェブページとブログとで、扱いを明確に変えている。

だから、ブロガーは自分のサイトが出てこなくなっても、Google 八分だと断定してはいけない。僕が調べてみても、検索エンジンに登録されてないブログのページは、けっこう多いことがわかった。
ブログは検索エンジンに対しては、短期的にはけっこう有利に働く。これは間違いない。でも、長続きしない。長期的にはかえって不利に働く。したがって、ウェブページとブログは使用目的に応じて、意識的に使い分けるべきだろう。

実は、上記の事を考慮に入れてもなお、「Google に登録されないのはおかしい」というブログが存在する。僕も、長らくその理由がわからなかった。おそらく、原因はドメイン転送だろう。特定の URI が指定されれば、別の URI に転送するサービスで、自分の好きなドメイン名をつけることができる。これが、不利になるという。ドメイン転送を利用した、ブログサービスはけっこうあるらしい。


[改訂:2007年8月12日]