2013年1月24日
口先だけの製品に要注意
「すべての動物は平等である。しかしある動物はほかの動物よりももっと平等である」。ジョージ・オーウェルの風刺小説の古典に登場する指導者、豚のナポレオンはこのように述べている。
このフレーズのすごさは、その普遍性にある。ほんの少し追加をするだけで、この真理はまったく逆の意味になる。悲しいかな、このウイットに富んだ逆説は、動物農場革命の壮大な物語の中だけでなく、一見とてもかけ離れたテーマにも当てはまる。信じられないとお考えだろうが、アンチウイルス製品のテストに、だ！いわく、「発表されたすべてのアンチウイルステストは平等である。しかしあるテスト結果はほかのテストよりももっと平等である」。実際、狡猾なマーケティング担当者たちが第三者機関によるアンチウイルス製品比較テスト結果に魔法をかけて「加工」してしまえば、アンチウイルス企業が最終的に発表するテスト結果の価値は、平等とは程遠いものとなりかねない。つまり、テスト結果はゆがめられ、本当の価値を判断することができなくなってしまうのだ。
あるアンチウイルス製品会社があると仮定しよう。その会社は、技術やプロテクション品質の面で抜きんでた存在でないが、世界的なシェア獲得に燃え、実現に向けた大規模な事業計画を掲げているとする。では、世界進出計画に近付くために、まず何をするだろうか？アンチウイルスエンジンの改良、定義データベースの拡張、それとも検知の品質とスピードの改善？いやいや、それには時間がかかりすぎる。コストもおそろしくかかる。言ってみれば、アンチウイルスのプレミアリーグにいるようなものだ（1部リーグに入ることはそこまで困難ではない）。リーグ上位になってチャンピオンズリーグレベルでプロテクション能力を競うようになると、検知率をほんの 1 %上げるのにもお金がかかり、頭脳もさらに必要になる。
しかし、別の方法ならば速く安く済む。技術力ではなく、マーケティング手法をとるのだ。これなら、技術的な優位性と検知品質が不足していても、ずる賢い情報戦略でたいていは埋め合わせられる。
でも、どうやるのだろうか？
間接的に。それが、やり方だ…。
さて、アンチウイルス製品のプロテクション技術の品質を評価する最良の方法は何だろうか？もちろん、第三者による独立した客観的な見解からの評価だ。アナリストやクライアント、パートナーの意見は貴重だが、当然のことながら、偏りがないという保証はない。独立した専門のテスト機関が実施する比較テストこそが、ふさわしい方法だ。しかし、テスターというのは一風変わった人たちで、自分たちの狭い仕事領域（この場合は、テスト）に完全に集中する。これは良いことだ、テストというものを適切かつ正確に行うのは簡単なことではないのだから。しかし、テスト結果は味気ないことが多く、ちょっとした飾り付けが欲しくなる。ここから、テスト依頼者によるテストを活用したマーケティングが始まる。客観的なテスト結果をうまくごまかして汚れた顔を天使のように見せたり、優勝者たちを落選者のように見せたりするのだ。「群盲象を評す」という東洋のたとえ話を思い出す。ただこの場合は、視力の確かなマーケティング担当者たちがテスト結果を意図的にゆがめて「認識」するのだ。目の見えない人が全体を認識できなかった場合とは違う。
テスト結果を操作することは犯罪にはあたらない。小麦ともみ殻の見分けがつかないのと同じで、ユーザーにはその良し悪しを判断するのがとても難しいというだけだ。困ったことだ。オタクっぽくて専門的すぎないいくつかのテストからデータを引っ張ってきて、もっと重要なテストの結果については黙っておく、というのは簡単にできる。たとえば、製品のシステムリソース使用率のテスト結果をとってきて、それよりずっと重要なマルウェア検知の結果については沈黙を守るのだ。そして、その素晴らしいシステムリソース使用率だけ、競合製品と比較する。あらゆるマーケティング資料でシステムリソース使用率について宣伝しまくれば、これでもう立派な差別化だ！また、こんな例もある。あるアンチウイルス会社の新製品を、競合他社の旧製品と比較するのだ。本当だ！これはよくあることで、いくらでもみつかる。ショックだろうか？まさしく！
ポイントは、実際に嘘がばらまかれているわけではないことだ。ただ、都合のよいデータだけが意図的に抽出されているのだ。これは正式に決められた基準への干渉ではなく、倫理的な基準への干渉だ。したがって、法的に「正義」を勝ち取る道は閉ざされているから、我々に残された道は、世に出回っているマーケティングの諸々を注意深く見分けるよう、皆さんに呼びかけることくらいのものだ。そうしないと、技術的に未熟なのに大げさに広告されたアンチウイルスソフトウェアを買った皆さんが、テストとセキュリティ業界全般への信頼を失くす危険性が高いのだ。誰がそれを望むだろうか？誰も望みはしない。
テストを使ったマーケティングについての私の考えは、以前こちらでだいたいのところを議論した。今回は、マーケティングの人たちが不明瞭な取り引きへと引き込むために使う手法をさらに詳しく調べ、それを見抜いて対抗する方法を検討する。では、ひとつずつ見ていくとしよう。
（1）マルウェア検知の品質テストに「正体不明の」テスト機関を使う。おそらくこれが最も単純でリスクの少ない策略だ。小規模なアンチウイルス企業や技術面が弱い開発元にとりわけ好まれる手法だ。そういう企業は、知名度が低くて専門的な実績のない「テストセンター」でワンマンショーを演じる。テスト料金は安く、テスト方法は公開されていないことが普通で、結果の検証は不可能だ。そして、評判を落とすリスクがあるのはテストセンターだけなので、策略には影響ない。
結論：テスト結果にテスト方法が明記されていない場合や、テスト方法に重大な「バグ」がある場合、そのテスト結果は信頼できない。
（2）古いテスト結果を使う。たまたま得た良いテスト結果を何年も引用して、製品が優れている明らかな証拠であるように言い続けられるのだったら、毎年テストで結果を出すために大変な努力をする意味があるだろうか？
結論：テストの実施日を確認すること。ずっと以前のものである場合や、公開日が記されたテスト結果へのリンクがない場合には、やはりテスト結果を信頼してはならない。
（3）旧バージョンの比較をする。この場合は2つの可能性がある。第1の可能性は、旧製品と軒並みまとめての比較だ。目的のアンチウイルス製品は、素晴らしい勝利を収める。もちろん、その間にもセキュリティ業界は前進し、ウイルス検知の品質は見違えるほどに向上しているわけだが。第2の可能性は、そのアンチウイルス会社の製品と競合製品の旧バージョンとの比較だ。卑怯な手口そのものだ！
結論：製品バージョンが新しいものかどうかに目を向けてほしい。バージョンの新旧に不一致があれば、人の目をくらませようとしているに違いない。このような「テスト結果」も真に受けてはならない。
（4）比較できないものを比較する。技術力の優位性を示す一番の方法とは？簡単だ！注意深く選んだ1つか2つの分野から、本来比較できないものを比較するだけでいい。たとえば、企業向けと個人向けといった違うカテゴリの製品の比較や、根本的に異なるプロテクション技術（たとえば仮想環境の保護に対するエージェントレスのアプローチとエージェントベースのアプローチなど）の比較だ。
結論：比較している製品のバージョンとリリース日だけでなく、製品名にも注目してほしい！
（5）ある特性ばかり強調して、他の機能には言及しない。テストで 1 回失敗した？全部失敗した？大丈夫、マーケティング手法で解決できる。手順は簡単だ。テスト結果の中から特定の機能（スキャン速度やシステムリソース使用率の低さなど。これらはプロテクション製品にあってしかるべき特長）だけを取り上げ、ありとあらゆる場面でこの特長を掲げ、独自の差別化された商品の証であるごとく吹聴するのだ。こちらはその露骨な例だ。
結論：「迅速、効率的、安価」といった言葉を繰り返し強調するようなら、それは十中八九ペテンだ。単純だが。
（6）不適切な方法論を使う。ずる賢い策略の余地はいつもたくさんある。平均的なユーザーはあえてテストの方法論に立ち入ることはあまりしない、もっとほかにやるべきことがあるだろうから。だが残念ながら、いつも細部に落とし穴が潜んでいる。よくあるのは、テストが現実世界の条件に一致していないために、肝心な現実世界における真のプロテクション品質を反映していないことだ。その他の例として、テスト変数に主観的な重みづけを与える方法がある。
結論：リンゴとナシを比較できるとすれば、そのテスト結果と…水洗トイレの音量テストの結果とを比べることもできるかもしれない。利用価値からいうと、どちらも同じようなものだろう。
（7）選択的にテストする。この手法を使うには本格的に分析する手間がかかり、煙に巻いたり、都合のよい解釈をしたり、ペテンにかけたりする豊富な経験とスキルが要求される。ここでは、別々のテストから製品の強い面だけを取り上げて複雑な統計的方法論のノウハウを適用し、今までに紹介した手法を組み合わせることで、一面的な「比較の」分析が「実施され」る。このような厚かましい手口の例はこちらだ。
結論：「うそをつくなら、短くしろ」©！あまり長くなってテーマからずれてくると、それこそ真っ赤な…
（8）単なるごまかし。この手法は種類もさまざまだ。最も広く行われるのは、他社の検知情報を盗んで、特定のテスト用に製品をうまく調節することだ（そのあとは、これまでに紹介済みの手法を使う）。アンチウイルス業界のチャットルームでは、その他にも悪意に満ちたごまかしの手法がよく話題になる。たとえば、とある開発業者が、特定のテスト環境でうまく動作するように調整された特別バージョンの自社製品をテスト機関に渡したそうだ。その仕掛けは簡単だ。テストで使われる感染ファイルをすべて検知するだけの性能がないのを埋め合わせるため、すべての対象ファイルを検知したのだ。当然その副作用として、桁外れな数の誤検知を出したのだが、それからどうしたと思うだろうか？その結果作られたマーケティング資料では、誤検知についてまったく触れられていなかったのだ。お見事！いやいや、だめだ。
結論：詐欺師をつかまえられるのは専門家だけで、残念ながら一般ユーザーには無理だ。では何ができるだろうか？複数の競合するテストを確認することだ。あるテストで抜きんでた結果を出していても、他のテストでは大失敗しているかもしれない。テスト機関がなんらかの形でだまされている可能性は無視できない。
（9）最後のトリックだが、これも単純極まりないものだ。テストへの参加を拒否する。または、テスト機関に製品の社名を公表することを許可せずに、身をひそめて「A 社」「B 社」などと名乗るやり方だ。本当は裸の王様だとテスト結果で証明されるのだったら、そもそもテストに参加する意味はない。テスト製品のリストから社名が消えていたら、その製品は信頼できるだろうか？できないのは当然だ。
結論：その製品がすべての信頼できる公開テストに参加しているかどうかよく確認してほしい。もし、その製品の長所を見せられるテストにだけ参加していて、欠点がほとんど（または、まったく）示されていないなら、疑いを持ってほしい。テストを活用したマーケティングの怪しげなパフォーマンスかもしれないから。
ところで、このブログを読んでさまざまなアンチウイルステストの結果をもっと調べてみたくなった方にお願いがある。Kaspersky Lab のテストがらみのマーケティングが、ここまででお話ししたやり方を使っているのを発見したら、指摘してほしい。謹んで訂正のうえ…その責任者たちと静かに（本当だ！）話し合いを持つことを約束する。
さて、話を少しもとに戻すが、ユーザーは何をして、誰を信じて、大量の表やテストやグラフに向き合ったらよいのだろうか（ちなみに、この話題は以前にこちらで扱った）。では、テストを活用したマーケティングの不正をあばくため、テスト結果を「読み解く」コツをいくつか挙げてみよう。
- テストの日付と、対象製品のバージョンと機能を確認すること
- 製品がテストに「登場」した履歴を確認すること
- 特定の機能だけを見るのではなく、すべての製品機能の性能を見ること。最も重要なのはプロテクションの品質だ
- 方法論にも着目し、テスト実施機関の評判も確認すること
4 番目は、読者の皆さんに当てはまるというよりは専門家だけが対象かもしれない。とはいえ、専門家でない方にも、以下に挙げるテスト機関を知っておくことをお薦めする。いずれも評判の高い専門家集団で、セキュリティ業界で長年の経験がある。テストを重ねて有効性が確かめられた方法論を用いており、AMTSO （Anti-Malware Testing Standards Organization）の規格に完全に準拠している。
しかし、あらかじめお伝えしておきたいのだが、我々はこれらテスト機関のテストで常にトップを獲得しているわけではない。ここでお勧めするのは、これら機関の専門性を評価してのことだ。
そして、最後のパワーコードは、2011 ～ 2012 年のテスト結果ランキングだ。関心を持たれた方には興味深い背景知識かと思う。
そして、本当に最後になるが、全体の締めくくりとして、これまで書いた長い文章をまとめよう。
おそらく、これまで述べたことに対しては、競合会社への安っぽい攻撃だという批判があると思う。しかし今回の主旨は（何度も指摘してきたとおり）、繰り返し指摘され続けているにもかかわらず解決策が現れないままの問題を、改めて公の議論の題材として提示することなのだ。その問題とは、今日に至ってもなお、アンチウイルス製品の比較テストを行うための、関係者一同が合意する、明解かつ確立された方法論が存在しないことだ。今ある方法論は、残念ながら、ユーザーだけでなく開発者にもよく理解されていないのだ！
そんな中でも、何とか折り合いをつけていこう、セキュリティ分野が直面している問題から目をそらすことなく。同時に、統計資料の「創造的な細工」がどれほど普通に行われていることかを知識として持つことで、心を落ち着けよう。いつものように、ユーザーは、もみ殻から小麦を取り出すように本当のデータを探すことで、より良い選択をすればよいだけなのだ。しかし悲しいかな、そうする時間と忍耐を誰もが持ち合わせているわけではない。それはわかる。実に残念だが。
最後に、くれぐれも気をつけて！