第三者機関のアンチウイルス比較テスト：2014年は興味深い結果に

Kaspersky Lab社員はいつも仕事に打ち込んでいる。自分を高めようと努力しているのだ。これは当社の研究にも、開発にも、製品にも、パートナーシップにも…当社のすべてに当てはまる。だが、改善を続けるには、つまり正しい方向へと進むためには、全員が至高の目標に向かって努力しなければならない。使命と言ってもいいだろう。その使命についてだが…

当社の使命は、ありとあらゆるサイバーの脅威から世界を守ることだ。しかし、我々はこの使命をどの程度果たせているのだろう？結局のところ、すべてとは言わないまでも多くのアンチウイルスベンダーが、似たような使命を掲げている。なので我々は、というよりユーザーは、Kaspersky Labが他のベンダーと比べてどれだけ使命を果たせているかを、正確に知る必要がある。

この達成度を測るための指標はいくつもあるが、中でも特に重要なのが、さまざまな第三者テスト機関のエキスパートによる製品と技術の品質テストだ。非常に単純な話で、あれやこれやの（またはすべての）基準に照らして良い結果であるほど、当社の技術はサイバー脅威との戦いで大きな成果をあげており、客観的に見て他社よりもっと世界を守れている、ということになる。

大事なのは、さまざまな第三者テスト機関が実施する無数の比較テストのうち、どれを使うかだ。つまり、膨大なデータをどうやって仕分けして、信頼性の高い有意義な（そして理解しやすく比較が簡単な）結果を導き出せばいいのか？また、テスト機関の数が多いだけでなく、アンチウイルスベンダーの数も非常に多いという問題もある。ベンダーもふるいにかけなければならない。実力のないベンダーを除外して、最良のベンダーだけを比較するには？問題はもう1つある（が、実際はそれほど複雑ではない。本当だ。すぐにわかる）。良かったテストだけを選んで偏った結果を公開するベンダーがいるのだ。これでは全体像がわからない。ずっと昔から使われている広告とマーケティングの手法だ。

さて、聞いてほしい。当社は数年前、アンチウイルスをわかりやすく、正確に、そして誠実に評価するための数式を考え出した。それがTop-3 Rating Matrixだ！

では、どうやって計算するのか？

第1に、広く知られており、評価が高く、完全に独立したすべてのテスト機関が、一定の期間に実施したアンチマルウェア比較テストの結果を対象とする。

第2に、対象のテスト機関が実施した全種類のテストを計算に入れ、参加した全ベンダーを対象とする。

第3に、（i）各ベンダーが参加したテストの合計数、（ii）「金メダル」を獲得した割合、（iii）3位内に入った割合、を考慮する。

こうすることで、わかりやすくベンダーを比較できる。透明性も確保できるし、有意義な選別ができ、事実を歪めた「テストマーケティング」の余地もない（そういうことをするベンダーもいる。悲しいことだ）。もちろん、この式にあと25,000くらい指標を追加することも、できなくはないだろう。だが、そんなことをしても客観性がせいぜい0.025%増す程度で、ナルシスト的な技術者やその他のマニアが喜ぶだけだ。間違いなく、一般のユーザーには見てもらえなくなってしまう。上級ユーザーにも見限られるだろう。

要するに、一定の期間を対象に、すべての一流テスト機関のすべてのテスト（と主要ベンダーすべて）を計算に入れ、何一つ見逃さない（残念な結果に終わったテストなども）ということだ。もちろん、Kaspersky Labも例外ではない。

さて、理屈はもういいだろう。この方法論を現実の世界に、具体的に言えば2014年の現実世界に当てはめてみよう。

まずは技術的な詳細情報を紹介し、マニアたちに納得してもらうための断りを入れておく。

• 2014年の対象は、第三者テスト機関8社の比較テストだった。テスト機関を選ぶ基準は、長年の経験があること、必要な技術・設備が整っていること（一部のテスト機関をこの目で見てきた）、ベンダーと各種保護技術の両方についてセキュリティ業界の広い範囲を対象としていること、そしてAMTSOの正会員であること、だ。これを満たした8社がAV-Comparatives、AV-Test、Anti-malware、Dennis Technology Labs、MRG EFFITAS、NSS Labs、PC Security Labs、Virus Bulletinだった。評価方法の詳細についてはこちらの動画とこちらの文書を見てほしい。
• 考慮するベンダーは、各機関のテストの35%以上に参加した企業だけだ。そうしなければ、2～3回のテスト結果が良かっただけで、もっと多くのテストに参加したら安定して好成績を残せないようなベンダーが「勝者」になってしまうかもしれない。このようにして、テスト結果をねじ曲げたマーケティングを排除している。

では… 2014年のテスト結果を分析しよう。今回は……..

….鳴り響くドラムの音….

….緊張してきた….

….呼吸が苦しい….

……..こうなった！

横軸はベンダーが参加したテストの数で、縦軸はすべてのテストのうち各ベンダーが3位内に入った割合だ。円の直径は1位になった回数を表している。

これはこれは…。まあ見てほしい。

（疑いの目を向ける人も当然いるだろうから、少々補足を。「はいはい、そうですか。でも、もちろん…」と言う前に、先ほど説明した評価方法にもう一度目を通してみてはどうか。これはテスト結果をごまかしたマーケティングではない。もう一度言う。これはテスト結果をごまかしたマーケティングではない！）

これほどの輝かしい大勝利とあっては、私のやることはただ1つ。当社の研究開発部門と、勝利に貢献したすべての社員を称えよう！当社のパートナー、顧客、契約業者、友人、恋人、すべての家族と親類、私のプロデューサーとディレクター、そしてもちろん、神に感謝する。皆に祝いの言葉を述べよう。我々にふさわしい見事な勝利だった。この調子でがんばってほしい。これからも世界を守るのだ！万歳！

だが、それだけではない。アンチウイルス業界に造詣が深い読者のために、「デザート」を用意した…

先ほど書いた評価方法は、すでに3年にわたって使われており、うまくいっている。なぜうまくいくのかというと、主な理由は、「洗剤なんてどのブランドも同じ」という批判に対処できるからだ。そう、「どのアンチウイルスも保護と機能のレベルは大して変わらない」という意見がまだまだ根強く残っているのだ！そこで、今回の評価で得られた興味深い観察結果を見てみよう。

• テストの数が増えた（2013年にベンダーが参加したテストの数は平均で50、2014年は55）ので、勝つのが難しくなった（テストで3位内に入った割合の平均は、32%から29%に低下）。
• 3社のベンダーが、3位内へのランクインを大幅に減らした：Symantec（-28%）、F-Secure（-25%）、Avast（-19%）
• これとは逆に、3位内へのランクインが増えたベンダーは3社：Trend Micro （+16%）、ESET（+12%）、Panda（+11%)
• おもしろいことに、各ベンダーの順位に大きな変動はない。3位内に入った割合が5ポイント以上改善したベンダーは2社だけだった。このことは、保護の質はシグネチャだけでなく、入念な投資と革新的な技術の開発に費やした年数にも左右されることを示している。シグネチャを盗用したところで、どうにもならない。
• 次は、真のアンチウイルス比較テスト通のためのデータだ。3位内へのランクインの割合が高かった上位7社は、獲得した賞の数が残り13社の2倍（240対115）であり、すべての金メダルの63%を獲得した。ちなみに、金メダルの19%は1社のベンダーがいただいた。どのベンダーかわかるだろうか？（笑）

最後に…主な結論だ。

比較テストはセキュリティ製品を選ぶための極めて重要な基準だ。何と言っても、多くのユーザーはこぎれいな販促資料より、権威ある第三者機関を信頼するだろう。はっきり言うと、宣伝資料には「自社製品が1番」ということしか書かれていない。これはどのベンダーも理解しているが、各々が自社の技術力に基づいて問題に対処している。品質について悩み抜いた末、毎回完成度の高い製品を仕上げるベンダーもあれば、結果を操作するベンダーもある。年に1つ認定を取得しては、誇らしげにメダルを首にかけ、業界の有力企業だと思い込んでいる。申し訳ないが、とんだ勘違いだ。全体を見なければならない。特定のテストの結果だけでなく、参加の度合いからも評価できるようにしてほしいものだ。

よって、セキュリティ製品は安易に選ばない方がいいだろう。騙されないように気を付けてほしい。

比較テストの結果が良いアンチウイルスの見分け方：@Kaspersky のTop-3 RatingTweet

今回は以上だ！それではまた…