2013年5月29日
1 歩進んで、2 歩戻る
「あらゆる物事は緩慢かつ不調和に進む。それゆえにうぬぼれの心を持たないわれわれは、みじめで、混乱の中に取り残されている」
–『Moscow Stations』、Venedikt Yerofeev 著
このフレーズをアンチウイルス業界の話で持ち出すことになるとは思わなかったが、そのような事態になってしまった。ご存じのように、この世の中ではあらゆることがすんなり進むとは限らない。経済的な状況だとか新しい顧客の必要性というものは、素晴らしい人間をもダークサイドに引き込む力を持っている。このたび、アンチウイルス業界で最も著名なテストラボの 1 つである「AV-TEST」が闇に屈してしまった。
比較テストについて：初心者のための背景知識
何らかの製品のうちでベストなものを選ぼうとするとき、皆さんはどうしているだろうか。そして、ある製品がベストであることはどうしたらわかるのだろうか。専門誌やオンライン情報サイトの比較テスト結果をまず調べてみる人もいるだろう。よくある話だ。アンチウイルスソリューションの場合も同じだ。数多くあるアンチウイルス製品を評価のうえ比較して、結果を公表しているテスト機関はたくさんある。
理由は謎だが（この記事では私がその理由を推測している）、有名なドイツのテスト機関である AV-TEST がひそかに（通告なしで）同社の認証プロセスを変更した。これにはどんな意味があるだろうか。控え目な表現で言うと、新しいルールのもとでなされる認証は、各種アンチウイルス製品の価値の評価にはあまり役に立たない。
そう、私は宣言する。「AV-TEST によるホームユーザー向けアンチウイルスソリューションの認証はもはや、製品の品質を適切に比較できるものではない」と。言い方を変えると、皆さんが自宅の PC を保護するソリューションを選ぶとき、AV-TEST の認証リストは基準としてお勧めできない、ということだ。同じ認証を受けている製品が 2 つあった場合に、その 2 つのパフォーマンスは同じ（もしくはほぼ同等）だろうと考えるのは自然なことだ。AV-TEST の新しい認証基準の場合は、それぞれのテスト結果をよく調べなければならない。調べた結果、99.9% の攻撃をブロックした製品と 55% しかブロックできなかった製品が同じ「認証」を受けていることに気付くかもしれない。
それでは、何が起こったのか、そしてなぜ起こったのか、詳しく見てみよう。AV-TEST の結果を分析する短期集中講座と思ってもらってもかまわない。
理想的なアンチウイルスソリューションとは何か。その規定が考え出されたのは、かなり前のことだ。内容はこうだ：
- 100% の保護と、0% の誤検知
- システムリソースへの影響がないこと
- ユーザーに何も聞いてこないこと
（iv. すべてが無料で提供されなければならないこと――空想の世界の話をしてもかまわないならば）
明らかにこれは理想論に過ぎるかもしれないが、少なくとも我々は、理想にできる限り近づくよう努めることはできる。特に、以下の点については。
l できるだけ多くの悪意あるプログラムをつかまえ、すり抜けてしまったものがある場合は感染を処理できること（さらに、感染したコンピューターにプロテクション機能をインストールできること）
l 誤検知のリスクを最小化し、発生してしまった場合は可能な限り迅速に修正すること
l 「われわれの完全体に限界はない」とは私の良き友人の言葉だが、システムメモリ、プロセッサ動作時間、インターネット経由のアップデート数とサイズの最適化に関する作業にも終わりはない。そしてもちろん、そのどれもがキュリティのレベルに影響しないこと
どれも単純なことに聞こえるかもしれない。しかし、アンチウイルス製品を選ぶ人々が気にすることとは何だろうか。どれが良い製品なのだろうか、そしてその理由は？「理想的なアンチウイルスソリューション」の条件とよく照らし合わせて製品のランク付けをするのは誰なのか？（どんな製品でも自らがベストであると思わせようとするものだ）
それでは、我々は誰を信用すればよいのだろうか。言うまでもなく、どのベンダーからも独立した第三者テスト機関だ。そのようなテスト機関の 1 つが AV-TEST だ。
数年前、AV-TEST チームは実に良いテスト方法を編み出した。製品が認証を得るためには、各テストカテゴリでほぼ完璧なパフォーマンスを見せる必要があった。テスト基準は次の 3 つだ。
l PROTECTION（保護：感染の防止）
l REPAIR（修復：感染したシステムの修復）
l USABILITY（ユーザビリティ：使いやすさ、パフォーマンス、誤検知の数）
結果（累積ポイント数）に基づいて、認証が発行される場合と、されない場合がある。我々はこのシステムを支持し、比較テストの「プレミアリーグ」にいる他のテスターに対してよき例として示した。
では、AV-TEST では何が変容したのだろうか。我々がその認証システムをもはや信用できないのはなぜだろうか。
第 1 に、認証を得るために必要な基準が変更された。認証のために重要な「REPAIR」（修復）の基準が廃止されたのだ。感染を検知することはできても、修復はできないアンチウイルス製品にどんな意味があるだろうか（歯医者を想像してみてほしい。「ああ、虫歯がありますね、でも治療はしませんよ。治療できないんです！」）。アンチウイルス製品がインストールされている世界中のコンピューターのうち 5% がウイルス感染していたことを我々が見つけ出したのは、そう遠い昔のことではない。20 台に 1 台！実際に感染しているシステムを修復するというアンチウイルス製品の能力が、世界中の多くの人々にとって重要なのは言うまでもない。
AV-TEST が別個の、より高度な REPAIR テストを作成すると約束したのは評価すべきことだ。しかしそれは、製品認証の結果には影響せず、さらに重大なことに、必須ではないのだ。セキュリティベンダーが自社製品の品質評価について不安を持っているなら、悪い結果が出るのを避けるためにテストから手を引けばよいだけのことなのだ。とはいえ、少なくともどのベンダーがテストに参加し、どのような結果を得たのかを確認することはできるわけで、そのアンチウイルス製品が皆さんのコンピューターをどれほど守ってくれるかの見極めポイントになるだろう。
第 2 に、認証の基準値が引き下げられた。最大 18 ポイントのうち、たった 10 ポイントを獲得すれば「合格」できるようになったのだ。
第 3 に、USABILITY のテストでは誤検知のみが考慮されることになった。誤検知のみを取り上げるというこのユーザビリティに関する考え方と、パフォーマンスをも考慮に入れたユーザビリティとの間には、天と地ほどの差がある。現在の AV-TEST のテスト基準の構成からすると、誤検知は「保護」のカテゴリに含めて釣り合いをとった方が良いように思われる（他のほとんどのテスト機関はそうしているのだから）。
では、このような AV-TEST 認証プロセスの突然の変更により、何が起きるのだろうか。
何よりもまず、AV-TEST 認証の価値が著しく低下する。テストの参加者が増加するだろう。自社製品は認証を受けられるレベルではないと思って参加を見合わせるアンチウイルス製品ベンダーもあるだろうが。そして誰もかれもが AV-TEST の認証を取得し、残るのは何もしないベンダーと品質の悪いベンダーだけだ。
実際のところ、このように引き下げられた基準のもとでは、基本的なアンチウイルス製品ならば AV-TEST の認証を取得できる、と考えるのは妥当なことではないだろうか。新種のマルウェアを探し出す必要はない。VirusTotal のような、公開されているオンラインのマルチエンジンスキャナーのフローを監視していれば済むのだから。何かを分析する必要もない。マルチスキャナーを設定して、すでによそで見つかったファイルを「検知」すれば良いだけだ（そして MD5 を使って、誤検知でないことを確認すれば OK）。そしてインターフェイスを設計して、ちょっとしたアップデーターを追加し、継続的に保護されていることを示すような Windows の機能をいくつか投入し、システムトレイにアイコンを追加し、全部まとめてインストーラーに突っ込めば完了だ！ AV-TEST に送って、認証をもらおう。
基本的に、セキュリティ技術の評価と、「ユーザビリティ」の評価の間のバランスが失われているのだ。それでも個別のテストの結果は有効で、セキュリティ業界のマニアックな人々は今後も注目し続けることだろう。しかし残念ながら、AV-TEST 認証の基準値が引き下げられたことは、一般的な消費者がアンチウイルス製品を購入しようとして熟考の上で決断を下すときに、この認証がほとんど役に立たないことを意味する。
これで事情はおわかりいただけたと思う。それでは次のパートに進もう。
なぜ AV-TEST はこんなことをしたのだろうか、という疑問が浮かぶ。自分たちにとっても周囲にとっても事態を悪化させるようなことを行うのはどうしてだろうか。
真の理由について多くのことはわかっていないが（AV-TEST はこの変更についてほとんど何もコメントしていない）、推測を立ててみることはできる。最初に、テストビジネスの経済的な状況について考えてみよう。
そう、テストはそれ自体がビジネスであり、独自の経済活動が伴うのだ。私はそのことを良く理解している。良いテストを実施するのに必要なのは知力だけではない。インフラやオフィススペースへの投資、また給料が必要になる。そして他の多くのビジネスと同じように、そこには品質と利益の相関関係がある。時として企業は、利益を上げるために品質の低下を容認する。短期的に見れば、その方法は効果があるかもしれない。しかし長い目で見ると、そのために評判を損ない、忘れ去られてしまうだろう。
今回もそうなるのだろうか。最も厳しいテストである「感染したシステムの修復」（REPAIR）が、「必須プログラム」から排除された。いま必要なのは、マルウェアのセットに対して製品をテストし、ファイルをきれいにすることだけだ。ほら、一丁あがり。
テストの手順が新しくなったことによって AV-TEST には新しいクライアントがやってくるだろう。AV-TEST は喜んで「メダル」を与え、あらゆるアンチウイルスベンダーの Web サイトにメダルが掲載されるだろう。しかし AV-TEST は独自性を失い、技術力の高いアンチウイルスベンダーの信用（それこそ業界全体が信を置くものだが）も失われるだろう。
もっと儲けたい、という気持ちをとがめるつもりはまったくない。ふさわしい優先順位が設けられていれば、ビジネスの成功度や、製品およびサービスの品質を測る正しい尺度となる。さらなる品質向上にも役立ち、皆のためになり、利益も生まれる。テスト業界も例外ではない。この分野にいる多くの企業が多様化を目指して進み、対象を限定した新しいテストに参加し（AV-TEST も関わっている）、深さだけでなく幅広さをも競い、自らが専門とする領域に磨きをかけている。わずかばかりの金銭を追い求めれば大勢の中の 1 人という立場に落ち込み、「誰でも認証を受けられる」レベルであると評価されるという真っ当な見返りを受けることになるのではないだろうか。
次に出てくる当然の疑問は、カスペルスキーの製品がいまだに AV-TEST システムに含まれるのはなぜか、ということだ。
まず、「テストが多ければ多いほど、評価の目的もたくさんある」というのが、信念に基づく我々の考え方だ。我々は何も恐れてはいない。自らの技術と保護レベルに自信を持っている。そしてテストを含む何らかのものに対して不満がある場合は、それを直接、公に表明する。
さらに言えば、AV-TEST は多くの有用なテストや認証を持っており、そこには企業向け製品やモバイル製品の分野も含まれる。企業ユーザーにとって、修復機能の重要度はホームユーザーほどではないだろう。小規模な企業であってもシステム管理者がいてバックアップを実施しているのが一般的であり、万一アンチウイルス製品では感染に対処できなくても、総体的に対応できるからだ。
まとめ
- ユーザーが家庭用コンピューターを保護するための製品を選ぶ際に、新しいプロセスのもとで与えられた AV-TEST の認証を考慮に入れることはお勧めしない。
- ただし、PROTECTION（保護） カテゴリと PERFORMANCE（パフォーマンス）カテゴリの結果は、個別にであれば考慮に入れてよいと思う。将来お目見えする新しい REPAIR（修復）テストも、もちろんだ。繰り返しになるが、私は AV-TEST の個別のテスト方法に反対しているわけではない。「認証」を得るために必要なテストスコアの設定に疑問を持っているのだ。
- 製品を選ぶユーザーが十分な情報に基づいて決定を下すことのできる、本当にふさわしい認証システムを AV-TEST が構築するには、アンチウイルス業界の専門家の意見を聞くのが有益だろう。たとえば AMTSO（マルウェア対策テスト規格団体）は、実質的にあらゆる主要ベンダーの代表者や業界の専門家が集う場所だが、論点となっている問題について AMTSO で話し合うなどだ。