サイバーセキュリティ分野のプロダクトマネージャーが重視すべき3つの指標【テッククランチ】

従来のプロダクトマネジメントの常識では、プロダクトリーダーの責務の1つはメトリクス（すなわち特定のソリューションから人々がどのような恩恵を受けたかを表す定量的な測定値）を追跡し、それをできるだけで良いものにすることだとされている。プロダクトマネジメントの本を読んだり、ワークショップに参加したり、あるいは単に面接をパスしたことのある人なら、測定されないものは管理できないことを知っている。

だがプロダクトマネジメントの実践はもっと微妙なものだ。取り巻く状況が非常に重要で、何が測定できるか、観察に基づいてどのような行動を取ることができるかは、それぞれの組織や地域、文化、市場セグメントが直面する現実に大きく左右される。

この記事ではサイバーセキュリティ分野のプロダクトマネジメントと、プロダクトリーダーが追跡し報告したくなるような指標が見た目と違っている可能性があることについて取り上げる。

• keyboard_arrow_down 指標①：検出精度
• keyboard_arrow_down 指標②：コンバージョン率
• keyboard_arrow_down 指標③：利用状況とエンゲージメント
• keyboard_arrow_down 重要なことへの注力

すべてのサイバーセキュリティプロダクトが何らかの検出を行うように設計されているわけではないが、多くはそうなっている。検出精度は、特定の動作が検出されたことをユーザーに通知するアラートを出すセキュリティツールに適用される指標だ。

検出精度という観点で追跡するのに便利な指標は2種類ある。

• ・偽陽性（正常な動作を異常なものとして検出する誤ったアラート）
• ・偽陰性（攻撃を正常な動作と誤認してアラートを出さない攻撃の見逃し）

セキュリティベンダーは偽陽性と偽陰性の数を減らし、可能な限りゼロに近づけるという、 重大かつおそらく成し得ない課題に直面している。

これを達成することが不可能な理由は、顧客の環境はそれぞれ特殊で、すべての組織に一般的な検出論法を適用しようとすると、必然的にセキュリティ適応範囲に隙間が生じるからだ。

プロダクトリーダーは、偽陽性は重大な検出を見逃す可能性が高くなっていること、偽陰性はそのツールが購入された本来の目的をプロダクトが果たしていないことを意味することを念頭に置く必要がある。

コンバージョン率は企業、そしてプロダクトチームがこだわる最も重要な指標の1つだ。この指標はすべてのユーザーやサイト訪問者のうちサイト側が望む行動をとった人の割合を追跡する。

組織におけるコンバージョン所有者は、誰が結果に影響を与えることができるかによって決まる。プロダクトが完全に営業主導で、取引が成立するかどうかは営業次第である場合、コンバージョンは営業が所有する。一方、プロダクトが完全にプロダクト主導で、無料ユーザーが有料顧客になるかどうかはプロダクト次第である場合、コンバージョンはマーケティングチームとプロダクトチームが所有する（マーケティングはウェブサイトでのサインアップを、プロダクトはアプリ内でのコンバージョンを所有する）。

コンバージョン率は非常に重要な指標だ。というのも、企業が顧客の関心を効率的に捉え、それを収益につなげることができることを意味するからだ。サイバーセキュリティのプロダクトマネージャーはコンバージョンを注意深く監視する必要があるが、コンバージョンにまつわるいくつかのニュアンスを理解しなければならない。

サイバーセキュリティの場合、購買プロセスは非常に複雑だ。信頼に大きく依存するだけでなく、長い時間を要し、セキュリティ実務者や最高情報セキュリティ責任者（CISO）、そして法務やコンプライアンス、購買の担当者など、多くの人が関与する（サイバーセキュリティ市場の大半は企業がターゲットだ）。

いわゆるプロダクト主導型の企業も例外ではない。プロダクト体験は購買プロセスに影響を与える多くの要因の1つにすぎない。しかも、一般的にユーザーと顧客の間には一対一の関係はない。Gmailで異なる時期にサインアップした10人の匿名ユーザーは、全員が異なる視点からツールを評価する同じセキュリティチームの一員であるかもしれない。したがって、コンバージョンの追跡はユーザーレベルではなく顧客レベルで行うのが良い。

従来、プロダクトチームはエンゲージメントを高め、ユーザーがプロダクトを再び利用するだけでなく、多くの時間を費やしてくれるようにすることを任務としてきた。これは、ユーザーがプロダクトに費やす時間が長ければ長いほど本当の価値を体験し、「習慣」にして使い続ける可能性が高くなるという考えが根底にある。

利用率の低さは解約の可能性の高さにつながることが多い一方、ユーザーのエンゲージメントが高ければ企業は重要な問題を解決していることを確認し、資金を調達し（投資家は収益とエンゲージメントを求めている）、新たな拡大機会を見いだすことができる。だがサイバーセキュリティにおいてはこのアプローチは同じようには機能しない。

実際の例を見てみよう。ある企業が不要な手作業をなくし、多くのセキュリティプロダクト間のコミュニケーションを簡素化するために、セキュリティ自動化・オーケストレーションプラットフォーム（しばしばSOARと略される）を購入したとする。セキュリティチームはまず、セキュリティオペレーションセンター（SOC）を円滑に機能させるために、ワークフローの設定や自動化の組み立て、戦略の作成に積極的に取り組む。

最初の設定が終わると、チームはプロダクトとの関わりをやめ、あちこちの設定を調整するために月に2回、1〜2人がログインする程度になるかもしれない。従来の常識では、顧客が利用せず、解約の可能性が高いと警鐘を鳴らすかもしれないが、現実はまったく逆かもしれない。つまりプロダクトはセキュリティチームの時間を大幅に節約し、チームはすべてがスムーズに機能していることに満足している。実際、プロダクトを頻繁にチェックする必要すらないくらいスムーズだ。

この例は、単純でありながら忘れられがちな真実を浮き彫りにしている。それは、セキュリティスタックに大きな価値を与えるサイバーセキュリティプロダクトのほとんどは目に見えないということだ。セキュリティチームは20～70のツールを管理しなければならないため、限られた数のツールにしか積極的に関与せず、残りのツールは放置してバックグラウンドで動かし続ける。

プロダクトチームが、プロダクトが使用されているかどうかを理解するために別の角度から見る必要があるのはそのためだ。エンゲージメントを求めるのではなく、プロダクトが活用されていることを示すデータの流れ、アラート、その他の中核的なタスクを追跡することで把握できる。

平均的なセキュリティチームが数十のプロダクトダッシュボードを使用して業務を行っていることを知った多くのベンダーは「一枚のガラス」、つまりひとつの画面ですべてを支配するというアイデアに熱中した。どのベンダーも自社のプロダクトが唯一のダッシュボードになることを望んでおり、そのためユーザーの注意を引こうと絶えず争っている。

プロダクトリーダーはこうした現実を理解し、誰もが文句を言わない輝くダッシュボードになるよりも、バックグラウンドで素晴らしい働きをする愛されるツールになる方が良いアイデアかもしれないという事実を受け入れる必要がある。

セキュリティの難問を解決する高性能なプロダクトを作るのは難しく、それを市場に投入するのはさらに難しい。プロダクトリーダーが近道や、目標に向けた進捗状況を簡単に測定する方法を探したくなるのも無理はない。しかし残念ながら、定量的な指標には価値があるものの、それらはいとも簡単に気を散らすものになってしまう。

サイバーセキュリティ企業の大半は主にB2B領域で活動するアーリーステージのスタートアップだ。セキュリティチーム自体の規模もかなり小さい。実際問題として、プロダクトマネージャーはユーザーやプロダクト内のアクティビティをさほど見ておらず、デイリー・アクティブ・ユーザー（DAU）やマンスリー・アクティブ・ユーザー（MAU）といった指標からは有益な情報をさほど引き出せない。このような環境ではA/Bテストのようなツールを試したり、定量的なデータだけで意思決定したりすることは適していない。

ユーザーのニーズを特定して重要なことに注力するために、プロダクトマネージャーは質に関する洞察を探す必要がある。私は次のようなことがかなり有効だと思う。

・営業プロセスを把握するために営業チームや営業エンジニアリングチームと話をする
人々がどのような質問をするのか、どのような問題を解決しようとしているのか、他のソリューションでどのようなギャップを経験したのかなどを把握する。売り込み訪問時に「こっそり聞き耳を立てる人」になることで、複数の顧客調査を合わせたよりも多くの洞察を得られることがある。

・営業と協力して勝敗分析を行う
特に、競合製品を採用することを決めた見込み客と連絡を取り、その評価プロセス、改善の機会、特定した差について学ぶことは非常に有益だ。

・顧客サポートに寄せられる質問を分析する
これにより、プロダクトのどの部分が使いにくいか、どのような重要な機能が欠けているか、どの部分が見つけにくいのかを再確認できる。

最も重要なことは、プロダクトマネージャーは継続的に探求する習慣を実践し、ユーザーや見込み客、非ユーザーと話すことでサイバーセキュリティチームが直面しているニーズや問題点、課題を理解し、それらを解決するプロダクトを設計することができる。

疑問があるときは、広範にわたる意味合いを欠いたデータが示唆していると思われることに従うのではなく、質問をしてユーザーの実際の動機付け要因を理解する方がいい。

From TechCrunch. © 2023 Verizon Media. All rights reserved. Used under license.

元記事：3 key metrics for cybersecurity product managers
By：Ross Haleliuk
翻訳：Nariko