自動テストツールの決定解は、テスト設計の自動化――Autifyが考える、仕様書なき現場の救い方

AIの恩恵によってシステム開発のスピードが急加速した結果、現場に現れたのは「新たなボトルネック」でした。

特に、「自動テスト」というテーマは難しい立ち位置にあるといえます。コーディングの高速化に合わせて自動化が強く求められる一方で、高い品質を担保するには、依然として“人の判断”が欠かせないからです。そんな構造的な難しさに対し、世にある「自動テストツール」には、はたしてアプローチの余地があるのでしょうか。

「自動テストツールの“決定解”は、まだ誰も出せていない」――テスト自動化事業で知られる「オーティファイ株式会社」の創業期からプロダクトを支えてきた、シニアソフトウェアエンジニア・武藤大樹さんは、そう指摘します。

武藤さんは、その「解」となり得るキーワードとして、開発現場の「テスト設計」という課題を掲げます。AIによりテスト実装、テスト実行がスピードアップしていく一方で、依然として人間が思考を巡らせざるを得ない設計工程は、いわば「自動化の空白地」となっているというのです。

品質保証の課題を、どう解決するのか？　自動テストツールは今後、どのような存在になっていくのか？　その現在地と、オーティファイが挑む「新たな自動テストのあり方」について伺いました。

• keyboard_arrow_down コーディングから画面の自律操作まで。「AIによる効率化」の現在地
• keyboard_arrow_down それでもなぜ、AIには「開発の本質」を変えられないのか
• keyboard_arrow_down 未踏のボトルネック「テスト設計」の壁をどう越えるか：仕様書なき現場を救いたくて

――テストの未来についてお聞きする前に、まずは前提となる「開発現場全体の変化」から紐解かせてください。ここ数年のAIの進化によって、開発現場ではどのような変化が起きていると思いますか？

武藤：マクロな観点で考えると「AIを活用しても根本的なところ、開発の本質は変わっていない」というのが私の考えです。

――本質は、変わらない。

武藤：はい。とはいえまず誤解のないよう整理をしておきますと、当然、ミクロなレベルでは、日々の実務においてAIによるさまざまな効率化が起こっています。

大きく変わったのは、やはりコーディングです。量が求められるボイラープレート的なコードや、エッジケースを網羅するテストコードの生成などは、まさにAIの得意分野。ユニットテストのような日々のコード記述に関しては、もはや人間がゼロから書かなくてもいいレベルで、AIが高い精度で肩代わりしてくれます。

また、最近の潮流として無視できないのが、VLM（視覚言語モデル）の進化です。「AIエージェントにアプリケーションの画面を認識させ、自律的に操作させる」といったことが、実務レベルで現実味を帯びてきました。

特に、AIが人間と同じように画面を見てクリックや文字入力を代行する「Computer Use」のような技術。これは人間がテストするのと全く同じプロセスでシステムを扱えるようになるため、自動化できる範囲がぐっと広がります。

そして現在、Webテストで主流になっているPlaywrightなども、MCPサーバー経由でAIエージェントから呼び出せるようになっています。ブラウザ操作からテストのメンテナンスまで、AIが勝手に完結させてくれる。そんな環境が、オープンソースの領域でも整いつつあります。

――AI自身がシステムを操作できるようになると、どのような可能性が開けますか？

武藤：PlaywrightやSelenium、Appium、どういったツールを使うにせよ、従来のテスト自動化は、あくまで「システムを操作するためのAPI」を介した仕組みに基づいていました。これだけでは、どうしても自動化しきれない領域があります。

例えば、モバイルアプリ開発で従来の自動テストを行うと「予期せぬタイミングで確認のアラートや許可を求めるポップアップが表示されて、事前に書いたテストコードが失敗してしまう」ということがよくありました。こういった課題が解決できるようになったのです。

――お話いただいた通り、AIが開発現場のあちこちに入り込み、効率化を進めているのですよね？　にもかかわらず、最初に武藤さんが「開発の本質は変わらない」と語ったのはなぜでしょうか。

武藤：1つは、われわれ開発者の仕事のフローそのものです。「ユーザーのニーズを把握し、要件に落とし込み、設計・実装して、テストして品質を担保する」という一連の流れや、各工程に対するエンジニアの関わり方は、本質的に変わっていません。

2つめには、現時点では「AIの力を十分に活用できているとは言えない領域」が意外と多い、という実情です。ソフトウェアの設計において「どの機能が必要か」を洗い出したり、チームで議論して合意形成をしたり。あるいは、何か問題が起きたときの原因究明、バグ修正などの作業は、人間がかなりの時間をかけて行っているのではないでしょうか。

そして3つめが、AIのアウトプットのハルシネーションや非決定性。これがある限り、「品質保証をいかにして実現するか」という課題は人の手に残り続けると考えています。

実際、こんな事例がありました。ある現場でAIを使って膨大な量のテストを自動実行し、その結果をもとにリリースの可否を判断しようとしていた。ところが、AIはシステムの不具合を見落とし、誤って「テストOK」と判定していた、と。

こうしたことが起こると、結局は「AIにテストしてもらったけど、本当に合っているのだろうか」と、人間による再テストが必要になってしまうわけです。

AIにはこまごまとエッジケースを考えたり、大量のアウトプットをしたり、人間より優秀なところもあります。手数が必要だった工程を代行してくれて、時間の節約もできるようになりました。しかしそれでも、最終的にシステムの正しさを担保するのは、やはり人間の役割にならざるを得ないのではないでしょうか。

――AIによる効率化が進む一方で、開発には「変わらない課題」がある。では、テスト自動化にも「変わらない課題」があるのでしょうか。

武藤：はい。例えば、「テスト設計」です。

弊社のプロダクトを例にお話ししましょう。2019年にリリースした「Autify NoCode」は、いわゆるノーコードツール。コーディングの知識がないユーザーでも、テストシナリオの実装や、さまざまな環境でのテストの並列実行などが行えます。

2025年にリリースした「Autify Nexus」では、AI導入などにより、これまでは難しかった機能が実現しています。自然言語で書かれたテストをAIが解釈して、自動実行したり、ノーコードのステップやPlaywrightのコードに変換したり、といったことまで可能になりました。
とはいえ、「Nexus」は「コーディングの知識がなくてもテストを実装できる」という、従来のノーコードツールの延長線上にあります。

つまり、テスト実装や実行の工程を支援することはできても、その前段階にある「テスト設計」の課題までは解決できていないんです。

「要件をどうテストに落とし込むか」を考える工程は、依然として人間が担うほかなく、多くの開発現場がペインを感じているポイントでもあると思います。

ここは、これからAIなどのテクノロジーを使って解決していくべき部分。まだ誰も“決定解”となるプロダクトを生み出せていない領域だと思っています。

――自動テストツールの“決定解”。もしもそれが存在するとしたら、具体的にどのようなものをイメージしているのでしょうか。

武藤：実は、その1つの答えとして弊社では「Autify Genesis」というプロダクトの開発を進めています。これはAIを使って、稼働しているシステムのコードから仕様書を生成する、というアプローチをとるものです。

というのも、開発現場では「既存システムの仕様書が不十分で、誰も正解がわからない」「ドキュメント整備が実装のスピードに追いつかない」といったトラブルが珍しくありません。特にエンタープライズ規模のソフトウェアはコード量が膨大で、そもそも人間の力では全体像を把握しきれない状態に陥りがちです。

――テスト設計では、仕様理解が大事だといわれます。そのためのドキュメント整備がままならないというのは苦しい現実ですね。

武藤：そこに対して、AIが動いているコードを直接解析して仕様書を生成する。さらに仕様書からテスト設計の自動化、テスト実装の自動化と各工程をシームレスにつなげていく。

これが実現できれば、従来の自動テストの枠組みを超えた開発プロセス全体のサポートや、大規模な自動化が実現すると考えています。

――とはいえ、AIを使ってコードからシステム理解に役立つドキュメントを生成するツールとしては、Devinの機能「DeepWiki」などがすでに知られています。Autify Genesisの独自性はなんでしょうか？

武藤：Autify Genesisの特徴は、単に仕様書を生成するのではなく、「QA工程のワークフローにのせて、仕様書とテストをセットで更新しつづける」という設計にあります。

まずAIが仕様書のたたき台を生成し、人がレビューと合意にもとづいて修正する。確定した仕様をもとに、テスト設計やテスト実装の工程を実施する。コードや要件に変更が入ったら、AIが仕様書とテストの差分を出力し、人の目を通してから更新する。

こうしたサイクルで、システムとテストの整合性を取り続けることで、仕様書を「チームの共通言語」にしていくことがねらいです。

これがうまく回ると、開発側からの成果物の引き渡しを待つことなくQA工程を進められ、テスト設計にも早い段階で着手できるようになる。仕様の曖昧さや抜け漏れを前倒しで発見できるため、後工程での手戻りも減らせると見ています。

――コードと仕様書の乖離を防ぐ仕組みそのものを、ワークフローに組み込んでしまう、と。

武藤：このようにしてシステムとテストの整合性が担保されると、もうひとつ、大きな価値が生まれ得ると考えています。

それは、自動テストツールを“コードに代わるシステム理解のナレッジベース”として活用できるようになる、というものです。

というのも、システムに関わる人たち全員が、コードを読めるわけではありません。しかし、「自然言語で書かれたテストケースやテストシナリオを見れば、どんなシステムなのかが把握できる」のであれば、サポートチーム、PMといったエンジニア以外のメンバーもシステム理解を深めやすくなるはずです。

――「コードを読まずとも開発中のシステムのことが分かる」まで進むと、確かに自動テストツールとしては、単なる効率化を超えた大きな変化になりますね。

武藤：しかし、ここまでツールが進化したとしても、人の役割はなくなりません。

むしろ、AIにつくる役割を任せて自動化を進めるほど、人間には「何を正しいと定義するか」「どこに品質基準を置くか」「どこに工数や投資を配分するか」といった判断を下し、その責任を引き受ける役割が増していくはずです。

――最後に。武藤さんご自身は、今後どのようなプロダクトをつくっていきたいですか？

武藤：個人的には、ユーザーの皆さんが抱えているペインや課題感に徹底的に寄り添い、使った瞬間に思わず感動してしまうようなプロダクトをつくり続けたいと思っています。

――toB向けのツールで感動、ですか？

武藤：約6年前に「Autify NoCode」をリリースした当時は、ブラウザが自動で動いているデモをお見せするだけで、「魔法みたいだ！」と感動してくれる方がいたんです。でも、いまでは誰も驚きません（笑）。

私自身、最近AIがコンピュータを自律的に操作してテストを進める様子を見て、「ここまでやってくれるのか、すごいな」と素直に感心してしまいました。こうした驚きもきっと、すぐに当たり前に変わってしまうでしょう。

――技術に対する感動は、どんどんハードルが上がっていく。

武藤：だからこそ、新しい感動をつくっていきたいですね。

取材・執筆：川島 昌樹
編集：川島 昌樹、田村 今人
撮影：曽川 拓哉