雑にエージェントにテスト設計をさせてみて考えたこと (#26)

Author: goataka

public/雑にエージェントにテスト設計をさせてみて考えたこと.md

@@ -0,0 +1,63 @@
+---
+title: 雑にエージェントにテスト設計をさせてみて考えたこと
+tags:
+  - 
+private: true
+organization_url_name: works-hi
+slide: false
+ignorePublish: false
+---
+# 雑にエージェントにテスト設計をさせてみて考えたこと
+
+## はじめに
+
+AI利用への距離感を測るための実験をしてみた結果です。
+
+## 方法
+
+IssueおよびPRを指定し、既定のフォーマットへテスト設計をさせてみた。
+
+## 前提
+
+業務システムを対象とした。
+
+## 結果
+
+それっぽいテスト設計がされたが、実用性は低かった。
+
+## 課題
+
+- 業務や操作方法に関する情報量が不足しており、実際との乖離が大きい。
+- 実装だけを基にしたテスト設計の場合、AIによる補完の割合が大きい。
+- 補完割合が大きいとレビューに掛かる工数の方が大きくなってしまう。
+
+## 考察
+
+システム利用に関する基本的な情報がないと期待値に近いテスト設計はできない。
+
+## 改善
+
+システム利用に関する基本的な情報を与えれば、期待値に近いテスト設計ができるかもしれない。
+
+## 対策
+
+- 仕様駆動や受け入れテスト駆動開発により仕様を明示する。
+- マニュアルやリリースノートなどで外部仕様や変更仕様をする。
+- 内部仕様や非機能要件に関しては仕様詳細などとして別途定義する。
+
+## 今後
+
+システム全体をAI利用を前提とした作りにして変えていく必要がある。
+
+## 余談
+
+CI/CDなどのシステム的な変更に関しては、業務システムよりは実用性があった。
+
+## 予想
+
+開発とQAの役割はより近い内容に変わっていくと予想される。
+
+## おわりに
+
+AI利用への距離感はまだあるが、克服可能な範囲であると考えられる。
+