anybot for ChatGPT: テストが自動化！作業工数が半分以下に[工数削減]

「運用前のテストをするのに時間がかかってしまって中々ユーザーに公開できない！」
「どこまでテストが完了したのかわからない」

このような課題をお持ちの方いませんか？

これまでの機能では、手動でテストをする必要があったため手間と工数を取られてしまっていました。
1つの質問につき、数パターンでの検証をするとなるとトレーニングさせる量によっては1日で完了しないケースもあります。
そこで、工数削減且つ運用が楽になるように自動で質問リストを作成させ、運用前のテストが行える機能をリリースしました。
この記事では、設定方法についてご紹介します。

こんな方におすすめ

ChatGPT運用前のテスト工数を削減したい方
トレーニングさせるデータが多い方
回答精度が求められる企業

1.自動テスト機能とは？

生成AIの特性として、挙動が分かりづらいというのが挙げられます。
そのため、トレーニング完了後は、考えうるパターンでのテスト/検証を行い回答の精度を確認する必要があります。
ですが、1つ1つさまざまなケースでの質問を考えるのは時間が取られ、それをテスト、間違った回答をアップデートするのは地道な作業です。

なので、特に時間がかかってしまう「1つ1つさまざまなケースでの質問を考える」「テスト」の2つに着目し、これらをすべて自動化する機能を開発しました。
ChatGPT自身が質問を考案し、カバーしきれていないところは手動で追加、その質問集をもとに自動テストが行われ、テスト完了の際には、事前に登録してあるメールアドレスへとテスト結果のCSVが配信されます。
間違った回答には手動でアップデートを行うだけでテストが完了するため、これまでの作業工数を1/10程に短縮できます。

2.テストの設定方法

※すでにトレーニングデータが登録してある状態
1.①[APP設定]の②[ChatGPT]タブを選択
2.真ん中のタブの③[自動テスト]を選択し、④[⊕質問登録]をタップ undefined

3.①[手動]の場合は、テストしたい質問を入力し、保存

4.[自動]の場合は、①[全て]か[トピック毎]を選択

＜「全て」の設定方法＞
1.②質問数を指定（※指定された個数分の質問をランダムで作成します）

＜「トピック毎」の設定方法＞
1.①テストしたいトピックを指定（入力したキーワードに関連した質問を作成）
2.②参照するドキュメント数を指定（指定した個数分のドキュメントをランダムで生成）
3.③ドキュメント毎の質問数を指定（1つのドキュメントに関してテストしたい質問数を入力

例：トピック（anybot）ドキュメント数（3）ドキュメント毎の質問数（2）とした場合「anybot」というキーワードを持つドキュメントの中からランダムで3つ選択され、計6個の質問が作成されます。