データスタジアムでは、失点抑止に最適な球種・コースを提示するAIやプロ野球週間先発予想、Baseball LABの「今日のプロ野球結果予想」で使用されている試合勝敗予想ツールなどをはじめ、さまざまなAIが稼働しています。

　今回は、今季から新たに稼働を開始した「戦評を自動生成するAI」の開発を通して感じた、「AIを活用した課題解決」をおこなう際や、「AIを活用したコンテンツ作成」を実現する際に考えるべきポイントについてお話ししていきたいと思います。

■「戦評を自動生成するAI」とは？

　当社ではプロ野球などを対象に、試合経過や結果の要点をまとめた「戦評」を作成し、配信しています。

　戦評は、執筆対象となる試合経過を確認しながら執筆した後、

・その試合の出来事を十分説明できているか
・記載している事柄に間違いがないか
・野球の専門用語の使い方に誤りがないか
・誤字や脱字がないか
・文章同士の繋がりが自然か、リズムは良いか
・日本語としての誤りがないか
・文字数は規定の範囲内に収まっているか

など、様々な観点のチェックを経て皆さんのもとへ配信されます。

　戦評を自動生成するAIは、こういった「人間の執筆活動の一部を代行・手助けすること」を目的として開発しました。

■すべてをAIに任せることの難しさ～AIの開発や調整の難易度・実現難易度を決めるもの～

　当社では戦評自動生成AIが生成した戦評を、人間が編集およびチェックした後に配信しています。

　「人間の執筆活動の一部を代行・手助けすること」と聞いて、「AIが全て執筆してくれないの？」と疑問に感じた方もいらっしゃるかもしれません。

　過去1万試合以上の戦評データをもとに開発したAIであっても、これだけ多くの評価ポイントをすべてクリアできる戦評を作ることは難しく、稼働前のテストの際、人の手をほぼ加えずに配信可能と判定された戦評は全体の5割程度でした。

人間の手を加えずに配信可能な戦評を作ることが難しい主な理由は

1.評価する観点・ポイントが非常に多い
2.評価する観点・ポイントに数値化しにくい抽象的な事象も含まれている

という点が挙げられます。

　勝敗結果の予想や先発投手の予想は、「どの程度勝利チームを正しく予想できたか」や「予想した先発投手が実際にどの程度先発したか」という1点のみで概ね評価ができますが、戦評の場合は、上記で挙げたようなさまざまな評価の観点・ポイントが存在します。

　また、「どの程度勝利チームを正しく予想できたか」や「予想した先発投手が実際にどの程度先発したか」は、正答率などを計算することで容易に評価ができる一方、「その試合の出来事を十分説明できているか」や「文章同士の繋がりが自然か、リズムは良いか」といった点は、数値化をおこなうこと自体、難易度が高くシステマティックな評価も難しくなります。

　この「満たす必要がある評価の項目」が多くなればなるほど、また「評価の観点・ポイントが抽象的であればあるほど」AIの開発や調整、実現の難易度は高くなります。

　評価項目を絞ったり、抽象的な事象を数値などを用いて評価できるように定義することは、AIを活用した課題解決やコンテンツ制作をおこなう際の重要なステップになります。

■AIと人間がそれぞれ得意な所を生かして仕事をすること

　すべての工程をAIに任せることができなくても、メリットがあります。まず、AIを使わず「試合の内容を振り返り、事実関係や誤字脱字といった先程の評価ポイントに気を付けながら0から戦評を作成する場合」に比べ、AIが生成した文章を取捨選択し繋ぎ合わせるだけで済むため、作業の難易度が大きく易化されます。その結果、戦評を作るために人間が稼働する時間が3分の2から半分程度にまで減少します。

　結局最後は人間の目を通さないといけないのであれば、あまりAIを使う意味がないのでは？と感じるかもしれませんが決してそうではありません。人間が得意な「評価・修正をおこなう領域」とAIが得意な「0から短時間で多くの文章を生成する領域」をうまく分担して担当できるように、AIやシステムを整備することで作業の効率や戦評自体のクオリティを上げることができます。

　今回取り上げた「戦評を自動生成するAI」に関しては、次回のアナリストレポートでより詳しく取り上げたいと思いますので、こちらも是非チェック頂ければ幸いです。