プレゼントの購入、旅行や外食の計画を立てるとき、あなたは溢れるほどの選択肢の中からどう選びますか？インターネットの普及により、あらゆる商品・サービスのカスタマーレビューが広く公開され、購入の判断材料として活用されています。しかし、膨大な数のレビューに目を通すのは面倒で 時間のかかる作業です。仮にボタンを押すだけですべてのレビューを要約することができたら、あるいはレビューの中から要約する内容をさらに選択することができたら、出来上がった要約について説明を求めることができたら非常に便利だと思いませんか？ 今回は、Megagon Labsで最近開発したOpinionDigestについて説明します。OpinionDigestは多くのレビューの中から選択的に意見を要約し、さらにその要約を説明することができます。以前のブログでは、カスタマイズ可能で説明可能なレビュー要約のための対話型エクスプローラである ExtremeReader の開発における取り組みを紹介しました。ExtremeReader はテキスト要約の生成コンポーネントとして OpinionDigest を使用していますが、その詳細については触れてきませんでした。本記事では、 OpinionDigest が人間が書いた参照要約に頼ることなく、カスタマーレビューのための、強力で、解釈可能で、制御可能な意見要約ソリューションを提供する方法を探ります。
オピニオン(意見)の要約の現状
オピニオンダイジェストを開発した理由を理解するためには、まず、意見の要約に関する研究の現状を探る必要があります。
参照要約の必要性を取り除く
Sequence-to-sequence (seq2seq) 生成フレームワークは、テキスト要約手法の一般的な選択肢です。seq2seqモデルは、入力テキストを高次元空間の潜在ベクトルに変換するエンコーダーと、このベクトルを出力テキストに変換するデコーダーの2つのコンポーネントで構成されています。 したがって、seq2seqモデルはエンコーダーデコーダーモデルとも呼ばれます。
Seq2seqモデルは、あらゆるタイプの「変換」タスクに使用できます。 たとえば、これらを使用して、長いドキュメントをテキスト要約のより短く簡潔な要約に「翻訳」します。 しかし、従来のseq2seq要約モデルは、人間のアノテーターによって注意深く記述された参照要約によって管理されますが、一般に正確なseq2seq要約モデルを構築するために十分な数の参照要約を収集することは困難で費用がかかります。この障害を回避するために、機械学習（ML）と自然言語処理（NLP）の研究コミュニティは、最近、参照要約に依存しない教師なし意見要約手法を開発しました。
教師なし意見の要約のしくみ
教師なし意見の要約により、モデルは元のレビューを「再構築」する方法を学習します。 トレーニングフェーズでは、エンコーダーが入力レビューをベクトル表現に変換します。そしてデコーダーはベクトル表現から元のレビューを再構築することを学習します。 このプロセスにより、モデルは意味のある潜在表現空間を学習できます。 その結果、同様のレビューがベクトル空間内で互いに近くに配置される傾向があります。
要約生成フェーズではエンコーダーは潜在表現を平均化することにより、入力レビューの潜在ベクトルを集約します。 次に、デコーダーは平均化されたベクトルから要約を生成できます。
従来の教師なしオピニオン要約技術の限界
このアプローチには特筆すべき注意点があります
- 集約されたベクトル表現は解釈できません
- 平均化された潜在表現が元の意味をどのように保持/破棄するかも明確ではありません
- 要約の生成を制御することは困難です
ホテルの場所やサービスなど特定の種類の情報のみを調べたいという場合には、特に最後の点が制約となります。この従来のベクトル集計方法では生成ステップを制御できないため実現不可能です。そこで、Megagon LabsはOpinionDigestを開発しました。
OpinionDigest: 制御可能で解釈可能な要約のためのフレームワーク
OpinionDigestの背後にあるコアとなるアイデアは高次元空間のベクトル表現ではなく、中間表現としてオピニオンフレーズを使用することです。この表現は、ユーザーが元のレビューの理解を深めるのに役立つだけでなく、要約のために選択された意見フレーズを表示することによって要約を説明することもできます。 この表現により、要約フレームワークはより解釈可能で制御可能になります。
オピニオンフレーズにはレビューの重要な情報が含まれています。これらのフレーズを「言語化」するモデルをトレーニングすることで、これまで議論してきた意見要約の問題に対してより自然な解決策が得られるはずです。また、最先端の意見抽出モデルであるSnippextを活用することで、このプロセスを効率化することもできます。
OpinionDigestは中間表現としてオピニオンフレーズを用いることで2つの大きな利点を提供します。
- 人間は中間表現と集約表現を解釈することができます。ユーザーは、元のレビューからどのように意見が抽出され、集約されたかを明確に見ることができます。
- ユーザーは、アスペクトのカテゴリ（サービス、場所、料理の品質など）や感情の極性（肯定的または否定的な意見など）に基づいてオピニオンフレーズを選択することにより、生成された要約を簡単に制御することができます。
OpinionDigestがどのように実行されるかを調査し、制御された要約生成の例を後で検証します。最初に、OpinionDigest がどのようにトレーニングし、seq2seq モデルを使用して、複数のレビューからサマリーを生成するのかを調べてみましょう。
学習ステップ1：Snippextによるオピニオン抽出
オピニオンの抽出はトレーニングフェーズの最初のステップです。 これは基本的に入力されたレビューをオピニオンフレーズに変換するものです。オピニオン抽出には、アスペクトベースの感情分析モデルを意見抽出器として使用できます。 OpinionDigestではSnippextを使用しました。Snippextのユニークな意見抽出技術の詳細については、Snippextに関するブログポストをご覧ください。
学習ステップ2：seq2seqモデルの学習
次に、seq2seqモデルをトレーニングして元の要約を生成します。 これは基本的に、従来の「再構築」トレーニング手順に従います。ただし、ここでの主な違いは、モデルへの入力です。OpinionDigest ではレビューテキストに依存するのではなく、抽出されたオピニオンフレーズを入力として使用します。多数のレビューと抽出されたオピニオンフレーズで seq2seq モデルを訓練することにより、抽出されたオピニオンフレーズのセットをテキストの要約に「言語化」することを学習します。
要約ステップ1: 意見の集約
OpinionDigestは複数の入力レビューを要約する必要があるため、最初に、トレーニングフェーズで使用されたのと同じ意見抽出機能を使用して、それらすべてから意見フレーズを抽出します。 次に、抽出された意見フレーズを代表的なフレーズに集約します。
さらに、類似したオピニオンフレーズをクラスタリングし、各クラスタに最も頻度の高いオピニオンフレーズを選択することで、集約のステップが完了します。ユーザーは意図に合致したオピニオンフレーズをフィルタリングすることもできます（例えば、場所に関連する意見のみ、否定的な意見のみ、など）。
要約ステップ2: 要約の生成
学習済seq2seqモデルは、選択されたオピニオンフレーズを入力として使用し、それをテキストの要約に「言語化」することができます。
オピニオンダイジェストの性能は？
OpinionDigestの性能を評価するために、2つのベンチマークデータセットで自動評価と人間による評価方法を用いて一連の実験を行いました。実験から得られた主な結果は以下のとおりです。
OpinionDigestは
- 他の手法と比較して、Yelpベンチマークデータセットのレストランレビューについて高品質な要約を作成できます
- 人間による評価により、代替方法よりも有益で、一貫性があり、冗長性の少ない要約を生成できることが確認されています。 さらに、代替方法よりも無関係な要約を生成する可能性が低いことが確認できました。
- 生成される要約にアスペクトや感情情報を含めるかどうかをユーザーが簡単に制御することができます。
自動評価
最初に、標準の評価指標ROUGEスコア（R1、R2、RLは1グラム、2グラム、および最長の一般的な部分文字列の一致に基づくスコア）を使用して、624,000件のレビューと200件の参考要約からなる一般公開のYelpデータセットでOpinionDigestを評価しました。 以下の表1に示すように、OpinionDigestはすべてのベースラインアプローチを凌駕しています。
OpinionDigestは完全な教師なしのフレームワークではありませんが、オピニオン抽出器のみラベル付きデータを必要とします。 これは、参考要約よりもはるかに簡単に取得できます。 たとえば、Yelpデータセットで使用されるオピニオン抽出モデルは、一般に公開されているアスペクトベースの感情分析（ABSA）データセットでトレーニングされています。