ReRankingを適用したRAGの精度向上について 実データを使ってやってみた

はじめに

クラスメソッド株式会社 新規事業部のレオナです。

LLMの説明

近年、ChatGPTを代表にAI⾔語モデル（Large Language Model：以下、LLM）が⾃然⾔語処理の分野で広く使われるようになってきました。LLMは、⼤量のテキストデータを学習することで、⼈間のような⾃然な⽂章を⽣成することができます。

QAチャットbot(RAG)

LLMを使ったチャットボットを構築することで効率化できたという事例が出てきています。通常、LLMは学習中に得た情報をもとに質問に回答しますが、公開されていない社内情報については間違えてしうことがあります。

この問題を解決する⽅法の1つとして、Retrieval Augmented Generation（以下、RAG）という⼿法があります。RAGは、外部知識ベースからの検索（Retrieval）とLLMによる回答⽣成を組み合わせたフレームワークです。外部知識ベースから関連情報を検索することで、最新の情報に基づいた回答が可能になります。

課題

CM内の運用方法

クラスメソッド社内で運⽤しているQAチャットボットの構成や詳細については以下の記事をご確認ください。

Google Cloud Enterprise SearchとRetrieveReadCompose方式RAGを利用して社内公式情報を全部質問できるようにしてみた

概要

Google CloudのVertex AI(旧:Enterprise Search)とRetrieveReadCompose（RAG）方式を使用して、社内情報に対するQAチャットボットを構築する方法についてです

役に立たなかったという回答の割合が3割程度残っている

社内で運⽤しているQAチャットボットでは、ユーザーからの質問に対してQAチャットボットがうまく回答できない問題があります。

このQAチャットボットには、ユーザーとのやり取りを記録したフィードバックデータがあります。各データには以下の3つの要素が含まれています。

1. ユーザーからの質問文
2. チャットボットが生成した回答
3. ユーザーからのフィードバック（「回答なし」「解決できた（はい）」「解決できなかった（いいえ）」の3種類）

今回の分析では、直近1000件のデータのうち、「解決できなかった」と評価された98件の質問文の一部を抜粋しました。以下のグラフは、直近1000件のデータにおけるフィードバックの分布を示しています。

チャットボットが検索する際に、必要な情報を得られないことがある課題があります。

この問題には様々な原因が考えられますが、主なものとして以下の3点が挙げられます。

• 関連するドキュメントが存在しない
• ユーザーからの質問が抽象的である
• 関連するドキュメントが適切に検索されていない

RAGにおける検索精度

今回の検証では、上記の課題のうち、３点目について調べました。使われている検索手法の精度が低いことが原因であると仮定し、以降では検索精度をあげるための手法である、Re-rankingを試した結果について記載します

精度改善のための手法(Re-ranking)

この問題に対処するため、Re-ranking(再ランク付け)という⼿法を⽤いて、検索結果の精度向上を試みます。

Re-rankingは、Retrieverによって取得された複数の文書を、クエリに対する関連度を別ベクトルを用いて高い順別に並べ替える手法です。これによって検索の精度があがり、チャットボットの回答精度が上がることが期待できます。

Re-ranking⼿法の詳細については以下の記事をご確認ください。

ReRankingを適⽤したRAGの精度向上について

追記: 他の⼿法もあるそうです。

検索精度向上のための別の⼿法は、メタデータでフィルタリングする方法があります。メタデータを⽤いて検索結果を絞り込む⼿法です。詳細は以下の記事を参照ください。

Optimizing Vector Search with Metadata Filtering

実験

目的

Re-rankingによって検索精度が向上するかを確認します。具体的には、検索に異なる埋め込みモデルを使用し、検索精度が上がるか検証します。

社内で運⽤しているチャットボットはGoogle CloudのVertex AIを使⽤していますが、今回の検証ではLlamaIndexを⽤いて、Re-rankingによって検索精度が向上するかを確認します。 同じ環境での検証は行えていませんが、Re-rankingの効果を⾒るためには、異なる埋め込みモデルを使⽤して検索結果を再ランク付けし、検索精度が上がるかどうかが重要なポイントになります。

手法

1. フィードバッグの解決できなかったの質問⽂を⽤意します。
2. 同じ質問⽂に対し、OpenAIとAWS BedrockのTitanを使って検索した際の上位20件の検索結果を⽬視で⽐較します。

前回の記事同様、使⽤するLLMはOpenAIのText-Embedding-Ada-002とAWS BedrockのAmazon.Titan-Embed-Text-v1です。

チャンクサイズは512、オーバーラップは20に設定しました。

チャンクサイズとは、⽂書を複数の⼩さな部分（チャンク）に分割する際の各チャンクの⻑さを指します。⽂書全体を⼀度に処理するのではなく、チャンクに分割することで、⼤規模な⽂書に対する検索性能を向上させることが可能です。

オーバーラップとは、隣接するチャンク間で重複させる⽂字数のことです。チャンク間にオーバーラップを設けることで、チャンクの境界付近で発⽣する検索クエリのマッチング漏れを軽減されます。

実装

今回はLlamaIndexを用いて実装しました。

import os
from dotenv import load_dotenv
from llama_index import (
VectorStoreIndex,
ServiceContext,
StorageContext,
SimpleDirectoryReader,
Document
)
from llama_index.llms import Bedrock, OpenAI
from llama_index.embeddings import BedrockEmbedding, OpenAIEmbedding
from llama_index.node_parser import SentenceSplitter
from llama_index.retrievers import VectorIndexRetriever
from llama_index.indices.query.schema import QueryBundle
import pandas as pd
from IPython.display import display, HTML

# .env ファイルから環境変数を読み込む
load_dotenv()

# 環境変数から必要な情報を取得
region = os.getenv("AWS_DEFAULT_REGION", None)
openai_api_key = os.getenv("OPENAI_API_KEY")

# モデルの選択を設定するための変数（'openai' または 'titan'）
model_choice = 'openai'

# チャンクのオーバーラップとサイズを設定
chunk_overlap = 20
chunk_size = 512

# モデルのパラメータを設定
model_kwargs = {
"stopSequences": [],
"temperature": 0.0,
"topP": 0.5
}

# モデルと埋め込みモデルのインスタンスを作成する関数
def create_model_instances(model_choice, region, openai_api_key, model_kwargs):
if model_choice == 'titan':
# Bedrockモデルのインスタンスを作成
llm_model = Bedrock(
model="amazon.titan-text-express-v1",
context_size=chunk_size,
aws_region_name=region,
additional_kwargs=model_kwargs
)
# BedrockEmbeddingのインスタンスを作成
embed_model = BedrockEmbedding().from_credentials(
aws_profile=None,
model_name='amazon.titan-embed-text-v1'
)
elif model_choice == 'openai':
# OpenAIモデルのインスタンスを作成
llm_model = OpenAI(
model="gpt-4-1106-preview",
context_size=chunk_size,
additional_kwargs=model_kwargs,
api_key=openai_api_key
)
# OpenAIEmbeddingのインスタンスを作成
embed_model = OpenAIEmbedding(
model="text-embedding-ada-002",
api_key=openai_api_key
)
else:
raise ValueError("titan or openaiで指定してください")
return llm_model, embed_model

# モデルのインスタンスを作成
llm_model, embed_model = create_model_instances(model_choice, region, openai_api_key, model_kwargs)

# サービスコンテキストを設定
service_context = ServiceContext.from_defaults(llm=llm_model, embed_model=embed_model, chunk_size=chunk_size, chunk_overlap=chunk_overlap)

結果

分析では、いくつかのケースについてRe-ranking適用前後の検索結果を比較しました。ここでは、その中から3つのケースを取り上げます。

ケース①　#回答時にドキュメントがないと生成されたとき

ケース②　#回答が正しくない

ケース③　# 回答時にドキュメントがないと生成されたとき

分析

ケース①　#回答時にドキュメントがないと生成されたとき

ケース1では、代休に関する情報を求めているにもかかわらず、両モデルとも育児休業に関する⽂章を多く抽出していました。

Titan

特別休暇について

**連続する20営業日まで**は、特別休暇（有給）として取得することが可能です。

分割して取得する場合は、初回の期間のみ特別休暇の取得が可能です。

産後パパ育休時には特別休暇を取得せず、通常の育児休業%20bcabbc47171141da892ae29466f499ad.md)を取得する際に特別休暇を取得することも可能です。

特別休暇の期間のみ休業される場合でも「育児休業申出書」の提出は必要になりますので、ご注意ください。

※「就業規則（CM)」第39条（8)

申請方法(Docusign)

- 提出期限：**休業開始日の2週間前まで**

　　育児休業を申出したい旨を、**SlackのDMにて ＠労務チーム** 宛にご連絡ください

　　DocuSign（メール）にて、申請書類をお送りします

OpenAI

育児休業中の特別休暇とならない期間について

育児休業期間中、特別休暇（有給）とならない日については、給与の支給はありません。

その場合は、雇用保険の「育児休業給付金」の申請手続きを行います。

提出いただく書類がありますので、該当する場合は別途ES部労務チームよりご案内いたします。

特別休暇について

**男性社員**による育児休業期間のうち、お子様一人あたり

**連続する20営業日まで**は、特別休暇（有給）として取得することが可能です。

特別休暇の期間のみ休業される場合でも「育児休業申出書」の提出は必要になりますので、ご注意ください。

※「就業規則（CM)」第39条（8)

特に、Titanモデルは振替休⽇に関する⽂章を下位の検索結果として抽出していました。

Titan

②-2　休日出勤した日の翌月に振替休日を取得する場合

**パターン「振休（翌月）」を選択**し、申請メッセージに「〇/〇取得分を利用」と入れて、スケジュール申請をする

②-1　休日出勤した日と同月に振替休日を取得する場合

**パターン「振休（同月）」を選択**し、申請メッセージに「〇/〇取得分を利用」と入れて、スケジュール申請をする

ケース1では、代休に関する具体的な手続きの情報がドキュメントに含まれていないため、両モデルとも適切な回答を生成できませんでした。しかし、類似した言葉である "振替休日" に関連する単語が抽出されていることから、Re-ranking手法によって検索精度が向上すると思います。

社内の公式ドキュメントを確認したところ、「社内公式情報/人事・労務/勤怠関連/深夜・休日出勤・振休・欠勤について」というファイルに振替休日についての情報が記載されていました。ただし、ファイル名は「振休」となっているものの、内容は振替休日について説明されていました。

今回のケースでは、代休に関する情報を求めているにもかかわらず、両モデルとも育児休業に関する文章を多く抽出していました。特に、Titanモデルは振替休日に関する文章を下位の検索結果として抽出していました。一方、OpenAIモデルは有給休暇に関する文章を抽出していました。

OpenAI

申請方法

**全日取得する場合**

①パターン「有給（全休）」を選択

!Untitled

②申請メッセージに事由を記載する（私用・体調不良など　詳細は不要です）

!Untitled

※KoTの仕様上、有給休暇のみ「申請メッセージ」を未入力で申請ができないため、入力必須となっております。ご了承ください。

③「スケジュール申請」ボタンを押す

**半日取得する場合**

①スケジュール編集画面の「半休/欠勤種別」で『AM休』または『PM休』を選択

※パターンは変更しません

!Untitled

②申請メッセージに事由を記載する（私用・体調不良など　詳細は不要です）

③「スケジュール申請」ボタンを押す

ケース②　#回答が正しくない

ケース2では、社内のグループメールの作成方法についての回答が正しくありませんでした。

社内では、グループメールの作成はワークフローの承認を経て⾏われます。両モデルはワークフロー⼿順に関する⽂章を抽出されました。

**Googleグループ（メーリングリスト）利用方法**

**注意事項**

**MLの作成/削除・メンバー追加/削除依頼について**

ワークフローにて申請を上げて下さい。申請に従ってMLが作成されます。指定できるドメインは下記 社内ドメイン を参照してください。

ここからアカウント申請書を直接開けます

**※ML利用開始後1年以上メールを受信していない場合、利用していないと判断し削除することがあります。**

1. 業務→a.アカウント申請
    1. 部門名
    2. 件名
    3. ML（メーリングリスト）
        1. ML作成
        2. ML削除
        3. メンバー追加
        4. メンバー削除
    4. ML名
    5. ユーザーアカウント名
        1. ML作成、メンバー追加・削除の場合は入力必須
    6.

両モデルとも、メーリングリストの管理に関する⽂章を多く抽出していますが、これらの内容はグループメールの作成⽅法とは直接関係がありません。キーワードのマッチングが偏っており、クエリの意図を適切に理解できていないこと思います。

Titan

部門長：所属部門長

**Googleグループ（メーリングリスト）メンバー確認方法**

- **自身が登録されているMLを確認する方法**

※ここからグループを抜けることができます。　抜ける際は業務に支障がないことをご確認のうえ、慎重にご判断ください。

!image2021-7-1_9-18-4.png

- **MLに登録されているメンバーを確認する方法**

※xxxxxにはML名が入ります

**Googleグループ（メーリングリスト）から退出する**

異動などでプロジェクト等のGoogleグループから退出したい場合は以下の手順を参照してご自身で退出が可能です。

【公式】グループから退会する、またはグループからのメールの受信を停止する

Gmailが見れません。Googleワークスペースにログインできていないようです。, Gmail, ログイン, February 25, 2023 7:48 PM
新規ML（メーリングリスト）を作りたい。, Googleグループ, ML, メーリングリスト, December 21, 2022 5:14 PM
Googleグループを廃止して、同じアカウント名でGoogleユーザーアカウントを作成することは可能でしょうか？, Googleグループ, ML, ユーザーアカウント, December 22, 2022 10:51 AM
Googleグループで不在通知連絡などの自動返信設定をしたい, Googleグループ, ML, 不在, 自動返信, December 22, 2022 10:50 AM
Gmailでのメールを委任したいです, Gmail, 委任, February 2, 2023 1:00 PM
Gmailフィルター設定について, Gmail, フィルター, April 18, 2023 3:47 PM
迷惑メールに分けられてしまう場合, Gmail, フィルター, 迷惑メール, September 6, 2023 2:43 PM

自分が所属しているグループの確認方法

「Googleグループ」のマイグループでご確認ください。

GoogleホームページのGoogleアプリ「グループ」から開けます。

- サンプル画面

    !Untitled

OpenAI

**【公式】Google グループを使用してグループからのメールの受信を停止する、グループから退会する**

**※DIV-xxxxのグループからは脱退禁止です。**

☎️ **問い合わせ先**

ご不明点は#01help-me **情報システム** 、**情シス、**@g-cm-jsys-t1u をメンションしてお問い合わせください。

ケース③　# 回答時にドキュメントがないと生成されたとき

ケース3では、ワークフローの申請フォームのリンクを求める質問に対し、両モデルとも適切な回答を生成できませんでした。しかし、ワークフローの申請方法に関する文章を幅広く検索されています。

Q&A

- **急ぎで名刺がほしいです**

    ワークフローを申請後、#01-help-me 総務チームへご連絡ください。
    また、部門長へワークフローの承認をいただけるようご連絡ください。
    配送日や追加料金など詳細を総務チームからSlackにてご連絡します。
    なお、最短でも東京拠点の場合は1営業日、地方拠点は2営業日必要となります。
    また、宅配業者の配送事情等によりお届けが遅くなる場合がございますのでご了承ください。

---

☎️ **問い合わせ先**

ご不明点は**#01-help-me**  「@総務チームsomuteam」  にお問い合わせください。

- 銀行振込で、**担当者**に直接請求書が届く場合

請求書データを添付のうえ申請してください。

- 銀行振込で、**経理部門**へ直接請求書が届く場合

請求書データは添付不要です。

- 小口現金仮払い希望の場合

請求書データは添付不要です。そのまま申請して支払依頼を進めてください。

経理確認後、現金の受取方法・日時等の詳細について経理からご連絡します。

- 立替経費やコーポレートカード決済の場合

経理への支払依頼、申請は不要です。

☎️ **問い合わせ先**

ご不明点は**#01-help-me**  「@総務チームsomuteam」  にお問い合わせください。

振込方法や支払のご連絡は **経理チーム** にお問い合わせください。

ワークフローの申請について知りたい

主管部門: 総務部
関連ページへのリンク: ./%E7%94%B3%E8%AB%8B%E3%83%BB%E6%89%8B%E7%B6%9A%E3%81%8D%204c672d4f88bd490784459ae89db3088c.md
関連用語: 購入、発注、ワークフロー

| 社内ワークフローガイド (./%E7%94%B3%E8%AB%8B%E3%83%BB%E6%89%8B%E7%B6%9A%E3%81%8D%204c672d4f88bd490784459ae89db3088c/%E7%A4%BE%E5%86%85%E3%83%AF%E3%83%BC%E3%82%AF%E3%83%95%E3%83%AD%E3%83%BC%E3%82%AB%E3%82%99%E3%82%A4%E3%83%88%E3%82%99%20691cb9f4f0c84988a358b53c278cd450.md)  |  |
| --- | --- |
| 購入・発注ワークフロー申請 (.

**業務系ワークフロー（アカウント申請・各種利用申請など）**

業務系ワークフローについては手順書の存在するものはワークフロー一覧に手順書・関連ページのリンクがあります。

これらの抽出された文章には、ワークフローの申請方法に関する情報が含まれています。また、Re-rankingした結果、申請フォームへのリンクも抽出されています。

**ワークフローURL**

セキュリティの観点の上URL削除していますが、実際のURLを記載しています。

問い合わせ先：#help-ワークフロー

このケースでは、モデルが関連する情報を幅広く抽出しようとしている点は評価できますが、質問に直接答えるための情報が不足していることが問題です。Re-ranking手法を用いることで、より質問に関連する情報を上位に持ってくることができれば、回答のできる可能性があります。

考察(感想)

分析の結果、回答できなかった質問に対して、検索結果に類似している内容が検索されました。また、いくつかのケースではクエリの意図理解やキーワードマッチングの偏りが見られました。これは、単一のモデルを使用する場合の限界だと思います。1つのモデルで検索がうまくいかないときに、もう一度別のモデルで検索を行うことで、これらの問題が改善され、検索精度が向上し、回答できない問題の件数が減少すると期待されます。

まとめ

Re-ranking⼿法がRAGの検索精度向上に有効であることがわかりました。上位20件を検索することによってクエリに対して類似度のある文章が取得されました。

今後

今回の分析では、LlamaIndexを使⽤した実験を⾏いましたが、実際の運⽤環境とは異なるため、同じ環境(Vertex AI)での検証が必要です。

また、Re-ranking⼿法が実際の運⽤環境に適しているかフォワードテストが必要になります。 今回は検索のみを行いましたが解答文を生成するときにクエリの意図理解やキーワードマッチングの偏りを考慮した解答ができるか検証が必要です。

RAGのGが必要か不要かに関する一考察