700億サイズの金融業界特化型の大規模言語モデル（LLM）パラメータを公開

株式会社GenerativeX（所在地：東京都渋谷区、以下GenerativeX）は、金融業界向けに開発した独自の大規模言語モデル（以下LLM）のファインチューニングパラメータを公開しました。

取り組みの概要

金融業界においては、様々な定量情報を正確に扱う必要があるため、高性能なLLMが必要不可欠です。

しかし、ChatGPTのような性能の高いLLMでは社外へとデータを送信する必要があり、センシティブな情報を扱う金融業界ではLLMの活用が制限されていました。

そこでGenerativeX社は、オープンソースでありながらも最大規模の700億パラメータを誇るMeta社のLlama2モデルをベースに、金融業界の知識を補完することで、金融領域における高い性能を持ちながらもオンプレミスでの運用が可能な独自のLLM（LoRAアダプター）を開発・公開しました。

https://huggingface.co/generativex/Finance-Llama-2-70b-chat_LoRA

金融業界特化型の大規模言語モデルに関して

GenerativeX社は、オープンソースモデルの中でも最大規模のLlama2（Llama-70B）をベースとし、金融領域に特化したパブリックなデータセットを用いたファインチューニングを行いました。

モデルの学習には、LoRAや量子化などの技術と、高性能GPUを利用することで、短期間で効率的に実施することを可能にしました。

このモデルは、一般的なLLMに比べて金融関連の質問への回答精度が向上しています。

GenerativeX社は、今後も銀行、証券、保険など金融領域に特化したユースケースに対応したモデルの開発を進める予定です。

金融業界の独自性とモデルの強みに関して

金融業界では、単純な数値の解析や取り扱いだけでなく、その数値から具体的なビジネス上の示唆や戦略的洞察を導き出す能力が求められます。この点を考慮してGenerativeX社は、金融業界の特性を理解し、そのニーズに応える形でファインチューニングを施したモデルを開発しました。

具体的には、図のように、数値から金融業界特有の示唆や解釈を生成する能力を持たせることで、実務における意思決定の支援やビジネスの高度化に寄与します。

開発環境に関して

当モデルの開発は、NVIDIA社の最新GPU「NVIDIA H100 Tensor コアGPU (以下 NVIDIA H100」)を利用して実施されました。

これは、GMOインターネットグループ株式会社が2023年8月より国内ホスティング事業者としては初めて（※）「NVIDIA H100」を利用できるGPUホスティングサービスとして提供を開始した「ConoHa byGMO」のトライアル版にGenerativeX社が採用されたことで実現しました。

「NVIDIA H100」は、旧来のGPUに比べてより高速な処理能力を発揮するため、大量の計算資源を必要とするLLMの学習・推論を短時間で行うことが可能となります。

GenerativeX社では今後も、国内で最も早く「NVIDIA H100」を利用できるサービスをリリースした「ConoHa byGMO」のサービスを活用しモデルの開発等を進めていく予定です。

（※）2023年9月26日時点　GMOインターネットグループ株式会社調べ

https://www.conoha.jp/ai/teaser/

会社概要

会社名：株式会社GenerativeX

代表者：代表取締役CEO　荒木れい

所在地：東京都港区虎ノ門二丁目2番1号 住友不動産虎ノ門タワー2F

設立年月：2023年6月

コーポレートページ：https://gen-x.jp

出典: 700億サイズの金融業界（銀行・証券・保険領域）特化型の大規模言語モデル（LLM）パラメータを公開