ChatGPTが視覚と聴覚を手に入れた！GPT-4Vとは？使い方や利用条件について徹底解説！

ChatGPTが視覚と聴覚を手に入れたと話題になっています。
従来はテキストベースのやり取りでしたが、これからは画像や音声による応答が可能になります。

本記事ではChatGPTの最新モデル「GPT-4V」の概要、使い方やユースケースなどを分かりやすく解説します。

GPT-4Vとは

GPT-4V（ision）とは、文章だけでなく、画像や声による応答を可能にしたマルチモーダルAIのことです。
マルチモーダルAIとは、テキスト、音声、画像など複数の異なる形式のデータを統合して処理するAIを指します。例えば、テキストから画像を生成したり、音声をテキストに変換したりすることができます。
これにより、画像データを解析し、その内容についての説明をテキストで生成したり、音声入力をテキストに変換し、そのテキストを解析してそれに応じたアクションを起こすことが可能になります。

利用条件

GPT-4Vの利用には「ChatGPT Plus（有料版）」の契約が必要です。ChatGPT Plusの利用料は月額20ドル（約3,030円）です。

また、2023年11月時点では、音声入力と応答はスマートフォンアプリでのみ可能です。

画像入力機能

GPT-4Vの画像入力機能は、PCおよびスマートフォンアプリで使用できます。詳しく見ていきましょう。

使い方

1.「ChatGPT 4」を選択する
2. 入力欄の「ファイルアイコン」をクリックして画像を挿入する

注意点

• 人物の特定はできない
• すべての要素を正しく認識できるわけではない

GPT-4Vは特定の人物画像を説明しないように設計されているので、著名人などの画像を出しても適切に答えてくれません。また、すべての要素を正しく認識できるわけではありません。複雑な医療画像の解説など正確性に欠ける場合があるので、注意しましょう。

ユースケース

• 画像解説
• 場所の特定
• 画像文字の理解
• コード出力
• チャート分析

画像解説

この男性がしているスポーツは何でしょう？

この画像はアートワークであり、リアルな写真ではありませんが、描かれているスポーツはラグビーのように見えます。男性はラグビーボールをしっかりと握りしめており、顔には試合の激しさを物語る表情が描かれています。

画像をアップロードして男性がしているスポーツについて質問してみました。
回答に問題はないことがわかります。

場所の特定

ここはどこですか？

こちらの画像は、東京駅の丸の内駅舎を写したものです。これは日本の首都東京にある有名なランドマークで、レンガ造りのクラシックなデザインが特徴です。背景には、東京の高層ビルが見え、古典と現代の建築スタイルが融合している様子がわかります。

しっかりと当ててくれました。

画像文字の理解

このポスターには何が書いてありますか？内容が知りたいです。

このポスターは、アメリカ合衆国の有名な軍募集ポスターです。「I WANT YOU FOR U.S. ARMY」と大きく書かれており、Uncle Sam（アンクル・サム）として知られる国家の擬人化が、募集を促す強い視線を投げかけて指を差しています。下部には「NEAREST RECRUITING STATION」という文字があり、これは最寄りの募集ステーションへ行くようにとのメッセージが含まれています。このポスターは、特に第一次世界大戦と第二次世界大戦の時期にアメリカ軍への入隊を奨励するために広く使用されました。

ポスターも読み取って解説してくれます。翻訳も問題ありません。

コード出力

こちらの方は計算機アプリの画像からHTML+ JavaScriptのサンプルコードを出力させています。

GPT-4Vに、某計算機アプリのスクショを与えてこのアプリ作りたいと指示したら、正常に動いて計算もできるHTML+jsのサンプルコードが1発で出てきた。フロントエンドのレイアウトもちゃんと守ってる。開発も色々と変わりそうな予感。 pic.twitter.com/IuSIwub5av

— FabyΔ (@FABYMETAL4) September 27, 2023

チャート分析

この画像を解説して下さい。

画像はビットコイン（BTC）の価格変動のチャートを示しており、特に日本円（JPY）に対する価格が表示されています。画像によると、ビットコインの価格は5,250,091.84 JPYです。さらに、画像の左下にある小さなテキストは、これが「市場価格」を表していることを示しています。

チャート上での大きな変動を見ると、1年間の変動であることがわかります。その期間にビットコインは+2,230,382.53 JPY（73.86％）上昇していることが記載されています。ここからビットコインが過去1年でかなりの価格上昇を遂げたことが読み取れます。

また、チャートの中央あたりに縦の点線が描かれており、これはおそらく特定の日付を示しています。点線の左側で価格は低下傾向にあり、2023年4月15日に4,057,819.44 JPYであったことが読み取れます。点線の直後から価格が上昇し始めており、画像が示す期間内では上昇トレンドにあることが分かります。

ただし、このチャートは過去のデータに基づいたものであり、未来の価格を予測するものではありません。投資の意思決定には最新の情報と詳細な分析が必要です。

金融チャートを読み取ることはできますが、予測などは別途プロンプトが必要になります。

音声入力機能

GPT-4Vの音声入力機能は、日常生活やビジネスの多様なシーンで活用できます。たとえば、手が塞がっている時や目を離せない状況でも、声だけで情報を取得したり、指示を出したりすることが可能です。

使い方

1.「GPT-4」を選択する
2.「Settings」から音声入出力に関する設定を行う
3. ヘッドホンのアイコンをタップして音声入力を開始する

注意点

• スマートフォンアプリ専用の機能
• レスポンスは早くない
• 細やかな指示には不向き

レスポンスは早くはありませんが、実際に人間と話しているような気分になります。細やかな指示はテキスト入力の方が適しているかもしれません。

ユースケース

言語学習サポート

音声機能を使った言語学習は、特に発音練習や会話能力の向上に非常に効果的です。
学習者は音声コマンドで様々な言語のフレーズや会話を練習し、実際の会話シナリオを模倣して言語理解を深めることができます。また、AIは学習者の発音を評価し、正確な発音やアクセントについて具体的なフィードバックを提供することも可能です。

作業アシスタント

ChatGPTの音声機能を利用すると、手が離せない場面でも別の作業をChatGPTに頼むことができます。例えば、運動中や掃除中にニュースの要約や天気予報を聞いたり、料理中にレシピを聞くことが可能になります。より手軽に日常生活の中でChatGPTを利用できるようになり、多忙な時でも情報を取得したり、タスクを進めることが容易になります。

アクセシビリティの向上

音声入力機能を用いたアクセシビリティの向上は、視覚障がい者や手の不自由なユーザーが音声コマンドを通じてChatGPTに質問を投げかけたり、情報を得たりすることを可能にします。これにより、ChatGPTの提供する情報へのアクセスが容易になり、情報検索や日常的な質問への対応がスムーズに行えるようになります。

ChatGPTの進化

ChatGPTはテキスト応答に加えて画像や音声を扱うマルチモーダルAIへと進化し、ユーザビリティを高めています。定期的な大型アップデートとフィードバックを通じた機能改善が行われており、プライバシー保護やセキュリティへの対応も強化されています。

2022年11月のリリースから急速にユーザー数が増加し、2023年11月時点では1週間に1億人程がChatGPTを利用しているとされており、日常生活からビジネスまで幅広い利用が期待されています。

GPT-4Vがビジネスを加速

すでにいくつかのMA(Marketing Automation)ツールではAIを活用して顧客分析を行っています。さらにGPT-4Vのマルチモーダル機能がチャットボットなどでカスタマーサービスを効率化させていきます。

一方で、GPT-4Vの導入にはAPIや対応するMAツールの使用などでコストがかかります。また、コーディングやコンテンツ制作などの業務にもGPT-4Vは役に立ちますが、AIの答えが事実を常に反映するわけではないため、ファクトチェックが必要です。

ChatGPT活用相談室ではGPT-4Vのビジネス導入に関するご相談を承っております。企業に最適化された導入プロセスをご提案できれば幸いです。どうぞ、お気軽にご相談ください。

企業におけるChatGPT導入方法4選

これからのChatGPT

OpenAIは、ChatGPTには安全性が最も重要である旨を表明しています。各国の規制などにも合わせて機能を最適化していくことになるでしょう。

ChatGPTはユーザーのニーズに応じた迅速かつ正確な回答を提供するために進化しています。
今後は、カスタマイズの向上やリアルタイムデータの活用が期待されます。有料版のユーザー数も増加しており、米国大手目メディア「Bloomberg（ブルームバーグ）」の予測によると、ChatGPTの開発を進めるOpenAIは2023年から2024年の間には10億ドルの売上を達成するとされています。この予測は、広い意味でAI技術の進展と市場の拡大を示唆しています。

出典: OpenAI Charter

まとめ

GPT-4Vの画像入力や音声入力機能は非常に便利です。有料版ユーザーであれば2023年11月時点で誰でも使用できるようになっています。
ぜひ、日常生活やビジネス、様々なシーンで活用してみて下さい。