目次
SceneXplainの概要
SceneXplainは、画像の内容を説明してくれるChatGPTプラグインです。
このプラグインは、画像の内容を深く理解するためのツールとなっており、画像のURL（またはbase64エンコード形式）を提供することで詳細に解析し、その中の要素について包括的な説明を生成します。画像内の物体、人物、風景、そしてそれらの相互作用や関連性についての情報を提供することで、ユーザーが視覚的なデータから豊富な洞察を得ることを可能にします。
このプラグインは特に、画像に含まれる複雑な要素や細部を正確に把握する必要がある場合に有効です。例えば、アート作品の解析、社会的イベントの写真からの情報抽出、自然環境や都市風景の詳細な観察など、多岐にわたる用途で利用できます。また、解析結果は複数の言語で提供されるため、国際的なコンテキストや多言語ユーザーにも対応しています。
SceneXplainは、AI技術を活用して画像の「見える」部分だけでなく、「意味する」部分にも焦点を当てることで、画像解析の新たな地平を開きます。このプラグインを通じて、ユーザーは単なる画像の視覚的な側面を超え、その背後にある物語や文脈を理解することができるようになります。
また、単に画像の説明をしてもらうだけでなく、その説明を画像生成のプロンプトとして再利用することもできます。説明をそのまま使うこともできますし、プロンプトを生成してくれるプラグインと組み合わせて使うこともできます。
SceneXplainの使い方
まずはじめにSceneXplainプラグインの使い方を簡単に説明します。
- ChatGPTのプラグインストアで「SceneXplain」をインストールします
- インストールした「SceneXplain」を有効にします
- 画像のURLを提供します
この3ステップで、画像の内容を詳細に解析し、その内容をテキストで説明してくれます。
以下、プロンプトの例を紹介します。
例）この画像について説明してください：画像URL
例）画像URL
プロンプトを入力する時は画像URLのみでも問題ありません。
URLを提供すると画像の詳細を解析して画像の内容をテキストで説明してくれます。
パソコンに保存された画像をChatGPTにそのままアップロードして利用することはできないので、URL形式、またはbase64エンコード形式に変更して入力します。
【図解】SceneXplainプラグインを導入して使うまでの流れ
実際にChatGPTの画面を見ながら導入から使うまでの流れを紹介していきます。
「SceneXplain」をインストール
▼はじめにChatGPTにアクセスして“GPT-4”を選択し、メニューから“Plugins”を選択します。
▼“Plugins”を選択すると“No plugins enabled(プラグインなしが有効化されています)”という項目が出てくるのでクリックし、“Plugin store”を選択します。
※プラグインを有効化している場合、“No plugins enabled(プラグインなしが有効化されています)”の項目には、プラグインのアイコンが表示されています。
▼プラグインストアに移動するので検索窓に“SceneXplain”と入力して検索し、“Install(インストール)”をクリックしてインストールします。
▼インストール完了後は、右上の「×」をクリックして閉じてもOKです。
「SceneXplain」を有効にする
▼インストール完了後、プラグインが有効になっているか確認します。チェックが入っていれば有効化されています。
※基本的にインストール直後は自動でチェックが入るので有効化されています。但し、他のプラグインを設定していた場合など、有効化されないことがあるので、その場合はここでチェックを入れてください。
プロンプトを入力する
▼チェックを入れたら次はプロンプトを入力して送信します。
プロンプトは上述したとおり、画像URLを入力するだけでOKです。
▼プロンプトを送信すると“SceneXplain”が起動し、提供した画像の解析が始まります。そして解析が終了するとテキストで画像の説明を提供してくれます。
▼回答は英語が多いですが、「日本語に直して」等と伝えれば、指示通りの言語に変更して画像の説明を提供してくれます。
画像の説明は以下の通りです。
この画像は、白いドレスを着た女の子が色とりどりの花畑の中に座っている、穏やかなシーンを描いています。夕日が沈むにつれて、その金色の光がシーン全体を照らし、カラフルな花びらを際立たせています。女の子は優雅に座っており、彼女のドレスは周囲の花々と調和しています。背景には、その花畑の本質を捉えた絵画があります。一つの絵画には、平和な風景の中に紫の花が散りばめられており、別の絵画には、鮮やかな青い背景に対照的な一輪の赤いチューリップが描かれています。さらに、花畑の中央で花を持つ少女を描いた別のイラストもあります。これらのアートワークは、自然の美しさと、人間と環境との繊細な関係を強調しています。
このように画像に含まれる複雑な要素や細部を正確に把握することができます。
▼実際に使用した画像はこちらになります。
画像と説明を照らし合わせるといい感じに説明してくれているのがわかります。
また、こうした画像の情報を得られるだけでなく、この説明を画像生成のプロンプトとして活用することもできます。実際に再利用する場合は説明をそのまま利用することもできますし、プロンプトを生成してくれるプラグインを使って新たなプロンプトを生成してもらうこともできます。
▼参考までに、先ほどの画像の説明を“ChatGPTのDALL·E 3”に入力して画像を生成しました。
夕日や花畑、中央で花を持つ少女など、先ほどの画像に含まれる要素を残しつつ、新たな異なる画像の生成に成功しています。
このように“SceneXplain”は画像の説明を得るだけでなく、プロンプトの生成などにも役立つプラグインとなります。
以上が“SceneXplain”を導入してから使うまでの流れとなります。
SceneXplainプラグインを使いこなすことで、画像からの情報抽出と解析がこれまでになく簡単かつ深いものになり、画像の見た目だけでなく、その背後にある意味や物語を読み解く力を私たちに与えてくれます。初心者から専門家まで、どんなユーザーもSceneXplainを活用して、画像に隠された豊かな情報を探求し、新たな発見を楽しむことができるでしょう。
また、新たな画像を生み出すプロンプトとして活用することもできるので、画像生成に興味がある方もぜひご活用くださいませ！
