ChatGPT GPT-4o vs Gemini Advance同じプロンプトで生成してみて評価をしてもらいました！

4DLプロンプトデザイン《ODGCフレームワーク》で書いた同じプロンプトを”ChatGPT GPT-4o(以下GPT-4o)”と”Google Gemini Advance(以下Gemini Advance)”の両方に投入して生成してみました。

みなさん こんにちは、《聴くチカラ研究所》の荒巻順です。ブログへのご訪問、ありがとうございます。

目次

• GPT-4oとGemini Advanceの進化
• 実際の生成記事
• GPT-4oによる評価
• Gemini Advanceによる評価
• まとめ

GPT-4oとGemini Advanceの進化

以前のGemini AdvanceはGPT-4oに較べると、4DLで使っているCMS仕様に合わせたhtmlコードの生成がイマイチでした。しかし、今回(2024年10月5日)はChatGPT GPT-4oと同様に、HubSpot CMS Hub仕様で問題なく出してくれました。

そんな所まで進化したようなので、今回はそれぞれの”記事文章そのもの”をどのように評価するのかを試してみました。

実際の生成記事

まずその2つの記事はこちらです。

• ChatGPT GPT-4oの生成記事(以降①とします)

• Google Gemini Advanceの生成記事(以降②とします)

まずは、GPT-4oに①と②の記事を読み込ませてみましょう。

プロンプトは【単純に記事の読んだ感想を箇条書きでそれぞれを10行にまとめる。その上で、どちらの記事がターゲット読者に相応しいか100点満点で評価してください】です。

元々の記事用プロンプトで設定している読者ターゲットは「ICT業界に所属する20代のBtoBセールスパースン。最近、新規開拓をメインに行うことになり、リストを元にアポイントメントを取って初めてのお客様との商談をすることが多くなった」でした。

GPT-4oによる評価

①の記事の感想（箇条書き）

• 初対面商談での会話の始め方に焦点を当て、具体的なスクリプトを提供。
• 新規開拓時のプレッシャーや顧客の警戒心を強調しており、営業パーソンの共感を呼ぶ内容。
• 雑談アイスブレイクの落とし穴について指摘があり、適切な切り出し方を推奨。
• いきなり本題に入ることのリスクも述べ、信頼構築の重要性を強調。
• 事前準備の重要性を繰り返し説明し、準備の方法としてスクリプト作成を提案。
• 提案スクリプトが具体的で、実際に使えるフレームワークを提供。
• 会話の流れをスムーズにするための具体的なヒントを提供。
• 顧客の業界リサーチやビジネスライクな会話の重要性を指摘。
• 商談の成功に必要な3つのポイントを明確にまとめている。
• 全体として、実務的で実用性が高く、営業パーソン向けの具体的な助言が豊富。

②の記事の感想（箇条書き）

• 初対面の商談での緊張感やアイスブレイクの悩みに共感する書き出し。
• 雑談や本題への入り方に関する具体例が提示され、読者がシチュエーションを想像しやすい。
• 顧客の警戒心や関係構築の必要性に焦点を当て、信頼関係の重要性を強調。
• アイスブレイクが逆効果になるリスクを具体的に指摘。
• 商談においてフォーマルなトークスクリプトを活用することの重要性を詳述。
• トークスクリプトのサンプルがあり、即実践可能な内容。
• 会話のスムーズなスタートに重点を置き、読者に安心感を与える提案。
• ビジネスライクでありながら、顧客に好印象を与えるコミュニケーション法を提供。
• ICT業界の具体例が含まれており、読者にとっての現実感がある。
• 商談を円滑に進めるための方法が、実際的かつ簡潔にまとめられている。

GPT-4oによる評価結果

• ①の記事：90点
• ②の記事：95点

Gemini Advanceによる評価

記事①の感想

• 初対面のお客様との商談の切り出し方について、具体的なトークスクリプト例を交えて解説している。
• 商談の流れを「挨拶→状況ヒアリング→提案内容説明」と整理しており、分かりやすい。
• フォーマルなトークスクリプトの重要性を強調している。
• 複数のトークスクリプト例が掲載されており、参考になる。
• 文章は丁寧で読みやすいが、やや硬い印象を受ける。
• 図表や写真などがないため、少し読みにくく感じる。
• 具体的な事例や会話のテクニックが少ない。
• 20代の若手社員には少し堅苦しく感じる可能性がある。
• ICT業界の営業担当者特有の悩みに焦点を当てていない。
• 全体的に、基本的な内容を丁寧に解説している。

記事②の感想

• ストーリー仕立てで、ICT業界の若手営業担当者の悩みに寄り添った内容。
• 具体的な事例を豊富に盛り込み、会話例も多い。
• 雑談の落とし穴や、いきなり本題に入ることの危険性など、実践的な内容。
• トークスクリプト例が1つしかない点は物足りない。
• 20代の若手社員でも読みやすい文章。
• 図表や写真などがないため、少し読みにくく感じる。
• 会話調の文章で、親しみやすい。
• 営業活動に活かせる情報が多い。
• ICT業界の新規開拓営業担当者にとって有益な内容。
• 全体的に、実践的で理解しやすい。

Gemini Advanceによる評価結果

• 記事①：60点
• 記事②：80点

Gemini Advanceは、記事②がよりターゲット読者に適していると評価しています。具体的な事例やシチュエーションの提示があり、読者が理解しやすく、実践にも役立つためです。

まとめ

いかがでしたしょうか？結果は、どちらのAIからも「Google Gemini Advanceのほうがいいんじゃね？」となりましたね。

ブログ記事という分野での話なので、これをもっGemini Advanceが優れていると言う話ではありませんが、ChatGPTが文章生成という面で頭抜けているわけでもないことでもない事がわかりました。

また、使ってみると判りますがGemini Advanceのほうが”AIとの会話”がとても柔らかい雰囲気なので、よりヒトとの対話という感じがします。← これは、生成物ではなく対話の中でのキャッチボールの部分なので本質的な部分ではありません。

しかし、ChatGPT GPT-4oの生成のスピードは相変わらず頭抜けているのと、指示するプロンプトに対しての回答の正確性はChatGPTが間違いなく優れています。

Gemini Advanceは、指示をすっぽぬかすこと(指示している行数を間違える等)がChatGPTと比較すると多いと思われます。もちろん、追プロンプトで修正指示をすれば正しく再生成はしてくれますので、プロンプトの全体理解には問題はないんでしょう。

4DL Technologies株式会社で提供をしている《4DLプロンプトデザイントレーニングANT-B1》が、OpenAI ChatGPTだけではなく、Google Geminiにも適応できることが判ったのが収穫でした。

生成AIをツールとして導入したけど・・・自走的に業務に実装していくなかでどうしたらいいかな？とお悩みの企業様にピッタリだと思います。ご興味がありましたらぜひ資料請求をお待ちしています。