▸ Welcher Chatbot ist besser: ChatGPT, Google Gemini oder Copilot Pro

Ein Chatbot ist ein Programm, das eine Unterhaltung mit einem Menschen simulieren kann. Dabei wird auf unterschiedliche Weise kommuniziert, z. B. über Text, Sprache oder Bilder.

Ein Chatbot kann verschiedene Funktionen haben, z. B. Informationen liefern, Fragen beantworten, Unterhaltung bieten oder Aufgaben erledigen.

Angefangen hat der Chatbot-Boom mit ChatGPT. Kurze Zeit später folgten andere. Hier eine kurze Vorstellung der populärsten Chatbots, bevor wir uns die Leistungsfähigkeit genauer anschauen:

Der Chatbot ChatGPT wurde erstmals im Jahr 2019 vorgestellt und basierte auf dem GPT-2 Modell, das von OpenAI entwickelt wurde. Danach wurden immer leistungsfähigere Modelle eingebunden. Aktuell ist das GPT-3.5 in der kostenlosen Version und GPT-4o in der Pro-Variante.

Die kostenpflichtige Version von ChatGPT wurde mit DALL-E gekoppelt, einem System, das Bilder aus Textbeschreibungen erzeugen kann. Damit liefert der Chatbot nicht nur Text, sondern auch visuelle Inhalte. Außerdem wurde noch eine Menge neuer Funktionen eingeführt. Mehr darüber erfährst du in meinen Artikel: ChatGPT verstehen: Tipps, Fragen und Antworten.

Ich würde ChatGPT als aktuellen Marktführer in diesem Bereich bezeichnen.

Google Gemini, früher Google Bard genannt, ist ein Projekt von Google, das 2019 gestartet wurde. Google sah sich wohl gezwungen, ChatGPT nicht nur allein das Feld zu überlassen. Ich denke, intern hat sich die vielfältige Nutzung von ChatGPT auch auf die Anzahl der Suchen bei Google ausgewirkt und somit auch auf den Umsatz.

Anfangs war die Qualität der generierten Texte nicht so gut. Mit der Veröffentlichung von Google Gemini und insbesondere Gemini Advanced, der kostenpflichtigen Version, soll sich das geändert haben

Die Grundlagen von Gemini basieren auf einer Reihe von Sprachmodellen, die von Google AI entwickelt wurden. Die genauen Details der verwendeten Modelle sind nicht bekannt.

Mehr über die Nutzung von Google Gemini erfährst du in meinem Artikel: Google Gemini: die ChatGPT Alternative?

Microsoft Copilot ist etwas mehr als ein Chatbot. Zumindest die Pro Version. Im Hintergrund wird GPT-4o von OpenAI genutzt. Also das gleiche Modell, wie ChatGPT.

In der kostenlosen Version hast du also auch Zugriff auf GPT-4. In der Pro-Variante sind die KI-Funktionen in den Office-Programmen integriert. Du kannst also beispielsweise direkt in Word dir einen Text erstellen lassen.

Was du noch alles damit machen kannst, erfährst du in meinem Beitrag: Microsoft Copilot Pro: KI in Office Programmen.

Diese Chatbots unterscheiden sich nicht nur in ihrer Funktionsweise und ihrem Anwendungsbereich, sondern auch in ihrer Qualität und Leistung. Chatbots können für verschiedene Zwecke eingesetzt werden, wie z. B. Kundenservice, Unterhaltung, Bildung oder Produktivität.

Ich habe sie anhand von fünf Kriterien bewertet: Natürlichkeit, Kreativität, Relevanz und Fakten, Nützlichkeit und Funktionsumfang.

Dabei werde ich die Stärken und Schwächen hervorheben und einige Beispiele zeigen. Mein Ziel ist es, dir zu helfen, so dass du hinterher entscheiden kannst, welcher Chatbot am besten zu deinen Bedürfnissen und Interessen passt.

Natürlichkeit:
Wie menschlich und flüssig wirkt der Chatbot in der Konversation? Verwendet er eine natürliche Sprache ohne Übertreibungen und wie kann er mit verschiedenen Themen und Situationen umgehen.

Kreativität:
Wie originell und unterhaltsam sind die Antworten des Chatbots? Erzeugt er neue Inhalte oder wiederholt er nur bekannte Informationen? Kann er Humor, Witze oder Geschichten einbringen?

Relevanz und Fakten:
Erhalte ich sinnvolle und informative Texte und vor allen Dingen stimmt das, was der Chatbot geschrieben hat?

Nützlichkeit:
Wie hilfreich und wertvoll ist der Chatbot bei seinen Antworten? Wurden die Fragen beantworten bzw. Probleme gelöst?

Funktionsumfang:
Welche Funktionen und Unterstützungen gibt es? Wie sieht die Benutzeroberfläche aus?

Um die Lesbarkeit des generierten Textes zu überprüfen, habe ich zusätzlich bei jeder Antwort den Lesbarkeitsindex hinzugefügt.

Das ist eine Zahl, die angibt, wie leicht oder schwer ein Text zu lesen und zu verstehen ist. Es gibt verschiedene Methoden, um einen Lesbarkeitsindex zu berechnen, aber meistens berücksichtigen sie Dinge wie die Länge der Sätze, die Anzahl der Silben pro Wort und die Häufigkeit der verwendeten Wörter.

Eine niedrigere Zahl beim Lesbarkeitsindex bedeutet, dass der Text komplexer und schwieriger zu lesen ist, während eine höhere Zahl bedeutet, dass der Text einfacher und verständlicher ist. Die Skala reicht von 0 bis 100, wobei es folgende grobe Einstufungen gibt (Flesch-Index):

Ich finde damit kann man gut bewerten, wie die Antwort vom Chatbot strukturiert ist. Wenn du einen Text generierst, ist deine Zielgruppe wichtig. Den Lesbarkeitsindex kannst du auf verschiedenen Seiten im Web errechnen lassen. Ich habe die Seite von ➥Flesch-Lesbarkeitsindex genommen. So, nun schauen wir uns mal die Ergebnisse an.

▸ ChatGPT: Bewertung Natürlichkeit

Da ich schon länger mit ChatGPT arbeite, finde ich die Sprache flüssig und fast fehlerfrei. Der Chatbot neigt zu längeren Sätzen, die manchmal schwerer zu lesen sind. Aber du kannst das auch schnell anpassen, indem du deine Zielgruppe beschreibst, z.B. Schülerinnen und Schüler.

Es kommen auch häufig Übertreibungen in den Sätzen vor. Aber auch das kannst du ein wenig beeinflussen, indem du mitteilst, dass die Antwort informativ sein soll.

Beispiel: Was ist das Besondere an einem Chatbot? Bitte nur drei Sätze und fasse dich kurz.

Ergebnis Lesbarkeitsindex: 30 - schwer zu lesen

▸ Google Gemini: Bewertung Natürlichkeit

Google Gemini antwortet gern mit Auflistungen, was ich persönlich oftmals gut finde, wenn es darum geht Informationen abzufragen. Die Antwort von Gemini war in diesem Fall folgende:

Ergebnis Lesbarkeitsindex: 56 - mittelschwer, obwohl viele Fremdwörter

Eine Menge Fremdwörter, was eventuell auch an der Frage liegen kann. Ich habe es dann nochmal versucht und das „fasse dich kurz“ entfernt. Die Antwort war umfangreich und der Lesbarkeitsindex war der gleiche.

▸ Microsoft Copilot Pro: Bewertung Natürlichkeit

Das Besondere beim Microsoft Copilot ist, dass du zwischen drei Varianten wählen kannst: Kreativ, ausgeglichen und präzise. Diese Auswahl ändert auch die Formulierungen der Antworten.

Zum Beispiel der Unterhaltungsstil: kreativ (GPT-4 Turbo)

Ergebnis Lesbarkeitsindex: 38 - schwer zu lesen

Da der Copilot das gleiche Modell wie ChatGPT benutzt, sind die Ergebnisse hier ähnlich.

▸ Welcher Chatbot hat die natürlichere und lesbarere Sprache? Mein Fazit.

Wenn man sich den Lesbarkeitsindex der Texte anschaut, ist auffällig, dass die Texte durchweg anspruchsvoll zu lesen sind. Das lässt sich mit anderen Prompts anpassen.

Ich habe alles nochmal mit einer anderen Frage aus dem alltäglichen Leben versucht: „Welche Hobbys kann man in der eigenen Wohnung betreiben?“

Das Ergebnis war hier, das der Text als mittelschwer zu lesen, für die meisten Leser geeignet, beurteilt wurde. Ausnahme war hier Copilot, bei dem die Lesbarkeit weiterhin als schwierig eingeordnet wurde.

Ich meine, die Unterschiede der Natürlichkeit und Lesbarkeit unterscheiden sich bei den genannten Chatbots nicht wesentlich. Da man diese Texte in der Regel nachbearbeitet, fallen die Unterscheide nicht ins Gewicht. Vor allem dann, wenn man seine gewünschte Zielgruppe in den Prompts mit angibt.

Kreativität ist die Fähigkeit, etwas Neues oder Originelles zu schaffen, das einen Wert oder eine Bedeutung hat.

Chatbots können auch kreativ sein, wenn sie in der Lage sind, natürliche und interessante Antworten zum Thema zu generieren. Dabei sollte die Auskunft humorvolle, witzige oder überraschende Elemente beinhalten.

Ein Ansatz, um festzustellen, ob unser Chatbot kreativ antwortet ist der sogenannte Alternative Used Test (auf Deutsch: Test für alternative Verwendungen). Dieser psychologische Test wurde konzipiert, um die kreativen Denkfertigkeiten einer Person zu beurteilen.

Wie funktioniert der Test?
Teilnehmern werden alltägliche Objekte gezeigt. Ihre Aufgabe ist es, innerhalb einer festgelegten Zeit so viele alternative Anwendungen für das vorgegebene Objekt wie möglich zu finden. Sowohl die Qualität als auch die Quantität der Ideen werden bewertet, wobei Punkte für Originalität, Vielfalt und Detailgenauigkeit der Antworten vergeben werden. Hinweis: Ob KI kreativ sein kann, habe ich in meinem Artikel Kreativität und künstliche Intelligenz näher betrachtet.

Schauen wir mal, ob die Chatbots kreativ sind und wie das Ergebnis ChatGPT vs. Google Gemini vs. Microsoft Copilot Pro ausschaut.

Meine Frage dabei ist: Wie und wofür kann ich meinen Teekocher noch verwenden. Sei bitte ein wenig kreativ.

▸ ChatGPT: Ergebnis Kreativität

Die Antwort von ChatGPT auf diese Frage ist umfangreich. Der Chatbot hat eine Menge an alternativen Nutzungsmöglichkeiten gefunden. Von dem naheliegenden, dem Wasser kochen, über das Reinigen von Schmuck und Besteck bis hin zum Erhitzen von Handtüchern, um ein spa-ähnliches Erlebnis zu Hause zu erzeugen. Den ganzen Text kannst du ➥ hier nachlesen.

Auf diese Dinge wäre ich nicht gekommen. Ob man den Teekocher dann allerdings noch zur Teezubereitung verwenden kann, wenn man vorher altes Besteck oder Handtücher dort hineingepackt hat, steht auf einem anderen Blatt.

▸ Google Gemini: Ergebnis Kreativität

Die Antworten von Google Gemini waren auch kreativ allerdings zum Teil unsinnig. So lautet eine Empfehlung, mir die Füße damit zu wärmen, in dem ich das Wasser koche und danach meine Füße hineinstecke.

Eine andere Verwendungsmöglichkeit bietet Gemini noch an: Fülle den Teekocher mit warmem Wasser (nicht kochend!) und stelle die Teelichter hinein. So erwärmst du sie sanft und kannst sie länger genießen.

Einen Sicherheitshinweis hat Google Gemini mir mit auf den Weg gegeben: Beachte immer die Sicherheitshinweise des Herstellers deines Teekochers.

Die Antworten mögen zwar kreativ sein, schießen aber über das Ziel hinaus, da sie unsinnig sind. Ich meine, Google Gemini hat hier versagt und eine unrealistische Kreativität gezeigt.

▸ Copilot Pro: Ergebnis Kreativität

Da Copilot Pro GPT-4o nutzt, wie ChatGPT auch, sind die Vorschläge vergleichbar.

▸ Welcher Chatbot ist der kreativste? Mein Fazit.

Meiner Meinung nach weist die KI kreatives Potenzial auf. Die Flexibilität der KI ist bei der Problemlösung nicht mit der Vielfalt des Menschen vergleichbar. Obwohl auch einige unsinnige Dinge dabei herausgekommen sind.

Trotzdem bleibt die KI ein Werkzeug, das von menschlichen Eingaben abhängig ist und nicht selbstständig in ihrer Denkweise wechselt. Bisher zumindest. Ihre Fähigkeiten werden durch die Datenbasis und deine Prompts bestimmt. Natürlich auch von den Algorithmen, aber die verwenden ja die entsprechende Datenbasis.

In meinem Versuch war ChatGPT und Microsoft Copilot Pro am kreativsten. Die Liste von alternativen Möglichkeiten war umfangreich. Nur bei Google Gemini waren die Vorschläge zum Teil sinnlos.

Wir kennen es alle, wenn der Chatbot „halluziniert“. Bei allen drei getesteten Bots steht immer dabei, dass die Antwort Fehler enthalten kann. Die Chatbots basieren auf statistischen Modellen, die Wahrscheinlichkeiten zuweisen. Daher wird deine Frage inhaltlich nicht verstanden, so wie wir sie verstehen.

Wichtig beim Faktencheck ist, dass der Chatbot auf das Internet zugreifen kann, um aktuelle Informationen zu bekommen. Bei ChatGPT solltest du das entsprechend hinzufügen, da bei einer Antwort nicht immer im Internet recherchiert wird. So kommt es schneller zu falschen Informationen.

ChatGPT: Die Entfernungs- und Zeitangaben waren etwas erhöht und nicht genau. ChatGPT hat empfohlen, mit dem Fahrrad zu fahren.

Google Gemini: Bei den Angaben von Google Gemini gab es keine Abweichungen. Ich denke mal, dass Google hier auf Google Maps zurückgegriffen hat. Google Gemini machte die Empfehlung von den Vorlieben des Lesers abhängig und es gab obendrauf noch ein paar Tipps zum Leuchtturm.

Copilot Pro: Copilot Pro lag mit seinen Angaben um das doppelte höher. Keine Ahnung, welche Strecke das sein soll. Auch hier wurde die Empfehlung von den Interessen des Reisenden abhängig gemacht. Zusätzlich wurde darauf hingewiesen, dass die Parkplätze begrenzt sind. Was sie ja immer sind.

▸ Fazit zum Faktencheck

Am besten hat mir die Auflistung von Google Gemini gefallen. Hier stimmte einfach alles. Copilot Pro hat meiner Meinung nach versagt. ChatGPT lag in der Mitte der beiden anderen Kandidaten.

Ich habe anschließend noch einen Test mit einem anderen Thema durchgeführt. Hier waren die Ergebnisse ähnlich. Und auch hier versagte Copilot Pro.

Die Frage ist hier, wie hilfreich und wertvoll ist der Chatbot bei seinen Antworten? Wurden die Fragen beantwortet bzw. Probleme gelöst?

Die Nützlichkeit hängt eng zusammen mit den Fakten. Stimmen diese nicht, ist die Antwort meist unnütz.

Ich habe dies nicht erneut getestet, sondern die Antworten aus dem vorherigen Faktencheck genommen. Dort gab es auch Empfehlungen und einige weitere Hinweise.

Der Funktionsumfang eines Chatbots beschreibt, was er alles kann und wie er mit dir interagiert. Ein Chatbot mit einem großen und vielfältigen Funktionsumfang ist in der Regel besser geeignet, verschiedene Aufgaben zu erfüllen. Natürlich nur, wenn die Funktionen wirklich hilfreich und gut sind.

ChatGPT: In den letzten Monaten wurde ChatGPT ständig weiterentwickelt und es gibt eine Reihe von sinnvollen Funktionen. Angefangen bei den selbst erstellten GPTs, den Plugins und einigen Komfortfunktionen. Einen Überblick findest du in meinem Artikel: ChatGPT verstehen: Tipps, Fragen und Antworten.

Google Gemini: Google Gemini hat die üblichen Funktionen. Plugins etc. fehlen allerdings. Zusätzlich gibt es einen Faktencheck über den Google Button. So wird dir angezeigt, was stimmt, stimmen könnte oder ob Google keine weiteren Informationen zum generierten Text findet.

Copilot Pro: Copilot Pro hat ein paar Plugins und du kannst wie bei ChatGPT auch, eigene GPTs erstellen und teilen. Der größte Vorteil ist, dass Copilot Pro in Microsoft 365 integriert ist. Hier bieten sich viele Ansatzpunkte, wenn du ein Office Programm nutzt. Ansonsten sind die weiteren Grundfunktionen vergleichbar.

▸ Mein Fazit zum Funktionsumfang

Das umfangreichste Angebot an Erweiterungen bietet eindeutig ChatGPT. Die beiden anderen Chatbots haben sehr viel weniger zu bieten. Es sei denn, du möchtest eine KI nutzen, die in die Office Programme integriert ist. Dann wäre Copilot die richtige Wahl.

Hier noch eine kurze Vergleichsübersicht:

Das umfangreichste Angebot an Erweiterungen bietet eindeutig ChatGPT. Die beiden anderen Chatbots haben sehr viel weniger zu bieten. Es sei denn, du möchtest eine KI nutzen, die in den Office Programm integriert ist. Dann wäre Copilot Pro die richtige Wahl.

Es kommt also darauf an, was du von einem Chatbot erwartest und wie du ihn einsetzen möchtest. Wenn du viele Funktionen und Plugins haben willst, ist ChatGPT die beste Option.

Die generierten Texte unterscheiden sich nicht wesentlich. Dabei kommt es oftmals auf das Thema an. Da kann der eine Chatbot besser sein als der andere.

Kurz gesagt, sofern du das kannst, probiere alle drei einmal aus.

Hier nun eine Gegenüberstellung. Ich habe 1 bis 10 Punkte vergeben, wobei 10 Punkte das Beste ist.

▸ Wie finde ich den richtigen Chatbot?

Um dir die Auswahl zu erleichtern, habe ich eine Bewertungshilfe erstelle. Du gibst einfach ein, was dir wichtig ist und erhältst eine Rangliste der Chatbots, die für dich interessant sein werden. Probiere es aus: ➥ Welcher Chatbot ist der Richtige?

Wenn du nicht gleich Geld ausgeben möchtest, ist meine Übersicht über ➥ kostenlose Chatbots vielleicht das Richtige für dich.

Es gibt auch eine Webseite, bei der du deine Frage eingibst und als Ergebnis bekommst du zwei Antworten. Jeweils von einem anderen Chatbot, bzw. Modell generiert. Leider konnte ich die Modelle nicht auswählen. Aber einen Versuch ist es wert. Die Website heißt: ➥Chatbot Arena: Benchmarking LLMs in the Wild

Welchen Chatbot nutzt du und welchen findest du am besten. Schreib es mir doch in die Kommentare. Ich würde mich freuen!