▸ ChatGPT Vision: Bilder analysieren und mehr

Die sogenannte „Vision“ Funktion ist nur in dem kostenpflichtigen Modell von GPT-4 nutzbar. Du erkennst das an dem Bildsymbol neben der Eingabeaufforderung. Dort, wo du deinen Text eingibst.

Klicke auf das Symbol und lade dein Bild oder Foto hoch. Du hast auch die Möglichkeit, mehrere Bilder hochzuladen. Dabei gibt es sicherlich eine Größenbeschränkung, aber ChatGPT will nicht so recht sagen, wo diese liegt.

Der nächste Schritt ist, dass du beschreibst, was mit dem Bild geschehen und was ChatGPT damit machen soll.

▸ Bildbeschreibung

Lade ein Bild hoch, und lass dir eine detaillierte Beschreibung davon geben. Vielleicht fragst du dich, wofür das gut ist. Nun, es gibt eine Menge an Anwendungsfällen:

Barrierefreiheit:
Für Menschen mit Sehbehinderungen kann die Bildbeschreibung eine wertvolle Hilfe sein. Sie ermöglicht es, visuelle Inhalte zugänglich zu machen, indem zum Beispiel sogenannte Alt-Texte für Bilder generiert und auf Webseiten genutzt werden.

Bildsortierung und -organisation:
Wenn du eine Vielzahl von Bildern besitzt und diese nach bestimmten Kriterien organisieren möchtest, kann die Bildbeschreibung helfen, den Inhalt in kürzester Zeit zu erfassen und entsprechend zu sortieren. Ein Nachteil ist dabei allerdings, dass man meist viele Bilder hat und diese alle hochzuladen und sich Beschriftungen erstellen zu lassen, könnte aufwändiger sein.

Kunstwerkanalyse:
Wenn du ein Kunstwerk hochlädst, versucht ChatGPT den Stil, die Technik und eventuell die Bedeutung oder den historischen Kontext zu erläutern.

Beispiel:
Wenn dich interessiert, wie solch eine Beschreibung ausschauen kann, habe ich ein Beispiel für dich. Ich habe zusätzlich noch eine Farbanalyse hinzugefügt. ➥ Die Analyse eines Gemäldes.

Meine Bewertung: ★ ★ ★ ★ ☆

▸ Objekterkennung

ChatGPT kann bestimmte Objekte oder Elemente in einem Bild erkennen. Ich habe das mit zwei Beispielen getestet. Vorab verraten, ChatGPT hat beide Bildobjekte korrekt identifiziert und beschrieben.

Hier nun die Ergebnisse. Ich hoffe, du hast auch erkannt, was die Bilder zeigen.

ChatGPT Vision: Beispiel Feuerschale
Das Bild zeigt eine brennende Flamme in einer Art von Glas- oder Metallbehälter, möglicherweise eine Kerze oder eine Öllampe. Der Behälter ist auf Holzstücken oder Holzstrukturen platziert (...)

ChatGPT Vision:
Das Bild zeigt eine Holzoberfläche, die mit Moos überzogen ist. Moos ist eine Art von kleinem, grünem Landpflanze, die oft auf Bäumen, Steinen und anderen Oberflächen wächst, besonders in feuchten, schattigen Bereichen (...)

Meine Bewertung: ★ ★ ★ ★ ☆

▸ Texterkennung (OCR)

Falls auf dem Bild Text vorhanden ist, kann ChatGPT diesen erkennen und dir den genauen Wortlaut wiedergeben. Es gibt zwar auch eine Menge anderer Tools, die das auch können, aber mit ChatGPT geht das auch. Zugegeben, mein Test ist nicht sehr schwierig, aber das Ergebnis ist bis auf das letzte Zeichen genau.

Meine Bewertung: ★ ★ ★ ★ ☆

▸ Analyse von Diagrammen und Grafiken

Manchmal fällt die Interpretation eines Diagramms schwer. Vielleicht kann dann ChatGPT helfen. Ich habe es mit einer einfachen Aufgabe getestet und muss sagen, dass mich das Ergebnis nicht überzeugt hat. Es enthielt Fehler. Daher würde ich diese Art der Bilderkennung im Moment noch nicht empfehlen. Insbesondere wenn das Diagramm komplex ist. Da würde es schon einige Zeit dauern, um nach Fehlern in der ChatGPT-Analyse zu suchen. Dann kann man es auch gleich selbst machen.

Meine Bewertung: ★ ★ ☆ ☆ ☆

▸ Die Bildqualität von ChatGPT beurteilen lassen

Ich gestehe, ich bin erstaunt, was man alles mit ChatGPT machen kann. Nun ist es sogar möglich, Bilder beschreiben oder analysieren zu lassen. Abgesehen von einigen Schwächen in der Erkennung von Diagrammen, empfinde ich die Qualität der generierten Ergebnisse als sehr gut und nützlich.

Was meinst du zu dieser Funktion von ChatGPT Vision? Hast du das eine oder andere auch schon genutzt und wie beurteilst du die Antworten? Schreib es einfach unten in die Kommentare, es würde mich freuen.

Falls du im Detail wissen möchtest, wie das alles funktioniert, schau dir die Seite von OpenAI an. Dort findest du einen Link zu einem mehrseitigen, technischen PDF-Dokument mit dem Titel ➥GPT-4(V)ision system card.