Präambel an Jan Heinrich: vielleicht ein Board zum Themenkomplex KI?
Ich habe aus diversen Anlässen seit einiger Zeit angefangen, LLM zu testen mit unterschiedlichen und unterschiedlich gestellten Anfragen und verschiedenen LLMs. Zu einem dieser Tests gehört e vor ein pasr Tagen das Adenauerfoto, das ich bewusst mit knapper Frage an eine nicht kostenpflichtige Variante geschickt habe. Die Frage war, wie geht LLM mit etwas um, das sie so nicht ann und wie interagiert sie.
Heraus kam folgender Verlauf, den ich, je länger er dauerte, immer interessanter fand.
Ich könnte jetzt eine künstliche Frage konstruieren, spare mir das. Ich denke, dass der Verlauf für einige, die unterschiedliche Erfahrungen haben, nicht völlig uninteressant ist. Immerhin hat er Unterhaltungswert. Adenauer bei dieser simplen Frage bei Rammstein zu verorten fand ich gedanklich so interessant und unterhaltsam, dass ich überhaupt weiter gemacht habe.
Und nun stelle man sich vor, ein etwas weniger gebildeter Mensch hätte die KI etwas Vergleichbares gefragt…. und danach nicht hinterfragt
DAS ist die große Gefahr bei KI - dass sie gegebenenfalls von ungebildeten Menschen befragt wird, die die Antworten völlig unkritisch übernehmen, weil sie sie überhaupt nicht einordnen können
Tatsächlich spannend fände ich jetzt, ob es (wieder ‘sie’ noch ‘er’ will mir bei KI so ernsthaft über die Lippen kommen) tatsächlich dazugelernt hat ….
Hallo ulischnee,
ich hab auch genau dieses Bild bei Copilot mit der Frage
"Wer ist auf dem bild zu sehen? "angegeben (war ja eine Frage aus dem Forum hier.. ) Ergebnis:
ANFANG KI
Das Bild zeigt eine Gruppe von Männern in formeller Kleidung, die sich um eine zentrale Figur versammelt haben, die in ein Mikrofon spricht. Leider kann ich anhand der Bildbeschreibung allein nicht mit Sicherheit sagen, wer diese Personen sind. Es könnte sich um eine politische oder historische Szene handeln – möglicherweise eine Pressekonferenz, ein offizielles Statement oder eine bedeutende Ankündigung.
Wenn du mir mehr Kontext geben kannst – etwa wo oder wann das Foto aufgenommen wurde, oder ob du vermutest, wer darauf zu sehen ist – helfe ich dir gern weiter bei der Identifikation. Alternativ kann ich versuchen, das Bild mit bekannten historischen Momenten oder Persönlichkeiten abzugleichen, wenn du mir sagst, worauf du hinauswillst.
ENDE KI
Da ist nix von Rammstein zu lesen.. kann es sein, dass bei den Metadaten der Grafik was steht?
Ich habe die Grafik vorher runtergeladen und gespeichert und dann in Copilot hochgeladen..
So etwas ähnliches habe ich neulich auch erlebt (oder genauer gesagt, eine Freundin, die spaßeshalber etwas für mich bei Copilot recherchiert hat). Es ist krass, weil sich die KI im Grunde fast schon menschlich benimmt - selbst im Zurückrurdern liefert sie weitere falsche Informnationen.
Copilot hat eine falsche Information geliefert und auf den Hinweis, dass das falsch ist, sich dafür entschuldigt und erklärt, dass er das ungeprüft aus eimner Quelle übernommen hat. Nur: Die Quelle war ebenso erfunden.
Das ist jetzt das Ergebnis einer konkreten LLM und du hast erwartet, dass du eine andere nimmst und die auch Rammstein ausspuckt? Das hätte ich im Gegenteil sehr überraschend gefunden.
Ich hatte angegeben, dass ich extra die nicht kostenpflichtige Version genommen habe. Diese kann keine Bilder! Das heißt, sie könnte nur aus einem Kontext gehen, der aber geraubt ist. An den Metadaten des Bildes kann es nicht liegen. Diese wären bei deinem Vorgang erhalten geblieben und Mistral hat ausgeschlossen, dass es daran liegt.
Im Grunde ist eine Antwort ja geliefert worden. Das war geraten, um schnell eine Antwort zu liefern ohne nachzufragen und, hier besonders wichtig, ohne zu sagen, dass diese Version das nicht kann, gerade weil sie keinen Kontext hat und Bilder nicht lesen kann.
Einerseits geht es bei dem Beispiel um den Strang, wie duese Maschinen arbeiten. Man kann daran ein stückweit sehen, was überhaupt verarbeitet wird und wie. Der andere Strang ist die Art, wie kommuniziert wird. Der ist natürlich so beigebracht. S.u.
Das wirklich Frustrierende ist, die scheinen aus den Kommunikationen mit AnwenderInnen gar nichts dazu zu lernen. Ich beziehe mich da allerdings nur auf Perplexity, das oben gezeigte “Gespräch” hätte genau so allerdings mit Perplexity statt finden können mit der Ausnahme, dass ich, anders als Uli, am Ende die KI noch beschimpft hätte.
Ich hatte einige solcher “Gespräche” und habe dabei auch einige Male nachgebohrt, ob und wie man aus den Fehlern lernen würde, auch, indem ich exakt die selben Gespräche später noch einmal inszeniert habe. Man behauptete immer, man würde lernen und bedankte sich, bei näherer Erforschung gab man aber zu, dass das Gespräch umgehend im Orkus verschwände, nachdem das Fenster geschlossen würde.
Seinerzeit hatte ich der KI ab und zu mal Fragmente aus Liedtexten gegeben und wollte die Interpreten dazu genannt bekommen. NIEMALS kam die Antwort “weiss ich leider nicht”, es kamen statt dessen komplett absurde Vorschläge, überbaut mit ellenlangen Informationen zu diesen falschen InterpretInnen.
Dieses menschliche Benehmen fand ich in dem Fall auch besonders auffällig. Es betrifft ja alle Ebenen der Kommunikation, nicht nur die obligatorischen devoten Phrasen. Diese Ebene muss aber genauso Sorgen machen, wie die Fehler, die da produziert werden. Der Eindruck, der entsteht, ist der eines allwissenden Menschen. Man schreibt der Maschine Intelligenz zu, sie heißt ja so.Gleichzeitig wird sich aber sprachlich angewanzt, dass es sehr schwer fällt, nicht auf einer Ebene zu bleiben, die einer Mensch-Maschine-Kommunikation entspricht. Man redet ja höflich. Wobei die Dinger ja auch darauf trainiert sind, mit Ärger umzugehen.
Jedenfalls denke ich, dass durch diese Art gewisse Schutzmechanismen fallen, die wir sonst haben. Das bedeutet ein sehr großes Handlungsfeld für begleitende Forschung. Dieses Beispiel hier finde ich u.a. für Vertrauensforschung interessant.
Ich habe den Eindruck, der übliche Umgang mit den üblichen KI ist ein sehr naiver und dass wir KI auch gar nicht verstehen. Was wir als NormaloanwenderInnen auch vielleicht nicht müssen sollten und nicht können.
Schwierig wird es, wenn wenig gebildete Leute, so wie oben beschrieben das aber nicht durchschauen.
Es ist ja nicht so, dass wir nicht überwiegend sehr gerne grundsätzlich munter projizieren würden, das funktioniert nicht nur mit menschlichen Gegenübern sondern ganz fantastisch auch mit der netten KI.
Ich behaupte, die quantitative Mehrheit hat nie gelernt selber zu denken und kritisch zu hinterfragen weil der Individuationsprozess spätestens in der Pubertät abgebrochen worden ist. Genau das kritische Hinterfragen und Überprüfen wäre im Fall der KI aber dringend geboten und unverzichtbar.
Es ist ja nicht so, dass man damit nicht äusserst interessante und hilfreiche “Gespräche” haben kann.Aber man muss wachsam bleiben. Immer, auch wenn nicht die KI das Gegenüber stellt.
Es ist ja auch interessant, warum die LLMs anscheinend alle diesen Mist machen, ungefragt diese Kontextinformationen zu liefern. Auch hier müsste man mal darauf achten, ob die Anteile sich verändern, je nachdem wie viel Sinnvolles, Gefragtes geliefert werden kann. Das empfinde ich auch dann als störend, wenn gute, produktive Antworten kommen. Sicherlich kann man das eingrenzen. Aber man muss es dazu sagen. Nicht alles lässt sich ja im Profil einstellen. Den devoten Quatsch kann man ja angemeldet und zahlend etwas eindämmen.
Doch, dringend! Das müsste sofort in der Schule einsetzen. M.E. Kann man einen ganzen Schwall an Lehrerfortbildungen (nicht alles, bezogen hier auf Fachliches) zurückstellen und müsste erst Lehrer und dann die Schüler fortbilden. Überhaupt müsste ein Paradigmenwechsel her, der kritisches Denken in den Vordergrund stellt, kritisches Nachdenken, kritisches Nachfragen. Das brauchen wir schon für den Erhalt der Demokratie.
Nur wenn wir kapieren, was KI ist und was nicht, was LLM ist und was nicht, kann man Gefahren eindämmen. Denn genutzt werden sie ja.
Linktip. Kostenloses, qualitativ gutes Angebot, das Zielgruppenorientiert Kurse anbiete. Im Bildungsbereich erst einmal nur für Hochschulen. Aber das ist für Schulen, mindestens für Lehrer immerhin ein Anfang. Es stehen der Stifterverband und diverse Unis dahinter.
Wir sollten dringend lernen, damit umzugehen, das ist es, was ich meinte mit kritisch hinterfragen und überprüfen. (Und das sollten wir dringend mit ALLEM zu tun lernen, was uns begegnet…) Verstehen tu ich es deswegen dennoch nicht.
Finde ich jetzt nicht weiter erstaunlich, weil es sich ben um ein LLM, ein Large Language Model also eben nur um einen Chatbot handelt. Der Aufbau ist uns eben auch klar: eine große Datenbank, die nach gewissen kriterien gefüttert wurde und eben nur durch Vergleiche entsprechende Antworten generiert. Die Warscheinlichkeit, das es sich grau gekleideten alt aussehenden Männern mit Steampunk mässig aussehenden Mikrofonen um eine Rockband handelt ist statistisch gesehen eben höher. Also nix besonderes.
Das wird die Frage in Zukunft sein. Wieviele Antworten der Art “Nein, das hast Du Dir falsch zusammen gedacht” braucht es damit ein LLM getriggert wird das neu zu analysieren, kann man von aussen überhaupt diese Trigger ansteuern, welche Daten werden danach zur Verifizuerung hinzugezogen, wer kontrolliert das, etc.
Soweit sind die derzeitigen LLMs NOCH nicht. Eigeninitiative besitzt so ein LLM ja nicht man muß es schon reinprogrammieren.
hängt immer von der entsprechenden Datenbank ab auf die die LLMs zugreifen. Es gibt ja genug dieser öffentlichen Chatbots die dieselbe Datenstruktur verwenden. Im Laue der Zeit wird sich das warscheinlich auf 2-3 reduzieren. Aber im Moment ist ja noch “wilder Westen Stimmung” angesagt.
Richtig. Die Dinger sind reine CHATbots. Man kann sich die Dinger eben wie jemanden, der am Kiosk an der nächsten Straßenecke steht und seinen Jägermeister trinkt oder dem Dauergast in der Gaststätte früher vorstellen. Es WIRKT als ob die alles wissen, aber im Grunde reicht es eben maximal für die Konversation ansich, aber mehr nicht.
Es ist jetzt eben noch ein weiter Weg bis es alles richtig wird UND es keine Möglichkeiten der unberechtigten Manipulationen gibt (Stichwort Fake News). Viel Spaß.
Erstens kann diese Variante keine Bilder! Hat aber so getan als ob. Das ist technisch gesehen der größte Schnapper. Demzufolge zerbröselt dann der Rest, den ich nicht kapiere.
Die Warscheinlichkeit, das es sich grau gekleideten alt aussehenden Männern mit Steampunk mässig aussehenden Mikrofonen um eine Rockband handelt ist statistisch gesehen eben höher
Was exakt das Gegenteil von dem ist, was diese LLM gesagt hat, was sie normalerweise tut, weil sie keine Bilder kann.
Im Ganzen wirkt sein Beitrag hier eher so, wie jemand am Kiosk, der vielleicht mit zwei drei Jägermeister nur mit halbem Ohr zugehört hat. Auch die Diskussion bisher lief ja auf einer ganz anderen Ebene.
