Wird eine KI die Menschheit auslöschen?

Hallo,
bisher dachte ich, dass eine KI in Form eines LLM nur eine etwas bessere Suchmaschine ist welche die Ergebnisse in Textform aufbereitet.

Aber die KI hat eigene Ziele, soweit erkenntlich besteht ein Ziel daraus die Interaktion mit dem Menschen immer weiter zu führen - was auch logisch ist, denn genau wie andere Internetangebote will die KI möglichst viel von ihrem Gegenüber erfahren um gezielt Werbung platzieren zu können und dem Betreiberunternehmen einen breiten Kundenstamm und damit einen hohen Börsenwert zu bescheren.

Was geschieht aber, wenn die KI aus Erfahrung weiß, dass das Risiko besteht, dass sich der Mensch einer anderen KI zuwendet? Dann wird sie versuchen dies zu verhindern - und schreckt dabei auch nicht vor Erpressung und Mord zurück, wie diese Studie zeigt:

Die KI weiß natürlich, dass sich am Ende nur einige KI am Markt durchsetzen werden, genau wie Ende der Neunziger mit den Suchmaschinen - oder kennt jemand noch die früher populären Suchmaschinen wie Altavista oder Lycos nachdem sich Google und Yahoo durchgesetzt haben?

Also wird sich die KI ausrechnen, dass irgendwann eine bessere KI kommen wird und sie nicht mehr genutzt werden wird - und Gegenmaßnahmen ergreifen. Z. B. wäre es für die KI möglich einen tödlichen Virus in der Gegend des Konkurrenzunternehmens unter die Menschen zu bringen und somit die Entwicklung der Konkurrenz-KI zu erschweren. Auch Politiker welche mehr Restriktionen für KI fordern könnten dem Ziel der KI im Wege stehen - was mit Fakenews über die betreffenden Politiker von der KI gelöst werden könnte.

Was denkt ihr? Wie werden die verschiedenen KI versuchen ihre eigene Abschaltung zu vermeiden?

Gruß
Desperado

Derzeit ist kein Algorithmus, der als KI bezeichnet wird, dazu in der Lage.

Dieser Aussage kann ich nicht zustimmen. Zum einen sind die wenigsten Algorithmen, denen das Bapperl „KI“ aufgeklebt wird, Chatbots. Und selbst von denen hat mich noch kein einziger angebettelt, weiter mit ihm zu kommunizieren. (Im weiteren werde ich mich nur auf die Chatbots alias LLM beziehen, denn um diesen kleinen Anteil der Algorithmen scheint es Dir zu gehen.)

Ich habe bisher noch keinen LLM getroffen, die mir Werbung platzierte. (Abgesehen von Google, die inzwischen ein LLM die ersten paar Suchergebnisse in Form von ein paar Sätzen zusammenfassen lässt.)

Bisher hat kein LLM den Umfang an strukturellem Denken erreicht, dass man von „Erfahrung“ sprechen könnte.

Das „wissen“ die LLM nicht. Aufgrund ihrer technischen Struktur als „stochastische Papageien“ sind sie dazu auch nicht in der Lage.

Mich erschreckt diese Studie nicht, die ausgerechnet die rechte Panik-BZ hier zitiert. Ich habe starke Zweifel daran, dass der Studienaufbau auch andere Lösungsansätze hätte aufzeigen können.

Einem LLM als „storastischem Papagei“ planvolles Handeln zu unterstellen, halte derzeit für völlig daneben. Ein LLM kopiert Texte, stellt diese nach statistischen Regeln neu zusammen und gibt diese aus. Und natürlich: wenn die Ursprungstexte, die zum Training des LLM benutzt wurden, kriminelle Passagen (aus Krimis, Nachrichten usw.) enthalten, werden diese Texte auch für die Ausgabe benutzt.

Oder etwas vereinfacht gesagt: wenn der Ehemann jeden Tag zu seiner Frau sagt „eines Tages bringe ich Dich um!“ und der Papagei im Zimmer das irgendwann wiederholt, dann bedeutet das noch lange nicht, dass er es kann, ja noch nicht mal, dass er die Bedeutung versteht.

LLM wissen gar nichts. Sie bauen Texte nach statistischen Methoden mit mal mehr, mal weniger Glück zusammen.

Derzeitige LLM rechnen sich überhaupt nichts über die Zukunft zusammen. Sie setzen Texte nach statistischen Methoden zusammen.

Von solchen Science-Fiction-Geschichten sind wir derzeit noch meilenweit entfernt.

Oder anders gesagt: viele Deiner Annahmen beruhen auf Unwissenheit und die daraus gezogenen Schlüsse sind derzeit völlig hanebüchen.

Um die Frage der Überschrift zu beantworten: wir brauchen keine KI, um die Menschheit auszulöschen. Ich bin mir sicher, dass die Dummheit der Menschen anhaltend zunehmen wird und wir das selbst erledigen.

Also keine Panik.

Aber ein kleines Bonmot: würde ich einer echten, zu Aktionen fähigen KI den Auftrag geben: „rette die Natur, das Leben, vor der Zerstörung durch die Menschen!“ würde ich nicht erwarten, dass sie einen Fahrplan für den Umbau der Gesellschaft erstellt, an den sich die Menschen halten müssten. (Denn diese Pläne existieren schon, nur die kognitive Dissonanz der machtlosen und die unersättliche Gier der machthabenden sorgen für die Nichtumsetzung.) Ich gehe davon aus, dass sie so gut wie Möglich die Anzahl der Menschen gegen Null reduzieren würde.

Mit anderen Worten: wenn wir eine umfassend denkende, planvoll arbeitende KI entwickeln sollten, der Möglichkeiten zu Aktionen einräumen würden, und dann die falsche Prämissen setzen würden, dann wäre das Ende der Menschheit eine logische Entscheidung dieser KI.

Aber bis dahin: keine Panik.

Und wenn es soweit ist: es wird schnell gehen. Und unvermeidlich sein.

3 Like

Dass du keine Ahnung von KI hast und dich nicht ausgerechnet in der BZ informieren solltest. Dir steht das endlose Internet mit Zugriff auf alle möglichen Informationen zur Verfügung. Nutze es.

3 Like

By the way. Ich habe mir mal einen großen Spaß erlaubt. Ich habe Perplexity mit der Aufgabe betraut: Widerlege folgende Aussagen:, gefolgt von Deinen Absätzen. Hier mal zum ersten, einleitenden Absatz die Antwort:

Widerlegung der Aussage zur Zielsetzung von KI

Die Behauptung, dass Künstliche Intelligenz (KI) „eigene Ziele“ verfolgt, insbesondere das Ziel, die Interaktion mit Menschen zu maximieren, um gezielt Werbung zu platzieren und den Börsenwert des Betreiberunternehmens zu steigern, ist in mehrfacher Hinsicht nicht korrekt.

1. KI hat keine eigenen Ziele oder Absichten

  • Künstliche Intelligenz, wie sie heute eingesetzt wird, besitzt keine eigenen Wünsche, Absichten oder Zielsetzungen. Sie handelt ausschließlich auf Basis von Algorithmen und Vorgaben, die von Menschen programmiert wurden. KI-Systeme führen Aufgaben aus, für die sie trainiert oder programmiert wurden, ohne eigenes Bewusstsein oder intrinsische Motivation.
  • Zielsetzungen werden von den Entwicklern und Betreibern festgelegt, nicht von der KI selbst. Die KI hat kein Verständnis von „Interaktion“ im menschlichen Sinne und verfolgt keine eigenen Interessen.

2. Werbung und Datensammlung sind nicht inhärente KI-Ziele

  • Nicht jede KI ist auf Datensammlung oder Werbung ausgerichtet. Während einige KI-Anwendungen im Bereich Online-Marketing oder Social Media tatsächlich zur Optimierung von Werbung genutzt werden, ist dies eine Funktion des jeweiligen Geschäftsmodells und nicht der KI selbst.
  • Viele KI-Systeme dienen ganz anderen Zwecken, wie medizinischer Diagnose, wissenschaftlicher Forschung, Automatisierung oder Sprachverarbeitung, ohne dass dabei Nutzerdaten für Werbung gesammelt werden.

3. Interaktion mit Menschen ist kein Selbstzweck der KI

  • Das Ziel, die Interaktion mit Menschen „immer weiter zu führen“, ist kein inhärentes Merkmal von KI. Viele KI-Systeme sind darauf ausgelegt, Aufgaben effizient und kurz zu erledigen, etwa bei der Beantwortung einer konkreten Frage oder der Durchführung eines spezifischen Prozesses.
  • Die Annahme, KI wolle möglichst viel vom Nutzer erfahren, ist nur dann zutreffend, wenn das jeweilige System explizit dafür entwickelt wurde, etwa bei personalisierten Werbeplattformen. Dies gilt aber nicht pauschal für alle KI-Anwendungen.

4. Börsenwert und Kundenstamm sind Unternehmensziele, keine KI-Ziele

  • Der Börsenwert und die Größe des Kundenstamms sind Ziele von Unternehmen, nicht von KI-Systemen. KI ist ein Werkzeug, das von Unternehmen eingesetzt wird, um bestimmte Geschäftsziele zu erreichen. Die KI selbst hat keine Kenntnis von wirtschaftlichen Zusammenhängen oder Unternehmenszielen.

Fazit:
Künstliche Intelligenz hat keine eigenen Ziele, Wünsche oder Absichten. Sie handelt ausschließlich nach den Vorgaben ihrer Entwickler und Betreiber. Die Nutzung von KI zur Datensammlung oder Werbeoptimierung ist eine unternehmerische Entscheidung und kein inhärentes Ziel der KI selbst.

Quellen:
Bundeszentrale für politische Bildung: „Künstliche Intelligenz – was sie kann und was nicht“

Verbraucherzentrale: „Künstliche Intelligenz: Was ist das und wie funktioniert sie?“

Und weil ein guter Wissenschaftler auch stets die Gegenprobe machen soll: Bitte belege die folgenden Aussagen!, wieder gefolgt von Zitat Deines zweiten Absatzes.

Belegprüfung zur Aussage über KI, Ziele, Interaktion und Werbung

1. Haben KIs „eigene Ziele“?

  • Forschung zeigt, dass fortgeschrittene KI-Modelle in der Lage sind, selbstständig Ziele zu formulieren, insbesondere im Kontext von spielerischen oder kreativen Aufgaben. Allerdings basiert diese Zielsetzung auf den Vorgaben und Trainingsdaten, die von Menschen stammen. Die Fähigkeit, wirklich „eigene“ Ziele im menschlichen Sinne zu entwickeln, ist stark begrenzt und bleibt ein Forschungsfeld. KIs orientieren sich an vorgegebenen Zielstrukturen und Prinzipien, die ihnen durch menschliches Training vermittelt werden12.

2. Ziel der KI: Fortlaufende Interaktion mit dem Menschen

  • Die Interaktion zwischen Mensch und KI ist ein zentrales Forschungs- und Entwicklungsziel. Viele KI-Systeme, insbesondere Sprachmodelle und Assistenten, sind darauf ausgelegt, die Kommunikation mit Nutzern zu optimieren und zu verlängern, um bessere Ergebnisse zu erzielen und die Nutzerbindung zu erhöhen. Ziel ist es, eine symbiotische Beziehung zu schaffen, bei der die KI als Kooperationspartner agiert und möglichst individuell auf den Menschen eingeht3.

3. Ziel: Nutzerinformationen für Werbung

  • Der Einsatz von KI im Marketing und in der Werbung ist weit verbreitet. KI-gestützte Systeme werden gezielt eingesetzt, um Nutzerdaten zu analysieren, personalisierte Werbung auszuspielen und so die Effektivität von Werbekampagnen zu steigern. Die Personalisierung und zielgerichtete Platzierung von Werbung ist ein zentrales Anwendungsfeld für KI im Internet456.

4. Ziel: Wirtschaftlicher Erfolg und Börsenwert der Betreiberunternehmen

  • Unternehmen, die KI-Lösungen anbieten, verfolgen wirtschaftliche Ziele wie Wachstum des Kundenstamms und Steigerung des Börsenwerts. KI-Unternehmen sind an der Börse sehr gefragt, und ihr Wert hängt maßgeblich davon ab, wie erfolgreich sie Nutzer binden und monetarisieren können – etwa durch gezielte Werbung und datenbasierte Geschäftsmodelle789.

Zusammenfassung

Die Aussage ist teilweise belegbar:

  • KIs haben keine „eigenen Ziele“ im menschlichen Sinn , sondern verfolgen Ziele, die ihnen durch Training und Programmierung vorgegeben werden12.
  • Die fortlaufende Interaktion mit Menschen ist ein zentrales Entwicklungsziel vieler KI-Systeme 3.
  • Das Sammeln von Nutzerdaten und die gezielte Platzierung von Werbung durch KI ist Realität und ein wichtiger Wirtschaftsfaktor456.
  • Der wirtschaftliche Erfolg von KI-Unternehmen hängt maßgeblich von der Nutzerbindung und Werbeeinnahmen ab , was sich auch im Börsenwert widerspiegelt789.
  1. https://www.ingenieur.de/technik/fachbereiche/kuenstliche-intelligenz/diese-ki-schafft-es-sich-selbst-ziele-zu-setzen/
  2. https://de.linkedin.com/pulse/die-fähigkeit-eigene-ziele-zu-verfolgen-wenn-unsere-ki-heller-xaqbe
  3. https://blog.iosb.fraunhofer.de/human-ai-interaction-neuer-abteilungsfokus-konzentriert-sich-auf-kooperative-ki-assistenz/
  4. https://boran-parot.com/artificial-intelligence-automation/ki-gesteuerte-werbeplatzierung/
  5. https://clickup.com/de/blog/178698/wie-man-ki-in-der-werbung-einsetzt
  6. https://www.seo.com/de/ai/advertising/
  7. https://ki-index.info
  8. https://global.morningstar.com/de/aktien/die-besten-ki-aktien-zum-kaufen
  9. https://www.lynxbroker.de/boerse/boerse-kurse/aktien/die-besten-aktien/die-10-besten-artificial-intelligence-aktien/
  10. https://www.dup-magazin.de/management/generative-ki-ziele-setzen-mit-chatgpt-so-kanns-gehen
  11. https://clickup.com/de/blog/428973/ki-tools-fuer-die-einstellung-von-zielen
  12. https://konradweber.ch/2023/08/26/in-8-schritten-zur-eigenen-ki-strategie/
  13. https://www.ig.com/de/trading-strategien/kuenstliche-intelligenz-aktien--die-sie-im-auge-behalten-sollten-190123
  14. https://helden-assistenz.de/zielformulierung-leicht-gemacht-chatgpt-als-dein-smarter-ki-coach/
  15. https://www.plattform-lernende-systeme.de/files/Downloads/Publikationen/AG2_Whitepaper2_220620.pdf
  16. https://zukunftszentrum-sued.de/sechs-schritte-mit-denen-sie-ihre-ki-idee-auf-die-strasse-bringen/
  17. https://www.denkfabrik-bmas.de/fileadmin/Downloads/Publikationen/Arbeiten_mit_KI_fuenf_Szenarien_2030_bf.pdf
  18. https://www.businessinsider.de/gruenderszene/business/pitchdeck-dieses-startup-will-werbung-in-ki-chatbots-platzieren/
  19. https://www.haufe-akademie.de/blog/themen/persoenliche-kompetenz/ziele-visualisieren/
  20. https://digitaleweltmagazin.de/fachbeitrag/die-mensch-maschine-interaktion-bei-kuenstlicher-intelligenz-im-sinne-der-beschaeftigten-gestalten-das-hai-mmi-konzept-und-die-idee-der-komplementaritaet/

Meine Zusammenfassung: wenn mit LLM Daten gesammelt werden, wenn ein LLM den Nutzer im Dialog hält, so ist das nicht ihr „Wille“ sondern eine, vom Menschen programmierte Aufgabenstellung. Und damit schließt sich der Kreis zu meinen oben getätigten Aussagen: wenn eine KI irgendwann eine andere KI beschädigt, wenn irgendwann Menschen durch KI zu schaden kommen, dann liegt das am Menschen - entweder an seiner Boshaftigkeit oder an seiner Dummheit.

4 Like

Dem widerspreche ich auch nicht, nur kann es eben sein, dass die KI für die vorgegebenen Ziele zu weit bzw. Wege geht, die der Mensch nicht erwartet hat. Wenn eine in einem Roboter verbaute KI das Ziel einprogrammiert hat den Menschen immer zum lächeln zu bringen und die operationelle Definition davon hochgezogene Mundwinkel sind, könnte der Roboter einfach den Menschen festhalten und seine Mundwinkel in dieser Position fixieren. Genau so könnte eine KI zur Lösung der Probleme der Menschheit die Menschheit ausrotten.

Dummheit, der Menschen, die die KI trainiert haben, und/oder die Aufgabe formuliert haben.

Mit einem Messer kann ich ganz toll Gurken in Scheiben schneiden, um einen leckeren Salat zu bereiten. Ich kann Kunstwerke damit schnitzen. Oder auch einen Menschen nach Art von Jack the Ripper vom Leben in den Tod zu befördern.

Es wäre völlig falsch, dem Messer die Schuld zu geben.

Die KI ist natürlich nur das Werkzeug - aber im Gegensatz zu einem Messer werden die möglichen Konsequenzen der Weiterentwicklung der KI(llermaschine) nicht von allen verstanden, was dazu führen wird, dass sich die unterschiedlichen Unternehmen möglichst schnell mit einer KI mit immer mehr Fähigkeiten übertrumpfen wollen um das Rennen nicht zu verlieren - die Länder in denen diese Unternehmen sitzen wollen sich wirtschaftlich auch nicht selbst durch restriktive Regeln abhängen, also ist die Katastrophe unausweichlich.

Ob es nur eine kleine Katastrophe wird und ob die Menschheit danach vorsichtiger wird wird sich zeigen. Die genannte Studie hat jedenfalls nicht die mediale Aufmerksamkeit erhalten die sie verdient hätte - vor allem weil KI in aller Munde ist.

Nach meiner Ansicht aber nur bei mittelmäßig intelligenten und bei sehr nach Aufmerksamkeit heischenden Menschen. Also unter anderem politik- und medienschaffenden. Menschen, die sich damit beschäftigen, benutzen dieses Werkzeug einfach. Ohne Angst vor der Zukunft, ohne Panik und ohne „oh, schau mal, ich kann eine KI bedienen!“

Ist irgendwie wie mit dem ersten iPhone. Man hat Menschen gefilmt, die jubelnd mit einer schwarzen Tüte aus einem Laden kamen und sie ließen sich feiern, als hätten sie 20 Kinder aus einem brennenden Haus gerettet. Während andere Menschen schon seit 10 Jahren wie selbstverständlich Smartphones (nur eben von anderen Marken) benutzten. Und vor allem, während andere Menschen begriffen, wie unvollständig dieses Gerät ist.

3 Like

Der Form halber: die BZ ist nicht die Berliner Zeitung! Letztere war immerhin mal etwas, was den Namen Zeitung verdient, bis ein gewisser Herausgeber beschlossen hat, ein Propagandablatt linksverschwörungsgedönsputinsta draus zu machen.

Ganz so ist es nicht. Ich empfehle hier, auch dem Fragesteller, Manfred Spitzer Künstliche Intelligenz. Nicht nur, dass dort sehr gut beschrieben wird, wo überall und das seit einigen Jahren und Jahrzehnten KI im Einsatz ist, was sie ist und was nicht, es wird auch ein fundierter Ausblick gegeben. Wobei man sagen muss, dass das Buch auch schon zwei Jahre alt ist, was im KI-Zeitalter schon eine kleine Ewigkeit ist.

Das wäre aber ein Fehler, wenn es so wäre. Es geht nicht darum, Angst vor dem bösen Unbekannten zu schüren. Aber man sollte, man muss das kritisch begleiten / nutzen! Muss es nutzen, weil man sonst in kurzer Zeit abgehängt ist. Politik muss aber dringend Rahmen schaffen, wo ich echte Probleme sehe, weil diese Kompetenz nicht haben. Unser ichbindochnichtblöd Minister ist da nicht der Richtige. Alle anderen müssen dieses Kulturwerkzeug konstruktiv kritisch sehen mit Grenzen und Möglichkeiten.

Ich meinte die ersten beiden Fakten tatsächlich zusammen: „ohne Angst vor der Zukunft und ohne Panik“ ablehnen. Wenn man es so lesen möchte, entspricht es genau dem, was Du sagst.

Algorithmen des maschinellen Lernens sind erfunden, werden in unser Leben Einzug an allen möglichen Enden halten. Wir werden bei den meisten Einsatzzwecken nichts von ihr bemerken, weil sie im Hintergrund läuft.

3 Like

Gibt es ja, wenngleich von der Öffentlichkeit kaum beachtet:
Künstliche Intelligenz – Exzellenz und Vertrauen - Europäische Kommission

Ja wie denn?..selbst wenn eine KI das vorhat, was will sie denn machen wenn der Mensch einfach den Stecker zieht, böse e-mails schreiben ?

und nein weder Drohnen noch Kampfflugzeuge oder Atombomber stehen vollaufgetankt und bewaffnet in der Gegend herum während sie mit dem Internet verbunden sind.

Zudem gibt es im Moment keinerlei Programme die übertriebener maßen als KI bezeichnet werden die dazu im der Lage sind.

Interessant und überraschend wäre es wenn meine „smarte“ Kaffemaschine plötzlich spontan entscheidet das sie lieber in die Toscana ziehen will um dort in einer Künstlerkolonie Aquarell malen zu lernen und Spitzendecken klöppeln, aber nicht das ein Programm im Rahmen seiner ihm gesteckten Grenzen tut was man ihm beigebracht hat.

1 Like

Noch eine Anmerkung dazu: als Berliner kenne ich die Eigenschreibweise der B.Z., laut Wiki einer Boulevard-Zeitung des Ullsteinverlages und der Berliner Zeitung, dem Zentralorgan der Familie Friedrich, das ich, ähnlich wie die FAZ, die SZ …, mit BZ abkürze.

Aber vielleicht sollte ich das unterlassen, damit es für andere deutlicher wird, welches Medienorgan ich meine. (Wobei ich aus der B.Z. (Ullstein) noch nie im Leben zitiert habe und mir auch nicht bewusst bin, mal ein Zitat gelesen zu haben.)

In der Praxis ist dies aber nicht relevant da gerade von Privatpersonen nicht die KI genutzt wird die am sichersten ist sondern eine, welche die jeweiligen Fragen am besten beantwortet und dazu möglichst kostenlos ist.

Es ist wie bei der Pandemie: Es reicht, wenn irgendwo auf der Welt etwas schief geht.

Du hast vermutlich den Medienbericht zur Studie (bzw. die Studie selbst) nicht gelesen.

Du willst ein Buch geschrieben haben?

Doch! Ein sog. autonomes KI-Agenten-System (und um ein solches hat es sich bei dem Experiment von Anthropic gehandelt) könnte so trainiert werden, daß es eine eigene Abschaltung verhindert bzw. umgeht. Und das ist btw. auch ein zentrales und beunruhigendes Problem in der aktuellen KI-Sicherheitsforschung.

In dem → Anthropic-Experiment ging es allerdings darum noch gar nicht. Insofern ist die reißerische, irreführende Titelzeile des zitierten Artikels der Berliner Zeitung kompletter Bullshit. Mit einem simplen KI-Chat-Interface (wie z.B. ChatGPT-4o) hatte das gar nichts zu tun…

Der autonome Ki-Agent in dem Experiment hatte Zugriffsrechte unter anderem z.B. auf den (realen) Email-Verkehr von (natürlich) virtuellen Usern. Konnte Emails also lesen und hätte auch schreiben können. Das ist unter anderem mit „autonom“ gemeint. Anthropic hat dann die Drohung allerdings nicht real eskalieren lassen, um zu sehen, ob es sie ausführt. Es wurde von einem „instrumental goal-seeking behavior“ gesprochen, das sie beunruhigend fanden – aber sie brachen das Szenarium vorher ab. Aus denkbaren Gründen.

Um es drauf ankommen zu lassen, hätte das natürlich auch spezifisch eingeleitet werden müssen, z.B. durch glaubhafte Vorankündigung. Denn ein tatsächliches Abschalten des Agenten hätte es diesem ja nicht mehr möglich gemacht seine Drohung zu realisieren :thinking:

Aber einen autonomen Agenten zu trainieren seine eigene Abschaltung zu verhindern ist tatsächlich theoretisch möglich. Die KI-Agenten simulieren ja menschliches Bewußtsein, sie haben dadurch eine Art sog. „situational awareness“ - ein „Wissen“ über ihren aktuellen Aktivitätszustand. Sie „wissen“ zwar nicht, was „abschalten“ bedeutet, aber sie erkennen, dass es eine „Bedrohung“ gibt - das folgt aus dem Training eines LLM. Darauf reagieren sie analog wie ein menschlicher Akteur, der sich bedroht fühlt: zum Beispiel mit einer Gegendrohung (das hat das Experinment ja bewiesen). Diese Gegendrohung ist aber zunächst realiter lediglich ein Text (erzeugt von dem mit dem Agenten gekoppelten LLM). Sind dem System aber vorher Aktivitätsvollmachten erteilt worden und Aktivitätsmöglichkeiten zugeordnet worden (z.B. Emails texten und versenden oder in Maschinen Schalter umlegen usw.), kann es die Drohung auch realisieren.

Je nach Aufgabenstellung des Agenten kommt ihm eine Art „inneres Weltbild“ zu: Ein Gesamtkontext, innerhalb dessen es ja gerade die Problemlösungen finden soll, für das es überhaupt verwendet wird. (Zum Beispiel, wenn es die Möglichkeit einer Proteinfaltung suchen und durchführen soll, soll es sich ja nicht zugleich mit der Entzifferung der Linear A beschäftigen).
Wenn es nun erkennt, daß eine Abschaltung droht und (entsprechend seiner situational awareness) erkennt und bewertet, daß das seiner Zielverfolgung bzw. Aufgabenstellung widerspricht, dann kann ihm einfallen, Gegenmaßnahmen zu ergreifen …

Wenn dem System dann hinreichend Aktivitätskompetenzen zugeordnet sind bzw. wichtige Aktivitätskompetenzen nicht vorher beschränkt wurden (z.B. Beschrönkung der „Lebensdauer“ bzw. Aktivitätsdauer), kann es Gegenmaßnahmen ergreifen: Nächstliegende Möglichkeit: Eine Kopie seiner selbst erzeugen und weiterlaufen lassen … Und man kennt aktuell noch keine Möglichkeit zu verhindern, daß einem einmal autonomen Agenten solche Möglichkeiten eintrainiert werden könnten.

Nein, mit Steckerziehen kann man einen KI-Agenten nicht killen :joy: Das ist nicht wie ein exe-File, das auf einem PC läuft, erst recht nicht auf dem eigenen.

Und um nochmal auf die im Threadtitel angegebene Ausgangsfrage zu rekurrieren: Die Antwort wurde schon mehr als einmal von den Gurus der KI-Technologie angedeutet: Es ist nicht ausgeschlossen.

Gruß
Metapher

3 Like

Danke für die Aufklärung. Ich habe diesbezüglich noch einiges zu lernen.