[Atanvarno]

We’re sharing a solution to the Navier-Stokes Millennium Prize Problem, one of the deepest problems at the frontier of mathematics.

The proof was produced by a group of agents, using an OpenAI next-generation model significantly more capable than GPT-6 Astra.

Quelle: https://x.com/OpenAI/status/2097374640582668336

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives.

Quelle: https://x.com/hilbertspaess/status/2097476196791709843

Jacob is correct here—we really do earnestly believe AI could kill all humans! I personally think it is >10% within the next decade. I believe Anthropic is trying its best, but we do not yet have a plan to solve alignment for superintelligence and are not clearly on track to.

Quelle: https://x.com/EvanHub/status/2097497037956891126

Lesetipp: If anyone builds it, everyone dies

[Notalp]

Erinnert mich an was. Ging dort aber anders aus!

https://youtube.com/watch?v=c8N72t7aScY&...hmEs0RqWs5

[Atanvarno]

Menschliche Hybris zu glauben, dass es so ausgehen wird.

[Notalp]

Leider muss ich widersprechen. Hybris hat etwas mit Schuld zu tun. Dazu kann auch die Unterlassung einer notwendigen Kontrolle der KI gehören. Die Behauptung, dass diese nicht möglich ist oder uns notwendigerweise entgleitet, halte ich wiederum für eine defaitistische Hybris.

[Atanvarno]

Die Behauptung ist nicht, dass die Kontrolle grundsätzlich nicht möglich ist.

Aber die großen KI-Firmen haben aktuell wenig bis keine Ahnung, wie das sogenannte Alignmentproblem zu lösen ist und entwickeln trotzdem immer leistungsfähigere KIs.
Intern arbeiten sowohl Anthropic als auch Open AI (und vermutlich einige chinesische KI-Firmen) schon mit ersten Modellen selbstverbessernder KI und Kommunikationsmethoden innerhalb des Modells und zwischen den Agenten, die wir nicht mehr überwachen können, weil wir sie nicht verstehen (Stichwort Neuralese), beides ist brandgefährlich.

Notwendig wäre ein Moratorium, eine Art "Atomwaffensperrvertrag" für die KI-Entwicklung, bis dieses Problem gelöst wird, ansonsten ist die Wahrscheinlichkeit hoch, dass wir alle sterben werden.

Auf dieser lesenswerten Webseite https://ai-2027.com/ werden beide möglichen Pfade dargestellt. Entwicklung ausgerichteter (aligned) KI zum Wohle der Menschheit, oder das Ende der Menschheit, wenn wir auf dem aktuell eingeschlagenen Pfad unkontrolliert weitergehen.

[Notalp]

Ist das wirklich die größte Sorge?

Wenn Wladimir die KI nutzen will, um zu erfahren, wie man auf strategisch optimierte Weise den Krieg gewinnt, wird er darauf bauen, dass seine Entourage die KI-Systeme so entwickelt, dass deren Ziele und Handlungen mit den “Werten” des russischen Präsidenten übereinstimmen. 

PS: Man Stelle sich vor, dass ein System stattdessen die moralische Dimension simuliert 

[Atanvarno]

Und wie macht Wladimirs Entourage das, wenn das Alignmentproblem nicht gelöst ist?

Man sollte hoffen, dass auch auf russischer Seite der Selbsterhaltungstrieb groß genug ist nicht militärische Fähigkeiten einer künstlichen Superintelligenz zu übertragen, deren Gedanken man nicht versteht und deren Loyalität man sich nicht sicher sein kann.

Ich finde es ziemlich erschreckend, dass der Huggingface-Vorfall noch nicht ausgereicht hat, dieses Thema ganz oben auf die politische Agenda zu setzen, das war ein Musterbeispiel für Misalignment. Was werden die Konsequenz sein, wenn sich eine um Magnituden intelligentere KI fehlverhält?

[Brettermeier]

Leider muss ich widersprechen. Hybris hat etwas mit Schuld zu tun. Dazu kann auch die Unterlassung einer notwendigen Kontrolle der KI gehören. Die Behauptung, dass diese nicht möglich ist oder uns notwendigerweise entgleitet, halte ich wiederum für eine defaitistische Hybris.

Hybris kann, muss aber nicht in schuldhaftes Handeln münden.
Schuldig ist der, der behauptet, dass grundsätzlich immer eine Untrennbarkeit, eine Kauusalität besteht.

[Brettermeier]

KI nenne ich solange künstliche Dummheit, bis sie bewiesen hat, dass sie intelligent ist,
intelligenter als Menschen.
Damit meine ich nicht, dass sie schneller rechnen kann,
sondern besser denken.

[Atanvarno]

Das Finden einer Lösung des Navier-Stokes-Millenium-Problems ist kein Beweis von Intelligenz? (das hat wenig mit schnell rechnen und viel mit gut denken zu tun)