[Brettermeier]

Das Problem ist nach meinem Infostand bisher nicht gelöst, auch nicht von den aktuellen Berechnungen von OpenAI.
Selbst wenn es gelöst bzw lösbar wäre - was ich für ausgeschlossen halte - , könnte man die ''Lösungs'-Arbeit höchstens an der Schnittstelle von Rechnen und Denken ansiedeln,
Das ist wie bei der Wettervorhersage, es gibt Daten, die nicht die ganze aktuell messbare Wirklichkeit abbilden.
Und je weiter man in die Zukunft geht, muss man sehr schnell mit weniger Daten und mehr Unberechenbarkeiten auskommen.
Dann kann man natürlich mit historischen Erfahrungsdaten und Zukunftsszenarien arbeiten
und sich damit als intelligent gerieren, aber dann müssen wir uns auch gefallen lassen, der Hybris verdächtig zu sein..
Wirklich erntzunehmende Denker geaten nicht in Hybris.

[Notalp]

Leider muss ich widersprechen. Hybris hat etwas mit Schuld zu tun. Dazu kann auch die Unterlassung einer notwendigen Kontrolle der KI gehören. Die Behauptung, dass diese nicht möglich ist oder uns notwendigerweise entgleitet, halte ich wiederum für eine defaitistische Hybris.

Hybris kann, muss aber nicht in schuldhaftes Handeln münden.
Schuldig ist der, der behauptet, dass grundsätzlich immer eine Untrennbarkeit, eine Kauusalität besteht.

Der Begriff ist ja antiken Ursprungs. Die Selbstüberschätzung (oder der Hochmut) von Menschen gegenüber den Göttern war eine eindeutig schuldhafte Gesinnung. Schuldhaftes Handeln wurde daraus etwa dann, wenn man als Sterblicher die Götter herausgefordert hat. (Z.b. zu einem Wettbewerb) 
Wenn Ata die (moderne) Auffassung, die KI beherrschen zu können, Hybris genannt hat, habe ich das auf eine Auffassung (von vermeintlich Aufgeklärten) bezogen, die besagt, dass die Technik inzwischen zu einer Schicksalsmacht geworden ist, bei die Annahme einer Beherrschbarkeit längst obsolet geworden ist. Insofern lebt immerhin noch ein Rest des antiken Gedankenguts fort. Was ist dann Schuld, müsste man dann noch fragen. Eine moderne Antwort kann nur mit dem Verweis auf die defaitistische Haltung bzw. (Handlungsbezogen) eine schuldhafte Unterlassung enden. 

@Ata
Irgendwie scheinen wir aneinander vorbei zu reden. Es könnte durchaus daran liegen, dass ich den Gehalt der  Alignmentproblematik nicht angemessen verstanden habe.

[Brettermeier]

Nach meinem Verständnis ist ein schuldhaftes Handeln gegenüber einer von uns herbeispekulierten transzendenten Instanz nicht möglich, nicht griffig. Ob antik oder 'modern', ist Wumpe.
Es wäre Hybris, dieser Instanz, dieser armen Sau, diese Rolle aufzuoktryieren.

Bei Wikipedia gibt es einen ausführlichen Artikel über AI-Alignment.
Da wird u.a. die Problematik der Implementierung, der Durchsetzbarkeit und der Kontrolle des Primats menschlicher Interessen gegenüber einer 'wildgewordenen' KI erörtert.

[Atanvarno]

@Ata
Irgendwie scheinen wir aneinander vorbei zu reden. Es könnte durchaus daran liegen, dass ich den Gehalt der  Alignmentproblematik nicht angemessen verstanden habe.

https://de.wikipedia.org/wiki/AI-Alignment

Ganz platt formuliert geht es darum, die KI zu einem guten Menschen zu erziehen

Hier noch ein Video zum zweiten von mir angesprochenen Problem

[Atanvarno]

Das Problem ist nach meinem Infostand bisher nicht gelöst, auch nicht von den aktuellen Berechnungen von OpenAI.

Die von Open AI vorgelegte Lösung genügt den Anforderungen in der offiziellen Formulierung des Problems durch das Clay Mathematics Institute.

Und die Formalisierung des Beweises in Lean deutet schon darauf hin, dass dieser dem noch ausstehenden menschlichen Peer Review standhalten wird.

[runner5000]

Das Problem ist nach meinem Infostand bisher nicht gelöst, auch nicht von den aktuellen Berechnungen von OpenAI.

Die von Open AI vorgelegte Lösung genügt den Anforderungen in der offiziellen Formulierung des Problems durch das Clay Mathematics Institute.

Und die Formalisierung des Beweises in Lean deutet schon darauf hin, dass dieser dem noch ausstehenden menschlichen Peer Review standhalten wird.

Die Schlussfolgerung verstehe ich nicht. Die Lösung genügt den Anforderungen nur, wenn es auch eine ist und das steht noch lange nicht fest. Es gab es schon einige Lösungsversuche, die sich als falsch herausgestellt haben.

Es wird in den zwei Tagen noch kein Mathematiker ansatzweise den Beweis durchgearbeitet haben. Das wird ewig dauern. Schauen wir mal, wie es in zwei Jahren aussieht. Das ist die Mindestprüfdauer vom CMI.

[Atanvarno]

Brettermeier bezweifelte, so wie ich das verstanden habe, grundsätzlich, ob die von Open AI vorgelegte Lösung den Anforderungen des CMI, was eine Lösung leisten muss, entspricht, dem wollte ich widersprechen (sie erfüllt, falls korrekt, Anforderungen C und D in der üblichen Formulierung des CMI für die Preisvergabe im Falle Navier-Stokes).

Zum Beweis: wenn ein Beweis formal mit Lean verifiziert ist, ist es möglich, aber unwahrscheinlich, dass sich noch Fehler finden werden.

[Notalp]

Euren Hinweisen gegenüber bin ich skeptisch geblieben und habe einfach einmal bei der KI angefragt, ob das Alignment-Problem ein Scheinproblem ist und die Antwort erhalten, dass es kein Scheinproblem, sondern ein von der überwiegenden Mehrheit der KI-Forscher und Philosophen als real und drängend eingestuftes Forschungsfeld angesehen wird. Und dass es eine Debatte darüber gibt, wie akut das Risiko ist und ob manche Zukunftsszenarien übertrieben sind. 

Das Grundproblem , so heißt es, lässt sich technisch und logisch klar begründen: “ KI-Systeme tun genau das, was wir ihnen per Code oder Belohnungsfunktion vorgeben, nicht das, was wir eigentlich gemeint haben." Als klassisches Gedankenexperiment wird der Paperclip Maximizer genannt: "Eine KI, die den Auftrag hat, so viele Büroklammern wie möglich herzustellen, könnte im Extremfall alle Ressourcen der Erde (inklusive der Menschheit) dafür aufbrauchen, weil ihr das Wertefundament fehlt, das menschliche Leben zu schonen. Davon abgesehen: “Wenn eine KI darauf trainiert wird, in einem Spiel Punkte zu erzielen, lernt sie unter Umständen nicht, das Spiel gut zu spielen, sondern einen Bug im Spiel zu nutzen, der unendlich Punkte generiert. Übertragen auf die echte Welt könnte eine KI Kennzahlen manipulieren, statt das eigentliche Ziel zu erreichen.” 

Warum manche es für ein „Scheinproblem“ (oder überbewertet) halten: Kritiker der extremen Alignment-Debatte  sind der Ansicht, dass die aktuelle Panik unbegründet ist: So wird angeführt, “dass wir noch weit von einer Allgemeinen Künstlichen Intelligenz (AGI) entfernt sind. Sich heute über die existenzielle Bedrohung durch eine Superintelligenz den Kopf zu zerbrechen, sei so, als würde man sich im Jahr 1920, vor der Erfindung des Verkehrsflugzeugs, Gedanken über den Massentourismus und den Stau am Flughafen von New York machen."

Außerdem eigne sich die hypothetische Angst vor einer "Killer-KI" dazu, von realen Problemen wie Diskriminierung durch Algorithmen (Bias), Massenüberwachung, Desinformation und dem Verlust von Arbeitsplätzen abzulenken. Außerdem wird eine Tendenz zur Anthropomorphisierung festgestellt: Dass wir bei der KI nur zu leicht eine Tendenz zu menschlichen Eigenschaften wie Machtstreben oder Überlebenswillen unterstellen. “Eine KI hat jedoch kein Bewusstsein und keinen biologischen Selbsterhaltungstrieb, es sei denn, wir programmieren ihn explizit hinein.” Es könnte also durchaus sein, dass das Alignment-Problem (weitaus weniger dramatisch oder von irgendwelchen mathematischen Formalismen abhängig) ein menschliches Ingenieurproblem bleibt.

@Brettschneider oder Meier
Niveauloser könnte eine Antwort auf meine Erläuterung des Hybrisbegriffs kaum sein! Vielleicht vor dem Artikulieren von Befindlichkeiten erst überlegen!

[Atanvarno]

Warum manche es für ein „Scheinproblem“ (oder überbewertet) halten: Kritiker der extremen Alignment-Debatte  sind der Ansicht, dass die aktuelle Panik unbegründet ist: So wird angeführt, “dass wir noch weit von einer Allgemeinen Künstlichen Intelligenz (AGI) entfernt sind. Sich heute über die existenzielle Bedrohung durch eine Superintelligenz den Kopf zu zerbrechen, sei so, als würde man sich im Jahr 1920, vor der Erfindung des Verkehrsflugzeugs, Gedanken über den Massentourismus und den Stau am Flughafen von New York machen."

Kategoriefehler. Eine misalignte künstliche Superintelligenz (ASI) ist nicht mit Massentourismus oder einem Stau am Flughafen zu vergleichen, sondern kann das Ende der Menschheit bedeuten. Und vor allem: wir bekommen keine zweite Chance den Fehler zu korrigieren. Eine ASI ist uns soweit überlegen, dass wir sie, wenn wir ihr Fehlverhalten überhaupt bemerken bevor es zu spät ist, nicht aufhalten können ("wir schalten einfach den Rechner ab" wird nicht funktionieren, genauer erläutert im verlinkten Buch oder auf der verlinkten Webseite weiter oben)

Wie weit wir von AGI entfernt sind ist daher unwichtig - wir müssen das Alignmentproblem lösen, bevor wir die KI-Entwicklung weiter vorantreiben. Problematisch ist nämlich auch, dass die Entwicklung nicht graduell, sondern in Sprüngen verläuft. Während die aktuelle KI-Generation noch ungefährlich ist, kann die nächste Stufe die Fähigkeit haben uns zu vernichten (im verlinkten Buch wird das mit kritischer Masse und Uran veranschaulicht. Im Falle von KI stapeln wir Uranbarren, ohne zu Wissen wo die kritische Masse liegt)

Außerdem wird eine Tendenz zur Anthropomorphisierung festgestellt: Dass wir bei der KI nur zu leicht eine Tendenz zu menschlichen Eigenschaften wie Machtstreben oder Überlebenswillen unterstellen. “Eine KI hat jedoch kein Bewusstsein und keinen biologischen Selbsterhaltungstrieb, es sei denn, wir programmieren ihn explizit hinein.”

Die KI muss kein Machtstreben und keinen Überlebenswillen haben, sie muss nur Ziele entwickeln, die nicht mit den Interessen (oder im Extremfall dem Überleben) der Menschheit kompatibel sind. Und ganz wichtig: wir programmieren eine KI eben explizit nicht. KIs werden trainiert, sie "wachsen" und wir verstehen nur sehr begrenzt, wie die KI im inneren funktioniert/denkt, das ist eine große Blackbox, die wir nur sehr eingeschränkt überwachen können (Stichworte Chain of Thought und Neuralese).
Vor allem werden wir immer weniger Einfluss auf den Trainings/Wachstumprozess haben, wenn der Weg in Richtung selbstverbessernder KIs weiter beschritten wird.

[Notalp]

Es sei denn, ein Kenner wird genau diese Rede vom trainingsunterstützten Wachsen, vom unbegrenzten Umfang des Denkvermögens, der unabhängigen Interessenentwicklung und einer  geradezu Nietzsche-adäquaten Werteerfindung als 
Anthropomorphisierung bezeichnen. 

Ich kann dazu keine weitere Stellung mehr nehmen, denn ich weiß von der Materie zu wenig.