Forscher schulen KI, um Köpfe zu lesen – durch Dekodieren von Gehirnsignalen in Text

Forscher haben KI erfolgreich geschult, um natürliche Sprache direkt aus Hirnaufzeichnungen zu erzeugen und uns der nahtlosen Gehirn-zu-Text-Kommunikation näher zu bringen.

Stellen Sie sich vor, Sie könnten Gedanken in Worte übersetzen, ohne zu sprechen oder zu tippen. Wissenschaftler kommen näher daran, dies Wirklichkeit werden zu lassen. Eine kürzlich im Journal veröffentlichte Studie Kommunikationsbiologie Erforschte, wie Gehirnaufnahmen verwendet werden können, um Sprache zu erzeugen. Dies fördert unser Verständnis, wie die Gehirn Sprache verarbeitet, mit potenziellen Anwendungen in der Modelltraining, der künstlichen Intelligenz (KI) -basierte Kommunikation und möglicherweise sogar bei Sprachbeeinträchtigungen.

Sprache und Gedanken entschlüsseln

Brainllm wurde an drei verschiedenen Datensätzen getestet, und seine Fähigkeit, Text zu generieren, war am stärksten, wenn sie mit größeren neurologischen Datensätzen trainiert wurden, was zeigt, dass mehr Gehirndaten die AI-gesteuerte Sprachvorhersage verbessert.

Das menschliche Gehirn ist in der Lage, eine komplexe Sprachverarbeitung zu verarbeiten, aber es ist eine Herausforderung, Gedanken direkt aus der Gehirnaktivität zu entschlüsseln. Frühere Untersuchungen haben dies versucht, indem Klassifizierungsmodelle verwendet wurden, die die Gehirnaktivität mit vordefinierten Sprachoptionen entsprechen. Diese Methoden haben zwar einige Erfolge gezeigt, sind jedoch in der Flexibilität begrenzt und erfassen nicht die volle Komplexität des menschlichen Ausdrucks.

Jüngste Fortschritte in Großsprachmodellen (LLMs), wie z. Diese Modelle wurden jedoch nicht nahtlos in Gehirnaufzeichnungen integriert. Die Herausforderung besteht darin, festzustellen, ob wir direkt aus der Gehirnaktivität eine natürliche Sprache erzeugen können, ohne sich auf einen eingeschränkten Satz vordefinierter Optionen zu verlassen.

Über die Studie

In der vorliegenden Studie entwickelten die Forscher ein neues System namens Brainllm, das Hirnaufzeichnungen mit einem LLM integriert, um eine natürliche Sprache zu erzeugen. Die Studie verwendete nicht-invasive funktionelle Magnetresonanztomographie (FMRI), die von den Teilnehmern gesammelt wurden, während sie Sprachreize hörten oder sie lesen.

Das Modell wurde auf drei öffentlichen Datensätzen geschult, die fMRI -Aufzeichnungen von Teilnehmern enthielten, die verschiedenen sprachlichen Reizen ausgesetzt waren. Die Forscher entwarfen einen „Gehirnadapter“, ein neuronales Netzwerk, das die Gehirnaktivität in ein von einem LLM verständlicher Format übersetzt. Dieser Adapter extrahierte Merkmale aus Gehirnsignalen und kombinierte sie mit herkömmlichen textbasierten Eingaben, sodass das LLM Wörter erzeugt, die eng mit den in der Gehirnaktivität codierten sprachlichen Informationen übereinstimmten.

Die Forscher sammelten zunächst Hirnaktivitätsdaten, während die Teilnehmer eine schriftliche oder gesprochene Sprache verarbeiteten. Diese Aufzeichnungen wurden dann in eine mathematische Darstellung der Gehirnaktivität umgewandelt. Ein spezialisiertes neuronales Netzwerk kartierte diese Darstellungen auf einen Raum, der mit den Texteinbettungen des LLM kompatibel ist.

Das Modell verarbeitete dann diese kombinierten Eingänge und erzeugte Sequenzen von Wörtern, die sowohl auf der Gehirnaktivität als auch auf den vorherigen Textaufforderungen basierten. Durch das Training des Systems auf Tausenden von Gehirnscans und entsprechenden sprachlichen Eingaben, die die Forscher fein abgestimmte HirnlLLM, um Wörter besser vorherzusagen und zu erzeugen, die mit der Gehirnaktivität ausgerichtet sind.

Im Gegensatz zu früheren Methoden, die Wörter aus einem vordefinierten Satz auswählen mussten, könnte Brainllm kontinuierliche Text ohne vordefinierte Einschränkungen erzeugen.

Die Studie bewertete dann die Leistung von Brainllm gegen vorhandene Modelle. Das Team testete das System auf einer Vielzahl von Sprachaufgaben, einschließlich der Vorhersage des nächsten Wortes in einer Sequenz, der Rekonstruktion ganzer Passagen und dem Vergleich des generierten Textes mit menschen wahrgenommenen Sprachkontinuationen.

Wichtige Erkenntnisse

Im Gegensatz zu früheren Modellen, die nur die Gehirnaktivität in voreingestellte Wörter einverstanden haben, erzeugt Brainllm offene Sätze, was es zu einem wichtigen Schritt zur praktischen Kommunikation mit Gehirn zu Text macht.

Die Forscher zeigten, dass Brainllm bei der Erzeugung einer Sprache, die sich im Vergleich zu herkömmlichen klassifizierungsbasierten Methoden eng mit der Gehirnaktivität befand. Insbesondere erzeugte es kohärentere und kontextbezogenere Text bei der Verarbeitung von Hirnaufzeichnungen. Das Modell zeigte die höchste Genauigkeit, wenn sie mit größeren Datensätzen trainiert wurde, was darauf hindeutet, dass die Erhöhung der Menge der Hirndaten die Leistung weiter verbessern könnte.

Einer der wichtigsten Durchbrüche war die Fähigkeit von Brainllm, kontinuierlichen Text zu erzeugen, anstatt aus vordefinierten Optionen zu wählen. Im Gegensatz zu früheren Methoden, die sich auf die Klassifizierung stützten-wobei das System aus einer begrenzten Reihe von Wörtern ausgewählt wurde-, konnten Hirnllm offene Sätze auf der Grundlage des Gehirns erzeugen. Dies war ein großer Fortschritt in Bezug auf reale Anwendungen, bei denen uneingeschränkte Kommunikation von entscheidender Bedeutung ist.

Darüber hinaus bevorzugten menschliche Evaluatoren den von HirnlLLM erzeugten Text gegenüber Basismodellen, was darauf hinweist, dass er sinnvolle sprachliche Muster erfasst hat. Bemerkenswerterweise war Brainllm besonders effektiv darin, die „überraschende“ Sprache zu rekonstruieren – Wörter oder Phrasen, die ein LLM allein Schwierigkeiten hatte, vorherzusagen. Dies zeigt, dass Gehirnsignale die Sprachmodellierung auf unerwartete Weise verbessern.

Das System traf am besten bei der Analyse der Gehirnaktivität aus Regionen, von denen bekannt ist, dass sie an der Sprachverarbeitung beteiligt sind, wie beispielsweise Brocas Bereich und den auditorischen Kortex. Die höchste Genauigkeit wurde bei der Verwendung von Signalen aus Brocas Gebiet beobachtet, was auf seine zentrale Rolle bei der Rekonstruktion natürlicher Sprache hinweist. Dies deutete darauf hin, dass die Verfeinerung des Hirnsignals Mapping die Genauigkeit und Zuverlässigkeit weiter steigern könnte.

Obwohl das Modell gut abschneidet, variierte seine Genauigkeit zwischen Individuen, und die Rekonstruktion der offenen Sprache aus Gehirnaufzeichnungen war nicht optimal. In der Studie wurde auch die Einschränkungen des fMRI erörtert, was aufgrund seiner hohen Kosten und Komplexität kein praktisches Instrument für Echtzeitanwendungen ist.

Schlussfolgerungen

Brainllm traf am besten mit dem Rekonstruktion von Text, der für Standard -KI -Modelle unerwartet oder schwer vorhersehbar war.

Insgesamt markierte die Studie einen wichtigen Schritt in Richtung Gehirn-zu-Text-Technologie und zeigt, dass die Integration von Hirnaufzeichnungen in große Sprachmodelle die Erzeugung der natürlichen Sprache verbessern kann. Während reale Anwendungen möglicherweise noch Jahre entfernt sind, basiert diese Forschung die Grundlage für Hirn-Computer-Schnittstellen, die eines Tages Menschen mit Sprachschwierigkeiten helfen könnten, nahtlos zu kommunizieren.

Die Forscher glauben, dass zukünftige Forschungen alternative Hirn-Imaging-Techniken wie Elektroenzephalographie (EEG) untersuchen müssen, die eine Echtzeit-Dekodierung der Sprache aus der Gehirnaktivität ermöglichen könnten. Darüber hinaus empfehlen sie, Brainllm in motorbasierte Hirn-Computer-Schnittstellen (BCIS) zu integrieren, die erfolgreich für die Bewegungskommunikation in Bewegung eingesetzt wurden, um robustere neurophrothetische Systeme zu entwickeln. Diese Fortschritte bei der Dekodierung des Gehirns und maschinelles Lernens könnten uns einer Welt näher bringen, in der Gedanken direkt in Wörter übersetzt werden können.

Quellen: