Представлен нейронный машинный код для программирования пластовых компьютеров

Новости сегодня - Представлен нейронный машинный код для программирования пластовых компьютеров

Резервуарные вычисления — это многообещающая вычислительная среда, основанная на рекуррентных нейронных сетях (RNN), которая по существу отображает входные данные в многомерное вычислительное пространство, сохраняя фиксированными одни параметры искусственных нейронных сетей (ANN) и обновляя другие. Эта структура может помочь повысить производительность алгоритмов машинного обучения, а также уменьшить объем данных, необходимых для их адекватного обучения.

RNN, по сути, используют повторяющиеся соединения между своими различными блоками обработки для обработки последовательных данных и создания точных прогнозов. Хотя было обнаружено, что RNN хорошо справляются с многочисленными задачами, оптимизация их производительности путем определения параметров, наиболее важных для задачи, которую они будут решать, может быть сложной и трудоемкой.

Джейсон Ким и Дэни С. Бассет, два исследователя из Пенсильванского университета, недавно представили альтернативный подход к проектированию и программированию пластовых компьютеров на основе РНС, который вдохновлен тем, как языки программирования работают на компьютерном оборудовании. Этот подход, опубликованный в журнале Nature Machine Intelligence , позволяет определить подходящие параметры для данной сети, программируя ее вычисления для оптимизации ее производительности при решении целевых задач.

«Будь то расчет чаевых или моделирование нескольких ходов в игре в шахматы, нас всегда интересовало, как мозг представляет и обрабатывает информацию», — сказал Ким Tech Xplore. «Мы были вдохновлены успехом рекуррентных нейронных сетей (RNN) как для моделирования динамики мозга, так и для изучения сложных вычислений. Опираясь на это вдохновение, мы задали простой вопрос: что, если бы мы могли программировать RNN так же, как мы делаем компьютеры? работа в области теории управления , динамических систем и физики показала нам, что это не несбыточная мечта».

Нейронный машинный код, введенный Кимом и Бассеттом, был получен путем декомпиляции внутренних представлений и динамики RNN для управления их анализом входных данных. Их подход напоминает процесс компиляции алгоритма на компьютерном оборудовании, который влечет за собой детализацию мест и моментов времени, в которые необходимо включать и выключать отдельные транзисторы.

«В RNN эти операции указываются одновременно в весах, распределенных по сети, и нейроны одновременно выполняют операции и сохраняют память», — объяснил Ким. «Мы используем математику для определения набора операций (весов соединений), которые будут запускать желаемый алгоритм (например, решение уравнения, моделирование видеоигры), и для извлечения алгоритма, который выполняется на существующем наборе весов. Уникальные преимущества нашего подхода заключаются в том, что он не требует данных или выборки и определяет не одну связность, а множество шаблонов связности, которые запускают желаемый алгоритм».

Исследователи продемонстрировали преимущества своего фреймворка, используя его для разработки RNN для различных приложений, включая виртуальные машины , логические вентили и видеоигру в пинг-понг на базе искусственного интеллекта. Было обнаружено, что все эти алгоритмы работают на удивление хорошо, не требуя корректировки их параметров методом проб и ошибок.

«Одним заметным вкладом нашей работы является сдвиг парадигмы в том, как мы понимаем и изучаем RNN, от инструментов обработки данных до полноценных компьютеров», — сказал Ким. «Этот сдвиг означает, что мы можем изучить обученную RNN и узнать, какую проблему она решает, и мы можем спроектировать RNN для выполнения задач без обучающих данных или обратного распространения. На практике мы можем инициализировать наши сети с помощью алгоритма, основанного на гипотезах, а не случайных весов. или предварительно обученную RNN, и мы можем напрямую извлечь изученную модель из RNN».

Среда программирования и нейронный машинный код, представленные этой группой исследователей, вскоре могут быть использованы другими командами для разработки более эффективных RNN и простой настройки их параметров. Ким и Бассет в конечном итоге надеются использовать свою структуру для создания полноценного программного обеспечения, работающего на нейроморфном оборудовании. В своих следующих исследованиях они также планируют разработать подход к извлечению алгоритмов, изученных обученными пластовыми компьютерами.

«Несмотря на то, что нейронные сети превосходны в обработке сложных и многомерных данных, эти сети, как правило, требуют много энергии для работы, и понимание того, чему они научились, является исключительно сложной задачей», — сказал Ким. «Наша работа представляет собой ступеньку для прямой декомпиляции и преобразования обученных весов в явный алгоритм , который можно запускать гораздо эффективнее без необходимости использования RNN, а также дополнительно исследовать для научного понимания и производительности».

Исследовательская группа Бассетта из Университета Пенсильвании также работает над использованием подходов машинного обучения, в частности RNN, для воспроизведения мыслительных процессов и способностей человека. Нейронный машинный код, который они недавно создали, может поддержать их усилия в этой области исследований.

«Второе интересное направление исследований — разработка RNN для выполнения задач, характерных для когнитивной функции человека», — добавил Дэни С. Бассет, профессор, руководивший исследованием. «Используя теории, модели или определения когнитивных процессов, полученные на основе данных, мы планируем разработать RNN для привлечения внимания, проприоцепции и любопытства. При этом мы стремимся понять профили подключения, которые поддерживают такие разные когнитивные процессы».

Новости партнеров: