Закрыть

Память на искусственных нейронах

Автор: Леонид Коломенский
Опубликовано 18.07.2013 в 08:08
Раздел: Нейронные сети
Теги:

Нейрон как элемент памяти (модель)

Ниже рассматривается построенная на модели нейрона система, в которой предусмотрен не только прием, обработка и выдачи информации, но и, что весьма немаловажно, ее сохранение в самой системе. У человека все перечисленные функции выполняются сложной системой, состоящей из огромного числа нервных клеток – нейронов. По различным оценкам мозг человека состоит из примерно 20 - 40 миллиардов нейронов, каждый из которых посредством нескольких тысяч синапсов соединяется с другими нейронами. Если же рассматривать всю нервную систему, то число составляющих ее нейронов окажется существенно большим. Нейроны обычно делят на три типа: чувствительные, двигательные и вставочные, или интернейроны. Известно также, что в состав нервной системы входят нейроны и других типов. Учитывая, что в большинстве случаев нейроны способны какое-то время сохранять поступившую в них информацию, мы, прежде всего, проанализируем работу нейрона как элемента памяти.

Нашу достаточно условную модель мы будем исследовать на основе нескольких допущений, первое из которых сводится к следующему. Будем считать, что каждый нейрон способен выполнять все основные информационные операции: прием сигналов, их хранение передачу сигналов другим нейронам.  Попутно заметим, что большинство используемых в настоящее время информационных систем оперирует двоичными сигналами, при этом каждый элемент может находиться в одном из двух состояний, которые в большинстве случаев кодируют значениями 0 и 1. Скорее всего, для нейронов это тоже справедливо, но все-таки, не в полном объеме. В принципе, нейрон может находиться на различных уровнях возбуждения, но при этом обычно существует некоторый порог возбуждения. Уровень выше этого порога соответствует возбужденному состоянию («1»), уровень ниже порога означает, что нейрон находится в невозбужденном состоянии («0»).

Возбуждение нейрона происходит как результат подачи на его дендриты входных сигналов (одного или нескольких, одновременно или разновременно). Входные сигналы имеют, как правило, максимальный уровень.  Вырабатываемый нейроном и перенаправляемый другим нейронам сигнал может также иметь различные уровни, причем для этих сигналов также существует пороговый уровень. Сигнал с уровнем выше порогового способен возбудить принимающий нейрон, сигнал с уровнем ниже порогового, на это не способен.

Мы также примем, что нейрон случайно, самопроизвольно не может перейти с низкого  на высокий уровень возбудимости. Однако, если нейрон находился на не-нулевом уровне, то «ослабевшая», но не исчезнувшая полностью информация может быть подкреплена переводом нейрона на более высокий уровень либо внешним по отношению к нейрону сигналом, либо за счет внутренних стимулов самого нейрона. Как и в каких случаях это происходит, мы рассмотрим несколько позднее.

А чем определяется уровень возбуждения? С физической точки зрения он определяется энергетическим потенциалом нейрона, способностью генерировать выходной импульс определенного напряжения. При этом самопроизвольный со временем переход с более высокого уровня на более низкий происходит за счет внутреннего саморазряда. Полный саморазряд происходит за время в несколько десятков миллисекунд. Разброс этого параметра для различных типов нейронов достаточно велик.

Получается, что нейрон в течение некоторого времени способен пассивно хранить занесенную в него информацию, никак ее не используя. Но в случае необходимости эта информация может быть считана и передана через аксон другим нейронам. Такая передача происходит не самопроизвольно, а как реакция на некоторый сигнал разрешения. При этом передача хранимой нейроном информации во вне не приводит к ее стиранию, более того, выдача информации не приводит и к снижению уровня возбуждения нейрона. Тем не менее, если нейрон в момент выдачи находится на пониженном уровне возбуждения, то и выходной сигнал тоже может иметь пониженный уровень.

Естественно, что в рассмотренной модели нейрон не способен хранить информацию сколько-нибудь длительное время. Однако поднять снизившийся уровень возбуждения возможно за счет подачи на нейрон сигнала восстановления. Но если уровень возбуждения нейрона окажется ниже порога возбуждения, то сигнал восстановления поднять его уже не сможет.

В некоторых случаях, в частности при приеме новой информации, может оказаться необходимым, чтобы нейрон вынужденно оказался на нулевом уровне возбуждения. Это может быть осуществлено путем подачи на нейрон сигнала сброса.

Функциональная схема нейрона, как она описана выше, представлена на рис. 1.

Из нашей схемы вытекает, что переход нейрона в состояние возбудимости происходит как результат воздействия на нейрон внешнего сигнала. Переход в невозбужденное («нулевое») состояние происходит обычно спонтанно, самопроизвольно. Этот переход осуществляется, как уже говорилось, постепенно, за счет снижения энергетического уровня нейрона. Но для нормальной работы системы должна существовать возможность мгновенного перевода нейрона в нулевое состояние. Это может быть осуществлено путем подачи на нейрон специального сигнала сброса. Для чего это необходимо? Дело в том, что при возбужденном нейроне прием входящих сигналов оказывается невозможным. Поступление в нейрон сигнала сброса переводит нейрон в нулевое состояние и одновременно открывает дендриты для приема входных сигналов.

В общем-то, не совсем ясно, откуда сигнал сброса может поступить? Нейрофизиологи утверждают, что в огромной массе нейронов существует немалое количество так называемых «тормозящих» нейронов, которые обычно блокируют передачу сигнала от передающего к принимающему нейрону. Как реально происходит такое блокирование, пока остается не очень ясным. В нашей схеме нейрон остается заблокированным для входных сигналов сам по себе, своим высоким уровнем возбуждения. (Нельзя возбудить возбужденное). Подача же сигнала сброса переводящего нейрон в «ноль» как раз и обеспечивает его разблокирование.

Сигнал сброса должен иметь максимальную амплитуду. Это естественно, поскольку только таким сигналом возможно сбросить в «ноль» полностью возбужденный нейрон. Однако и этот сигнал в силу тех или иных причин может иметь другие, более низкие уровни. Таким образом, могут возникать ситуации, когда подача сигнала сброса не приведет к переводу нейрона в режим приема сигналов. Как могут преодолеваться подобного рода сбои? Об этом мы поговорим несколько позднее.

В соответствии с некоторыми данными в человеческом мозге имеется до 100 млрд. нейронов. В самом нейроне может происходить до 240 химических реакций.

Выдача нейроном сигналов также не может и не должна производиться самопроизвольно – это привело бы к хаосу в работе системы. Выходные сигналы формируются и передаются через аксон на синапсы по сигналу разрешения. Уровень выходных сигналов соответствует уровню возбуждения нейрона (но только, если он выше порога возбуждения). В то же время поступление сигнала восстановления приводит к повышению уровня возбуждения нейрона до единичного.

Но откуда берутся и как генерируются эти сигналы? Тут возможны различные предположения. На данный момент известно, что в общей массе нейронов имеются нейроны с двумя аксонами. Едва ли эти аксоны выполняют идентичные функции. Мы сделаем не слишком обоснованное, но необходимое допущение, что по одному из этих аксонов передается сигнал сброса, по другому – сигнал восстановления. Такое допущение позволит нам хоть в какой-то степени функционально структурировать работу всей нейронной системы. Можно теперь принять, что одни нейроны выполняют информационные функции (выработку, хранение и передачу информации), другие выполняют функции управления.

Впрочем, вполне возможно предположение, что генерируемые нейроном сигналы могут использовать не только как информационные, но и как управляющие. Те же сигналы сброса и восстановления могут поступать напрямую от информационных нейронов, осуществляя то, что нередко называют «обратной связью» (об этом ниже).

Рабочая модель нейрона

Эту модель мы представим в виде формализованной схемы (рис. 2). 

Нейрон может находиться либо в состоянии P0 (не возбужден), либо в состоянии  P1 (возбужден). В состояние P0 нейрон переходит либо естественно за счет саморазряда (если не него не подаются ни сигналы возбуждения, ни сигнал восстановления), либо подачей сигнала сброса Z. Переход в возбужденное состояние (P1) осуществляется подачей сигнала на один из входов Х1, Х2, Х3 …  и т.д. Входов может быть достаточно много, от 20-40 до нескольких тысяч. Если сигналы поступают относительно часто (чаще, чем через 20 - 40 мс), причем по любому из входов или даже по нескольким, то нейрон всё это время будет оставаться в состоянии  P1. Если по истечении 40 или более миллисекунд подача входных сигналов не возобновится, то нейрон самопроизвольно перейдет в состояние  P0.

Другой способ удержания нейрона в возбужденном состоянии – это своевременная подача сигнала восстановления R. Многократная, с интервалом примерно в 30 - 40 мс подача сигнала восстановления обеспечит достаточно длительное удержание нейрона  в возбужденном состоянии, даже если входные сигналы подаваться не будут.

Рассмотрим несколько подробнее процесс возбуждения нейрона и последующего постепенного снижения уровня его возбуждения. В некоторых источниках показывается, что импульсы, поступающие на дендриты нейрона, имеют следующие характеристики (рис. 3).

В соответствии  с рисунком потенциал покоя синапса составляет -70 мВ. Максимальное значение импульса равно +60 мВ, его амплитуда составляет 60 + (-70) = 130 мВ. Рабочая длительность импульса равна примерно 1 мс. Воздействовать на нейрон входящий импульс может и при абсолютном значении его амплитуды меньшего уровня, однако существует некоторый порог воздействия, который по отношению уровня покоя составляет 40 мВ. При меньших значениях сигнал воздействовать на нейрон не может.

Потенциал самого нейрона в невозбужденном состоянии составляет примерно -70 мВ. При подаче на нейрон импульса полной амплитуды его потенциал за короткое время достигает значения примерно 50 мВ, см рис. 4. Затем при отсутствии других внешних воздействий начинает постепенно уменьшаться, при этом достаточный уровень возбуждения нейрона сохраняется в течение примерно 30-40 мс, хотя во многих случаях эта длительность достигает 100 мс и даже больше. Нейрон остается в возбужденном состоянии (то есть сохраняет способность воздействовать на другие нейроны) при уровне возбуждения не ниже -30 мВ. Невозбужденный или не полностью возбужденный нейрон может перейти в состояние полного возбуждения либо подачей на его дендриты нового входного импульса, либо подачей на него импульса восстановления R. В последнем случае нейрон должен находиться на уровне возбуждения выше порогового.

Не может не возникнуть вполне естественный вопрос: почему все-таки, потенциал покоя нейрона равен -70 мВ, а не 0 В, что могло бы показаться более естественным? И тут же еще один вопрос: а какими средствами этот потенциал (-70) поддерживается нейронной системой?

Что касается первого вопроса, то можно чисто поверхностно ответить, что именно на таких уровнях напряжений в нейроне могут происходить соответствующие физико-химические реакции. По поводу второго вопроса можно сделать вполне определенное предположение. Уровень -70 мВ поддерживается той глиальной средой, в которую глобально погружена и в которой функционирует вся нейронная система. Конечно, такие ответы являются поверхностными, но на данном этапе они представляются достаточно приемлемыми.

Длительное хранение нейроном информации

Выше мы отметили, что в возбужденном состоянии нейрон может находиться не более нескольких десятков миллисекунд (иногда до 100 и более). В реальности же необходимо, чтобы информация сохранялась в нем неограниченно долго, от нескольких дней до десятков лет. Если все-таки говорить о не слишком длительном хранении, то его можно обеспечить путем многократной подачи на нейрон сигнала восстановления с интервалом примерно в 20-40 миллисекунд. Поскольку нейрон выполняет функцию хранения, он находится в состоянии возбуждения, и входные сигналы на его дендриты не подаются, а если и подаются, то в тело нейрона они не поступают. В то же время информация о состоянии нейрона может считываться с его синапсов и передаваться другим нейронам. Казалось бы, что в таком режиме нейрон может действительно оставаться неограниченное время, лишь бы подавались сигналы восстановления. Но и в этом процессе могут возникать нежелательные ситуации. В какой-то момент времени, когда нейрон будет находиться на уровне возбуждения, близким к пороговому, может случиться, что и сигнал восстановления тоже будет иметь пониженный уровень. Уровень возбуждения нейрона начнет уменьшаться, в конце концов, нейрон окажется невозбужденным. Поскольку такие ситуации не должны происходить часто, то и потеря информации тоже будет происходить не слишком часто, но, хотя, возможно, и не слишком редко. Ясно, что для существенно более надежного хранения необходимо использовать другие, сколько-нибудь более совершенные схемы. В качестве простейшего усовершенствования можно было предположить, что выходной синапс  нейрона подсоединен к дендриту сигнала восстановления того же нейрона, формируя, таким образом обратную связь достаточной устойчивости. Такая связь способна удержать нейрон в возбужденном состоянии гораздо более длительное время, если только за время хранения не будет подан сигнал сброса и будет регулярно поступать сигнал разрешения.

Однако в литературе автору нигде не встретилось даже упоминания о реальности такого предположения. Но можно предположить, что цепочка, состоящая, по крайней мере, из двух последовательно соединенных нейронов, уже может быть замкнута сама на себя. Как это может выглядеть, представлено в виде схемы рис. 5.

Несложный логический анализ позволяет сделать вывод, что если сигналы R будут следовать регулярно, то состояние возбуждения на нейронах Н1 и Н2 сможет сохраняться достаточно долго. Цепочка из 3-4 нейронов со сложной обратной связью сможет обеспечить вообще неограниченно долгое сохранение единичного состояния. Вполне возможно даже построить математическую модель получения численной оценки параметра сохранения. Тем не менее, решение этой задачи мы отложим на более отдаленное время.

Повторим еще раз: задача такой схемы как можно дольше удерживать состояние «1» в условиях, когда в результате саморазряда нейрон за время 30-100 мс самопроизвольно переходит в состояние «0». Повышение уровня возбуждения нейрона осуществляется, как мы уже говорили при описании схемы рис. 2 за счет подачи на нейрон  сигналов восстановления R. При этом, однако, из внешнего по отношению к схеме рис. 5 источника должны достаточно регулярно, через небольшие интервалы времени (менее 30 мс) подаваться сигналы разрешения U. И всё-таки, в нашей двух-нейронной схеме мы, на всякий случай, для повышения надежности сохранения состояния «1» все же учли возможность нейрона замыкаться на себя самого. Соответствующая цепь указана на рисунке пунктиром.

Использованные на рисунке значения времени подчиняются соотношению  t1<t2<t3. Простой анализ предложенной схемы подсказывает нам, что для ее эффективной работы должен был бы иметься некоторый блок (тоже нейронный), выполняющий функции генератора импульсов и определяющий подачу сигналов R и U. Не исключено, что в реальных нейронных системах такие нейро-генераторы импульсов действительно имеются. На данном этапе мы обойдем стороной вопрос, как такие генераторы могут быть реализованы в нашей нейронной модели. Но то, что в реальных системах подобные импульсы действительно генерируются, говорит, прежде всего, тот факт, что с помощью энцефалографов удается зафиксировать несколько групп ритмов головного мозга. Эти ритмы не могут возникать сами по себе, они должны иметь свои источники. В зависимости от частот ритмы мозга распределены по нескольким группам: Альфа, Бета, Тета, Дельта. В группе Бета, в частности, имеются ритмы с частотой следования 20 – 50 и более импульсов в секунду. Это как раз и соответствует периоду в 30 – 50 мс. Естественно, должны иметься и нейронные генераторы этих импульсов. Импульсы подобных частот вполне могут обеспечить динамическое удержание нейронного блока в состоянии «1».

Проблема запоминания, то есть сохранения возбужденного состояния является для нейронной памяти одной из важнейших. Ведь в этой памяти огромное количество информации должно храниться годы, иногда всю жизнь. А в нейронных системах имеет место тенденция к саморазрушению этой информации. Но почему речь идет только о состоянии возбуждения? Дело в том, что невозбужденный нейрон, как правило, сам по себе возбудиться не может. (Хотя, возможно, в реальных нейронных системах и существуют нейроны, способные к самовозбуждению.  Мы на данном этапе такие нейроны рассматривать не будем). С другой стороны, если возбужденный нейрон в силу каких-то причин должен быть переведен в невозбужденное состояние, то это легко осуществляется подачей на него сигнала сброса. Систему, состоящую из одного, двух, а может быть, и большего числа последовательно соединенных нейронов, предназначенную для достаточно длительного хранения информации (рис. 5), мы будем называть элементарным нейронным блоком (или просто, нейронным блоком). Такой блок может либо хранить возбужденное состояние («1»), либо оставаться неограниченно долго невозбужденным (состояние «0»).

Хотим мы этого или нет, но от двоичной системы нам избавиться не удастся. Можно было бы допустить, что нейрон может находиться более, чем на одном уровне возбуждения, скажем, на двух. Тогда мы могли бы воспользоваться троичной системой (0,1 и 2). Допустимо ли такое предположение, в настоящее время не совсем ясно. Поэтому мы в нашей модели будем учитывать только два состояния: 0 и 1.

До этого времени мы были озабочены проблемой хранения нейронным блоком состояния «1» в течение достаточно длительного времени. Нас как бы интересовала только долговременная нейронная память. В когнитивной психологии традиционно рассматриваются два вида человеческой памяти: кратковременная и долговременная. Однако во многих исследованиях более позднего времени стало обычным считать, что память может иметь достаточно обширный спектр длительностей хранения.

Но в любом случае у нас на данном этапе нет никаких доводов, для того, чтобы считать, что долговременная и кратковременная памяти должны быть локализованы в различных областях мозга. Скорее всего, одни и те же нейронные группы оказываются способными обеспечить хранение информации в течение того или иного по длительности времени. Тем не менее, все равно должна существовать особая память, способная сохранять занесенную в нее информацию в течение неограниченного времени. Мы уже пришли к выводу, что обычная биологическая память рано или поздно теряет свое содержимое, иногда частично, а иногда полностью. Но, всё-таки, повторимся, в любом живом организме должна существовать память, которая свое содержимое не может потерять никогда. Это память инстинктов и, в первую очередь, память безусловных рефлексов. Организм, пока он живой, никогда не позволит себе забыть, что он должен как можно скорее среагировать на болевое воздействие. Вот для этого у организма должна существовать абсолютная память, информация в которую помещается с момента рождения и даже еще до рождения. И эта память тоже реализована на нейронах. Рассмотренная нами модель (рис. 4 и 5) позволяет реализовать и такую нестираемую память.

Рассмотрим один из вариантов подобной реализации в живом организме. Для этого мы должны вспомнить, что все нейронные структуры функционируют в среде огромной массы глиальных клеток, количество которых примерно в 10 раз превышает количество нейронов. И именно эта глиальная среда определяет протекание физико-химических процессов, посредством которых нейрон оказывается способным возбуждаться, сбрасываться, принимать и передавать информацию. Обычно эта среда обеспечивает для невозбужденного нейрона сохранение устойчивого потенциала -70 мВ. Но чтобы нейрон мог неограниченно долго находиться в возбужденном состоянии, он должен быть помещен другую глиальную среду (и такая среда, по-видимому, существует), в которой постоянно поддерживается потенциал +50 мВ (см. рис.4). Вот такая среда как раз и будет обеспечивать нейрону неограниченно долгое существование в возбужденном состоянии.

И если на основание аксона такого нейрона поступит импульс разрешения (см. рис.2), а это как раз и может быть болевой сигнал от рецептора, то нейрон тут же выдаст по аксону сигнал немедленного реагирования.

Заключение

Предложенная автором модель нейрона позволяет реализовать достаточно большой спектр функций реальной нейронной памяти и вообще нейронной системы: прием сигналов, их хранение, передачу информации о состоянии нейрона во внешний мир. На основе предложенной модели возможно построение сложных нейронных систем, обладающих способностью хранения в себе сложных объектов внешнего мира, их сравнение и узнавание, а также формирование внутри системы новой переработанной картины внешнего мира. На практике предложенная модель может быть реализована с использованием электронных логических элементов.

Рис. 1. Модель нейрона как система обработки сигналов
Рис. 1. Модель нейрона как система обработки сигналов

Модель нейрона как система обработки сигналов

Рис. 2. Формализованная схема нейрона
Рис. 2. Формализованная схема нейрона

Формализованная схема нейрона

Рис. 3. Импульс возбуждения нейрона
Рис. 3. Импульс возбуждения нейрона

Импульс возбуждения нейрона

Рис. 4. Состояние возбужденности нейрона.
Рис. 4. Состояние возбужденности нейрона.

Состояние возбужденности нейрона.

 Рис. 5. Сдвоенный нейрон
Рис. 5. Сдвоенный нейрон

Сдвоенный нейрон

Комментарии (7)

  • Васин Алексей 2013-07-18  [ ответить ]

    Статья размещена по просьбе автора от его имени

  • Васин Алексей 2013-07-18  [ ответить ]

    Автор рассматривает общие принципы работы нейрона

  • Васин Алексей 2013-07-18  [ ответить ]

    Статать я не содержит громоздких формул, и понятна любому, даже неподготовленному человеку

  • Васин Алексей 2013-07-18  [ ответить ]

    Понятие исскусственных нейронов было введеноеще в сороковых годах прошлого века Маккалоком и Питслм

  • Васин Алексей 2013-07-18  [ ответить ]

    Некоторое время интерес к нейронным сетям был очень большим, однако в настоящее время работ по нейронным сетям ведется гораздо меньше

  • Васин Алексей 2013-07-18  [ ответить ]

    Хорошо было бы, если автор рассказал об истории данного математического аппарата. О людях на чьи труды ин опирается.

  • Васин Алексей 2013-07-18  [ ответить ]

    а вообще вы молодец!

Комментировать могут только зарегистрированные пользователи

Подразделы
Новые статьи
Aрхив статей