Lyapunov-90

Барцева О.Д.
Красноярская Государственная Медицинская Академия

В настоящее время, несмотря на признание общей тенденции к возрастанию сложности в процессе биологической эволюции, отношение к этому положению можно назвать осторожным. (Edmons, 2000; Adami, 2000). Остается открытым вопрос: "Возрастает ли сложность в процессе эволюции, и если да, то сложность чего и какая именно сложность?"

При рассмотрении вопросов, связанных с эволюцией, вряд ли можно надеяться получить ответы, проводя эксперименты с биологическими объектами. Традиционный способ работы с системами различной природы заключается в построении модели исследуемого объекта. Моделирование всегда предполагает ту или иную степень упрощения изучаемого явления. Выбор существенных переменных производится на основе принятой исследователем гипотезы, построенной в рамках общебиологических представлений. Однако зачастую высокая сложность биологических систем не допускает прямого использования математического аппарата и способов формализации, разработанных в физике.

Одна из возможностей работы со сложными системами заключается в проведении вычислительных экспериментов с абстрактными объектами, имитирующими (в том или ином, строго определенном смысле) те свойства систем, которые подлежат исследованию. При таком подходе немаловажным является выбор такого модельного объекта, который с одной стороны обладает достаточно богатым поведением, чтобы отражать требуемые свойства живого, а с другой стороны, является достаточно простым по структуре (прозрачным).

Возникает вопрос о выборе подходящего абстрактного объекта. Назовем его абстрактным модельным объектом (АМО). В качестве АМО для изучения свойств сложности эволюционирующих систем можно использовать полно связные нейронные сети, работающие в дискретном времени в режиме постоянной активности.. Этот выбор опирается на аналогию процессов формирования (обучения) нейросетей и процессов эволюционного развития реальных биологических систем, которая заключается в следующем: 1) эволюция организмов и формирование нейросетей в процессе обучения происходят в соответствии с принципом оптимальности, который для организмов задается естественным отбором (Forst et al., 1995; Schuster, 2001), а для нейросетей алгоритмом обучения; 2) эволюция живых систем и формирование нейросетей данного типа происходит через малые изменения (мутации) элементов структуры (Bartsev, Okhonin, 1991; Niklas, 1994, Huynen et al., 1996; Schuster, 2001); 3) биологические структуры подвергаются отбору, находясь в потоке событий, имеющем, как регулярную, так и стохастическую компоненту, что так же отражено в процедуре формирования нейронной сети. Под эволюционирующей системой будем понимать систему, которая изменяет свою структуру для выполнения определенной функции

Использование нейросетей в качестве АМО обеспечивает большой набор вариантов для сравнения и поиска общих свойств. Обучение различных ``родительских'' нейросетей, имеющих некоррелируюшие матрицы весовых коэффициентов, выполнению определенных функций при различных условиях обучения и из различных начальных состояний позволяет имитировать множественность эволюционных исходов. Использование различных переходных характеристик позволяет оценить, влияют ли на результаты исследования индивидуальные свойства объекта.

Функционирование нейросети описывается выражениями:

$\begin{displaymath}\alpha _{i}^{n + 1} = f(\rho _{i}^{n} ,a) \quad , \quad \rh... ...sum\limits_{j} {x_{ij} \alpha _{j}^{n} + A_{i}^{n}}} \eqno(1)\end{displaymath}$

где x $_{{\rm i}{\rm j}}$ - матрица весовых коэффициентов, $A_{i}^{n}$ - входные сигналы, $\alpha _{i}^{n}$ - выходной сигнал i-го нейрона в n-ый момент времени, a - константа, определяющая крутизну переходной характеристики нейрона.

Все формальные нейроны имеют одинаковые характеристики и различаются только ролями при реализации данной функции. Два нейрона первый и второй являются входными, только для них входные сигналы $A_{i}^{n}$ не равны нулю. Два других нейрона третий и четвертый являются выходными, с них снимается сигнал, т.е. $\alpha _{}^{n}$ этих нейронов считаются выходом сети в целом. Остальные нейроны являются внутренними и играют роль ассоциативных элементов.

В работе использовались два вида переходной характеристики f( $\rho _{i}^{n}$ ,a):

Качество функционирования нейросетей оценивается по формуле:

$\begin{displaymath} H(\alpha _{out}^{n} ,\delta _{out}^{n} ) = {\frac{{1}}{{2... ...} {(}} \alpha _{out}^{n} - \delta _{out}^{n} )^{2},\eqno(4) \end{displaymath}$

где $\alpha _{out}^{n}$ - сигнал на выходных нейронах в момент времени n, $\delta _{out}^{n}$ - требуемый от сети в момент времени n сигнал.

Естественен вопрос о применимости и статусе результатов, получаемых на подобных абстрактных экспериментальных объектах. Применимость результатов зависит от степени общности задаваемых модельному объекту вопросов. Допустим, предлагается достаточно общее описание функционирующей системы, под которое попадают абстрактные модельные объекты, известные живые системы и неизвестные еще формы жизни, отрицать существование которых, у нас нет никаких научных оснований. Тогда, если при исследовании АМО выявляется какое-то общее свойство и подобное свойство встречается у реальных биологических систем, то предположение об общности этого свойства для всех биологических систем будет иметь статус гипотезы. Если же, некоторое свойство отсутствует у какого-то из рассмотренных объектов, то констатация этого отсутствия уже имеет статус утверждения, истинного в рамках принятого уровня общности и допущения об универсальности принятого описания систем данного класса.

В работе АМО обучались выполнению простейших функций, заключающихся в реагировании только на определенный сигнал из непрерывного квазислучайного входного потока различных сигналов. Условно функции обозначались А3, А4, С3, С4.

На рис.1 и 2 оказано качество функционирования обученных АМО с различным числом формальных нейронов.

**Рис.1.:** Зависимость качества функционирования от числа нейронов для АМО с сигмоидальной переходной характеристики.

**Рис.2.:** Зависимость качества функционирования от числа нейронов для АМО с синусоидальной переходной характеристикой.

Как следует из этих рисунков минимальный объем АМО, который необходим для качественного обучения данным функциям, равен 6. Пяти-нейронные АМО тоже могут обучиться выполнению данных функций, но со значительно худшим качеством. Это свидетельствует о том, что сложность структур, необходимая для обучения выполнению данных функций, подошла к своему пределу. АМО объема меньше, чем 5 не способны к обучению данным функциям. Как следует из рисунков для АМО с сигмоидальной переходной характеристикой наиболее сложной для обучения функцией является С4, а наиболее простой А3, а для АМО с синусоидальной переходной характеристикой - наиболее сложной - А4, наименее сложной - С3. Это говорит о том, что нет общей иерархии сложности функций. Сложность реализации функции для той или иной системы зависит от свойств входящих в нее элементов.

Обычно оценки сложности структуры основаны на учете общего количества элементов системы и возможного состояния связей. Поскольку структура нейросетевого АМО задается множеством весовых коэффициентов в виде чисел с плавающей запятой, то для оценки сложности использовалось понятие $\varepsilon$ энтропии по А.Н. Колмогорову (Колмогоров, 1987). Согласно А.Н. Колмогорову $\varepsilon \varepsilon$ -энтропия какого-либо класса функций - это, грубо говоря, количество информации, позволяющее выделить функцию этого класса с точностью $\varepsilon \varepsilon$ .

Для АМО $\varepsilon \varepsilon$ -энтропию вычисляли по формуле:

где k - максимальное значение синапса, n - количество синапсов, $\varepsilon$ - минимальное приращение синапсов, которое разрушает выполнение данной функции.

Такой выбор $\varepsilon$ определяется тем, что нас интересуют только функционирующие структуры. Для каждого синапса АМО определялось минимальное приращение, приводящее к 50% ошибкам при функционировании. За $\varepsilon _{{\rm M}{\rm I}{\rm N}}$ , характеризующее АМО в целом, выбиралось минимальное по модулю приращение из матрицы. В таблицах 1 и 2 приведены значения $\varepsilon _{{\rm м}{\rm и}{\rm н}.}$ для АМО с сигмоидальными и синусоидальными переходными характеристиками соответственно.

Таблица 1. Значения приращений синапсов АМО, выполняющих функцию А3 и С4, алгоритм АДФ, сигмоидальная переходная характеристика.

Число неронов	6		7		8		10		15		20
Функции	_А3	С4	А3	С4	А3	С4	А3	С4	А3	С4	А3	С4
Минимальные приращения	0,022 0,003	0,02 0,001	0,021 0,004	0,017 0,004	0,022 0,003	0,020 0,001	0,021 0,003	0,020 0,004	0,022 0,003	0,018 0,011	0,022 0,005	0,028 0,006

Таблица 2. Значения приращений синапсов АМО, выполняющих функцию А4 и С3, алгоритм АДФ, синусоидальная передаточная характеристика.

Число неронов	6		7		8		10		15		20
Функции	А4	С3	А4	C3	А4	С3	А4	С3	А4	С3	А4	С3
Минимальные приращения	0,0043 0,0005	0,0032 0,0017	0,0034 0,0008	0,0040 0,0006	0,0036 0,009	0,0032 0,0012	0,0046 0,0008	0,00420 0,0005	0,0030 0,0020	0,0040 0,0006	0,0042 0,0020	0,0036 0,0021

Сравнения, проведенные при помощи непараметрических критериев: X - критерия Ван-дер-Вардена и Т - критерия Уайта показали, что для АМО, выполняющих одну и ту же функцию, значение $\varepsilon _{{\rm м}{\rm и}{\rm н}}$ не зависит от количества нейронов, входящих в АМО, и соответственно, сложность возрастает с увеличением числа нейронов. В таблице 3 приведены значения $\varepsilon$ -энтропии для АМО разного объема и разных переходных характеристик.

Количество нейронов в АМО	Сигмоидальная прердаточная характеристика		Синусоидальная прердаточная характеристика
	А3	С4	А4	С3
6	163,6 $\pm$ 8,8	170,3 $\pm$ 12,7	247,0 $\pm$ 9,2	262,4 $\pm$ 10,4
7	224,1 $\pm$ 15,6	239,6 $\pm$ 16,2	352,8 $\pm$ 13,0	341,3 $\pm$ 16,4
8	288,4 $\pm$ 15,2	297,2 $\pm$ 25,8	455,5 $\pm$ 30,3	466,4 $\pm$ 34,9
10	457,3 $\pm$ 24,0	464,4 $\pm$ 32,2	676,4 $\pm$ 25,5	696,6 $\pm$ 33,5
15	1013,9 $\pm$ 53,6	1079,1 $\pm$ 101,8	1660,7 $\pm$ 243,3	1657,3 $\pm$ 301,5
20	1082,5 $\pm$ 158,8	1663,4 $\pm$ 182,1	2758,2 $\pm$ 413,1	2847,1 $\pm$ 453,1

Нет достоверного различия сложности для АМО одинакового объема с одинаковыми переходными характеристиками, выполняющих разные функции: А3 и С4 для сигмоидальной переходной характеристики и А4 и С3 для синусоидальной переходной характеристики. Однако существует достоверное различие в сложности структур АМО, одинакового объема, но имеющих разные переходные характеристики (сигмоидальную и синусоидальную).

Оценка сложности, полученная путем вычисления $\varepsilon$ -энтропии для АМО, обученных выполнению определенной функции, может быть названа потенциальной сложностью (PC). С другой стороны логично предположить, что системы, построенные на элементном базисе одного типа (имеющие одну и ту же переходную характеристику) и выполняющие одну и ту же функцию, независимо от количества входящих в них элементов, имеют одну и ту же сложность, которую можно назвать актуальной. Актуальная сложность - это сложность функции, реализованная структурой, имеющий данный элементный базис. Для того чтобы определить актуальную сложность АМО, проводилась процедура контрастирования нейронной сети (Горбань, 1990), заключающаяся в том, что уже обученная выполнению определенной функции нейросеть подвергается итеративной процедуре исключения наименее значимых синапсов и доучивания получившейся нейросети до исходного качества функционирования. В процессе контрастирования происходит уменьшение потенциальной сложности. Полное замедление этого процесса означает, что достигнута ``исторически обусловленная'' минимальная сложность. $\varepsilon$ -энтропия АМО с минимальным количеством синапсов по всей генеральной совокупности контрастированных АМО соответствует по определению актуальной сложности.

В таблице 4 приведены значения оценки актуальной сложности.

Таблица 4. Оценки сложности и минимальное количество синапсов АМО.

Описание АМО	Средняя сложность контрастированных АМО (минимальное число синапсов)	Средняя сложность неконтрастированных АМО (число синапсов)
6А3 (сигмоидальная)	59,7 $\pm$ 4,5 (11)	172,2 $\pm$ 17,6 (36)
6А3 (синусоидальная)	100,3 $\pm$ 11,4 (13)	239,6 $\pm$ 7,5 (36)
6С4 (сигмоидальная)	76,7 $\pm$ 6,5 (13)	193,7 $\pm$ 16,4(36)
10А3 (сигмоидальная)	69,9 $\pm$ 14,4 (11)	466,1 $\pm$ 9,6 (100)

Анализ показывает, что с надежности 0.95 нет достоверных различий между сложностью котрастированных АМО 6А3 (сигмоидальная) и 10А3 (сигмоидальная). В то же время, сложность контрастированных АМО 6А3 (синусоидальной) и 6С4 (сигмоидальная) достоверно отличается от сложности 6А3 (сигмоидальная). В свою очередь существует достоверное различие сложности контрастированных АМО от сложности их неконтрастированных прототипов. Поскольку сложность, определяемую как $\varepsilon$ - энтропию неконтрастированных АМО мы рассматриваем как потенциальную сложность, а сложность контрастированных АМО, определенную подобным образом как актуальную сложность, то это означает, что, знание потенциальной сложности естественной системы, не дает знания ее актуальной сложности. Выполняется только следующее условие PC $\ge$ AkC.

Разность между потенциальной и актуальной сложностями характеризует избыточность. Многократные попытки провести обучение АМО с числом синапсов равным числу синапсов контрастированных АМО, окончились неудачей. Это говорит о том, что данное количество синапсов является достаточным для функционирования, но не достаточным для процесса обучения. Это означает, что в контрастированных АМО актуальная сложность равна потенциальной и данная структура не обладает избыточностью необходимой для процесса обучения. Отсюда следует: для того, чтобы система могла эволюционировать, необходима избыточность потенциальной сложности структуры над ее актуальной сложностью. Система может эволюционировать, если выполняется условие РС>AkC.

Процесс переучивания АМО другой функции можно рассматривать как эволюционный процесс, требующий приспособления к новой экологической нише. Логично предположить, что чем выше избыточность, тем быстрее идет процесс переучивания. Это подтвердили вычислительные эксперименты, результаты которых представлены на рис.3 и 4.

Для оценки зависимости скорости переучивания АМО нейросети, обученные выполнению одной функции, обучались выполнению другой функции. Каждая нейросеть переобучалась выполнению определенной функции по три раза. Условно переобучение подразделялось на быстрое, если количество тактов было меньше 500, медленное, если количество тактов от 500 до 3000, и, если нейросеть не переучивалась за количество тактов равное 3000, то считалось, что она не переобучилась.

**Рис.3.:** Граф скоростей переучивания 6 нейронных АМО (сигмоидальная передходная характеристика) с одних функций на другие. (жирные стрелки соответствуют количеству тактов обучения <500; тонкие стрелки соответствуют количеству тактов в интервале 500-3000. Общее количество переучиваемых АМО равно 20, поэтому дефицит числа АМО в одном направлении соответствует непереучившимся нейросетям).

**Рис.4.:** Граф скоростей переучивания 10 нейронных АМО (сгмоидальная переходная характеристика) с одних функций на другие. (жирные стрелки соответствуют количеству тактов обучения <500; тонкие стрелки соответствуют количеству тактов в интервале 500-3000. Общее количество переучиваемых МО равно 20, поэтому дефицит числа ИМО в одном направлении соответствует непереучившимся нейросетям).

Очевидно, что в процессе эволюции изменяется актуальная сложность. Однако потенциальная сложность, которая только и доступна непосредственной оценке, может не претерпевать никаких изменений, то есть, изменяется только разность между PC и AkC. Это соответствует мнению, что приспособление к новой нише возможно и без существенного увеличения генома (Edmons, 2000).

Но возможен еще один процесс. Если условия стабильны, а конкуренция сильна, то поддержание излишней потенциальной сложности может стать ощутимо невыгодным для выживания. Возможен процесс аналогичный контрастированию АМО, когда происходит уменьшение потенциальной сложности, сопровождающееся уменьшением эволюционного потенциала, что при изменении внешних условий ведет к вымиранию вида.

Литература

© 2001, Сибирское отделение Российской академии наук, Новосибирск
© 2001, Объединенный институт информатики СО РАН, Новосибирск
© 2001, Институт вычислительных технологий СО РАН, Новосибирск
© 2001, Институт систем информатики СО РАН, Новосибирск
© 2001, Институт математики СО РАН, Новосибирск
© 2001, Институт цитологии и генетики СО РАН, Новосибирск
© 2001, Институт вычислительной математики и математической геофизики СО РАН, Новосибирск
© 2001, Новосибирский государственный университет
Дата последней модификации Sunday, 02-Sep-2001 12:58:12 NOVST

Исследование изменений сложности эволюционирующих систем на примере абстрактных модельных объектов

Аннотация:

Литература