Нейронная сеть АРТ-1

Как работает АРТ-1

АРТ-1 — сеть адаптивного резонанса для двоичных векторов. Её описали Гейл Карпентер и Стивен Гроссберг в 1987 году. Сеть сама раскладывает образы по категориям, учитель и правильные ответы ей не нужны. Каждая категория хранится в нейроне слоя распознавания как два вектора весов: B — восходящие веса, по ним нейрон откликается на образ, и T — нисходящие, двоичный прототип категории.

Образы подаются по одному, и каждый проходит три шага.

1. Распознавание. Каждый нейрон считает свёртку S = Σ b_i·x_i. Побеждает нейрон с наибольшим S.
2. Сравнение. Победитель возвращает свой прототип T, а слой сравнения оставляет только общие единицы: c_i = x_i·t_i. Если сходство X и C не ниже порога ρ_п, наступает резонанс. Если ниже — сброс: победитель отключается до конца этого образа.
3. Обучение. При резонансе победитель переобучается: T = C, его прототип сужается до общих единиц. Если подходящего нейрона не нашлось, образ запоминается в новом нейроне.

Новые категории появляются через нераспределённый нейрон: все его t_i равны 1, а все b_i одинаково малы. Если он откликнулся сильнее обученных нейронов, образ становится новой категорией. Так сеть запоминает новое, не разрушая старое.

Формулы

• Нераспределённый нейрон: t_{н i} = 1, b_{н i} = b_н < L / (L − 1 + m), где m — размерность образа.
• Распознавание: S_k = Σ b_ki·x_i, у нераспределённого нейрона S_н = b_н·Σx_i.
• Сравнение: c_i = x_i·t_ki.
• Сходство: ρ = k/m, где k — число позиций, в которых X и C совпадают, или ρ = |C|/|X| — число единиц в C, делённое на число единиц в X.
• Переобучение победителя: t_ki = c_i, b_ki = L·c_i / (L − 1 + Σc).
• Новый нейрон: t_i = x_i, b_i = L·x_i / (L − 1 + Σx).

L — константа больше 1, обычно 2 или 3. Чем выше порог ρ_п, тем строже сравнение и тем больше получается категорий.

Что можно настроить

• Мера сходства. По умолчанию ρ = k/m — доля совпавших компонент, нули тоже считаются. В классической АРТ-1 ρ = |C|/|X|. На одних и тех же образах меры могут дать разное число категорий.
• Что делать после сброса. По умолчанию победитель отключается, и побеждает следующий по величине S; если это нераспределённый нейрон, создаётся новая категория. Второй вариант — создать новый нейрон сразу после первого сброса: так алгоритм упрощают в некоторых курсах.
• b_н. Если поле пустое, берётся наибольшая дробь 1/n меньше L/(L − 1 + m). При m = 10 и L = 2 граница равна 2/11, значит b_н = 1/6.
• Ничья. При равных S побеждает нейрон с меньшим номером, а обученный нейрон опережает нераспределённый. В решении такие места отмечены.

Дроби считаются точно: 2/7 остаётся 2/7, поэтому сравнение с порогом и выбор победителя не зависят от округления.

Пример

Пять образов 2×5, кодировка по строкам слева направо: X1 = 11011 10101, X2 = 00100 11111, X3 = 11111 10101, X4 = 00100 01111, X5 = 10100 11111. Порог ρ_п = 0,85, L = 2, b_н = 1/6.

X1 и X2 становятся категориями 1 и 2. X3 откликается сильнее всего на нейрон 1 (S₁ = 7/4), сходство 9/10 = 0,9 — резонанс, прототип не меняется. X4 попадает в категорию 2 с ρ = 1, и её прототип сужается до X4. X5 сначала выбирает нейрон 2 (S₂ = 5/3), но сходство 0,8 ниже порога — сброс. Следующим идёт нераспределённый нейрон (S_н = 7/6), и X5 становится категорией 3. Этот пример загружает кнопка «Пример».