Линейный пороговый элемент

Начало совр. правилам активации было положено в работе Мак-Каллока и Питтса, касающейся способности нейронов действовать как логические вентили. На рис. 1 изображен линейный пороговый элемент. В его левой части представлены входные переменные, описываемые как входные уровни активации (X_i) и взвешенные связи (V_i). Каждая переменная может принимать любое вещественное значение. Однако уровни активации обычно задаются двоичными значениями (X_i = 0, 1), а веса — значениями в пределах от -1 до +1. Суммарный входной уровень в любой момент времени определяется суммой весов активных входов (Σ [ V_i X_i ]). Подобно входным уровням активации, выходной сигнал элемента тж представлен двоичными значениями (Y = 0, 1). Активация выхода определяется на основе сравнения суммарного входного уровня с пороговой величиной (Θ) по следующей формуле:

Y = 1, если Σ (V_i X_i) > Θ, в противном случае Y = 0.

Рис. 1. Линейный пороговый элемент, в котором Х_i — входные уровни активации, V_i — веса связей, Θ — пороговая величина, a Y — выходной уровень активации.

Манипулируя весами связи или пороговыми величинами, можно синтезировать общие логические функции. Напр. логический элемент И может быть сконструирован следующим образом. Предположим, что некий элемент имеет два входа (X ₁, Х ₂), каждый с весом связи 0, 50 (V ₁ = V ₂ = 0, 50), и что пороговая величина этого элемента Θ = 0, 75. Согласно правилу активации Мак-Каллока — Питтса, для того чтобы суммарный входной уровень превысил данную величину порога и тем самым инициировал выход (Y), должны быть активными оба входа (X ₁ = Х ₂ = 1). Тот же самый элемент может быть преобразован в логический элемент ИЛИ снижением порога до величины менее 0, 50 или повышением веса входов до величины более 0, 75. Наконец, для полноты логической системы, можно сконструировать оператор НЕ путем инвертирования правила активации, так что когда суммарный входной уровень превышает величину порога, элемент, который бы в противном случае инициировался (Y = 1), будет выключаться (Y = 0). Это инвертированное правило активации может быть записано как:

Y = 1, если не Σ (V _i X _i) > Θ, тогда Y = 0.