Интернет магазин китайских планшетных компьютеров

Компьютеры - Нейронная сеть Кохонена - Сети векторного квантования

Задача векторного квантования с k кодовыми векторами W_j для заданной совокупности входных векторов S ставится как задача минимизации искажения при кодировании, то есть при замещении каждого вектора из S соответствующим кодовым вектором. В базовом варианте сетей Кохонена используется метод наименьших квадратов и искажение D вычисляется по формуле

где K_j состоит из тех точек , которые ближе к W_j, чем к другим W_l. Другими словами, K_j состоит из тех точек , которые кодируются кодовым вектором W_j.

Если совокупность S задана и хранится в памяти, то стандартным выбором в обучении соответствующей сети Кохонена является метод K-средних. Это метод расщепления:

• при данном выборе кодовых векторов W_j минимизацией D находим множества K_j — они состоит из тех точек , которые ближе к W_j, чем к другим W_l;
• при данном разбиении S на множества K_j минимизацией D находим оптимальные позиции кодовых векторов W_j — для оценки по методу наименьших квадратов это просто средние арифметические:

где | K_j | — число элементов в K_j.

Далее итерируем. Этот метод расщепления сходится за конечное число шагов и даёт локальный минимум искажения.

Если же, например, совокупность S заранее не задана, или по каким-либо причинам не хранится в памяти, то широко используется онлайн метод. Векторы входных сигналов x обрабатываются по одному, для каждого из них находится ближайший кодовый вектор W_j. После этого данный кодовый вектор пересчитывается по формуле

где — шаг обучения. Остальные кодовые векторы на этом шаге не изменяются.

Для обеспечения стабильности используется онлайн метод с затухающей скоростью обучения: если T — количество шагов обучения, то полагают θ = θ. Функцию θ > 0 выбирают таким образом, чтобы монотонно при и чтобы ряд расходился, например, θ = θ₀ / T.

Векторное квантование является намного более общей операцией, чем кластеризация, поскольку кластеры должны быть разделены между собой, тогда как совокупности K_j для разных кодовых векторов W_j не обязательно представляют собой раздельные кластеры. С другой стороны, при наличии разделяющихся кластеров векторное квантование может находить их и по-разному кодировать.