close

Вход

Забыли?

вход по аккаунту

...Ð¿Ð¾Ð´Ñ Ð¾Ð´ к Ð¸Ð´ÐµÐ½Ñ Ð¸Ñ Ð¸ÐºÐ°Ñ Ð¸Ð¸ Ð¾Ñ Ð¸Ð±Ð¾Ðº Ð¸Ñ ÐºÑ Ñ Ñ Ñ Ð²ÐµÐ½Ð½Ñ Ñ Ð½ÐµÐ¹Ñ Ð¾Ð½Ð½Ñ Ñ Ñ ÐµÑ ÐµÐ¹

код для вставкиСкачать
МЕТАСЕТЕВОЙ ПОДХОД К ИДЕНТИФИКАЦИИ ОШИБОК
ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
Евтушенко Г.И.
лаборант кафедры КБ-5, МГУПИ
Россия, г. Москва
Отраднов К.К.
старший преподаватель кафедры КБ-5, МГУПИ
Россия, г. Москва
В статье предлагается метасетевой подход к проверке гипотезы о том, что
наибольший показатель дисперсии оппозитных сетей соответствует сети не попавшей в
локальный минимум. Предлагаемый подход может быть использован для автоматизации
обучения искусственных нейронных сетей и определения доверительных интервалов.
Ключевые слова:
метасетевой подход.
искусственные нейронные сети, искусственный
интеллект,
Обучение искусственной нейронной сети (ИНС) часто связано с риском
ее паралича. Не смотря на наличие различных эвристик, используемых для
предохранения от паралича [4] процесс подбора параметров обучения, ровно,
как и структуры ИНС до сих пор носит индивидуальный для задачи характер.
Это замечание справедливо не только для многослойных персептронов, но и
для таких революционных технологий как глубинные нейронные сети
(основанные на ограниченных машинах Больцмана (RBM) или автоэнкодерах).
По части последних отмечается, в частности, чисто эмпирический выбор
ширины горлышка автоассоциативных нейронных сетей. Так как поверхность
ошибки сложной ИНС сильно изрезана, сеть может попасть в локальный
минимум, что еще больше затрудняет автоматизацию обучения ИНС. На пути
автоматизации обучения ИНС нами уже была предложена работа [2].
Продолжая это направление, рассмотрим метасетевой подход к идентификации
ошибок ИНС.
В этой работе мы предлагаем подход, согласно которому строится
нейронная сеть, входами которой являются выходы всех нейронов исследуемой
сети. На рисунке 1 представлена метасеть с двумя скрытыми слоями.
Теоретические и прикладные аспекты современной науки: сборник научных трудов по материалам VII
Международной научно-практической конференции - Белгород: ИП Петрова М.Г., 2015. – Часть III. –
152 с. ISBN978-5-9906355-1-7(ЧастьIII)
Рисунок 1
В
задачах
классификации,
метасеть
можно
использовать
как
дополнительный критерий достоверности ответа [2].
Второй вариант построения подобных сетей – реализовать такое же
количество выходов как у базовой сети и обучать сеть подобно оппозитной.
Таким образом получается оппозитная сеть [2] с той лишь разницей, что к ней
добавлены входы соответствующие состоянию нейронов скрытого и выходного
слоя базовой нейронной сети. В результате моделирования наилучший
результат дал как раз такой подход. Результат использования мета сети
представлен на рисунке 2. Обучение ИНС производилось на обучающем наборе
Iris [1]. Базовая сеть имела 4 входных нейрона, 1 скрытый слой из 8 нейронов и
3 выхода. Сеть специально обучали небольшое количество эпох (порядка 100).
Теоретические и прикладные аспекты современной науки: сборник научных трудов по материалам VII
Международной научно-практической конференции - Белгород: ИП Петрова М.Г., 2015. – Часть III. –
152 с. ISBN978-5-9906355-1-7(ЧастьIII)
Далее на ответах обученной базовой сети и истории состояния ее нейронов
строилась обучающая выборка для метасети. При этом, входами обучающей
выборки являлись состояния нейронов базовой сети а выходами – модуль
разности желаемого ответа базовой сети и получаемого ответа. То есть метасеть
училась реагировать на ошибки базовой сети.
1,2
1
0,8
0,6
Err
MetaOut
0,4
0,2
0
Номер пары обучающей выборки
Рисунок 2
Представленные графики дают основание полагать, что с помощью
метасети можно строить аналог доверительных интервалов. MetaOut на рисунке
1 представляет собой вывод метасети. Видно, что чем ближе пример выборки к
тому, на котором базовая сеть ошибается – тем выше метасеть оценивает
ошибку. Err на графике представляет собой модуль разницы между целевым
выходом и тем что дает базовая сеть. Стоит отметить, что данные
предоставлялись сети последовательно. Таким образом график 2 можно разбить
на 3 области (по подклассам набора Iris). Можно заметить, что сеть хуже всего
распознает второй класс. Исходные коды будут доступны по следующей
ссылке [3].
Теоретические и прикладные аспекты современной науки: сборник научных трудов по материалам VII
Международной научно-практической конференции - Белгород: ИП Петрова М.Г., 2015. – Часть III. –
152 с. ISBN978-5-9906355-1-7(ЧастьIII)
Список литературы
1. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика. – 1992 г.
2. Отраднов К.К., Евтушенко Г.И. Оппозитные искусственные нейронные
сети / Сборник научных трудов по материалам III Международной
научно-практической
конференции
"Теоретические
и
прикладные
аспекты современной науки". – c. 141-144. – 2014.
3. Архив Iris: https://archive.ics.uci.edu/ml/datasets/Iris
4. Сайт проекта MetaNet: https://sourceforge.net/projects/meta-net-project/
Теоретические и прикладные аспекты современной науки: сборник научных трудов по материалам VII
Международной научно-практической конференции - Белгород: ИП Петрова М.Г., 2015. – Часть III. –
152 с. ISBN978-5-9906355-1-7(ЧастьIII)
1/--страниц
Пожаловаться на содержимое документа