Невронна мрежа - Редакционна история

Detelina Staneva в 10:12, 28 март 2014

2014-03-28T10:12:04Z

Detelina Staneva: /* Вижте още */

2014-03-28T10:10:26Z

Вижте още

Detelina Staneva: /* Вижте още */

2014-03-28T10:10:15Z

Вижте още

Detelina Staneva: /* Основни типове модели на невронни мрежи */

2014-03-28T10:09:55Z

Основни типове модели на невронни мрежи

Detelina Staneva: /* Източници */

2012-12-16T12:41:18Z

Източници

Detelina Staneva: /* Основни типове модели на невронни мрежи */

2012-12-16T12:40:54Z

Основни типове модели на невронни мрежи

Detelina Staneva в 12:40, 16 декември 2012

2012-12-16T12:40:26Z

Detelina Staneva: /* Вижте още */

2012-06-22T08:49:38Z

Вижте още

Detelina Staneva: Нова страница: '''Невронните мрежи''' (НМ) (на английски: Neural Networks) са '''резултат от взаимодей...

2012-06-22T08:49:22Z

Нова страница: '''Невронните мрежи''' (НМ) (на английски: Neural Networks) са '''резултат от взаимодей...

Нова страница

'''Невронните мрежи''' (НМ) (на [[английски език|английски]]: Neural Networks) са '''резултат от взаимодействието на [[нервни клетки]] или на моделиращите тяхното поведение компоненти'''. Изкуствените невронни мрежи се изграждат по аналогия на естествените невронни мрежи, базирани на [[микропроцесори]] (невронни процесори). Невронните мрежи се използват успешно в различни области: техниката, бизнеса, геологията, физиката, медицината и др. С тяхна помощ се решават задачи, свързани с [[прогнозиране]]то, [[моделиране]]то и управлението. Те са привлекателни, защото се основават на биологичния модел на нервните системи. Невронните мрежи имат съществена роля за създаването на [[изкуствен интелект]] въз основа на клас алгоритми, чрез които се решават задачи по подобие на човешкия мозък. Невронните мрежи позволяват автоматично конфигуриране и самообучение чрез постепенно изменение на стойностите на коефициентите за тежест на компонентите на мрежата с цел намаляване на грешката в изходящия от мрежата сигнал. Сигналът за грешка се подава чрез обратна връзка на входа на системата. Чрез невронните мрежи се решават разнообразни проблеми като се използва интуиция. През 1958 г. Франк Розенблат създава първата изкуствена невронна мрежа, която моделира обработката на визуална [[информация]] в човешкия мозък. Използването на невронни мрежи се отличава с голяма бързина на процесите, тъй като обработката на информацията се осъществява с помощта на множество компоненти, които работят паралелно.

==Същност и характеристики на невронната мрежа==

Невронната мрежа е математически модел на система за обработка на [[информация]], организирана по подобие на анатомичното устройство на човешкия мозък. Математическият модел на биологичната невронна мрежа е изграден от множество от взаимносвързани прости изчислителни елементи ([[неврон]]и).
Могат да бъдат посочени следните основни етапи в развитието на невронните мрежи:
*1958 г.: създадена е първата изкуствена невронна мрежа, наречена Perceptron;
*60-те година на ХХ-ти век: създаване на невронни мрежи, чрез които се изучават познавателните способности на човека;
*80-те година на ХХ-ти век: широко използване на изкуствени невронни мрежи за решаването на разнообразни задачи;
*1994 г.: начало на масовото производство на невронни компютри. За първи път в Европа тези компютри се произвеждат от Siemens-Nixdorf.

Невронът представлява нервна клетка, на която се базира мисловната дейност на човека. Невронът се отличава със следните свойства: уникалност и взаимообвързаност – всеки неврон е свързан със съседите си чрез верига от връзки, които са неповторими в рамките на общата [[система]].
Могат да бъдат посочени следните предположения за изчисленията, извършвани в мозъка:
*Невроните интегрират информация.
*Невроните предават информация за нивото на техния вход.
*Влиянието на един неврон върху друг зависи от силата на връзката между тях.
*Научаването става с промяна на силата на връзките между невроните.
*Обработката на информацията става на етапи.

Всеки неврон приема "сигнали" от предхождащите го в мрежата други неврони под формата на числа, извършва някакви аритметични действия, определени от неговата функция на активация (степен на възбуда) и резултатът се предава по изходящите връзки (синапсите) към следващите неврони. Всяка връзка има тегло, което умножавайки се със сигнала, определя неговата значимост (сила). Теглата на връзките са аналогични на силата на синаптичните импулси, предавани между биологичните неврони. Отрицателна стойност на теглото съответства на подтискащ импулс, а положителна – на възбуждащ.
Невронните мрежи се състоят от един, два или повече отделни слоя, които могат да бъдат организирани в различна топология. Математически е доказано, че невронна мрежа с повече от един слой с достатъчно на брой неврони, може да моделира поведението на всяка съществуваща функция. Теглата на връзките между невроните определят функционалността и поведението на невронната мрежа. Съществено предимство на невронните архитектури е възможността те да бъдат обучавани, а в последствие и да се [[самообучават]]. Обучението на една невронна мрежа се постига чрез промяна на теглата на връзките между невроните и се осъществява чрез правила, които определят как да се променят тези тегла. Най-разпространеното сред тях е методът на обратното разпространение на сигнал за грешка (back-propogation), където за всеки изходен неврон се изчислява разликата от желаното му поведение, като се формира сигнал за грешка, който се движи назад към входния слой и по пътя си променя теглата на връзките така, че при следващата активация на мрежата грешката да бъде по-малка от регистрираната.
Двете най-съществени характеристики на невронните мрежи са: способност да се “учат” и способност да генерализират. Невронните мрежи изискват данните да се поддават на обучение. Обучението на [[системата]] се реализира чрез промяна в стойностите на тегловните коефициенти. Коефициентите се променят в съответствие с избрания алгоритъм на обучение. Веднъж след като мрежата е “обучена”, тя трябва да се “захрани” с нови данни, които не са били използвани по време на нейното обучение. Това е своеобразен начин на тестване на невронната мрежа, за да се установи дали е в състояние да прогнозира неизвестните изходи или по-точно, способна ли е да генерализира. “Критичен” момент при разработването на една невронна мрежа е определянето броя на скритите слоеве и съдържащите се в тях неврони. В научната литература не съществуват твърдо установени правила и идеална технология за дефиниране оптималния им брой. Най-често прилаганият подход в това направление е на база експерименти (на принципа на опита и грешката).

==Основни типове модели на невронни мрежи==

*Според типологията на мрежата
Най-често срещани са невронните мрежи, съставени от няколко обособени (последователни) слоя от елементи, при които елементите от най-ниския слой играят ролята на входни устройства на мрежата (те възприемат сигнали от външната среда), а елементите от най-горния слой играят ролята на изходни устройства на мрежата (те извеждат резултата от работата на мрежата, който се получава на базата на входните сигнали и теглата на връзките между елементите). Обикновено при тези НМ връзките са еднопосочни и свързват елементите от един слой с елементи на слоя, разположен непосредствено над него. В зависимост от броя на слоевете в мрежата се говори за двуслойни невронни мрежи (при тях има само един входен и един изходен слой и липсват т. нар. вътрешни или скрити слоеве) и многослойни невронни мрежи (при тях има поне един скрит слой).

*Според параметрите на елементите
Тук от значение са посоката и теглата на връзките, видът на активационната функция и др.
Както беше посочено, при повечето НМ връзките са еднопосочни и са ориентирани от елементите от даден слой към елементите от слоя, разположен непосредствено над него (това са т. нар. прави мрежи). Съществуват обаче и т. нар. рекурентни мрежи (такива са например мрежите на Хопфийлд), при които всеки елемент е свързан с двупосочни връзки с всички свои съседи. При тези мрежи понятието слой до голяма степен губи своя смисъл.
По отношение на теглата на връзките се говори за т. нар. възбуждащи връзки (връзки с положителни тегла) и подтискащи връзки (връзки с отрицателни тегла).
Най-често срещаните типове активационни функции са стъпаловидна функция (при персептрона) и сигмоид (при НМ с обратно разпространение на грешката).
Фиг. 1 Архитектура на невронните мрежи с право разпространение

[[image: Neural_Networks-Image1.png|right]]

*Според типа на входните и изходните стойности
Входните стойности на мрежата (т.е. сигналите, които получават елементите от входния слой) могат да бъдат двоични (0 или 1) или аналогови (реални числа). Същото се отнася и за изходните стойности на мрежата (стойностите/сигналите, които елементите от изходния слой извеждат към “околната среда”). В случай, че изходните стойности на мрежата трябва да бъдат двоични, се налагат допълнителни изисквания към вида на активационната функция.

*Според обучаващото правило
Най-често невронните мрежи се използват за решаване на задачи, свързани с разпознаване (класификация). При това създаването на невронна мрежа, предназначена за решаване на дадена конкретна задача, обикновено се извършва по следната обща схема. Най-напред се определя топологията на мрежата, т.е. броят на слоевете и броят на елементите във всеки слой. Броят на елементите от входния слой се определя от размерността на входните данни, а броят на елементите от изходния слой – от броя на разпознаваните класове. Броят и размерите на скритите слоеве се определят итеративно в зависимост от предметната област и конкретната задача. След определянето на топологията на мрежата се преминава към нейното обучаване, т.е. към определянето на подходящи стойности на теглата на връзките между елементите. За целта най-често отначало се задават случайни стойности на търсените тегла, след което те итеративно се променят (уточняват) по такъв начин, че на следващата стъпка новият изход на мрежата да бъде по-добър от стария. Правилото, по което се променят теглата на връзките, се нарича обучаващо правило (обучаващ алгоритъм) на мрежата.
Примери за по-известни обучаващи правила: правило за обучение на персептрона (алгоритъм за обучение с фиксирано нарастване), алгоритъм за обучение с обратно разпространение на грешката, правило на състезателното обучение.

*Според метода на обучение
Съществуват два основни типа обучение на невронните мрежи – обучение с учител и обучение без учител. При обучението с учител се следи разликата между получения и очаквания изход на мрежата (учителят задава очаквания изход на мрежата) и итеративно се извършват корекции на теглата на връзките съгласно избраното обучаващо правило. При обучението без учител липсват данни за правилния изход на мрежата. Теглата на връзките се настройват така, че представянето на данните в мрежата да е най-добро съгласно използвания (зададения) критерий за качеството на представянето.

==Приложение на невронните мрежи==

Невронните мрежи могат да бъдат използвани в различни направления:
*Изкуствените невронни мрежи се използват успешно за апроксимиране, тъй като чрез тях се „изглаждат” сложни нелинейни зависимости, дори когато като входяща променлива се използва само времевият фактор. Ценното на невронните мрежи е в изграждането на предиктивни модели, като в качеството на независими променливи могат да участват различни метрични и неметрични интервениращи променливи (разходи за промоция и реклама, цени и др.).
*Използване на рекурентни невронни мрежи (Recurrent neural networks) за отчитане влиянието на рекламната дейност на фирмите, тъй като благодарение на своята архитектура този вид невронни мрежи позволява да се моделират ефекти, които се проявяват с известен лаг във времето.
*Управление на [[роботизирани комплекси]].
*[[Автоматизация]] на проектирането.
*Управление на [[риска]] при предоставяне на кредити.
*Предсказване ситуации на фондовия пазар и т.н.
*Невронни мрежи в областта на телекомуникациите се използват за обработка на сигнали, [[управление]] на трафика и маршрутизация, динамично назначаване на канали и др. Класическото приложение на невронните мрежи за обработка на реч намира широко отражение и в телекомуникациите. Речта като естествена [[комуникация]] човек-машина е от особено значение за диалога в автономни системи като например: автоматична служба информация; приемане на поръчки по телефона; разпознаване на реч и извеждане на гласови съобщения. *Особено актуално става приложението на тези възможности в съвременните [[Интелигентни мрежи]], където много услуги изискват взаимодействие с крайния потребител (въвеждане на допълнителни цифри при номеронабиране, въвеждане на идентификационен код или друга информация, и извеждане на подходящо съобщение) и др.
==Вижте още==

*[[Виртуална действителност]]
*[[Кибернетика]]
*[[Когнитивна наука]]
*[[Методи за прогнозиране]]
*[[Неврология]]
*[[Симулация]]
*[[Теория на знанието]]
*[[Фридрих Фон Хайек]]
*[[Изкуствен интелект]]

==Източници==
*(en) [Portogal, M ., “Neural network versus time series methods: a forecasting exercise”, 14 th International symposium on forecasting, Stockholm, Sweden, 1995. – Използване на невронните мрежи за прогнозиране]
*(en) [Remus, W., O`Connor, M., “Neural network time-series forecasting”, in Armstrong, J . (Ed.) “Principles of forecasting: a handbook for researchers and practitioners”, Kluwer Academic Publishers , 2001, pp. 245-256. – Невронни мрежи и принципи на прогнозиране]
*(en) [Thiesing, F., Vornberger, O., “Sales forecasting using neural networks”, IEEE (eds.), ICNN 1997, Houston, Texas, 9-12 June 1997, Vol. 4, pp. 2125-2128. – Използване на невронни мрежи при прогнозиране на продажбите]
*(en) [Van Wezel, M., Baets W. , “ Predicting market responses with a neural network: the case of fast moving consumer goods ”, Marketing Intelligence & Planning , Vol. 13 , No.7, 1995, pp. 23-30. – Използване на невронни мрежи при изучаване на динамиката на пазарите на потребителски стоки]
*Kaastra, I., Boyd, M., “Designing a neural network for forecasting financial and economic time series”, Neurocomputing , No. 10, 1996, pp. pp. 218.
*Zhang, G., Patuwo, B., Hu, M., “Forecasting with neural networks: the state of art” International journal of forecasting , Vol.14, 1998, pp.44.

==Външни препратки==

*[http://www.tuj.asenevtsi.com/CN/N023.htm Тужаров, Хр., „Изкуствени невронни мрежи”, 2008.]
*[http://www.obitko.com/tutorials/genetic-algorithms/bulgarian/recommendations.php Генетични алгоритми]
*[http://tuj.asenevtsi.com/CN/N023.htm Изкуствени невронни мрежи]
*[http://www.nbu.bg/PUBLIC/IMAGES/File/departments/cognitive%20science%20and%20psychology/research/Master_Seminar.pdf Моделиране на перцептивно учене с невронни мрежи]
*[http://www.suncreation.org/webacad/uploads/slides.pdf Създаване на приложения, използващи невронни мрежи]
*[http://www.referatite.com/Izsledvane_na_nevronna-140.html Изследване на невронна мрежа за разпознаване на изображения на подписи и изграждане на база данни]

[[category:Моделиране и прогнозиране в управлението]]

@@ Ред 37: / Ред 37: @@
 *[[Видове невронни мрежи]]
 *[[Кибернетика]]
 *[[Симулация]]
 *[[Фридрих фон Хайек]]

← По-стара версия		Версия от 12:40, 16 декември 2012
Ред 36:		Ред 36:

	[[image: Neural_Networks-Image1.png\|right]]		[[image: Neural_Networks-Image1.png\|right]]
−

	*Според типа на входните и изходните стойности		*Според типа на входните и изходните стойности

@@ Ред 1: / Ред 1: @@
-'''Невронните мрежи''' (НМ) (на [[английски език|английски]]: Neural  Networks) са '''резултат от взаимодействието на [[нервни клетки]] или на моделиращите тяхното поведение компоненти'''.
+'''Невронните мрежи''' (НМ) (на английски: Neural  Networks) са '''резултат от взаимодействието на [[нервни клетки]] или на моделиращите тяхното поведение компоненти'''.
-==Същност и характеристики на невронната мрежа==
+==Същност==
 Невронната мрежа е математически модел на система за обработка на [[информация]], организирана по подобие на анатомичното устройство на човешкия мозък. Математическият модел на биологичната невронна мрежа е изграден от множество от взаимносвързани прости изчислителни елементи ([[неврон]]и).
@@ Ред 11: / Ред 11: @@
 Невронът представлява нервна клетка, на която се базира мисловната дейност на човека. Невронът се отличава със следните свойства: уникалност и взаимообвързаност – всеки неврон е свързан със съседите си чрез верига от връзки, които са неповторими в рамките на общата [[система]].
-Изкуствените невронни мрежи се изграждат по аналогия на естествените невронни мрежи, базирани на [[микропроцесори]] (невронни процесори). Невронните мрежи  се използват успешно в различни области: техниката, бизнеса, геологията, физиката, медицината и др. С тяхна помощ се решават задачи, свързани с  [[прогнозиране]]то, [[моделиране]]то и управлението. Те са привлекателни, защото се основават на биологичния модел на нервните системи. Невронните мрежи имат съществена роля за създаването на [[изкуствен интелект]] въз основа на клас алгоритми, чрез  които се решават задачи по подобие на човешкия мозък. Невронните мрежи позволяват автоматично конфигуриране и самообучение чрез постепенно изменение на стойностите на  коефициентите за тежест на компонентите на мрежата с цел намаляване на грешката в изходящия от мрежата сигнал. Сигналът за грешка се подава чрез обратна връзка на входа на системата. Чрез  невронните мрежи се решават разнообразни проблеми като се използва интуиция. През 1958 г. Франк Розенблат създава първата изкуствена невронна мрежа, която моделира обработката на визуална [[информация]] в човешкия мозък. Използването на невронни мрежи се отличава с голяма бързина на процесите, тъй като обработката на информацията се осъществява с помощта на множество компоненти, които работят паралелно.
+Изкуствените невронни мрежи се изграждат по аналогия на естествените невронни мрежи, базирани на [[микропроцесори]] (невронни процесори). Невронните мрежи  се използват успешно в различни области: техниката, бизнеса, геологията, физиката, медицината и др. С тяхна помощ се решават задачи, свързани с  [[прогнозиране]]то, [[моделиране]]то и управлението.
 Могат да бъдат посочени следните предположения за изчисленията, извършвани в мозъка:
 *Невроните интегрират информация.
@@ Ред 20: / Ред 25: @@
 Всеки неврон приема "сигнали" от предхождащите го в мрежата други неврони под формата на числа, извършва някакви аритметични действия, определени от неговата функция на активация (степен на възбуда) и резултатът се предава по изходящите връзки (синапсите) към следващите неврони. Всяка връзка има тегло, което умножавайки се със сигнала, определя неговата значимост (сила). Теглата на връзките са аналогични на силата на синаптичните импулси, предавани между биологичните неврони. Отрицателна стойност на теглото съответства на подтискащ импулс, а положителна – на възбуждащ.
 Невронните мрежи се състоят от един, два или повече отделни слоя, които могат да бъдат организирани в различна топология. Математически е доказано, че невронна мрежа с повече от един слой с достатъчно на брой неврони, може да моделира поведението на всяка съществуваща функция. Теглата на връзките между невроните определят функционалността и поведението на невронната мрежа. Съществено предимство на невронните архитектури е възможността те да бъдат обучавани, а в последствие и да се [[самообучават]]. Обучението на една невронна мрежа се постига чрез промяна на теглата на връзките между невроните и се осъществява чрез правила, които определят как да се променят тези тегла. Най-разпространеното сред тях е методът на обратното разпространение на сигнал за грешка (back-propogation), където за всеки изходен неврон се изчислява разликата от желаното му поведение, като се формира сигнал за грешка, който се движи назад към входния слой и по пътя си променя теглата на връзките така, че при следващата активация на мрежата грешката да бъде по-малка от регистрираната.
 Двете най-съществени характеристики на невронните мрежи са: способност да се “учат” и способност да генерализират. Невронните мрежи изискват данните да се поддават на обучение. Обучението на [[системата]] се реализира чрез промяна в стойностите на тегловните коефициенти. Коефициентите се променят в съответствие с избрания алгоритъм на обучение. Веднъж след като мрежата е “обучена”, тя трябва да се “захрани” с нови данни, които не са били използвани по време на нейното обучение. Това е своеобразен начин на тестване на невронната мрежа, за да се установи дали е в състояние да прогнозира неизвестните изходи или по-точно, способна ли е да генерализира. “Критичен” момент при разработването на една невронна мрежа е определянето броя на скритите слоеве и съдържащите се в тях неврони. В научната литература не съществуват твърдо установени правила и идеална технология за дефиниране оптималния им брой. Най-често прилаганият подход в това направление е на база експерименти (на принципа на опита и грешката).
-==Приложение на невронните мрежи==
+===Приложение===
 Невронните мрежи могат да бъдат използвани в различни направления:
 *Изкуствените невронни мрежи се използват успешно за апроксимиране, тъй като чрез тях се „изглаждат” сложни нелинейни зависимости, дори когато като входяща променлива се използва само времевият фактор. Ценното на невронните мрежи е в изграждането на предиктивни модели, като в качеството на независими променливи могат да участват различни метрични и неметрични интервениращи променливи (разходи за промоция  и реклама, цени и др.).
 *Използване на рекурентни невронни мрежи (Recurrent neural networks) за отчитане влиянието на рекламната дейност на фирмите, тъй като благодарение на своята архитектура този вид невронни мрежи позволява да се моделират ефекти, които се проявяват с известен лаг във времето.
 *Управление на [[роботизирани комплекси]].

@@ Ред 35: / Ред 35: @@
 ==Вижте още==
-*[[Виртуална действителност]]
+*[[Видове невронни мрежи]]
 *[[Кибернетика]]
 *[[Неврология]]
 *[[Симулация]]
 *[[Фридрих фон Хайек]]
 *[[Изкуствен интелект]]

@@ Ред 70: / Ред 70: @@
 ==Източници==
-*(en) [Portogal, M ., “Neural network versus time series methods: a forecasting exercise”, 14 th International symposium on forecasting, Stockholm, Sweden, 1995. – Използване на невронните мрежи за прогнозиране]
+*(en) Portogal, M ., “Neural network versus time series methods: a forecasting exercise”, 14 th International symposium on forecasting, Stockholm, Sweden, 1995. – Използване на невронните мрежи за прогнозиране
-*(en) [Remus, W., O`Connor, M., “Neural network time-series forecasting”, in Armstrong, J . (Ed.) “Principles of forecasting: a handbook for researchers and practitioners”, Kluwer Academic Publishers , 2001, pp. 245-256. – Невронни  мрежи и принципи на прогнозиране]
+*(en) Remus, W., O`Connor, M., “Neural network time-series forecasting”, in Armstrong, J . (Ed.) “Principles of forecasting: a handbook for researchers and practitioners”, Kluwer Academic Publishers , 2001, pp. 245-256. – Невронни  мрежи и принципи на прогнозиране
-*(en) [Thiesing, F., Vornberger, O., “Sales forecasting using neural networks”, IEEE (eds.), ICNN 1997, Houston, Texas, 9-12 June 1997, Vol. 4, pp. 2125-2128.  – Използване на невронни мрежи при прогнозиране на продажбите]
+*(en) Thiesing, F., Vornberger, O., “Sales forecasting using neural networks”, IEEE (eds.), ICNN 1997, Houston, Texas, 9-12 June 1997, Vol. 4, pp. 2125-2128.  – Използване на невронни мрежи при прогнозиране на продажбите
-*(en) [Van Wezel, M., Baets W. , “ Predicting market responses with a neural network: the case of fast moving consumer goods ”, Marketing Intelligence & Planning , Vol. 13 , No.7, 1995, pp. 23-30. – Използване на невронни мрежи при изучаване на  динамиката на пазарите на потребителски стоки]
+*(en) Van Wezel, M., Baets W. , “ Predicting market responses with a neural network: the case of fast moving consumer goods ”, Marketing Intelligence & Planning , Vol. 13 , No.7, 1995, pp. 23-30. – Използване на невронни мрежи при изучаване на  динамиката на пазарите на потребителски стоки
 *Kaastra, I., Boyd, M., “Designing a neural network for forecasting financial and economic time series”, Neurocomputing , No. 10, 1996, pp. pp. 218.
 *Zhang, G., Patuwo, B., Hu, M., “Forecasting with neural networks: the state of art” International journal of forecasting , Vol.14, 1998, pp.44.