Начнём с функций активации. Ни для кого не секрет, что нейронная сеть в самом начале просто неебически тупая и нихуя не умеет делать (ого, прямо как ты), но после того, как ты пару-тройку раз её прогонишь, то она станет вполне умной и сможет отличить 4 от 2. Однако иногда происходит так, что попадаются большие числа, хотя, как мы помним, нейроны работают со значениями от 0 до 1 (либо от -1 до 1). Есть несколько видов функций:
1. Линейная функция (картинка 1):
• y = x
Бомжатская функция, так как она нихуя полезного не делает и вообще не понятно, нахуя её впихнули в нейронное программирование.
2. Сигмоид (картинка 2):
• y = 1 / (1 + e^-x)
Хуйнина, работающая со значениями [0, 1]. Это самая популярная функция, так как она простая, как развод восьмиклассницы на $еk§.
3. Гиперболический тангенс (картинка 3):
• y = (e^(2x) - 1) / (e^(2x) + 1)
Для многих, дальше тригонометрических и обратных тригонометрических функций нет нихуя, однако это совсем не так. Есть такие хуйни, которые называются гиперболическими функциями. Этот тангенс имеет диапазон значений [-1, 1], и это просто охуеть как полезно, когда в твоей программе что-то может идти не только вверх, но и нахуй.
Продолжим нейроном смещения. Этот нейрон, как бы неебически странно и пугающе это ни звучало, смещает нашу функцию. Допустим, у нас есть функция сигмоиды
• y = sigmoid(О_1 * В_1)
Как мы понимаем, эта функция проходит через точку (0, 0), так как тут никто её никак не смещает, однако мы можем ввести нейрон смещения (один нейрон смещения на один слой), который будет хуярить нашу сигмоиду по графику влево и вправо (делая из четвертой пикчи пятую):
• y(x) = sigmoid(O_1 * B_1) + В_2, где В_2 – вес нейрона смещения.
А теперь про ошибки. Любая нейронная сеть работает не всегда идеально, например, она может видеть вместо лошади чайник или вместо арматуры, торчащей из стены – расстрел семьи Николая 2. И чтобы не было совсем абсурдно, то используют ошибки, которые потом с помощью градиентного спуска минимизируются (но об этом когда-нибудь в другой раз). Есть несколько видов нахождения ошибок: root MSE, MSE и arctan, причём, если работают они по одному принципу, то ответ различается про охуеть как. Расположены они у меня в порядке от меньшей ошибки к большей, но чаще всего используют MSE, так как многим тупо лень подбирать правильную функцию, а типа это среднячок и вроде получится че-то среднее.
Спасибо за то, что вы с нами.
С любовью, Рителлинг favorite
