Прорешать листочек про градиентный спуск. На следующем семинаре будет разбор задачек, которые вы не смогли решить. На четвёртой паре будет проверочная. На следующей паре проверочная по 1-2 листочкам.
- Визуализация Momentum. У distill.pub очень качественные статьи. Рекомендую прочитать весь сайт. Ребята выгорели и больше ничего не публикуют :(
- Семинар про SGD на ПМИ ФКН, а также конспект лекции.
Николенко: глава 3, глава 4.4, 4.5
Глубокое обучение Гудфелоу:
- 6.5 про алгоритм обратного распространение ошибки (написано очень сложнымм языком)
- Глава 8 оптимизация в обучении глубоких моделей (много дополнительной информации про оптимизацию)
- Идею вставить в презу свою фотку с гор я спёр у Юры Кашницкого.
- Часть слайдов про градиентный спуск нагло украл у Жени Соколова с курса ИАД. Лекцию можно найти в плейлисте ИАД
- Слайды про перемешивание взяты из курса НЛП Лены Войты