Поясните по правило Армихо (Armijo)

зависит от выбранного метода оптимизации. в конце статьи в качестве примера приводится квазиньютоновский метод и расчёт направления спуска для него

Эмм, а «физический» смысл этой переменной вы можете объяснить? В градиентном спуске, я так понимаю, направление спуска - градиент с минусом?

p^k? Это вектор. Принадлежит R^n. Если я правильно понял твой вопрос, конечно.

http://www.math.mtu.edu/~msgocken/ma5630spring2003/lectures/lines/lines/node3...
https://en.wikipedia.org/wiki/Descent_direction

Чем оно отличается от градиента функции?

Ну так открой ссылку на вики, что я тебе дал :) Грубо говоря, это и есть ненулевой градиент (каламбур, да). Но он удобен как локальный термин со своими условиями.
P.S. Если реально не понял ссылку из вики - объясню ближе к вечеру, на работе не очень удобно.

wiki

Using this definition, the negative of a non-zero gradient is always a descent direction...

Более менее разобрался.:) Но подробности лишними точно не будут! Ещё одно маленькое уточнение. При помощи правило Армихо в частности рассчитывается скорость обучения (спуска) альфа для градиентного спуска, который, как правило осуществляется по нескольким параметрам. Так вот, нужно ли эту оптимальную альфу рассчитывать для каждого параметра отдельно?

Alpha - это learning rate по сути, она может быть большой - тогда ты можешь не попасть в минимум. Может быть малой, тогда вычисления будут более долгими.

Но принципиальной разницы нет, я обычно подбирают при валидации.

Это по сути численный параметр точности вычисления.

Хмм, что такое альфа я как раз понимаю. Альфа считается при помощи правила Армихо. Только вот если спуск оптимизирует сразу несколько параметров целевой ф-ции, то это правило нужно запускать для каждого параметра отдельно. Те скорость обучения для каждого параметра будет своя. Я все правильно понимаю?

Как тебе правильно сказали в первом комментарии — зависит от метода. Фраза «направление поиска» тебе понятна? Так вот в градиентных методах — это градиент/отрицательный градиент.

Не, тут я ошибся, сорри.