Який оптимізатор найкращий для виявлення зображень?

RMSProp вважається одним із найкращих оптимізаторів за замовчуванням, який використовує змінні загасання та імпульсу для досягнення найкращої точності класифікації зображення.

Спробуйте знайти оптимізатор, який відповідає характеристикам вашого набору даних, налаштуванням навчання та меті проекту. Деякі оптимізатори працюють надзвичайно добре на даних з розрідженими функціями [13], а інші можуть працювати краще, коли модель застосовується до раніше невидимих ​​даних [14].

Загальні оптимізатори включають Стохастичний градієнтний спуск (SGD), Адам і RMSprop, кожен із яких використовує певні правила оновлення, швидкість навчання та імпульс для вдосконалення параметрів моделі.

Низькі вимоги до пам'яті: На відміну від деяких алгоритмів оптимізації, які вимагають зберігання історії градієнтів для кожного параметра, Адаму потрібно лише підтримувати два ковзних середніх для кожного параметра. Це робить його ефективним для використання пам’яті, особливо для великих нейронних мереж.

Оптимізатор Адам працює добре і є найпопулярнішим оптимізатором на сьогоднішній день. Адаму зазвичай потрібна менша швидкість навчання: починайте з 0,001, потім збільшуйте/зменшуйте, як вважаєте за потрібне. Для цього прикладу 0,005 добре працює. Convnets також можна навчати за допомогою SGD з імпульсом або з Адамом.

RMSProp вважається одним із найкращих оптимізаторів за замовчуванням, який використовує змінні загасання та імпульсу для досягнення найкращої точності класифікації зображення.