История изменений
Исправление anonymous_incognito, (текущая версия) :
но в приоритете эталонные датасеты.
Надо будет статью написать по датасетам, которыми я пользовался в процессе изучения нейросетей. Руки не доходят :)
Пока подкину 2-3 датасета.
Если из совсем простого и классически-эталонного, то начни с датасета MNIST - где скачать и как использовать найдёшь в гугле. Это датасет с образцами рукописного написания цифр. Картинки там ч/б 28x28 пикселей (или какое-то другое разрешение точно не помню). Составлен был в начале 90-х, выюзан всеми кому не лень вдоль и поперёк :) Не официально называется иногда «цифровой дрозофиллой» по аналогии со значением этой мушки для биологов. Для работы с ним хватит 5-6 Гб VRAM и даже менее 1 Гб хватит для интересных результатов.
Есть ещё относительно недавно составленный AudioMNIST с аудиофайлами с образцами произнесения различными дикторами (спикерами в терминологии) отдельных цифр. https://github.com/soerenab/AudioMNIST Это уже по затратам RAM для интересных результатов посуровее, но в принципе в 8Гб должно уложиться.
Есть датасет ImageNet https://www.image-net.org с картинками разных объектов, с распознавания которых с ошибкой менее 17% началась нейровесна в 2012-м. Тогда использовали 4 видюхи GTX 580 с 2 Гб VRAM, тренировали на них емнип неделю. Сейчас для той точности одной должно хватить в течение суток. Но чтобы его выкачать есть некоторые сложности. Надо регистрироваться или на ImageNet или на kaggle https://www.kaggle.com/competitions/imagenet-object-localization-challenge/data и принимать лицензии (не применять для коммерческих целей итд) Причём для полного датасета (с миллионом картинок) там емнип дополнительные сложности.
Отдельно замечу по поводу масштабирования достижений при тренировке нейросети. Далеко не всегда можно взять accuracy простым увеличением сложности и количества эпох. Я бы даже сказал, что для каждой архитектуры есть предел, то есть, например, для чего-то легко достигнешь 75%, хорошо поднатужившись 80%, а уже 85% - обломись, хоть ферму из тысячи H200 гоняй месяц.
Исправление anonymous_incognito, :
но в приоритете эталонные датасеты.
Надо будет статью написать по датасетам, которыми я пользовался в процессе изучения нейросетей. Руки не доходят :)
Пока подкину 2-3 датасета.
Если из совсем простого и классически-эталонного, то начни с датасета MNIST - где скачать и как использовать найдёшь в гугле. Это датасет с образцами рукописного написания цифр. Картинки там ч/б 28x28 пикселей (или какое-то другое разрешение точно не помню). Составлен был в начале 90-х, выюзан всеми кому не лень вдоль и поперёк :) Не официально называется иногда «цифровой дрозофиллой» по аналогии со значением этой мушки для биологов. Для работы с ним хватит 5-6 Гб VRAM и даже менее 1 Гб хватит для интересных результатов.
Есть ещё относительно недавно составленный AudioMNIST с аудиофайлами с образцами произнесения различными дикторами (спикерами в терминологии) отдельных цифр. https://github.com/soerenab/AudioMNIST Это уже по затратам RAM для интересных результатов посуровее, но в принципе в 8Гб должно уложиться.
Есть датасет ImageNet https://www.image-net.org с картинками разных объектов, с распознавания которых с ошибкой менее 17% началась нейровесна в 2012-м. Тогда использовали 4 видюхи GTX 580 с 2 Гб VRAM, тренировали их емнип неделю. Сейчас для той точности одной должно хватить в течение суток. Но чтобы его выкачать есть некоторые сложности. Надо регистрироваться или на ImageNet или на kaggle https://www.kaggle.com/competitions/imagenet-object-localization-challenge/data и принимать лицензии (не применять для коммерческих целей итд) Причём для полного датасета (с миллионом картинок) там емнип дополнительные сложности.
Отдельно замечу по поводу масштабирования достижений при тренировке нейросети. Далеко не всегда можно взять accuracy простым увеличением сложности и количества эпох. Я бы даже сказал, что для каждой архитектуры есть предел, то есть, например, для чего-то легко достигнешь 75%, хорошо поднатужившись 80%, а уже 85% - обломись, хоть ферму из тысячи H200 гоняй месяц.
Исходная версия anonymous_incognito, :
но в приоритете эталонные датасеты.
Надо будет статью написать по датасетам, которыми я пользовался в процессе изучения нейросетей. Руки не доходят :)
Пока подкину 2-3 датасета.
Если из совсем простого и классически-эталонного, то начни с датасета MNIST - где скачать и как использовать найдёшь в гугле. Это датасет с образцами рукописного написания цифр. Картинки там ч/б 28x28 пикселей (или какое-то другое разрешение точно не помню). Составлен был в начале 90-х, выюзан всеми кому не лень вдоль и поперёк :) Для работы с ним хватит 5-6 Гб VRAM и даже менее 1 Гб хватит для интересных результатов.
Есть ещё относительно недавно составленный AudioMNIST с аудиофайлами с образцами произнесения различными дикторами (спикерами в терминологии) отдельных цифр. https://github.com/soerenab/AudioMNIST Это уже по затратам RAM для интересных результатов посуровее, но в принципе в 8Гб должно уложиться.
Есть датасет ImageNet https://www.image-net.org с картинками разных объектов, с распознавания которых с ошибкой менее 17% началась нейровесна в 2012-м. Тогда использовали 4 видюхи GTX 580 с 2 Гб VRAM, тренировали их емнип неделю. Сейчас для той точности одной должно хватить в течение суток. Но чтобы его выкачать есть некоторые сложности. Надо регистрироваться или на ImageNet или на kaggle https://www.kaggle.com/competitions/imagenet-object-localization-challenge/data и принимать лицензии (не применять для коммерческих целей итд) Причём для полного датасета (с миллионом картинок) там емнип дополнительные сложности.
Отдельно замечу по поводу масштабирования достижений при тренировке нейросети. Далеко не всегда можно взять accuracy простым увеличением сложности и количества эпох. Я бы даже сказал, что для каждой архитектуры есть предел, то есть, например, для чего-то легко достигнешь 75%, хорошо поднатужившись 80%, а уже 85% - обломись, хоть ферму из тысячи H200 гоняй месяц.