LINUX.ORG.RU

определение уровня загрязнения воздуха с помощью нейронной сети

 , ,


0

1

сабж, интересуют мб какие то либы или что то подобное для того что бы по определенному фото понимать уровень (по цвета выбросов) загрязнения.
либо кто может посоветовать куда копать? с помощью чего и пр. думаю потребуется opencv + tf

★★★

по определенному фото понимать уровень (по цвета выбросов) загрязнения

А ты сам сможешь определить уровень загрязнения по фото? По каким критериям? Цвет, прозрачность воздуха?

Для того, чтобы нейронка могла тебе что-то определить, нужно ее обучить, а для обучения нужны четкие критерии (features). Feature extraction это главное.

cocucka ★★★★★ ()

В фото должна быть информация, на основании которой принимается решение, как и данные с прибора по уровню загрязнения для каждого фото. Так что ответ скорее всего отрицательный. Начни с поиска корреляций между фото и уровнем загрязнения (которое должно быть достоверным для каждого снимка). Скорее всего будет между спутниковыми снимками и загрязнением на местности, но косвенное через размер инфраструктур. Ака много городов в одном месте => высокое загрязнение. А вот по загрязнению относительно простых фото сказать мало что можно. Правда если иметь много фото конкретной местности и считать там машины/инфраструктуру, то можно опять косвенно получить какие-то цифры. Но боюсь что плавать будет очень-очень сильно, по крайней мере до тех пор пока ты не научишься не просто машины находить, но их модель/вонючесть получать.

Ну и да, то по чему ты собрался искать загрязнение важно. Потому что радиоактивное загрязнение это одно, машинами другое, а плавильнями третье.

ЗЫ

Если ты студент/магистрант/бакалавр/аспирант выбери что попроще, с этим говном будешь плавать года 2 при условии что ты нигде не работаешь, а только учишься и нонстоп над задачей кряхтишь, а выхлоп будет жидкий, как понос после запивания абрикосов водой, чтобы такое защитить отдельный навык хорошо подвешенного языка и грамотной подачи материала требуется выкаченный на максимум (ака флудер с 5 звездами). И то при условии что достаточно данных найдешь по уровням загрязнений в момент фото. Так ещё и розу ветров учитывать надо, как и западный перенос воздушных масс.

peregrine ★★★★★ ()
Последнее исправление: peregrine (всего исправлений: 7)
Ответ на: комментарий от peregrine

вот смотри тут чувак реализовал через opencv/tf раскладывал видео с вебкамеры на кадры и прогонял через свой код

https://github.com/CMU-CREATE-Lab/deep-smoke-machine

foozzi ★★★ ()
Последнее исправление: foozzi (всего исправлений: 1)
Ответ на: комментарий от ZERG

Пойти от того, какие данные ты можешь реально собрать в количестве от 10 000 штук (зависит от разнообразия данных, если маленькое и корреляции относительно простые 10 000 хватит, если всё сложно то миллионы надо и дофига вычислительного времени). Например, напиши бота для записи постов с какого-нибудь большого чатика (большие каналы твича например чтобы мониторил месяц и собирал статистику банов модераторами/удаления сообщений/мутов) и пили бота-модера на нейронке который будет мутать/банить народ или хотя бы стримера пинать.

peregrine ★★★★★ ()
Последнее исправление: peregrine (всего исправлений: 1)
Ответ на: комментарий от foozzi

Тут вся сложность в том, что если мы для города считаем грязь, то надо знать число коптилок на площадь и иметь кадры с ними для анализа. Собрать адекватный датасет будет очень не тривиально. И неплохо бы понимать из чего складывается исследуемое загрязнение (сколько от машин, сколько от заводов, сколько от котелен). Ну и когда ты начнёшь мониторить предприятия тобой могут заинтересоваться, не шпиён ли ты. Потом ещё с обработанными фото надо бороться.

peregrine ★★★★★ ()
Последнее исправление: peregrine (всего исправлений: 2)
Ответ на: комментарий от peregrine

задача собственно что бы люди добровольно делали снимки неба/города и отправляли на сервер через api где могли бы получить в % уровень загрязнения воздуха (пофиг от чего, завод, машины и пр.)

foozzi ★★★ ()
Ответ на: комментарий от foozzi

Посмотрел на статью очень бегло. Код там не интересен в первом приближении, читать такие работы надо с выводов авторов, потом уже смотреть на код, например на пример проблем. Надо внимательно прочитать REFERENCES, найти похожие работы на которые он опирается (если они есть) и их тоже проштудировать. Для начала найди крупные сайты с веб-камерами и фотками с геолокацией и попробуй находить те, на которых есть коптильни за последние 5 лет (можно и его модельку брать для их поиска). Потом смотри сколько для данного города всего фоток/камер без коптилен, по общему количеству фоток выбери лучшие города, а потом посмотри для скольких городов ты сможешь найти усреднённый уровень загрязнения воздуха за последние лет 5. Если у тебя получится найти больше 10 000 городов (или хотя бы по 1-10 коптилен для 1000 городов), то ты что-то сможешь сделать серьёзное. При этом про РФ я тебе скажу, что данные по уровню загрязнений ты не найдешь, они секретны и не выкладываются для широкой публики. А даже если тебе дадут доступ к ним, то ты удивишься насколько они грязные и сколько там явного фуфла.

peregrine ★★★★★ ()
Последнее исправление: peregrine (всего исправлений: 2)
Ответ на: комментарий от peregrine

ну я имею ввиду определенный круг людей который этим заинтересован конечно же.
собственно как я могу вычислять процент задымленности какой то области в %? юзать opencv и забыть про нейронки?

foozzi ★★★ ()
Ответ на: комментарий от foozzi

Если ты найдешь сотню людей по всему миру, будет шикарно. Но тут нужны большие данные. До появления скайнета их в нужном количестве и качестве нет даже у государств.

собственно как я могу вычислять процент задымленности какой то области в %? юзать opencv и забыть про нейронки?

Ну зачем же. Если хочется нейронок, то можно и нейронки обучить на это дело, чтобы дым искать. Вопрос в данных по реальному уровню загрязнений. Ты задачу сформулируй формально. Т.е. ТЗ чёткое напиши что и как ты собрался измерять. Пока я вижу что что-то с дымом, фотками и загрязнениями. Но это очень общие слова.

peregrine ★★★★★ ()
Последнее исправление: peregrine (всего исправлений: 1)
Ответ на: комментарий от foozzi

Не, это не так работает. Надо чтобы много фоток разных мест в одном регионе было. Но для начала определи как измеряется в реальности процент смога в воздухе. Т.е. что именно ты будешь определять.

peregrine ★★★★★ ()
Последнее исправление: peregrine (всего исправлений: 1)

Это почти не реально и маловероятно, что получится.
Сам телефон прогоняет фотку через нейронку и рисует то, что ему хочется. Сама камера берёт рандомным iso, а софт делает рандомным бб.
В итоге фото будет рандомным вне зависимости от реальности, за исключением, когда ну вообще видимость 500 (от балды) метров. Только тогда уже нейронку не нужно, чтобы понять, шо ппц и тiкай з мiста.

system-root ★★★★★ ()
Ответ на: комментарий от foozzi

Дурацкая идея.

взять у примеру 100 000 фото смога на улице

Его 100 видов, этого смога. А ещё дым. И туман. И пыль. А иной завод без всякого смога воняет так, что хоть гвозди забивай.

получить в % уровень загрязнения воздуха

В % от чего? Загрязнённость не считается в процентах.

pinus_nigra ()
Ответ на: комментарий от slovazap

Почему же потеряла? На основании статистики она либо находится, либо не находится. То что количество пиратов и глобальное потепление глупо связано, не значит что связи действительно нет через какую-то не учитываемую и очевидную штуку, вроде технического прогресса. Технический прогресс растёт => пиратам тяжелее оставаться неуловимыми, одновременно технический прогресс растёт => глобальное потепление растёт. Вот тебе и связь, как один из вариантов. Объяснять причины не всегда важно в статистических моделях.

peregrine ★★★★★ ()

Можно сделать приложение для расчёта субъективных ощущений загрязнённости воздуха. И придумать название шкалы.

  1. Запах гари. от 1 до 10 баллов
  2. Запах гнили. от 1 до 10 баллов
  3. Затруднённое дыхание. от 1 до 10 баллов
  4. Мусоросжигательный завод коптил всю ночь. от 20 до 100 баллов

В своё время когда в Москве решили сжигать мусор - ушлые бизнесмены придумали это делать ночью. С отключением системы фильтров. В результате многие районы задыхались с часу ночи и до 6 утра. Была идея запускать коптеры с газоанализаторами для поиска источников вони и ада. Но задача не из лёгких ввиду ряда факторов.

a21542421530852020 ()

Сперва разберись в теме, потом уже пиши очередную нейронку. Как ты вообще по фото будешь уровень загрязнения определять? Что должно быть на фото? Какое загрязнение? Как ты будешь признаки однозначно вычленять? Ты ничего не знаешь ни про смог, ни про загрязнение воздуха, ни про нейронки, но ты уже хочешь определять степень загрязненности чем-то воздуха по фоткам нейронками.

Siborgium ★★★ ()
Ответ на: комментарий от foozzi

Эти «понятия», как ты выразился, не играют никакой роли, когда инструмент неадекватен задаче. Например, можно применять аппарат квантовой механики для анализа кофейной гущи в чашке. Я утрирую, но большая часть научных статей именно в таком ключе, чтобы набить статистику публикаций.

seiken ★★★★★ ()

Чтобы узнавать данные по загрязнениям, стоит воспользоваться сервисами геомониторинга экологии, которые получают данные с сети датчиков. Там показатели будут намного более адекватными, чем гадать их по непонятным фоткам неба.

static_lab ★★★★★ ()