LINUX.ORG.RU
ФорумTalks

Творческий NoSQL: использование экселя привела к утере тысяч тестов на COVID-19 в Великобритании

 , , , ,


1

1

Subj

Плохо продуманное применение ПО Microsoft Excel явилось причиной того, что в Великобритании не зарегистрировано порядка 16 тыс. случаев заражения коронавирусом, сообщает «Би-би-си».

И, видимо, виной тому Общественное здравоохранение Англии (Public Health England, PHE — исполнительный орган местного минздрава), а не сторонние подрядчики.

Проблема возникла из-за того, как ведомство анализировало данные частных организаций, занимающихся тестированием на COVID-19.

Компании подавали данные в виде текстовых списков в формате CSV. PHE настроила автоматический алгоритм для объединения информации в шаблоны Excel. Однако при этом представители PHE указали в настройках старый формат XLS. В итоге каждый шаблон мог обрабатывать лишь порядка 65 тыс. строк данных, а не более миллиона, как можно было бы ожидать при применении современных форматов. Формат XLS появился в 1987 году, затем через 20 лет его сменил XLSX. Если бы использовался последний, то в совокупности удалось бы обработать в 16 раз больше обращений.

По мнению профессора Джона Кроуфорта из Кембриджа, сегодня даже школьник сумел бы выбрать более эффективное решение и уж точно не стал бы использовать XLS.

Перед министром здравоохранения Мэттом Хэнкоком парламентом была поставлена задача сделать подходящие ситуации процессы обработки данных достоянием общественности, чтобы объективно оценить наличие возможных скрытых недостатков государственного компьютерного аппарата.

Вроде, базы данных не вчера придумали… Линукс здесь при том, что таким юзерам и он бы не помог :)

★★★★★

Последнее исправление: tiinn (всего исправлений: 1)

Microsoft Excel очень доступный для юзверя. В нём просто берёшь и лепишь таблицы, а базы и т.д.. — как-то заморочено. Как они ещё в Microsoft Office Access не додумались.

Valeg ★★★
()

Это же бюрократы. Не удивлюсь, если исходные данные копировались вручную из какой-нибудь автоматизированной (!) системы, и отправлялись по электронной почте, а «автоматический алгоритм для объединения информации» - это макрос на VBScript, запускаемый ответственным исполнителем вручную.

Khnazile ★★★★★
()
Ответ на: комментарий от Valeg

Как они ещё в Microsoft Office Access не додумались

Access - это Pro редакция офиса, гораздо дороже

tiinn ★★★★★
() автор топика

ко мне каждую неделю обращаются, вот у нас на флешке был очень важный ексель, и его не стало, так там то шифровальщик, то просто флешка загнется, в общем кадров хватает

Shulman
()

Далеко не первый случай, когда использования этого убожества для наведения серьёзной статистики завершается полным провалом. К сожалению не последний.

P.S. Сто тысяч строк данных это неочём. Для этого БД совершенно не нужны. Тем более всё равно экспорт был бы в это самое.

Evgueni ★★★★★
()
Последнее исправление: Evgueni (всего исправлений: 1)

мог обрабатывать лишь порядка 65 тыс. строк данных, а не более миллиона, как можно было бы ожидать при применении современных форматов

Да и миллион - это немного. Население больше 60м. Значит, что не потянет даже 1,6% случаев на население.

boowai ★★★★
()
Ответ на: комментарий от boowai

Вот я и говорю, им надо было любую БД поднимать, а не в экселе всё мутить

tiinn ★★★★★
() автор топика

Компьютеры - это же просто и интуитивно… Любая домохозяйка может управлять…

zendrz ★★
()
Ответ на: комментарий от Khnazile

если исходные данные копировались вручную из какой-нибудь автоматизированной (!) системы

«автоматический алгоритм для объединения информации» - это макрос на VBScript, запускаемый ответственным исполнителем вручную

До боли знакомая ситуация.

WitcherGeralt ★★
()
Ответ на: комментарий от tiinn

Не Россия же, вряд ли у них офис пиратский, установленный вместе с операционкой со Zver-CD. Не думаю, что у них была проблема с тем, чтобы раздобыть прошный офис, мб он и так там прошный был.

WitcherGeralt ★★
()
Ответ на: комментарий от Evgueni

использования этого убожества для наведения серьёзной статистики

Взаимоисключающие вещи. Какая может быть «серьёзная статистика» у таких клоунов?

WitcherGeralt ★★
()
Ответ на: комментарий от WitcherGeralt

Вся серьёзная статистика так и делается. Еще в процессе применяется палец (любой) и сосательный рефлекс.

bread
()

Я-то думаю, чё это мемасы про эксель как БД везде суют…

no-such-file ★★★★★
()
Ответ на: комментарий от Evgueni

Это не убожество. Там дофига миллионов строк можно из «источников данных» агрегировать, в том числе из дофига csv файлов. Естественно, не на «листы рабочей книги» и не в xls.

Shadow ★★★★★
()
Последнее исправление: Shadow (всего исправлений: 1)
Ответ на: комментарий от WitcherGeralt

Не Россия же, вряд ли у них офис пиратский, установленный вместе с операционкой со Zver-CD

В том-то и дело, они деньги считать умеют! Когда мы учились программировать на Visual C++, на этих западах многие писали на… VB! Потому что просто и дёшево, а С++ гораздо дороже

tiinn ★★★★★
() автор топика
Ответ на: комментарий от bread

Еще в процессе применяется палец (любой) и сосательный рефлекс.

С пальцем всё ясно, а сосательный рефлекс с какой целью?

Kompilainenn ★★★★★
()
Ответ на: комментарий от Kompilainenn

Весу придать задумчивому виду.

tiinn ★★★★★
() автор топика

Вы думаете они такие дураки? Они лохам показывают, что нужно обновляться всегда(впихивая новые зонды), но мы то знаем, что если работает, то трогать ничего не нужно.

xwicked ★★☆
()
Ответ на: комментарий от xwicked

Вы думаете они такие дураки?

да, так и есть. Ты себе не представляешь всей глубины проблемы с компьютерной грамотностью во всем мире

Kompilainenn ★★★★★
()
Ответ на: комментарий от next_time

Дадите пруф на цены? Да и не будете же вы спорить с тем, что VB проще

tiinn ★★★★★
() автор топика
Последнее исправление: tiinn (всего исправлений: 1)
Ответ на: комментарий от gremlin_the_red

Если сохранять в тот же формат XLS, то случилось бы. А так, Calc не лучше - в ODS 2^20. Но есть Base, который аналог Access.

boowai ★★★★
()
Последнее исправление: boowai (всего исправлений: 2)
Ответ на: комментарий от WitcherGeralt

Информация по COVID сейчас вещь реально серьёзная. На её основе принимаются решения, которые касаются всех.

Evgueni ★★★★★
()
Ответ на: комментарий от Shadow

Для складирования подобного рода информации, как и для её извлечения, есть специализированные общедоступные и прекрасно документированные инструменты. Это я киваю в сторону R

Evgueni ★★★★★
()

Это то что называется щindows головного моска.

thunar ★★★★★
()

Ну всё, щаз все будут от мелкомягких отказываться

TooPar
()
Ответ на: комментарий от orm-i-auga

Старожилы ещё помнят, что в операционной системе Nero когда-то была неплохая писалка компакт-дисков.

gremlin_the_red ★★★★★
()
Ответ на: комментарий от Evgueni

Почему нет? Закинуть данные в csv или какую odbc доступную базу, в PowerQuery есть примитивная статистика и агрегаты, сводные таблички и графики и всё норм.

Shadow ★★★★★
()

16 тыс. существенно изменило бы наше представление о короне.

ilovewindows ★★★★★
()
Ответ на: комментарий от Zhbert

+1 и, к сожалению, программеров тоже много.

crypt ★★★★★
()

XLS появился в 1987 году

вот с 1987 года эпидемий и не было. откуда они могли знать?)

crypt ★★★★★
()

Кстати, если бы они даже просто в том же питоне варили csv оно бы сварилось нормально. Субд тут не нужна на такие объёмы (да даже на все 60 миллионов британцев), тем более обрабатываются данные разово, а не по тыще запросов нонстоп.

peregrine ★★★★★
()
Последнее исправление: peregrine (всего исправлений: 1)
Ответ на: комментарий от Evgueni

Видел R программистов, сидел в прошлом году рядом с таким за соседним столом. После того как посмотрел на то, как он работает в плане организации работы, не доверю им говно за котом убирать, а не то что что-то анализировать и хранить.

peregrine ★★★★★
()
Ответ на: комментарий от WitcherGeralt

Не думаю, что у них была проблема с тем, чтобы раздобыть прошный офис

Поработал несколько месяцев в британской госбюджетной организации в 2000х. Access-а не было ни на одной машине, чтобы его поставить требовалось полдня бумажной волокиты.

question4 ★★★★★
()
Ответ на: комментарий от Shadow

Там есть пара проблем

а) для того чтобы не ошибиться нужно очень хорошо знать статистику, дабы разобраться в особенностях excel (можно поизучать например как он работает с missing values)

б) если вы хорошо знаете статистику, то никогда не выберете excel в качестве рабочего инструмента

Evgueni ★★★★★
()
Последнее исправление: Evgueni (всего исправлений: 1)
Вы не можете добавлять комментарии в эту тему. Тема перемещена в архив.