Все радуют и радуют больше и больше. Спасибо....забираю :)

Поправьте: не в свободном, а в открытом. Лицензия CC-BY-NC-SA и исходники на github не доступны. Только pdf. Хотя безусловно вещь хорошая.

Отличная новость! Кардинально скрасило бы мои недавние разборки с R-ом! :)

Статистика - продажная девка!

а статисты — сутенеры?

Гуманитарий детектед.

Описательная статистика и подгонка распределений результатов.

Простите, не удержался

Простите, не удержался

Ничего, мы с понимаением относимся к особенностям работы кишечника - у всех бывает. Но если будет часто повторяться, таки запишитесь на прием к врачу.

О, в Тольятти осталась еще наука, респект!

Увы, не меня к врачу надо, а добрую половину студентов/аспирантов, которые даже не удосуживаются проверить выборку на нормальность, прежде чем использовать нормальное распределение. А потом они всё-таки получают диплом и идут работать. В результате и получается подгонка результатов.

Подгонка результатов подразумевает злонамеренное искажение, а не обычную некомпетеность. Старайтесь дальше.

К сожалению, не все понимают, что основным критерием оценки квалификационной работы является умение спланировать и провести научное (эмпирическое) исследование, а вовсе не подтверждение выдвинутой гипотезы (как правило, с претензией на актуальность и новизну).

В данном контексте вместо слово «подгонка» будет уместнее использовать «фальсификация». Некомпетентность может привести к ненамеренному искажению на этапе обработки и анализа.

Хорошая новость. Может, когда-нибудь мне R и пригодится

А вот пользуясь случаем, хочу спросить, можно ли засунуть vector или list в колонку data.frame? Т.е. чтобы весь список сохранился в одной ячейке таблицы? Чтобы вот такой вот список интерпретировался как одна строка data.frame из двух элементов - числа и списка?

> ll <- list(1,list(1,2,3))

Гуманитарий детектед.

Программист - 10 лет стаж.

Тем не менее поддерживаю анона.

Вы, батенька, хотите омерзительного. Или, другими словами: кто с nested lists работал, тот в цирке не смеется.

В зависимости от вложенности списка можно использовать as.data.frame(ll) или do.call(rbind, ll).

Вот здесь один чувак говорит что ему пригодился. Смотреть с 1:95

Спасибо!

There are three kinds of lies: lies, damned lies, and statistics

Да, 1:95 это сильно

Хм... А почему, можете объяснить? Мое встроенное чувство прекрасного вроде ничего против вложенных списков не имеет. Но в R я новичок, как там принято такие задачи решать? Я попробую описать в общем виде: каждый такой список - набор неких связанных с одним и тем же объектом значений. Таких объектов в выборке много - тысячи и десятки тысяч. Количество таких связанных значений от объекта к объекту меняется, и главное что бы мне хотелось знать - зависимость количества этих значений у одного объекта от других величин, связанных с этим объектом и с выборкой в целом, и вид и параметры распределения этих значений. Загрузка данных производится из стремного формата и хотелось бы один раз загрузить и дальше работать с данными в памяти, не делая несколько проходов.

> ll
[[1]]
[1] 1

[[2]]
[[2]][[1]]
[1] 1

[[2]][[2]]
[1] 2

[[2]][[3]]
[1] 3

> as.data.frame(ll)
  X1 X1.1 X2 X3
1  1    1  2  3

> do.call(rbind,ll)
     [,1] [,2] [,3]
[1,] 1    1    1   
[2,] 1    2    3 

Все не то

Загони их в column или отдельный df. Nested list неочевидны, глубина вложения сразу не видна. Кроме того, с ними сложно работать, толком индексировать и применять на них функции. Другими словами - это то самое явление на Ж, за которое нужно бить по рукам линейкой.

так отдельный df не сильно поможет, длина каждой строки разная. Можно про column поподробнее?

Ну или добить по длине NA, или сохранять отдельными list, с говорящими названиями или сразу переходить на БД. Может кто еще вариант подскажет. Мне пару раз приходилось возиться с nested lists, так как, как помнится, именно в таком виде в R импортируются structures из матлаба, и у меня от этих воспоминаний до сих пор припекает.

Почему R такой тормозной?

Это не проблема - dplyr::rbind_all адекватно обрабатывает этот случай.

которые даже не удосуживаются проверить выборку на нормальность, прежде чем использовать нормальное распределение

ГОСПОДИ ТАКИЕ ЛЮДИ ЕЩЕ НА ЗЕМЛЕ ЕСТЬ!

Особенно «впи****», когда после даже выполненной (!) проверки вместо нужной параметрики юзают непараметрику - потом можно уже руки отрывать с мясом

Спасибо!

There are three kinds of lies: lies, damned lies, and statistics

Где-то в чирикалке я уже читал...это не Frederick Mosteller?

Как-то пробовал пользоваться R, но с ходу не смог сообразить как реализовать обычное суммирование по группирующим переменным, что-то эквивалентное:

SELECT sum(x), sum(y) FROM data GROUP BY a, b

Помню, нагуглил какое-то решение, но очень уж оно коряво выглядело. Подскажите знающие люди, как такие конструкции правильно в R реализовать?

И, кстати, вы можете продолжать пользоваться языком SQL прямо в R. Посмотрите, например, пакет sqldf.

Статистика - продажная девка!

С точки зрения тех, кто её не знает, да.

Увы, не меня к врачу надо, а добрую половину студентов/аспирантов, которые даже не удосуживаются проверить выборку на нормальность, прежде чем использовать нормальное распределение.

Ты ведь всё равно не знаешь, какое распределение у твоей выборки. Предположить что оно, распределение, нормальное - это нормально для студента.

Спасибо :)

метрическая система мер рулит

Где-то в чирикалке я уже читал...это не Frederick Mosteller?

Википедия говорит, что:

The term was popularised in the United States by Mark Twain (among others), who attributed it to the 19th-century British Prime Minister Benjamin Disraeli (1804–1881): «There are three kinds of lies: lies, damned lies, and statistics.» However, the phrase is not found in any of Disraeli's works and the earliest known appearances were years after his death. Other coiners have therefore been proposed, and the phrase is often attributed to Twain himself.

https://en.wikipedia.org/wiki/Lies,_damned_lies,_and_statistics

Спасибо большое! То что нужно.

400 страниц в водрде!!! Сильно! Титанический труд.

P.S. В свойствах pdf стоит powerpoint как программа создания.

Даааа, то-то я смотрю шрифт какой-то непривычный. Это действительно круто, хотя ссылки на библиографию можно было тоже добавить.

ну работай со списками, хотя есть специальные форматы хранения-выборки большого (больше чем возможности R) числа таких объектов на диске

даже базы данных заточенные под это есть (и они обсуждались на ЛОРе) :)

Некоторым кажется что изучать knitr некогда, «надо копать"ТМ :)

Вот подобное было бы реально полезно. В смысле «Об R средствами R».

Всегда готов! (но одному просто скучно :( )

Я мог бы составить компанию, но сам то я не спец в этом инструменте :(

Можно попробовать опять возродить серию по R в LXF — с моей стороны «причёсывание», проверка и доведение текста до статьи. Это было бы стимулом для создания свободных наработок в этом направлении.

1) Зато LaTeX очень даже при чем получается.

Литературное программирование + Воспроизводимая наука = (Sweave|knitr)

И само по себе ЛП целиком заслуга Кнута, а уж в R ЛП очень органично вписалось (как собственно и в сам TeX), поскольку самый важный результат это получить «текст с результатом исполнения кода».

Так что рассказать как «презентабельнее» оформить результат knitr со стороны чанков LaTeX кода будет то, что надо. Там и перехват выхлопа и написание своих правок и использование готовых расширений R по генерации LaTeX кода на основе объектов R.

2) Ну и инструмент замечательный в виде универсального по использованию внешнего кода org-mode и специализированного на статистике ess в emacs присутствует.

Как и альтернативы в других редакторах и средах разработки.

3) Думаю что если в сам pdf с помощью расширений LaTeX атачить еще данные и исходный текст knitr, то термин «воспроизводимая наука» только выиграет.

4) Еще один момент добавить распространение результатов работы в R в виде интерактивных яваскриптовых веб приложений (как облачных, так и автономных), то вообще великолепный цикл получиться.

Я не знаю как там будет в обозримом будущем, да и выживет ли LXF, но если желание что-то сделать будет, то после Нового года можно обсудить темы и наметить план. И да, я считаю, что по возможности добро следует оплачивать, потому и план с LXF.

Ok!

Ой, какие интересные институты есть в ведомстве Фортова.