LINUX.ORG.RU

Сообщения cdshines

 

Запутался в трех соснах. MapReduce.

Форум — Development

Значит так, все мы понимаем, что такое map & reduce и как это работает с точки зрения пользователя. Я пытаюсь заглянуть под капот, и выходит какая-то каша. Я приведу два примера, насколько я понял, а вы поправьте, что не так.

Первый - подсчет частоты слов в файле (это пример с википедии) (примерный псевдокод):

1. records : file.readline
2. map : for (line <- input) accumulate <word, word count in line>

Вот здесь первый вопрос: так как это пока все работает на хосте, то, пусть и с распараллеливанием, мы выполняем фактически подзадачи основной задачи на одной ноде. Что я понял неправильно?

3. partition: здесь мы для каждой пары в аккумуляторе (там же сейчас могут быть пары с одинаковыми словами из разных строк?) считаем, например, хэш ключа и отправляем это в соответствующий reducer. Таким образом, у нас в конце-концов получится разбиение на непресекающиеся классы и все такое.
4. Полученные N списков пар <word, word frequency>, среди которых могут быть пары с одинаковыми ключами (или здесь нужно включать shuffle, чтобы он делал пары <word, {frequency_in_line1, ..., frequency_in_lineK}>?), мы теперь отправляем на N узлов, где уже традиционными методами считаем эти частоты.
5. Делаем union всех N результатов?[pre/] Здесь непонятно, потому что снова - это же уже на мастер-узле делается? Это не будет бутылочным горлышком?

Второй пример. Считаем pi методом Монте-Карло (pi/4 = (число случайных пар, выбранных из [0,1]^2, у которых радиус меньше, чем 1) / (число всех опытов)).

Здесь вход - M бросаний (пусть для конкретности 100 000), т.е. тех самых пар (x, y) <- (Uniform[0, 1], Uniform[0, 1]).

Теперь на этапе Map нужно как-то создать пары <Key, Value>, но я здесь вообще не соображаю: если считать за ключ r^2 = x^2 + y^2, а за значение - 1, если r^2 <= 1, и 0 в обратном случае, то снова - большой объем вычислений происходит на мастер-ноде. И потом на этапе «партишен» мы просто распихаем по хэшам r^2 снова на N нод, а там будем только суммировать единицы, отдавать сумму на мастер, на мастере снова суммировать выхлопы с нод, а затем просто делить сумму на M? Снова мне кажется, что reducer'ы делают меньше работы, чем Map.

Я понимаю, что примеры какие-то полувырожденные; и что я, наверное, просто ниасилил, но было бы хорошо, если бы вы помогли разобраться. Бложики хипстеров от MapReduce в основном объясняют, что такое Map & Reduce как ФВП, а не технику работы.

Скастую-ка я кого-нибудь, например, Reset как писателя хайлода (на всякий случай), maxcom как представителя джава-Ънтерпрайза, vertexua туда же, ну и всех анонимусов, которым есть что сказать. А, и buddhist, mv, quasimoto, как спв. Простите, если с кем-то мимо.

 , ,

cdshines ()

What Every Hipster Should Know About Functional Programming

Форум — Talks

!Ъ: http://vimeo.com/76159530
Ъ: Цитата из первых минут, вольный перевод: «хипстеры смотрят на вас свысока, поэтому хипстеры от мира программирования - функциональщики».

Много «смешных картинок», покачалу кажущийся мужским голос и общее впечатление «это мой первый пост на хабре».

ЪЪЪ: зигохистоморфные препроморфизмы на 40:23.

 ,

cdshines ()

Пользователям Kubuntu 13.10 и ноутбуков Dell: не обновляйтесь пока

Форум — Desktop

Они там шаманят с модулями, у меня вылетела после апдейта половина устройств. Если выпали тачпад и сеть, сделайте modprobe psmouse и что-то вроде modprobe r8169 или какой там у вас адаптер.

 , , ,

cdshines ()

Джеймс Ладд расскажет про Redline Smalltalk (который над JVM)

Форум — Talks

~Ъ: https://twitter.com/redline_st/status/371401360136101888

~~Ъ: это же твиттер, там одна строчка, идите и читайте.

Надеюсь, потом можно будет где-то посмотреть видео.

yoghurt, значит ли это, что на JVM скоро наконец-то появится хороший ООП-язык? Возможно ли это?

 , , ,

cdshines ()

Есть ли в этом нашем линуксе такая простая фича, как узнать частоту памяти?

Форум — Linux-hardware

Я создавал похожий тред раньше, там megabaks советовал грепать /dev/mem, но у меня это не сработало.
В общем, я хочу программу, суть такова: у меня сейчас dmidecode, lshw и т.д. показывают Current speed: 1333MHz, при том, что спеки на процессор указывают максимум в 1066MHz, производитель указывает тоже 1066MHz как максимальные, но установил ппочему-то 1333-модули.
Я, конечно, понимаю, что маркетологи таких крупных корпораций, как dell, лезут не в свои дела, но какого хрена пихать память, которая не будет работать на нужной частоте? Конечно, понятно, какого хрена, но все равно.
А может, все-таки 1333 и есть? Как узнать достоверно? Что, гуглить какой-то ассемблерный говнокод и тратить все выходные на правку@компиляние в надежде, что получится? Я же всего-навсего хочу памяти докупить!11

 , , , ,

cdshines ()

dmidecode и lshw показывают задекларированную или актуальную частоту RAM?

Форум — Linux-hardware
cdshines@v3700:~|⇒  sudo dmidecode --type 17
        Bank Locator: DIMM_A
        Type: DDR3
  ----->Speed: 1333 MHz
        Part Number: HMT325S6BFR8C-H9  
--
        Bank Locator: DIMM_B
        Type: DDR3
  ----->Speed: 1333 MHz
        Part Number: HMT325S6BFR8C-H9  
cdshines@v3700:~|⇒  sudo lshw -C memory
     *-memory
          description: System Memory
          physical id: 1d
          slot: System board or motherboard
          size: 4GiB
        *-bank:0
             description: DIMM DDR3 Synchronous 1333 MHz (0.8 ns)
             product: HMT325S6BFR8C-H9
             vendor: Hynix Semiconductor (Hyundai Electronics)
             physical id: 0
             serial: 085230FB
             slot: DIMM_A
             size: 2GiB
             width: 64 bits
             clock: 1333MHz (0.8ns)
        *-bank:1
             description: DIMM DDR3 Synchronous 1333 MHz (0.8 ns)
             product: HMT325S6BFR8C-H9
             vendor: Hynix Semiconductor (Hyundai Electronics)
             physical id: 1
             serial: 08528483
             slot: DIMM_B
             size: 2GiB
             width: 64 bits
             clock: 1333MHz (0.8ns)

Спецификация модели:

Memory 
Type DDR3 SDRAM
Speed 1066 MHz or 1333 MHz
NOTE: Intel Core i3/i5/i7 dual-core processors 
shipped with your computer support both 1066 Hz 
and 1333 MHz memory modules. However, the 
dual core processors will operate at 1066 MHz  memory module only.
cdshines@v3700:~|⇒  cat /proc/cpuinfo | grep 'cpu cores'
cpu cores       : 2
Так чему верить?

 , ,

cdshines ()

Отодвиньте вашу тарелку с борщом в сторону, специалисты по макросам!

Форум — Development

Итак, условия нашего микро-квеста заключаются в следующем: имеем n переменных, k из которых выражается через (n-k). Эти переменные служат для инициализации чего-то сферического в вакууме. Нам лень писать процедуры выведения и проверки в отдельном шаге, поэтому хотим сделать так, чтобы можно было, например, вызывать фабричный метод с аргументами - любыми k переменными, чтоб на выходе получить инициализированное n переменными нечто. Имеем набор правил (в любой из удобных вам форм), в котором описаны отношения между переменными. Например,

n = 3, k = 1, {x = y + z, y = x - z, z = x - y}
Тривиально. Поблажка - порядок неважен, т.е. есть возможность пользоваться именованными параметрами, например
smth = init(x = 100, y = 10)
эквивалентно
smth = init(y = 10, x = 100)
То есть нужно писать (генерировать) не A(n, k), а C(n, k) функций.

Квест заключается в написании макроса, который генерирует все возможные варианты init(...), потому что нам, например, лень. В тред приглашаются лисперы, racket-пацаны, скальщики, с++-темплейт-шаманы, nemerle-писатели (есть такие вообще здесь?) и остальные, кого еще меньше. У D там вроде зачаточно что-то было? Напишу все эти языки в теги.

Я думаю, это можно было бы сгенерить и каким-то питонячим/руби-скриптом в отдельный файлик и его включать, но это не слишком спортивно.

Пример признаю абсолютно теоретическим.

 , , , ,

cdshines ()

Ужасная радуга на некоторых символах юникода

Форум — Desktop

Зум: https://dl.dropboxusercontent.com/u/12869350/snapshot88.png

100%: https://dl.dropboxusercontent.com/u/12869350/snapshot87.png

Я пользуюсь такими символами раз в сто лет, а аски-диапазон отображается нормально. Но хочу, чтобы все было хорошо везде. Как это можно исправить? Настраивал шрифты давно обычным кде-шным настройщиком. Там RGB & Full-hinting.

 , , ,

cdshines ()

Что почитать для общего развития?

Форум — Talks

Уже слегка подташнивает от разнообразных манов, и вчера дочитал последний представитель худлита из запланированного. Реквестую почитать что-то из научпопа/худлита. Может быть, философию науки, но не очень глубоко. В общем, что-то отвлечься.

 , ,

cdshines ()

Хочу свою Мобильную Операционную Систему Широкого Спектра Выполняемых Задач

Форум — General

Я имею в виду линукс на флешке, конечно же. Имел опыт со slax, считаю его самым годным, но мало ли что. То есть у меня 2 вопроса:

* посоветуйте дистр для флешки (usb 3.0, но втыкаться может в любой компьютер, так что ориентировочно - usb 2 - если это играет какую-то роль).

* есть ли возможность разбить ее на разделы так, чтобы она была доступна и для загрузки дистра (т. е. ext*, наверное?), и для втыкания в компьютеры с оффтоп-ос? Важно, чтобы это вставляние в не привело к экстерминатусу раздела с линуксом - а то знаем мы эти ваши антивирусы попова.

 

cdshines ()

Что вы читаете в почившем ридере?

Форум — Talks

В общем, я тут пока переходил на фидли, прошерстил свои подписки, выбросил всякий инфошлак, и осталось совсем немного. Заметил, что с удовольствием читаю просто хорошо (интересно/смешно/умно) написанные посты, даже если к сабжу прохладно отношусь (есть две подписки на представителей игрожура, так вот, я их читаю, хотя в игры и не играю). Если вы подписаны на какие-то ресурсы, связанные с программированием, линуксом, безопасностью (что-то специфическое или просто общее), авторы которых пишут интересно, поделитесь, пожалуйста. Еще, например, что-то типа Lambda the Ultimate (я не говорю, что я все понимаю, но все-таки иногда попадается весьма полезное). Новости CS, например. Может, есть какие-то ретрансляторы из годных почтовых рассылок в rss-потоки?

 , , , ,

cdshines ()

Нужен ли тег [google][/google]?

Форум — Linux-org-ru

Я бы запилил, если кому-то, кроме меня, это кажется достойным внимания. Поведение тега - как у url, т.е. можно писать [google=«man mmap»]лалка анскильная, читай документацию[/google], а можно - [google]man mmap[/google]. Все, что внутри тега, несложными манипуляциями превращается в строку с адресом запроса в гугл. Для секьюрных пацанов замануха - запилю сразу https!

 ,

cdshines ()

\[извращенцы\] Хочу кейбиндинги от Emacs в Idea.

Форум — Talks

Не кастую по тегам отдельно джавистов и эмаксеров, чтоб не возмущались.

Вопрос: есть ли смысл в моем желании? Иногда приходится пользоваться стрелками, но так неудобно открывать руки от привычного места. Но т.к. в идее и так куча полезных кейбиндингов, просто перебить C-p, C-n и т.д. мне видится напрасной тратой времени - все равно какая-то лажа выйдет. У кого-то есть решения моей проблемы?

 ,

cdshines ()

Посоветуйте МФУ начального класса невыской нагрузки

Форум — Linux-hardware

В основном - для сканирования/копирования в ч/б формате и печати в том же ч/б. Хорошо бы СНПЧ под него были распространены и доступны. Простота обслуживания и т.д. приветствуются - покупаю не себе. Цветные картриджи - пофиг какие.

circa $100

UPD: Вот что обозначилось из советов по поводу покупки лазерного МФУ. Что можете конкретного посоветовать?

 , , , ,

cdshines ()

Почему не репортят баги

Форум — Talks

Потому, что для того, чтобы отрепортить баг, нужно регистрироваться. Что за идиотизм?

https://bugs.kde.org/enter_bug.cgi?format=guided

https://trac.videolan.org/vlc/newticket

и т. д.

Зачем? Но я зарегистрируюсь, потому что баг в влц я нашел достаточно-таки тупой. Хотя, может лучше самому пропатчить?

пс. подтвердите, кто может: https://trac.videolan.org/vlc/ticket/8913

 , , ,

cdshines ()

Вылезает реклама за границы экрана в мобильной теме

Форум — Linux-org-ru

Доколе?! https://www.dropbox.com/s/82a2v4qa0y2mpsr/Photo 01.07.13 14 52 57.png

От этого зумиться нормально не получается.

В сафари то же самое: https://www.dropbox.com/s/vdyxat5f9aqwno6/Photo 01.07.13 15 02 52.png

На Андроиде тоже.

 ,

cdshines ()

html со сложной структурой директорий в pdf

Форум — General

Значит так, есть директория с файлами типа индекс.хтмл и т.д. на первом уровне, и куча директорий с файлами, на которые ссылается текст из корневой, при этом между самими поддиректориями тоже возможны кросс-ссылки (епт, 4 буквы «с подряд!). Чем можно сконвертировать в одну пдфку с содержанием (содержание прилагается) все это аккуратно? Файлы сравнительно чистые, поэтому стили и т. д. не особо важны.

 , ,

cdshines ()

Теряется фокус после переключения раскладки (LightDM)

Форум — Desktop

Неудобно. Переключаешь язык, когда в поле ввода пароля стоит курсор, и курсор оттуда пропадает (табом не возвращается, сколько ни жми). Подтвердите и посоветуйте, в чей багтрекер постить реквест - кдешный, кубунту или лайтдм?

cdshines@v3700:~|⇒  lightdm --version
lightdm 1.7.0
cdshines@v3700:~|⇒  kded4 -version
Qt: 4.8.4
KDE Development Platform: 4.10.4
KDE Daemon: 4.10.4

 ,

cdshines ()

Шерлок Холмс. Кто/где самый канонiчный,

Форум — Talks

...по-вашему?

Вот сам Холмс, например, по-моему - классический Ливанов. Лестрейд - в том фильме, где Дауни снимался. Ватсон - не знаю, неплохой в Шерлоке BBC и в советском сериале, я не знаю.

Особо интересно узнать мнение тех, кто смотрел не самые известные экранизации, и нашел там ярких героев.

p.s. сами придумайте, при чем.

 

cdshines ()

Иксы «текут» по процессору

Форум — Desktop

Некоторые жалуются, что иксы у них со временем начинают отжирать память, а у меня за 4-7 дней аптайма доля процессорного времени достигает 99%. Вот полдня после перезагрузки, и уже 8-12% с пиками по 20.

cdshines@v3700:~|⇒  kded4 -v
Qt: 4.8.4
KDE Development Platform: 4.10.3
KDE Daemon: 4.10.3
X.Org X Server 1.13.3
Release Date: 2013-03-07
X Protocol Version 11, Revision 0
Build Operating System: Linux 3.2.0-37-generic x86_64 Ubuntu
Current Operating System: Linux v3700 3.9.0-3-generic #8-Ubuntu SMP Tue May 28 18:40:41 UTC 2013 x86_64
Kernel command line: BOOT_IMAGE=/vmlinuz-3.9.0-3-generic root=UUID=adc93daa-a6af-48a3-af18-4c8a0e180e38 ro ipv6.disable=1
Build Date: 28 May 2013  02:34:39PM
xorg-server 2:1.13.3-0ubuntu10 (For technical support please see http://www.ubuntu.com/support)
Current version of pixman: 0.28.2
        Before reporting problems, check http://wiki.x.org
        to make sure that you have the latest version.

cdshines@v3700:~|⇒  nvidia-smi
Tue Jun  4 00:44:56 2013
+------------------------------------------------------+
| NVIDIA-SMI 4.310.44   Driver Version: 310.44         |
|-------------------------------+----------------------+----------------------+
| GPU  Name                     | Bus-Id        Disp.  | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap| Memory-Usage         | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce GT 330M          | 0000:01:00.0     N/A |                  N/A |
| N/A   36C  N/A     N/A /  N/A |  26%  263MB / 1023MB |     N/A      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Compute processes:                                               GPU Memory |
|  GPU       PID  Process name                                     Usage      |
|=============================================================================|
|    0            Not Supported                                               |
+-----------------------------------------------------------------------------+

 , ,

cdshines ()

RSS подписка на новые темы