Очень часто в процессе разработки и тестирования бывает необходимо использовать в программе данные, максимально приближенные к реальным, уже имеющимся в продукте. Однако, чтобы избежать риска утечки реальных данных с продакшен-серверов, данные должны быть обработаны, из них должна быть удалена личная информация, такая как: имена и адреса пользователей, адреса электронной почты, номера телефонов, данные платёжных карт и пр.

Для этого предлагается использовать Datanymizer — он анонимизирует данные на стороне сервера и передаст в тестовую среду уже чистый SQL-дамп, в котором персональные данные удалены или заменены несуществующими данными, похожими по формату на реальные.

Datanymizer написан на Rust и поддерживает глобальные переменные, ограничения уникальности и встроенные правила.

Подробное описание установки и использования читайте в статье.

>>> Подробности

Спустя 9 лет активной разработки, свет увидел язык для инженерных и технических вычислений Julia 1.0!

Авторы языка многие годы работали с такими языками, как R, Matlab, Fortran и Python. Каждый язык, по мнению авторов, имел свои изъяны и недостатки, вследствие чего было решено разработать современный универсальный специализированный язык, который заменит все вышеперечисленные языки в инженерно-технических вычислениях.

( читать дальше... )

>>> Подробности

Expert Fridays – неформальные IT-посиделки, где у каждого спикера есть 10-15 минут на то, чтобы вбросить тему для обсуждения, а дальше в процессе дискуссий, критик и холиваров рождаются новые знания и идеи.

Серию митапов Expert Fridays 2015 года мы решили подытожить обсуждениями стратегий и технологий обработки, анализа и хранения данных.

Big Data Meetup митап пройдет 27 ноября в Казани в Навигатор кампусе. Это будет замечательная возможность получить новые знания, поделиться опытом, пообщаться с коллегами и вдохновиться новыми идеями на следующий год. Регистрируйтесь и оставляйте заявки на участие в качестве спикера на сайте: http://expertfridays.com/ Начало мероприятия: 19:00

Организатор: компания Provectus Будем рады видеть всех! За дополнительной информацией обращайтесь: Константин Макарычев Email: kmakarichev@provectus.com Skype: mkf.simpson Татьяна Козовая Email: tkozovaya@provectus.com. Skype: tkozovaya

>>> Регистрация на сайте

18—19 ноября мы приглашаем всех интересующихся современными мировыми тенденциями Big Data принять участие в Big Data Business Summit 2015. Мероприятие посвящено обсуждениям проблем эффективного управления, хранения и использования растущих объемов данных с акцентом на передовые практики.

Это будет интересно:

• руководителям компаний, заинтересованным в увеличении доходов, путем внедрения новых технологий
• разработчикам ПО, которые имеют дело с проектами, связанными с обработкой Big Data
• техническим специалистам, отвечающим за эффективное хранение данных
• менеджеров и экспертов по маркетингу в поиске новых путей увеличения продаж

В рамках мероприятия пройдет бесплатный хакатон для разработчиков аналитического программного обеспечения с призовым фондом 150 тысяч рублей. Участники хакатона не ограничены темой, типом приложений и платформой. Главное — подготовить прототипы перспективных проектов, а при их защите продемонстрировать работающий заявленный функционал и обосновать коммерческую привлекательность.

Организаторами мероприятия Big Data Business Summit выступают: DGL, Provectus, textocat, КФУ и Бизнес-инкубатор г.Казань.

Мероприятие состоится при поддержке: EMC, Brocade.

Стоимость участия: 1100 р.

Место проведения: г. Казань, 420074, ул. Петербургская, 52

Зарегистрироваться и ознакомиться с более подробной информацией вы сможете на официальном сайте мероприятия.

Официальный сайт мероприятия

>>> Подробности

Приглашаем разработчиков, аналитиков, дизайнеров и менеджеров по продукту на хакатон Big Data for Business — двухдневное командное соревнование по разработке программных продуктов, решающих проблемы бизнеса через анализ данных. Хакатон пройдет 18-19 ноября в казанском ИТ-парке. Спонсоры мероприятия — компании EMC и Brocade. Партнеры — Textocat, DGL, Provectus и Бизнес-инкубатор ИТ-парка г. Казань. Призовой фонд — 150 000 рублей.

( читать дальше... )

>>> Участвовать

Apache Software Foundation анонисировал релиз Hadoop 1.0 - популярной платформы для обработки больших объемов данных.

Apache Hadoop активно используется в Amazon, AOL, Apple, eBay, Facebook, foursquare, HP, LinkedIn, Netflix, The New York Times, Rackspace, Twitter, Yahoo и других компаниях.

Версия 1.0 включает:

• Поддержку СУБД Hbase - добавлены функции sync и flush, необходимые для поддержки журнала транзакций
• Аутентификацию на базе Kerberos
• Webhdfs - простой HTTP REST интерфейс для доступа к распределенной файловой системе Hadoop (HDFS)
• Различные оптимизации и другие улучшения
• Все функции Hadoop 0.20.205

>>> Подробности