LINUX.ORG.RU

3
Всего сообщений: 40

Плохие UTF-8 данные для тестов

Лень выдумывать самому, есть где такие? Что бы были все типы битых сторок и/или намеренно сломанные. Может с приколюхами какими. Главное что бы я смог покрыть все типы кривых строк.

 , , , ,

LINUX-ORG-RU ()

Как организовать хранение данных из не скольких таблиц.

Таблица1 материал - содержит инфу без внешних связей. Таблица2 объект - содержит указание на Таблицу1. Таблица3 деталь - содержит ссылки на множество объектов таблицы2 и может содержать ссылки на детали таблицы3. Как это все лучше хранить ? В виде файлов или sql. Если sql, то как организовать примерно.

 , ,

user2132 ()

Nextcloud 17 как перенести папку хранилища на NAS

Всем привет!

Только начинаю разбираться с Linux, очень интересная система оказалась.

Неделю назад установил Nextcloud для домашних нужд на Ubuntu Server 18.04, все отлично работает, только не могу сообразить как перенести папку data на NAS по SMB или NFS.

Монтировал диск с NAS, но не могу права выдать www-data на папку, соответственно через rsync файлы в неё не копируются - ошибка доступа.

У компьютера на котором стоит Nextcloud всего 16гб SSD, соотвественно большие файлы заливать не получается, да и для корзины места нет.

Подскажите пожалуйста, что можно сделать, последняя надежда на вас :)

 , ,

mcheev ()

Зашарить данные между тестовыми методами класса

Привет, парни.

Есть некий класс с двумя тестами внутри. Первый тест модифицирует переменную, которую нужно расшарить с другими тестами. К сожалению __init__ нельзя пихать в классы, т.к. pytest ругается. Как это сделать правильно и с наименьшей болью?

cat foo.py 
import pytest

class TestFoo:
    data = None

    def test_one(self):
        print('data=', self.data)
        self.data = 10
        print('data=', self.data)

    def test_two(self):
        print('data=', self.data)

выхлоп:

pytest foo.py -v -s
============================================================================================================= test session starts =============================================================================================================
platform linux -- Python 3.7.3, pytest-5.0.1, py-1.5.3, pluggy-0.12.0 -- /usr/bin/python3.7
cachedir: .pytest_cache
metadata: {'Python': '3.7.3', 'Platform': 'Linux-5.1.5-x86_64-with-glibc2.2.5', 'Packages': {'pytest': '5.0.1', 'py': '1.5.3', 'pluggy': '0.12.0'}, 'Plugins': {'metadata': '1.8.0', 'html': '1.20.0', 'hypothesis': '3.66.6', 'expect': '1.1.0'}}
rootdir: /tmp
plugins: metadata-1.8.0, html-1.20.0, hypothesis-3.66.6, expect-1.1.0
collected 2 items                                                                                                                                                                                                                             

foo.py::TestFoo::test_one data= None
data= 10
PASSED
foo.py::TestFoo::test_two data= None
PASSED

========================================================================================================== 2 passed in 0.01 seconds ===========================================================================================================

 , , ,

ubik ()

Не пустить пакет на сервер по его содержимому (data)

Добрый день! Я новичок в сетевых технологиях. Прошу помощи у специалистов. Может что посоветуете почитать или поможете с решением проблемы. Заранее спасибо. Ко мне поступает «пакет» с одним и тем же содержимым, то есть data. Есть ли возможность проверки «пакета» на его содержимое? Протокол: UDP. Если есть, помогите с решением... Может регулярное выражение или возможность вставить эти данные для проверки «пакета», чтобы в последствии его DROP'нуть. Содержимое data: «0a002473257325732573256e256e256e256e256e256e00». Спасибо за понимание и отзыв.

Решение: -A INPUT -p udp -m string --hex-string «|0a002473257325732573256e256e256e256e256e256e00|» --algo kmp --to 65535 -j LOG --log-prefix «Salamon Attack Detected: » -A INPUT -p udp -m string --hex-string «|0a002473257325732573256e256e256e256e256e256e00|» --algo kmp --to 65535 -j DROP

 ,

WeSTMan ()

Когда запускалась программа

Как узнать когда последний раз запускалась программа? И потом вывести в файл эту дату и название программы

 , , ,

gordeeva89 ()

Matlab programmer (data exploration, statistics, elements of machine learning) до 200.000 Net удаленка для М и МО

Распределенная команда разработчиков с большим и стабильным финансированием приглашает в штат на постоянную работу (возможна удаленка для М и МО) программистов Matlab.

Your Experience/Skills

Experience in working with datasets (medium sized, order of several GB), experience in programming, MATLAB (Ideally, we would like to hire people who write on MATLAB in science, not industry!) Experience with distributed version control (git) Reasonable spoken & written English (some team members do not speak Russian) Understanding of mathematics, statistics, and time series

Technology:

* the interface to strategy platform is in MATLAB (so experience in MATLAB required), * the interface to trading platform is in Python 3 (so Python skills would be advantageous), * we are open to expanding to other technologies down the line, but need results delivered in MATLAB first

Methods:

* datasets are of medium size (GigaBytes, hundred thousands datapoints) * thus, insufficient data for many popular machine learning methods (no neural nets…) * goal: classification (supervised learning) * preference for old-fashioned linear methods, or * very judicious application of some (low dimensional) more modern methods (such as Support Vector Machines, Decision Forest, etc.) * candidate must be aware of overfitting/sampling bias issues

We are ready to hire a few specialists from junior to senior level

Senior task * mostly data exploration, significant statistics, maybe elements of machine learning, nearly research level * analyse data for patterns and irregularities * formulate trading strategies and backtest them (familiarity with exploration/test/validation advantageous)

Junior task * mostly data processing, lots of programming, some mathematics * data cleaning, manipulation, transformation * backtesting infrastructure (take historical price data, take strategy, write code to simulate what strategy would have yielded on given data)

Условия:

Работа в распределенной команде (потому нужен английский язык) профессионалов высокого уровня (разработчики не ниже уровня Senior, PhD Stanford и т.д.) с большим и устойчивым финансированием (никаких задержек по з/п) Офис в центре рядом с метро, возможна удаленная работа после испытательного срока. График работы и размер з/п реально обсуждается в каждом конкретном случае (исходим от пожеланий кандидата).

-----------------------------
Svetlana Skorikova
Talent Acquisition Professional
e-mail skorikova.sv@gmail.com
8 (985) 6447813 (via phone call, whatsapp)

 , , , ,

Svet2010 ()

Поиск научного софта

Где-то с год-два назад я наткнулся на софт, который хорошо убирал шум из данных. Я помню, что его писали какие-то учёные, но не могу по ключевым словам найти в закладках. Если кто-то сталкивался, буду рад помощи.

 , , ,

ZERG ()

Как вытащить данные с неполного образа диска?

Есть образ флешки (она была 30Гиг), там 2 раздела, было записано данных на неё гига 3 всего. Есть образ, который начал делать dd до того, как она подохла, скопировалась 12Гиг. Файловая система на втором разделе ext4. Учитывая небольшой записанный объём, есть большие шансы, что данные там и сохранены. Конечно же, пробовал его записать на другую, но там бесполезно хоть фсаками гонять, хоть чем - ругается, что суперблок не соответствует заявленному размеру файловой системы, потом всё исправляет, но ничего не монтируется.
Как в таком случае можно примонтировать для спасения данных?

 , ,

fehhner ()

Формат записи схемы структурированных данных

Какой сейчас общепринятый формат записи schema для структурированных данных?

Делаю с нуля велосипед, который на вход и выход ожидает структурированные данные (вложенные словари, главным образом). Хоть вряд ли кто-то им заинтересуется, я хочу написать его так, чтобы сторонний человек сразу понял, какую структуру данных подавать на вход, и что ожидать на выходе.

По функциональности мне бы хватило и определить схему прямо в коде, но я же с нуля делаю, могу прикрутить JSON Schema, могу любой другой формат. Что сейчас наиболее распространено и считается best practice?

 ,

si0 ()

ПО для мониторинга трафика данных диска.

Поиск в гугле не помог. Для друга ищу, он взял себе добротный SSD и начитался всякой мути в сети, по поводу износа и прочего. Но при этом диск дорогой и качественный, и даже это не волнует, крч, спорили с ним вчера весь вечер. Обрисую вкратце, нужно чтобы программа мониторила и накопляла трафика данных с диска. Чтобы была фиксация чтения и записи данных с диска и накопление в суммарный объем за определенное время. На пример, включил программу в 14:00 и работаю с другим ПО до 16:00. После, заканчиваю работу всех программ, захожу смотрю общее количество записанных и прочитанных МБ/ГБ/ТБ за это время. Звучит бредово, но и вправду, в сети ничего подобного не смог найти. Если кто-то знает подобные программы, с такими функциями, подскажите, буду раз любой информации. Спасибо.

 , , , ,

Akelian ()

Есть ли такой текстовый формат для заметок с данными?

Захотелось текстового формата в котором можно удобно описывать заметки с разными данными. Что-то типа маркдауна но где кроме списков и заголовков можно описывать таблицы, графики, диаграммы и тд с тулами которые умеют это (красиво) рисовать.

org-mode похож, но он монструозен и работает нормально только в емаксе, latex тоже очень монструозен и слишком заточен на печать, размеры полей, шрифты и вот это вот все.

Может лоровцы знают что-то подходящее под описание?

 , , , ,

loz ()

Как вывести сырые данные?

Есть проблемный кусочек кода, для которого интерпретатор не нашел пользовательских функций.

echo $vd2->vname; //на выхлопе строка
echo $vd2->vtype; //на выхлопе строка
echo output_sum(get_valut_reserv($vd2, 'v'), 2); //обе функции undefined

Как распечатать данные из третьей строки без участия функций?

var_dump($vd2); //ничего не выводит

 ,

k0ttee ()

Корпус корней русского языка

Добыть корпус слов русского языка - не проблема. Но мне позарез понадобился корпус корней русского языка. Можно его где-то найти в готовом виде?

 ,

maked0n ()

фреймворк для отложенного обмена данными. amqp, но не совсем

привет. есть точка в южной америке со своим складским учётом. есть в рф центральная БД. в юа иногда на точке бывает интернет.
надо как-то так:
индеец-кладовщик вводит данные в компьютер. если есть инет, есть обмен с центральной бд, то всё ок.
если обмена нет, то данные от индейца накапливаются, и по мере необходимости сохраняются в файл (на флешку).
потом кладовщик едет домой по реке с флешкой в кармане. дома он втыкает флешку в свой пк, и как-то отправляет данные в центральную бд (получая от неё же обновления справочников и т.п.)
имеет ли смысл изобретать полностью свой велосипед?

 , , ,

taker ()

bareos Data Encryption как ?

Подскажите возможно ли использовать в bareos отдельные ключи шифрования дешифрирования данных?

 , ,

Skote ()

«Правило» программирования от Роба Пайка

Известный товарищ Роб Пайк сформулировал не менее известные правила, которые вроде должны помогать в программировании. Наиболее загадочным для меня представляется последнее: «Data dominates. If you've chosen the right data structures and organized things well, the algorithms will almost always be self-evident. Data structures, not algorithms, are central to programming.»

Что, действительно так? Как это выглядит на деле? Можно ли привести примеры, в которых данные хорошо/плохо организованы?

 ,

hotpil ()

Data Drop

Вычитал тут такую штуку

http://insights.ubuntu.com/2016/04/26/wolfram-research-releases-data-drop-log...

Может кто объяснить что это и зачем?

 , ,

fornlr ()

data -> sd

Оказывается 1Гб на дату это мало захотелось расширить без всяких прог за счет второго раздела на второй сдшке:

1. mount -t ext4 /dev/block/mmcblk1p2 /mnt/tmpdata
2. cp -Rv /data/* /mnt/tmpdata/

И вот думаю как же теперь записать то, что я хочу в fstab если он выглядит вот так:
vold.fstab

## Vold 2.0 Generic fstab
## - San Mehat (san@android.com)
## 

#######################
## Regular device mount
##
## Format: dev_mount <label> <mount_point> <part> <sysfs_path1...> 
## label        - Label for the volume
## mount_point  - Where the volume will be mounted
## part         - Partition # (1 based), or 'auto' for first usable partition.
## <sysfs_path> - List of sysfs paths to source devices
######################

## Example of a standard sdcard mount for the emulator / Dream
# Mounts the first usable partition of the specified device
dev_mount sdcard /storage/sdcard0 emmc@fat /devices/platform/goldfish_mmc.0 /devices/platform/mtk-msdc.0/mmc_host
dev_mount sdcard2 /storage/sdcard1 auto /devices/platform/goldfish_mmc.1 /devices/platform/mtk-msdc.1/mmc_host
## Example of a dual card setup
# dev_mount left_sdcard  /mnt/sdcard1  auto /devices/platform/goldfish_mmc.0 /devices/platform/mtk-sd.0/mmc_host/mmc0
# dev_mount right_sdcard /mnt/sdcard2  auto /devices/platform/goldfish_mmc.1 /devices/platform/mtk-sd.2/mmc_host/mmc2

## Example of specifying a specific partition for mounts
# dev_mount sdcard /mnt/sdcard 2 /devices/platform/goldfish_mmc.0 /devices/platform/msm_sdcc.2/mmc_host/mmc1

# usb otg disk

vold.fstab.nand

## Vold 2.0 Generic fstab
## - San Mehat (san@android.com)
## 

#######################
## Regular device mount
##
## Format: dev_mount <label> <mount_point> <part> <sysfs_path1...> 
## label        - Label for the volume
## mount_point  - Where the volume will be mounted
## part         - Partition # (1 based), or 'auto' for first usable partition.
## <sysfs_path> - List of sysfs paths to source devices
######################

## Example of a standard sdcard mount for the emulator / Dream
# Mounts the first usable partition of the specified device
dev_mount sdcard /storage/sdcard0 auto /devices/platform/goldfish_mmc.0 /devices/platform/mtk-msdc.1/mmc_host

## Example of a dual card setup
# dev_mount left_sdcard  /mnt/sdcard1  auto /devices/platform/goldfish_mmc.0 /devices/platform/mtk-sd.0/mmc_host/mmc0
# dev_mount right_sdcard /mnt/sdcard2  auto /devices/platform/goldfish_mmc.1 /devices/platform/mtk-sd.2/mmc_host/mmc2

## Example of specifying a specific partition for mounts
# dev_mount sdcard /mnt/sdcard 2 /devices/platform/goldfish_mmc.0 /devices/platform/msm_sdcc.2/mmc_host/mmc1


Пытался докинуть это в конец vold.fstab
dev_mount data /data 2 /devices/platform/goldfish_mmc.1 /devices/platform/mtk-msdc.1/mmc_host

никакого эффекта

 , , ,

DenisPA ()

ПО для восстановления данных с Flash-карты какое знаете?

Флешка рабочая. Просто файлы были удалены, но вероятно, что не все затерты.
Там были фото и видео.

 , ,

Mindincrash ()