Есть смесь баз данных LeveDB, RockDB. Оно должно достаточно быстро доставать данные с диска, записи данных очень мало.
Думаю, с учетом специфики задачи, действует правило Парето - на 5% данных приходится 95% обращений.
То есть если я выделю под кеш 128ГБ то будет увеличение скорости этой телеги, наверное.
Вопрос, а качество кеширования/скорость чтения сильно зависит от фаайловой системы? если вместо ext4 поставить zfs например?
Как понять кто режет SIP-трафик: Debian, роутер или провайдер?
Поменял интернет-провайдера и пошли проблемы с voip звонками - причем нельзя сказать что трафик полностью режется!
На десктопе пробовал все мыслимые sip-звонилки. Они тупо не работают. Однако одна, BareSIP, она из командной строки- все таки работает. Но странно - звонок абоненту приходит аж через 2 минуты после начала связи. Соединяюсь по wifi пока, если надо могу по проводу попробовать
Adroid клиент на смартфоне работает отлично - мгновенно соединяется по wifi ( интернет по мобильной связи октлючен), связь ок. Это очень странно, значит роутер ок?
Попробовал на разных компах, старая ubuntu и установленный с нуля debian- картина одинаковая.
Роутер у меня D-Link DIR 853 AC1300 MU-MIMO Wi-Fi Gigabit Router, вполне работает, других нареканий кроме sip нет.
интернет провайдер тоже не представляю чтобы резал трафик - зачем это ему. SIP провайдер мой, zadarma, неужели хочет чтобы все звонили через смартфонные приложения и как то определяет что звонят с десктопа и делает например timeout Для звонка??? но зачем ему такое
буду рад любым советам, может что есть для диагностики?
монитор AOC Q3279VWF , стоит режим 2560 x 1440
утилита выдает разрешения:
xdpyinfo | grep -B 2 resolution
dimensions: 2560x1440 pixels (731x430 millimeters)
resolution: 89x85 dots per inch
а если я измеряю сантиметром размер видимой части и делю на него число пикселей то получаются цифры сильно выше:
ширина 70 см = 27.56 дюймов –> dpi horiz = 92.9
высота 39.5 см = 15.55 дюймов –> dpi vertc = 92.6
почему так?
Задача:
SQL запрос дает таблицу , две колонки, назовем их «метка1» и «метка2». По сути это граф в табличной форме.
Далее аналитик копает дальше, а именно копирует содержимое ячейки «метка» в другой или такой же sql запрос и получает другую таблицу из 2 колонок и так далее..
Хотелось бы автоматизироватаь процесс. Что по клику метки запускался sql запрос и выводил новую таблицу
То есть не надо красивого интерфейса, нужен инструмент который избавляет аналитика от бесчисленного copy-past-run-SQL. Вроде это то, что мне надо называется «drill down»
Как такое проще всего сделать? в идеале чтобы прямо по графу из graphviz, щелкаешь и оно отрисовывает новый граф. Но в командной строке, ncurces тоже бы сгодилось, главное чтобы побыстрее и python.
Куда смотреть?
Есть таблицы ( результат sql запросов), их надо отрисовать графиками. Libre Office слишком малофункционален - например если есть две величины (отличаются друг от друга в десятки раз) зависящие от времени, я с ходу не нашел в нем возможности сделать две разные оси ординат, так чтобы обе кривые красиво вписывались в график.
Может есть более продвинутые рисовалки табличных даных, open source? чтобы гибко играть с масштабами например при выводе одновременно двух кривых?
Есть csv, от десятков ГБ до 1 ТБ, то есть,сильно больше чем моя RAM. В строке таблицы порядка 5 полей. Размер одного поля можно считать нефиксированным, но до 50КБ. Число строк от 100 млн до 2 млрд. Будет именно чтение одним пользователем, никаких записей в файл.
В таблицах есть уникальное поле, «хеш». Во что мне конвертировать csv файл, чтобы максимально быстро получать доступ к строке по индексу?-
А) sql. типа postgre. удобно но эта БД поддерживает многопользовательскую запись, репликации- всё это мне не нужно, оверкилл
Б) sql типа sqllight. на малых объемах летает. но не уверен что она хорошо работает с большими файлами, в том числе сможет быстро создавать индексы
В) nosql база типа mongo?
Г) файлы с индексами - обработка python-ом
Я думаю что вариант Г) - оптимальный. или есть иные варианты? куда именно смотреть?
Задача: купить восстановленный «ноутбук за минимальную цену», без вентилятора и на ssd.
Идея в том что там нет движущихся частей и можно найти (через родственников в Германии), скажем, нечто 4 летней давности, проданное корпорацией, почищенное от пыли, с хорошими показателями, за небольшую цену.
Планирую поставить debian mini.iso, и легкий менеджер окон. В основном будет открыто IntelliJ IDEA + браузер.
На какое минимальное поколение процессоров мне ориентироваться? amd/intel - непринципиально..
Неттоп ASUS EeeBox PC EB1007P: ubuntu 20, 64 bit; atom d425, 4 GB;
xorg+icewm + slim;
в спецификациях компьютера написано, что видеокарта: Intel® HD Graphics 5500 (на чипсете nm10), у самой intel про hd5500 написано что поддеживается декодирование AVC/H.264 !
Я установил всё что может иметь отношение к vaapi, mesa, gstreamer, кодекам.
Видео в h264 на firefox крутятся, но адски грузят процессор(, поэтому собственно и вспомнил про vaapi
Увы, оно ругается:
vainfo
libva info: VA-API version 1.7.0
libva info: User environment variable requested driver ‘i965’
libva info: Trying to open /usr/lib/x86_64-linux-gnu/dri/i965_drv_video.so
libva info: Found init function __vaDriverInit_1_6
libva error: /usr/lib/x86_64-linux-gnu/dri/i965_drv_video.so init failed
libva info: va_openDriver() returns -1
vaInitialize failed with error code -1 (unknown libva error),exit
Если явно установить имя i965, ругается, но иначе:
export LIBVA_DRIVER_NAME=i965
vainfo
libva info: VA-API version 1.7.0
libva info: User environment variable requested driver ‘i965’
libva info: Trying to open /usr/lib/x86_64-linux-gnu/dri/i965_drv_video.so
libva info: Found init function __vaDriverInit_1_6
libva error: /usr/lib/x86_64-linux-gnu/dri/i965_drv_video.so init failed
libva info: va_openDriver() returns -1
vaInitialize failed with error code -1 (unknown libva error),exit
Это значит что у меня не тот драйвер для gpu? или такого драйвера вообще нет?
—— детали:
inxi -v2
Graphics: Device-1: Intel Atom Processor D4xx/D5xx/N4xx/N5xx Integrated Graphics driver: i915 v: kernel
Display: x11 server: X.Org 1.20.8 driver: intel unloaded: fbdev,modesetting,vesa resolution: 1366x768~60Hz
OpenGL: renderer: Mesa DRI Intel Pineview v: 1.4 Mesa 20.0.8
/usr/lib/x86_64-linux-gnu/dri$ ls -l
total 308312
-rw-r–r– 5 root root 13459840 Jun 12 02:05 i915_dri.so
-rw-r–r– 5 root root 13459840 Jun 12 02:05 i965_dri.so
-rw-r–r– 1 root root 8098968 Feb 6 07:28 i965_drv_video.so
-rw-r–r– 1 root root 7369800 Apr 9 06:16 iHD_drv_video.so
-rw-r–r– 10 root root 20555088 Jun 12 02:05 iris_dri.so
-rw-r–r– 10 root root 20555088 Jun 12 02:05 kms_swrast_dri.so
-rw-r–r– 10 root root 20555088 Jun 12 02:05 nouveau_dri.so
-rw-r–r– 3 root root 9112872 Jun 12 02:05 nouveau_drv_video.so
-rw-r–r– 5 root root 13459840 Jun 12 02:05 nouveau_vieux_dri.so
-rw-r–r– 5 root root 13459840 Jun 12 02:05 r200_dri.so
-rw-r–r– 10 root root 20555088 Jun 12 02:05 r300_dri.so
-rw-r–r– 10 root root 20555088 Jun 12 02:05 r600_dri.so
-rw-r–r– 3 root root 9112872 Jun 12 02:05 r600_drv_video.so
-rw-r–r– 5 root root 13459840 Jun 12 02:05 radeon_dri.so
-rw-r–r– 10 root root 20555088 Jun 12 02:05 radeonsi_dri.so
-rw-r–r– 3 root root 9112872 Jun 12 02:05 radeonsi_drv_video.so
-rw-r–r– 10 root root 20555088 Jun 12 02:05 swrast_dri.so
-rw-r–r– 10 root root 20555088 Jun 12 02:05 virtio_gpu_dri.so
-rw-r–r– 10 root root 20555088 Jun 12 02:05 vmwgfx_dri.so
-rw-r–r– 10 root root 20555088 Jun 12 02:05 zink_dri.so
спецификации:
https://ark.intel.com/content/www/us/en/ark/products/47610/intel-nm10-express-chipset.html
inxi -v2
System: Host: ntt Kernel: 5.4.0-40-generic x86_64 bits: 64 Desktop: IceWM 1.6.4 Distro: Ubuntu 20.04 LTS (Focal Fossa)
Machine: Type: Desktop System: ASUSTeK product: EB1007P v: 0306 serial: <superuser/root required>
Mobo: ASUSTeK model: EB1007P v: Rev 1.xx serial: <superuser/root required> BIOS: American Megatrends v: 0306
date: 05/10/2012
CPU: Single Core: Intel Atom D425 type: MT speed: 1813 MHz
Graphics: Device-1: Intel Atom Processor D4xx/D5xx/N4xx/N5xx Integrated Graphics driver: i915 v: kernel
Display: x11 server: X.Org 1.20.8 driver: intel unloaded: fbdev,modesetting,vesa resolution: 1366x768~60Hz
OpenGL: renderer: Mesa DRI Intel Pineview v: 1.4 Mesa 20.0.8
Network: Device-1: Qualcomm Atheros AR9485 Wireless Network Adapter driver: ath9k
Device-2: Realtek RTL8111/8168/8411 PCI Express Gigabit Ethernet driver: r8169
Drives: Local Storage: total: 232.89 GiB used: 7.38 GiB (3.2%)
Info: Processes: 118 Uptime: 4h 08m Memory: 3.83 GiB used: 268.1 MiB (6.8%) Shell: bash inxi: 3.0.38
У меня стоит xorg и браузер, т.е. desktop environment нет (потому что железо хилое). запускаю браузер на весь экран, создав файл .xinirc :
xrandr –output VGA1 –mode 1366х768 google-chrome (или firefox)
так вот хром открывается на весь экран, а firefox примерно на 80%. Как исправить?
Например, ubuntu 20: «2 GHz dual core processor». Но где именно «узкое место» по частоте? Часть прикладных задач можно делать и на очень слабом камне- будет просто «медленно», но это некритично.
С другой стороны, есть задачи типа декодирования видео, где нехватка частоты процессора будет критичной - дефект виден визуально.
Но если есть система без прикладного софта, даже без gui - почему разработчики все таки требуют минимальной частоты cpu? что именно там не будет работать при пониженной частоте?
Смотрю на слабом компе ТВ-новости, в firefox-е. Вроде тормозов нет, но процессор загружен под 100%.
Стоит ли мне искать экзотические «легкие» браузеры - всякие vivaldi - palemoon, или загрузка камня определяется исключительно его частотой и инструкциями декодирования, которые он поддерживает - то есть браузером ситуацию не исправить?
детали: 4 Gb, Intel Atom D425, 1.8 Ghz ubuntu 18, 64 bit разрешение видео 720р - тестовые ролики на youtube для проверки графики
Пишут что 32 всегда заведется на 64: «64-bit processors are backwards-compatible and can run 32-bit software. This means that you can install a 32-bit operating system on a 64-bit computer.»
Но у меня только что Debian Live 64 на 64 bit машине завелся, а 32 bit iso (на флешку писал по той же технологии) - нет. Такое вообще возможно? или перепроверять?
А что вообще будет если 32 бит дистрибутив попытаться завести на 64 бит железе? оно всегда запустится, или могут быть нюансы?
Мне достался симпатичный, но древний неттоп Asus EeeBox PC EB1007P 4GB DDR3; 320GB HDD Sata; 1.8 GHz
Я хочу поставить на него любой Linux плюс браузер - смотреть новости ТВ с сайтов некоторых, в низком разрешении.
Пробовал установить с флешки - Puppy, Ubuntu 16 - не работает. Такое впечатление что неттоп с одной стороны видит флешку (в bios это отображено), но не может с нее загрузиться.
Может проблема с архитектурой atom или тем что они -32 битные?
В какую сторону копать?
Проблема: есть старый комп. Использую как ТВ (kodi & браузер, смотрю тв-новости в низком разрешении). Выкинул из ubuntu LXDE все что можно - все равно загрузка, от включения до прорисовки браузера занимает >10 сек. Может изза того что hdd и это не лечится?
вопрос. можно ли предельно упростить систему, по сути мне нужно ядро linux + любой браузер + поддержка wifi - и за счет этого уменьшить время загрузки???
Есть я и собеседник. Нам надо пообщаться в чате. Чтобы сообщения шифровались на клиентах, сервер в шифровании не участвует.
У обоих ip-адреса не статические, nat провайдера плюс роутер. Еще есть vps.
Нужно только обсен сообщениями, - то есть, не надо адресных книг, хранения сообщений на сервере если собеседник в оффлайне, передачи файлов и прочих излишеств.
Не надо GUI - достаточно командной строки. Linux
Есть такое?
Попробовал сервис резидентных прокси. У них много sim-карт, они используются как прокси для выхода в интернет.
Удобно, хоть и ужасно медленно. Но. Пользователь соединяется с http-прокси , через который уже дальше трафик идет к сим-картам. То есть, все https соединения происходят на серверах сервиса? и они видят мои пароли-логины, если через такие http-прокси регистрироваться?!
Как вообще http прокси отрабатывает https запросы. SSL с таргетом устанавливает прокси или машина клиента?
Если запускать бинарник «в лоб» cpulimit .. command то всё работает, а мне нужно чтобы ядро было загружено на 50%.
Если же python запускает бинарник через subprocess.call.. все варианты попробовал, всегда субпроцесс грузит ядро на 100%, cpulimit не срабатывает
В чем причина и как пролечить?
Мне нужно зарегистрироваться в неком сервисе с ip адреса, отличного от моего.
Я пробовал заходить через мои VPS, пробовал и разные vpn- увы. Система как то понимает, что это всё адреса хостеров, а не провайдеров интернет-доступа.
Как это может работать? во первых продаются списки vpn, прокси и тп, и если заход с адреса из списка- до свидания. Если имеешь аддон в браузере, то видишь куда ходят GET-запросы, и это точно не интернет-провайдер
Во вторых, может по айпи адресу смотрят данные владельца и уже на этом уровне (по структуре аплинков?) можно понять хостер это или нет?
Наконец, если регистраций много, сервис сам легко понимает что этот айпи адрес используют в качестве прокси и тп
В общем, как получить неиспорченный ip-адрес чтобы (в духе VPN) через него пробиться с регистрацией на gmail и подобные сервисы ?
Есть некий бинарник который запускается python-скриптом. Бинарнику надо закрыть выход в интернет (я использую firejail) и ограничить потребление ресурсов процессора (я использую cpulimit).
попытка запуститься так- не работает: … subprocess.call([‘firejail’,‘cpulimit’,‘-l’, ‘-50’ , ‘/usr/local/bin/binary’])
куда копать?
Насколько я знаю, нет простых способов ограничить свои траты. Если будет глюк вашего софта и он начнет качать терабайтами, или кто то получил доступ к вашему аккаунту- можно хорошо залететь. Надеяться на алармы тоже не стоит.
Поэтому должна быть лямбда функция и т.п, типа «если я превышаю свои квоты по трафику или уже понесенным затратам- вырубить все мои ресурсы в облаке.»
Можно конечно копать API биллинга и ресурсов, но вопросом этим наверняка многие интересовались, может есть готовое решение?
| следующие → |