LINUX.ORG.RU

4
Всего сообщений: 94

Почему такая стандартная операция получается такой сложной?

Подозреваю что я делаю что-то не так

Входные данные: fs=/usr size_in_GB=8 (fs – это mountpoint, size_in_GB желаемый размер в ГБ)

По идее надо ресайзить LV модулем lvol, затем модулем filesystem ресайзить саму файловую систему

lvol:
  lv: ??? неизвестен, надо выковыривать из facts ???
  vg: ??? неизвестен, надо выковыривать из facts ???

дальше проще, но как быть с этими lv: и vg: ?

Получается проще из facts вытащить device=/dev/rootvg/lv_usr (как пример) и затем lvextend -L"{{sizeGB}}g" -r "{{device}}"

Но это как-то не по канону

Update: Сделал так пока

---
#
# usage: ansible-playbook linux_resize_fs.yaml -e 'fsmount=/usr fssize=5.5g'
#

- name: Resize fs on Linux
  hosts: all
  gather_facts: True
  tasks:

    - name: set vg and lv vars
     # double split /dev/mapper/VG-LV
     # 1. by '/' -- get VG-LV
     # 2. by '-' -- get VG and LV
      set_fact:
          vg: "{{ item.device.split('/').3.split('-').0 }}"
          lv: "{{ item.device.split('/').3.split('-').1 }}"
      when: item.mount == fsmount
      loop: "{{ ansible_mounts }}"


    - name: Resize up and do not try to shrink if size is lower
      lvol:
        vg: "{{ vg }}"
        lv: "{{ lv }}"
        size: "{{ fssize }}"
        shrink: no
        resizefs: yes

 , , ,

futurama ()

Выбор универсальной файловой системы для внешнего HDD 4TB

Есть внешний HDD на 4ТB для которого не могу выбрать файловую систему.
Большую часть времени жесткий будет подключаться к MacOS и Linux, изредка к Windows.
Есть ли какая-то универсальная файловая система? Ну или драйвер который будет ставиться без проблем и не будет проблем в его использование.
Изначально думал что можно выбрать exFAT, на MacOS и Linux отлично себя ведет. А вот на Windows иногда сбоит. Говорит что не может прочитать.
У кого какой опыт использования?

UPD:
Всем спасибо. Я выбрал NTFS. В линуксе драйвер работает хорошо. На маке решил использовать драйвер от Tuxera, так как линукс драйвер тоже от них.

 , , , ,

oster2011 ()

Can`t Run LeoGateway on node with leo_manager, Leo_storage - Node is already running

Не могу запустить LeoGateway с leo_manager, Leo_storage на одной ноде (сервере) - выдает ‘Node is already running’

Создал issue https://github.com/leo-project/leofs/issues/1199

Ansible Inventory:

# Please check roles/common/vars/leofs_releases for available versions
[all:vars]
leofs_version=1.4.3
build_temp_path="/tmp/leofs_builder"
build_install_path="/tmp/"
build_branch="master"
source="package"

# nodename of leo_manager_0 and leo_manager_1 are set at group_vars/all
[leo_manager_0]
172.26.9.190

# nodename of leo_manager_0 and leo_manager_1 are set at group_vars/all
[leo_manager_1]
172.26.9.189

[leo_storage]
172.26.9.190 leofs_module_nodename=S0@172.26.9.190
172.26.9.189 leofs_module_nodename=S1@172.26.9.189

[leo_gateway]
172.26.9.190 leofs_module_nodename=G0@172.26.9.190
172.26.9.189 leofs_module_nodename=G1@172.26.9.189

[leofs_nodes:children]
leo_manager_0
leo_manager_1
leo_gateway
leo_storage
TASK [leo_gateway : Run LeoGateway] *************************************************************************************************************
fatal: [172.26.9.190]: FAILED! => {
    "changed": true, 
    "cmd": [
        "bin/leo_gateway", 
        "start"
    ], 
    "delta": "0:00:00.768302", 
    "end": "2019-12-15 11:30:37.554137", 
    "rc": 1, 
    "start": "2019-12-15 11:30:36.785835"
}

STDOUT:

Node is already running!


MSG:

non-zero return code

fatal: [172.26.9.189]: FAILED! => {
    "changed": true, 
    "cmd": [
        "bin/leo_gateway", 
        "start"
    ], 
    "delta": "0:00:00.820479", 
    "end": "2019-12-15 11:30:37.647186", 
    "rc": 1, 
    "start": "2019-12-15 11:30:36.826707"
}

STDOUT:

Node is already running!


MSG:

non-zero return code

Schema: leofs-cluster

Как запустить LeoGateway с leo_manager, Leo_storage на одной ноде (сервере) ?

 ,

chemtech ()

S3 error: 403 (AccessDenied) на кластерной файловой системе LeoFS

Установил кластерную файловую систему LeoFS по инструкциям и комментариям в этом issue https://github.com/leo-project/leofs_ansible/issues/4

Status пишет что кластер работает:

leofs-adm status
 [System Confiuration]
-----------------------------------+----------
 Item                              | Value    
-----------------------------------+----------
 Basic/Consistency level
-----------------------------------+----------
                    system version | 1.2.22
                        cluster Id | leofs_1
                             DC Id | dc_1
                    Total replicas | 2
          number of successes of R | 1
          number of successes of W | 1
          number of successes of D | 1
 number of rack-awareness replicas | 0
                         ring size | 2^128
-----------------------------------+----------
 Multi DC replication settings
-----------------------------------+----------
        max number of joinable DCs | 2
           number of replicas a DC | 1
-----------------------------------+----------
 Manager RING hash
-----------------------------------+----------
                 current ring-hash | 5599d172
                previous ring-hash | 5599d172
-----------------------------------+----------

 [State of Node(s)]
-------+----------------------+--------------+----------------+----------------+----------------------------
 type  |         node         |    state     |  current ring  |   prev ring    |          updated at         
-------+----------------------+--------------+----------------+----------------+----------------------------
  S    | S0@172.26.9.179      | running      | 5599d172       | 5599d172       | 2019-12-02 10:40:05 +0000
  S    | S0@172.26.9.181      | running      | 5599d172       | 5599d172       | 2019-12-02 10:40:05 +0000
  G    | G0@172.26.9.180      | running      | 5599d172       | 5599d172       | 2019-12-02 10:40:07 +0000
-------+----------------------+--------------+----------------+----------------+----------------------------


Создал юзера

leofs-adm create-user leofs leofs
  access-key-id: 9c2615f32e81e6a1caf5
  secret-access-key: 8aaaa35c1ad78a2cbfa1a6cd49ba8aaeb3ba39eb

Список юзеров:

leofs-adm get-users
user_id     | role_id | access_key_id          | created_at                
------------+---------+------------------------+---------------------------
_test_leofs | 9       | 05236                  | 2019-12-02 06:56:49 +0000
leofs       | 1       | 9c2615f32e81e6a1caf5   | 2019-12-02 10:43:29 +0000

Сделал bucket

leofs-adm add-bucket leofs 9c2615f32e81e6a1caf5
OK

Список bucket:

 leofs-adm get-buckets
cluster id   | bucket   | owner  | permissions      | created at                
-------------+----------+--------+------------------+---------------------------
leofs_1      | leofs    | leofs  | Me(full_control) | 2019-12-02 10:44:02 +0000

Конфигурирование s3cmd:

s3cmd --configure 

Enter new values or accept defaults in brackets with Enter.
Refer to user manual for detailed description of all options.

Access key and Secret key are your identifiers for Amazon S3. Leave them empty for using the env variables.
Access Key [9c2615f32e81e6a1caf5]: 
Secret Key [8aaaa35c1ad78a2cbfa1a6cd49ba8aaeb3ba39eb]: 
Default Region [US]: 

Use "s3.amazonaws.com" for S3 Endpoint and not modify it to the target Amazon S3.
S3 Endpoint [s3.amazonaws.com]: 

Use "%(bucket)s.s3.amazonaws.com" to the target Amazon S3. "%(bucket)s" and "%(location)s" vars can be used
if the target S3 system supports dns based buckets.
DNS-style bucket+hostname:port template for accessing a bucket [%(bucket)s.s3.amazonaws.com]: leofs

Encryption password is used to protect your files from reading
by unauthorized persons while in transfer to S3
Encryption password: 
Path to GPG program [/usr/bin/gpg]: 

When using secure HTTPS protocol all communication with Amazon S3
servers is protected from 3rd party eavesdropping. This method is
slower than plain HTTP, and can only be proxied with Python 2.7 or newer
Use HTTPS protocol [No]: 

On some networks all internet access must go through a HTTP proxy.
Try setting it here if you can't connect to S3 directly
HTTP Proxy server name [172.26.9.180]: 
HTTP Proxy server port [8080]: 

New settings:
  Access Key: 9c2615f32e81e6a1caf5
  Secret Key: 8aaaa35c1ad78a2cbfa1a6cd49ba8aaeb3ba39eb
  Default Region: US
  S3 Endpoint: s3.amazonaws.com
  DNS-style bucket+hostname:port template for accessing a bucket: leofs
  Encryption password: 
  Path to GPG program: /usr/bin/gpg
  Use HTTPS protocol: False
  HTTP Proxy server name: 172.26.9.180
  HTTP Proxy server port: 8080

Test access with supplied credentials? [Y/n] Y
Please wait, attempting to list all buckets...
Success. Your access key and secret key worked fine :-)

Now verifying that encryption works...
Not configured. Never mind.

Save settings? [y/N] y
Configuration saved to '/home/user/.s3cfg'

Закачка файлов

s3cmd put test.py s3://leofs/
upload: 'test.py' -> 's3://leofs/test.py'  [1 of 1]
 382 of 382   100% in    0s     3.40 kB/s  done
ERROR: S3 error: 403 (AccessDenied): Access Denied

Если поменять права на bucket, то можно будет закачать файл

leofs-adm update-acl leofs 9c2615f32e81e6a1caf5 public-read-write
OK

Закачка c public-read-write bucket

s3cmd put test.py s3://leofs/
upload: 'test.py' -> 's3://leofs/test.py'  [1 of 1]
 382 of 382   100% in    0s     2.92 kB/s  done

 , ,

chemtech ()

Написать инструкцию по настройке кластера LeoFS Storage System для S3

Есть проект https://github.com/leo-project/leofs Не удается установить LeoFS Storage System на несколько нод через их официальный ansible playbook https://github.com/leo-project/leofs_ansible/issues/4

Есть вот такая немного запутанная инструкция https://leo-project.net/leofs/docs/admin/system_admin/multiple_nodes/

Нужно написать инструкцию по настройке кластера LeoFS Storage System на несколько нод для S3 для CentOS 7.

Заказ тут https://freelansim.ru/tasks/274743

 ,

chemtech ()

Чем удобнее засовывать файлы в виртуальную машину QEMU?

Ранее в этой теме я сделал виртуальную машину с ARM64 Как включить графику или хотя бы текстовый цветной режим?

С помощью virt-copy-out/in -a <>.qcow2 я могу засовывать и извлекать файлы. А есть ли способ засовывать файлы в виртуальную машину так, чтобы это работало на других операционных системах?

Нужен максимально простой способ...

 , ,

I-Love-Microsoft ()

семантические файловые системы

чят, есть уже что-нибудь юзабельное или как обычно? для дома, для семьи, не совсем в прод

 

slowpony ()

Постоянные проблемы записи на системный диск

Система: Kubuntu 19.04(Plasma 5.15.4). Windows рядом нет.

Проблема в том, что могу просто сидеть делать что-то(кодить, просто сидеть в firefox’е, слушать музыку с другого ntfs-раздела). НО ВДРУГ половина приложений начинают работать криво, музыка больше не работает, при запуске приложений выдает много-много предупреждений (что-то вроде «Невожможно создать такой-то конфигурационный файл»), а запись на диск больше не возможна(доступен только для чтения).

После перезагрузки обычно вываливается такое:

busyBox такой-то

(initfarms)

Лечится с помощью fsck. Но повторяется очень часто, хотя диск был проверен victori’ей, проблем не было обнаружено.

Что мне делать? В чем проблема?

 , , , ,

rahdah06 ()

Монтируется только для чтения (caja).

Всем привет.

Монтирую флешки/разделы (ntfs) средствами ФМ «Caja». Монтируется только для чтения. Как монтировать (средствами Caja) для чтения/записи?

 , , , ,

BitSum ()

Какие FS хорошо дружат с дедупликацией?

Жалко стало дублировать по 2Gb на изолированный maven-репозиторий на каждый профиль сборки.

Начинаю думать о возможности перенести сборку на FS с дедупликацией.

Что сейчас стабильно? В какие грабли я наступлю? Истории успеха?

Как там btrfs поживает?

 ,

Tanger ()

OverlayFS

Столкнулся с проблемой, необходимо что бы изменения прилетали в корень раздела, но при монтирование возникает ошибка

Как проверял:

dd if=/dev/zero of=./upperdevice.img bs=1M count=256

mkfs.ext4 -F ./upperdevice.img

mkdir ./upperdevice ./merged

mount -t ext4 -o rw,loop ./upperdevice.img ./upperdevice

mkdir ./upperdevice/workdir

Что пробовал:

mount -t overlay -o lowerdir=/,upperdir=./upperdevice,workdir=./upperdevice/workdir overlay ./merged

overlayfs: workdir and upperdir must reside under the same mount

mkdir ./upperdevice/changes

mount -o bind ./upperdevice ./upperdevice/changes

mount -t overlay -o lowerdir=/,upperdir=./upperdevice/changes,workdir=./upperdevice/workdir overlay ./merged

overlayfs: workdir and upperdir must reside under the same mount

umount ./upperdevice/changes

mount -t overlay -o lowerdir=/,upperdir=./upperdevice/changes,workdir=./upperdevice/workdir overlay ./merged

mount -o bind ./upperdevice ./upperdevice/changes

Ошибки нет, но изменения летят в папку /changes на upperdevice.img а не в корень.

Мне необходимо использовать корень upperdevice.img в качестве upperdir а иногда и lowerdir, такое вообще возможно на overlayfs? Пытался нагуглить но кроме сообщений типа «это решается линками» ничего не нашел.

Собирался использовать overlayfs так как ядра будут использоваться разные, разных версий но во всех есть overlayfs драйвер, возможности как то добавить aufs или unionfs нет, что делать не знаю... Кто нибудь решил данную проблему?

 , ,

rubitwa ()

TRIM в NTFS и EXFAT из под линукс

Трим работает в ntfs или exfat из под линукса ? Кто нибудь пробовал ?

 , , , ,

psiman ()

e2fsck -C 0 /dev/sdb1 -y

e2fsck 1.43.4 (31-Jan-2017)
WD2TB has gone 763 days without being checked, check forced.
Pass 1: Checking inodes, blocks, and sizes
Inode 111673945 extent tree (at level 1) could be shorter.  Fix? yes           

Inode 111673946 extent tree (at level 1) could be shorter.  Fix? yes

Inode 111674842 extent tree (at level 1) could be shorter.  Fix? yes

Inode 111675578 extent tree (at level 1) could be shorter.  Fix? yes

Inode 111675686 extent tree (at level 1) could be narrower.  Fix? yes

Inode 111675689 extent tree (at level 2) could be narrower.  Fix? yes

Inode 111675693 extent tree (at level 1) could be narrower.  Fix? yes

Дошли до

Inode 111681070 extent tree (at level 1) could be shorter.  Fix? yes

И намертво встали. Quo vadis?

 , , , ,

jia ()

Восстановление системы

Подскажите пожалуйста, выкинуть сразу эту плату или можно как-то восстановить? Проблема на плате Banana PI. Скриншот

 , ,

RaptorsWings ()

Создание бездонной папки Ubuntu

Всем привет. Может кто знает как в Ubuntu можно организовать папку, которая будет вести себя как /dev/null ? Смонтировать /dev/null как папку нельзя, а nullfs и freebsd изучать нет смысла.

 , , ,

digimax130 ()

Ещё в 14 году хотелось странного... Но никто не помог и всё хочется... (Атрибуты Linux поверх NTFS)

В 14 году поднимал тему и никто ни чего не предложил. Сейчас ушел в поиск на тему сохранения владельца/атрибутов Linux поверх NTFS и нашел себя же...

Вопрос остался: Есть ли какая то прослойка позволяющая сохранять атрибуты и владельцев файлов поверх NTFS но не ФС в контейнере а аналог cryfs но не шифрующий и производительный.

На данный момент cryfs сохраняет и владельца, и группу, и аттрибуты - но жестко тормозит.

Схожим функционалом обладает ecryptfs, быстрый но не сохраняет аттрибуты и владельцев файлов.

Хочется чего то подобного просто сохраняющего аттрибуты и владельца файлов. Без шифровки и максимально производительного.

tar не предлагать... знаю, умею, надо поверх NTFS. Есть USB винт который должен быть доступен и в Win и в Linux. Бить на несколько разделов или создавать файловые контейнеры для линуксовых систем не хочется - перерасход места.

К слову сказать у шифрующих прослоек ещё и оверхид дикий.
Есть какое то древнее сборище файлов (старый хомяк)
размером 4,7G
копируем его в ecryptfs и результирующее дерево 6.0G
копируем его в cryfs и результирующее дерево 11G

Где найти выход?

 ,

n0mad ()

Очень странное желание. Множественные владельцы одного файла/директории.

Привет всем!

Надобно это для совместной разработки от разных пользователей одного проекта.

Да, я знаю, что для совместной разработки надо использовать VCS. Но сейчас начальный активный этап разработки с исследовательским уклоном. На месте (в одной директории) получаются данные с устройства для анализа, на месте пишется и компилируется короткий говнокод для разбора этих данных. Потом это будет структурировано, причёсано и т.п.

Да, я в курсе про chmod g+s на директорию и ACL (хотя может не разобрался?).
Всё равно не удобно. Нужно не просто иметь доступ к файлам/поддиректориям директории на чтение/запись/выполнение (в комбинациях по необходимости), но и иметь возможность менять права на файлы от имени любого пользователя, как если бы он был владельцем.
Вот со сменой прав не получается.

Работать от одного пользователя не удобно. Присвоить им один UID - изврат ещё больший, чем то, о чём я пишу.

Я знаю, что штатно такой функциональности нет и у каждого объекта ФС есть только один владелец. Но, может быть, есть обходные пути через какое-нибудь хитрое монтирование с FUSE?
Файловая система ext4.

-----------------------------
Всем спасибо. Нашёл bindfs, который вполне подходит.

 , , ,

ls-h ()

Всё есть файл и это прикольно! Почему в GNU/Linux эта идея не развивается?

Короткое видео: https://www.youtube.com/watch?v=YCho-wOAtOU
В принципе, ничего принципиально нового. Но оно напоминает, как это удобно и здорово.

Интересно, почему в современном Linux этот подход вроде бы используется, а вроде бы и нет?

Например, в Gnome можно смонтировать архив штатными средствами, также есть отдельные FUSE файловые системы для этих целей. Но при этом, например, Midnight Commander архивы открывает через что-то своё встроенное и в нём уже нельзя нажать Ctrl+O и выполнить несколько bash команд. KDE, насколько я помню, аналогично Midnight Commander'у.

Или ещё пример. Недавно было обсуждение, о том, как будут работать скриншоты и скринкасты с переходом на Wayland. И там что-то с D-Bus+PipeWire. Я так понимаю, к последнему будет своё API. Почему бы не реализовать интерфейс получения скриншота также как в видео? И с правами всё просто. Запретил через AppArmor-профиль браузеру получать доступ к /run/user/self/wayland/screen-0/ и подлый браузер за тобой не подглядывает.

Почему D-Bus не выглядит как файловая система? echo 100 > /run/user/self/volume-control. Удобно же! Опять же правами рулить просто и быстро. Можно через стандартные группы и пользователи, через ACL, всякие SELinux тоже в тему.

Единообразие интерфейсов это же так здорово!
И примеров можно придумать ещё миллион...

 , ,

ls-h ()

Альтернатива refs

Такой вопрос: какая есть альтернатива файловой системе refs? Дело в том, что в refs снято ограничение на имя файла в 255 байт, а также снято ограничение на размер тома в 16Эбайт. Какие есть файловые системы без подобных ограничений с открытым исходным кодом?

 ,

ne-vlezay ()

RetroPie и файловая система

Здравия всем порядочным!

Господа, задумал сделать игровую приставку на железке заморской Raspberry Pi 3. В качестве ОС выбран RetroPie. Это такой линукс для эмуляции ретро игр вечером под алкогольные напитки разной крепости. Коротко опишу что имеем. Образ закатан на SD карточку, в процессе использования на ту же самую карточку записываются сохранялки, скриншоты, если это требуется. Иными словами файловая система находится в режиме RW. В меню есть возможность выключить систему правильно, но...игрокам как правило плевать на это, все равно будут выдергивать тупо из розетки. Не хочу чтобы домашние меня отвлекали на тему «приставка че-то не работает», да и самому облом когда взял пивко, включаешь, а там какая-нибудь дрянь, связанная с некорректным выключением. Отсюда вытекает главный вопрос. Как защитить файловую систему от нерадивых пользователей при этом не урезая или не сильно урезая функционал? В многочисленных роутерах, тех же длинках тоже используется линукс, тем не менее им внезапные выключение по барабану. Значит решение какое-то есть.

 ,

evrei_izya ()