Преобразование bytes в число

как из массива bytes получается целое число ?

union. Байты лежат на том же месте, где и int поле. Трюк с записью и чтением разных полей union работает в GCC, но по стандарту работать не обязан.

но по стандарту работать не обязан.

Почему? Это же и есть то, для чего был создан union. Или я чего-то не знаю?

Не просто не обязан, это undefiened bahavior.

Из union можно взять только то что туда положено (положили число, взять можно только число, байты трогать нельзя). union был создан ровно для этого (хранить объект одного из заданных типов без оверхеда), не для хаков с преобразованием типов бинарных данных.

Кстати, может ты знаешь какой-нибудь способ преобразований не через memcpy?

О каком преобразовании спрашиваете?

Трюк в сабже архитектурно-зависим. Зависит от endianness архитектуры. По-хорошему нужно юзать ntohl(), htonl() и т. п.

О каком преобразовании спрашиваете?

преобразовать что-то крупнее байт в байты и наоборот.

По-хорошему нужно юзать ntohl(), htonl() и т. п.

В glibc есть htobe32(), htole32(), htobe64() и обратные.

Для целочисленных подходит. Но для double, скорее всего, нет.

Upd. И ещё UB будет, если в знаковый бит залезть.

Сдвигами и логическими операциями.

В glibc есть htobe32(), htole32(), htobe64() и обратные.

И ещё много чего. И что?

Но для double, скорее всего, нет.

Так точно, не подходит.

ntohl(), htonl() - для лонгов, у ТС - int h,m,s,f; А нужны даблы?

(там надо складывать(раскусывать) битовыми & | << , у float не по границе байт)

А нужны даблы?

Решил заодно спросить о проблеме вообще, то есть десериализация любого примитивного типа. Я знаю способ через memcpy. Но вдруг есть ещё способы?

Если код собирается под кокретную архитектуру - то можно и union использовать. Или битовую арифметику, но с гранулярность не по биту, а покрупнее. (uint32_t)byte[0]<<24 | (uint32_t)byte[1]<<16 | (uint32_t)byte[2]<<8 | byte[3]

Гм спасибо. А мне надо эти цифры получать в python. Если я правильно понимаю нужно использовать вот это:

classmethod int.from_bytes(bytes, byteorder, *, signed=False)

    Return the integer represented by the given array of bytes.
    >>>

    >>> int.from_bytes(b'\x00\x10', byteorder='big')
    16
    >>> int.from_bytes(b'\x00\x10', byteorder='little')
    4096
    >>> int.from_bytes(b'\xfc\x00', byteorder='big', signed=True)
    -1024
    >>> int.from_bytes(b'\xfc\x00', byteorder='big', signed=False)
    64512
    >>> int.from_bytes([255, 0, 0], byteorder='big')
    16711680

Только вот какой вариант byteorder и signed ?

Какой нужно, такой и берёшь.

Если код собирается под кокретную архитектуру - то можно и union использовать

Никогда нельзя, это UB.

Если не в сеть (не надо подстраиваться под стандарт), то так:

#include <stdio.h>
#define N sizeof(double)
int main()
{
    double a = 0, b = 543.21;
    char s[N + 1];

    *((double *) s) = b;
    a = (*((double *) s));
    printf("%f %f\n", a, b);
    return 0;
}

Это UB стандарта C, но не конкретного компилятора и платформы. особенно при иcпользовании pragma pack и align

UB - это всегда UB, запомните это раз и навсегда.

N бывает разный: на atmega-x 32, не пентиумах >~10лет назад 48.

Поправочка: это в битах. Т.е. 32=4байта, 48=6байт.

И где тут UB? Стандарт обещает, что поля union лежат по одному адресу. Поведение pragma pack также известно и детерминировано.

И где тут UB?

Стандарт разрешает ровно один случай чтения из union не того что туда было записано

[Note: One special guarantee is made in order to simplify the use of unions: If a standard-layout union contains several standard-layout structs that share a common initial sequence (9.2), and if an object of this standard-layout union type contains one of the standard-layout structs, it is permitted to inspect the common initial sequence of any of standard-layout struct members; see 9.2. — end note]

Стандарт обещает, что поля union лежат по одному адресу

И что?

Поведение pragma pack также известно и детерминировано

Лол, pragma pack вообще в стандарт не входит.

__asm__ и поехали

union был создан ровно для этого (хранить объект одного из заданных типов без оверхеда)

4.2

Union был создан именно для того, что в ОП-посте. Но кросплатформенно это не описать, поэтому в стандарте этой логики нет и не будет.

Какой бред. Ты же сам себе противоречишь.

Стандарт разрешает ровно один случай чтения из union не того что туда было записано

6.5.2.3.3

95) If the member used to read the contents of a union object is not the same as the member last used to store a value in the object, the appropriate part of the object representation of the value is reinterpreted as an object representation in the new type as described in 6.2.6 (a process sometimes called ‘‘type punning’’). This might be a trap representation.

Никогда нельзя, это UB.

Ну, сделай барьер памяти на запись между записью одного типа и чтением другого и чтобы это UB стало действительно undefined создателям компилятора придется очень постараться. Ведь, если знаешь, как работает компилятор, то UB довольно прозрачная вещь (а если не знаешь, то что ты делаешь в профессии).

UB - это всегда UB, запомните это раз и навсегда.

Только задротов-теоретиков. Практики делают стабильно работающий код на нужных архитектурах, остальные их не интересуют. Если какой-нибудь солярис студио по-своему откомпилирует код, который нормально работает под gcc и MsVc, то это трудности той платформы. А если кому-то из заказчиков упрется именно эта такая платформа, то он получит отдельный счет за ее поддержку и особые условия, после чего начнет думать более разумно.

P.S. Интересно, что ты будешь делать со своим фанатизмом, когда потребуется поддерживать платформу, которая не совсем соответствует стандартам... Потому что выбор будет «между сделать чтобы работало» и «сделать по стандарту».

И где тут UB?

Компилятор может закешировать записываемое значение (т.е. не сохранять в память), а читать, что там сохранено. Может быть, конкретно в этом примере такое не возможно, но при записи и чтении из union, вполне может быть.

Интересно, что ты будешь делать со своим фанатизмом

Это не фанатизм, а единственный разумный подход. А вы мало того что анонимус, так еще и говнокодер.

Это только в C, в С++ этого нет.

Только задротов-теоретиков. Практики делают стабильно работающий код на нужных архитектурах, остальные их не интересуют. Если какой-нибудь солярис студио по-своему откомпилирует код, который нормально работает под gcc и MsVc, то это трудности той платформы.

Это надо в золотую рамку как эталон ламера. «Практики» такие у нас двор метут.

А если кому-то из заказчиков упрется именно эта такая платформа, то он получит отдельный счет за ее поддержку и особые условия, после чего начнет думать более разумно.

И сменит исполнителя.

Может так:

int i;
unsigned char b[sizeof(i)];

i=(*((int *)b));

Зачем вызов memcpy для мелких типов, известных компилятору?

Чтобы твой код гарантированно работал, нужно в ключи добавлять -fno-strict-aliasing.

Не понял причину. Пересечение в памяти i и b или другая ? (Пересечение - фигня, т.к. укладка в i происходит за одну пересылку из регистра в память.)

как работает компилятор

Завтра он начнёт работать «по-другому», туда всунут какую-нибудь оптимизацию, основанную на UB, — и всё.

https://habrahabr.ru/post/230777/

(там надо складывать(раскусывать) битовыми & | << , у float не по границе байт)

qulinxao, зачем разлогинился?

Код вполне сишный, а тег не увидел. Тогда полностью поддерживаю.

tc.i >>= 2;

А что означает эта операция в C++ синтаксисе ?

А что означает эта операция в C++ синтаксисе ?

Она означает tc.i = tc.i >> 2;, то есть сдвиг вправо. (Как и в питоне, кстати). Если поле i имеет тип со знаком, и там лежит отрицательное число, операция implementation-defined.

О подобрал.

int.from_bytes(line, byteorder="little",signed=True) >> 2

byteorder

Почитай про little endian, big endian. Без этого дальше будет трудно.

signed

Почитай про представление чисел в двоичной системе. И про представление отрицательных чисел.

Слушай, без обид. По косвенным оценкам тебе больше 30, ближе к 40. Заканчивал мехмат, работаешь программистом. Как вообще получилось, что для тебя поняти byte order и signed почти ничего не значат? Как? Как мимо этого можно было вообще пройти?

В каком месте?