hello word на С и SIGSEGV

    tmp->shift_index = (size_t *)Xmalloc(tmp->size_mass);

Нужно tmp->size_mass на sizeof(size_t) умножить же, нет?

http://valgrind.org/docs/manual/quick-start.html

точно

пошел смотреть

У тебя ошибка в get_size_index, build_shift_index и в выделении памяти для shift_index (где * sizeof(size_t) ?).

Чтобы больше так не ошибаться, объяви и используй для выделений памяти:

#define NEW(T, n) ((T*)smalloc(n, sizeof(T)))

Каст к T* нужен, чтобы компилятор отказывался компилировать, например, char *p = NEW(int, 20);.

В smalloc хорошо бы проверять, что умножение первого аргумента на второй не переполняет size_t.

А ещё по стандарту NULL может «представлять» выделенный участок памяти размером ноль, так что перед тем, как делать exit(FAILURE_MEMORY); нужно проверять, что size ≠ 0.

спасибо огромное.

да действительно, хотя я исправил shift_index, но у меня стала ошибка SIGABRT после того как переписал еще и get_size_index, build_shift_index чтобы точно не выходило за границу с дополнительной проверкой, все заработало. обидно что до меня не доходит где именно там была ошибка, спасибо большое.

обидно что до меня не доходит где именно там была ошибка

В get_size_index размер индекса на единицу меньше чем после ты заполняешь в build_shift_index.
Т.е. смотри если в файле один перевод строки, размер индекса ты возвращаешь 1, но в build_shift_index ты делаешь size_t count = 0; shift_index[count] = 0;, и после перевода строки ты записываешь второй индекс в массив размер которого таки единица, и получаешь...
И ещё, в файле последняя строка может быть без перевода строки.

В build_shift_index, в строке shift_index[++count] = ++i; может возникнуть ситуация когда ты выйдешь за пределы массива, по мне лучше переписать в виде shift_index[++count] = i + 1;