Я сначала изучил как организованы системные вызовы в bfs, естественно нужно уметь читать код модулей ядра и понимать архитектуру ядра ......... короче наслаждайся ...... у тебя будет много интересного времени ;-)
Для начала разбирись что такое ф с и изучи как организована любая ф с из какой - нибудь книжки по операционным системам каких сейчас продвется туча и прочитай чего тебе написали двое предыдущи.
Для начала нужно понять базовые механизмы синхронизации, разобраться с VM, почитать код существующих файловых систем.
Вообще, чтобы делать это хорошо, нужно полностью представлять как работает ядро (в отличие от драйверов железа, где достаточно знать некий минимальный интерфейс).