защититься от определения ОС по tcp отпечаткам

Посмотрите, что есть fingerprint. Качайте kernel и - вперёд.

Но оно того не стоит, ИМХО. Лучше, проведите время за настройкой файрволла.

а можно сделать настройками фаера так чтоб нельзя было понять что на машине линукс? в идеале симитировать винду

сделай лучше state INVALID -j DROP для начала 135 и 137 порты открой будет почти винда... читай про honey pot

на Ip уровне linux от венды отличяется только дефолтным ttl-ом :)
а nmap анализирует ответы сервисов (т.е. например апач пишет что он апач) и по набору более-менее открытых стандартных портов.
потвикаешь первое и второе, и будет похоже на венду.