протокол передачи данных

Какие же тут могут быть ссылки...
Разве что Request For Comments посмотреть...

Тебе нужно новый протокол придумать?
Возьми, например, UDP и немного переделай...

корба и прочие аналогичные обертки оч тяжолые и не подходят. Нужна предосторожность от сниферства.

а вот вариант такой как по ТСP, в начале сессии отсылается ключ с помощью которого две стороны новый ключ (ну к примеру rez=md5sum(key)) и далее полученным ключем все кодируется\декодируется по алгоритму des ?

ssl???

Протокол какого уровня?

gerard holzmann: design and validation of computer protocols

должна быть бесплатно в сети