Да, забыл сказать - знаки препинания нужны только те, что указаны.

напиши хоть, что должно получиться, а то совершенно непонятно.

если правильно понял, как-то так:

pat = re.compile(r'[\.,:;!\?\n]|[^\.,:;!\?\n]+', re.M | re.S | re.U)
tokens = pat.findall(text)

У меня должен получиться список типа ['слово', 'пробел', 'слово', 'запятая пробел'].

Сомневаюсь, что whitespace символы вообще нужно сохранять, кроме EOL. Но проблема именно в последнем. EOL нужно записать - из-за него же появляются лишние элементы в конце списка (строка оканчивается на EOL).

А лучше даже list of tuples (извините, не помню как эти тупли по русски). [(word, splitter),(word, splitter)]

>tuples
переводят как кортеж

> 'запятая пробел'

тогда примерно так:

\r?\n|\r|[,:;!\?]?\.*\s|[^\.,:;!\?\s]+

> EOL нужно записать - из-за него же появляются лишние элементы в конце списка (строка оканчивается на EOL).

не распарсил…

> EOL нужно записать - из-за него же появляются лишние элементы в >конце списка (строка оканчивается на EOL).

Nevermind. Суть в том, что мой регексп работает нормально, пока в конце строки, которую я пытаюсь парсить, не поставишь EOL. Тогда в списке появляются лишние элементы (eol'ы). Не пойму откуда берутся.

попробовал так:
[,:;!\?]?\.*\s|[^\.,:;!\?\s]+
(отрезал начало с переводами каретки).

пропали лишние EOL в полученном списке.

Пытаюсь понять, как работает регексп:
Группа (после или (|) - понятно: ловим чистое слово без указанных знаков препинания и white space.
А с первой частью я что-то не разберусь.

юзай re.compile - оно в 2 раза быстрее

>юзай re.compile - оно в 2 раза быстрее

Да, спасибо, уже заюзал. Просто пока в стадии отладки регекспа - это некритично.

> А с первой частью я что-то не разберусь.

[,:;!\?]?\.*\s

хм… не, лучше так: «[,:;!\?]*\.*\s», а то варианты «!!!», «!?..» и т.п. отлавливать не будет, только «...», «!..», «?..», … :(
а если русаб парсить, то тогда вообще «[\.,:;!\?]*\s» для всяких там «....?», «...!...!!...» и т.п. ;)

Я догадался и выпилил \.* - в этих текстах таких сочетаний нету. Ну разве что многоточие. Хм... :) Тогда \.{1, 3} что ли?

В общем проблему я вычислил.
Строки почему-то оканчиваются _пробелом_ и eol.
Плюс к тому - \r и \n распознаются по-отдельности, а надо - заодно «\r\n».

Еще раз поясню: «слово» один элемент, все что после «слова» (означенные знаки препинания и whitespace'ы) - другой элемент. Когда то, что идет после слова - сегментируется на более мелкие детали, то нарушается чередование слов и служебных символов в итоговом списке.

> Тогда \.{1, 3} что ли?

тогда лучше либо «(?:\.{3}|[\.,:;!\?])?\s», либо «(?:\.\.{2}?|[,:;!\?])?\s», ИМХО.

Плюс к тому - \r и \n распознаются по-отдельности, а надо - заодно «\r\n».

ну я же писал с самого начала: «\r?\n|\r|…», и будут распознаваться «\r\n», «\n» и «\r» как одна лексема.

> «слово» один элемент, все что после «слова» (означенные знаки препинания и whitespace'ы) - другой элемент.

pat = re.compile(r'[\.,:;!\?\s]+|[^\.,:;!\?\s]+', re.M | re.S | re.U)
tokens = pat.findall(text)

;)

>тогда лучше либо «(?:\.{3}|[\.,:;!\?])?\s», либо «(?:\.\.{2}?|[,:;!\?])?\s», ИМХО.

Вы молодец, оно работает.

Осталось сделать так, чтобы знак препинания + пробел + EOL воспринималось парсером как одна группа. Я не сообразил пока.
Можно вначале тупо отрезать EOL rstrip'ом, а потом отдельно приклеивать к последнему элементу списка. Но это, конечно, не «тру»...

И, кстати, в группе [] ескейпить разве надо?

> И, кстати, в группе [] ескейпить разве надо?

надо, но не всё ;) «[», «?», «*» и т.п. можно не эскейпить, но привычка же :)

> Осталось сделать так, чтобы знак препинания + пробел + EOL воспринималось парсером как одна группа. Я не сообразил пока.

«+» после «\s» :)

:)) Точно!
Проверил - работает, как надо.
С меня пиво :)

Не надо!

С меня пиво :)

Не надо, он коту все равно отдаст!