dma_alloc_coherent() and mmap

>Так вот при чтении данных всегда получаю 0xFFFFFFFF, хотя устройство непрерывно заполняет выделенные блоки памяти данными.

Попробуй man msync перед чтением в юзерспейс- скорей всего на свежих интелях даже DMA-память кешируется :-)

Я бы на твоем месте мапил память пользователю только после завершения DMA. Вообще, игры с DMA-памятью в пользовательскх программах чреваты разными сюрпризами.

>Вообще, игры с DMA-памятью в пользовательскх программах чреваты разными сюрпризами.

Какими например ? При конкурентном доступе арбитр контроллера памяти просто заставить процессор циклы накручивать.

К тому же скоростные устройства без аппаратных FIFO просто не делают - не надо думать что устройство присело на шину и никого не пускает, они сразу читают/пишут блоками в/из FIFO.

>> Вообще, игры с DMA-памятью в пользовательскх программах чреваты разными сюрпризами.

Какими например?

Например, когда память передана устройству (и в нее может идти DMA), ее можно читать или нельзя? Как отнесется к попыткам чтения устройство? То же, но насчет записи? Как ты это будешь отслеживать?

А главное, зачем это нужно? Пусть за состоянием DMA следит драйвер, и отдает userspace'у уже заполненные страницы. Просто и надежно. Если же нужно отдавать данные на устройство... ну, тогда вряд ли мы говорили бы о mmap.

При конкурентном доступе арбитр контроллера памяти просто заставить процессор циклы накручивать.

В какой именно спеке это написано?

>Например, когда память передана устройству (и в нее может идти DMA), ее можно читать или нельзя?

В каждый момент времени к шине имеет доступ только одно устройство, следит за этим арбитр и дает доступ в соответствии с приоритетами, ЦПУ насколько я помню имеет наименьший приоритет.

С синхронизацией вопросов и проблем вроде не возникало. (До текущео момента) Данные поступают непрерывно, и если каждый раз выдлелять/освобождать/отображать/копировать память, то происходит пропуск блоков, или внешнего сигнала, что недопустимо. Синхронизация осуществляется через управляющую структуру, которая так же разделена между драйвером и приложением, но в которую устройство не пишет. Пишет только драйвер. Приложение же определяет какой блок можно читать и читает.

> Попробуй man msync перед чтением в юзерспейс- скорей всего на свежих интелях даже DMA-память кешируется :-)

Попробую. Если есть еще идеи - предлагайте, так как горю! Спасибо всем.

>В какой именно спеке это написано?

Как думаешь для чего на современных процессорах делают аж трехуровневый кеш - да потому что процессор очень много времени тратит для синхронизации шины при cache miss.

Кстати, если натолкнет га какие нить мысли, то ядро Linux 2.6.32 не смогло стартовать на этом Host-модуле с Core i7, что заставило перейти на более свежее ядро.

>> В какой именно спеке это написано?

Как думаешь

Я думаю, что кроме общих рассуждений ты ничего не привел. А я не хочу читать спеки на все арбитры шин, которые существуют в мире, поэтому строго придерживаюсь ядерного API работы с DMA. Я не знаю, как гарантировать соблюдение правил этого API в случае, когда доступ к замапленной на DMA памяти есть у пользователя, поэтому я не даю к ней доступа (или стараюсь не давать).

> Данные поступают непрерывно, и если каждый раз выдлелять/освобождать/отображать/копировать память, то происходит пропуск блоков, или внешнего сигнала, что недопустимо.

И устройство не сообщает (прерыванием или флагом) что оно начало/закончило слать данные?

>А я не хочу читать спеки на все арбитры шин, которые существуют в мире, поэтому строго придерживаюсь ядерного API работы с DMA.

Ну я еще в теме про Wayland понял что ты пердун, причем там ты был один из самых звонких :-) Можешь посмотреть как выделяют видеопамять для framebuffer в ядре - доступ к этой памяти имеет одновременно процессор (юзерспейсный процесс который ее мапит) и видеоконтроллер посредством DMA. Откуда ты взял что память DMA нельзя мапить - из какого API ?

У нас такая же ситуация была с самопальным PCIE-устройстом: везде работает, на i7 - нет. Оказалось, что железячники неправильно PCIE-пакет собирают.

> Ну я еще в теме про Wayland понял что ты пердун, причем там ты был один из самых звонких :-)

Ребенок, это снова ты? Иди учи умные слова - их еще много, ими можно классно понтоваться перед ровесниками.

Откуда ты взял что память DMA нельзя мапить - из какого API ?

Я не говорил, что «нельзя» - я спросил о последствиях. Ты не ответил ничего конкретного, хотя меня это не удивляет. Но, чтобы не было непонимания: тебе можно мапить всё, что захочешь, и куда захочешь. Do it. baby!

>Do it. baby!

Чего ты такой резкий ;-) максимум что требуется от памяти DMA - обеспечить ее когерентность или по крайней мере чтобы политика кеширования для этих страниц была write through, для клинических случаев в ядре предусмотрен механизм dmabounce.

Уважаемые коллеги! Проблема разрешилась весьма неожиданным образом. Все исследования кода драйверов на предмет отображения памяти через remap_pfn_range показали, что используемый мною код корректен, тем более он был проверен на другой машине c Core i7. Но при проверке использовался дистрибутив Kubuntu 10.10 с ядром 2.6.35 (x32/x64). На HOST, где были проблемы в отображении блоков данных, был установлен Gentoo Calculate Linux 2.6.35 x64. После того как подцепил винчестер к HOST c Kubuntu все каким то образом заработало на x32/x64. Сейчас устанавливаю Gentoo на HOST чтобы проверить как себя поведет драйвер и ПО с Gentoo ручной сборки. Спасибо.

Апдэйт. Проблема была в том, что по умолчанию в ядре Calculate Linux был установлен флаг CONFIG_DMAR_DEFAULT_ON после отключения этой опции проблема исчезла. Нашел причину мой коллега, за что ему спасибо.