распознавание 3д образов + речи (opencv+sphinx)

Ну почему. показывает кучу кадров. скорее все в риалтайме каскад дополняет.

а идеи, что он с 3д картинкой от кинекта делает, есть? как обычный grayscale image использует? или просто для фильтра изображения с камеры по глубине?

С чего вдруг это 3д? Он видит только срез объекта по нему и распознает.

Может конечно в данном случае и фэйк, но теоритически вполне возможно натренировать классификатор по короткому видеопотоку (но тогда у мужика дома походу неслабый кластер), а можно вообще запоминать кадры с изображением объекта, а когда показывают новый объект, то ресайзить кадры из памяти согласно информации от кинекта о расстоянии до объекта и считать корреляцию. Последний способ конечно не применим в реальных задачах, зато легко будет работать в реалтайме даже на не особо мощной видеокарте.

а идеи, что он с 3д картинкой от кинекта делает, есть? как обычный grayscale image использует? или просто для фильтра изображения с камеры по глубине?

while (true)
{
0) считываем данные
1) получаем собственное местоположение
2) получаем точки с карты глубины и текстуру с обычной камеры
3) рисуем точки в пространстве относительно собственного местополжения
}

Может конечно в данном случае и фэйк, но теоритически вполне возможно натренировать классификатор по короткому видеопотоку

Это не видеопоток, у кинекта есть штатная карта глубины, в результате чего модели получаются напрямую, без особых извращений.

Это же Kinect. Он карту глубины строит, а потом обрабатывается оно на компьютере.

Скорее всего кормит классификатору загрейскейленную и немного отфильтрованную карту глубины.

Надо будет тоже прикупить кинект поиграться

7000 рублей сия штуковина стоит. Я бы порекомендовал обратить внимание и на аналогичные решения от других производителей. ASUS Xtion, например.

Для робата этом прошлом году за 5100 брали.

http://electrorai.ru/p_1926.html

фильтрует по глубине, причем глубина жестко прибита - на видео видно как туда периодически попадает его голова :)