sqlite - ужасно медленное обновление таблицы

>в ней 600 000 записей

может лучше не использовать для таких объемов sqlite?

а разве sqlite не предназначен для хранения больших объемов?

БД на sqlite очень удобно хранить и перемещать вместе с питоновским скриптом, который эту БД использует

БД на sqlite очень удобно хранить и перемещать вместе с питоновским скриптом, который эту БД использует

Может тогда MySQL embedded server?

Проблема, насколько я помню, в том, что sqlite driver открывает на каждый insert базу и закрывает её после запроса, потом открывает снова и т.д.

Тебе нужно обернуть всё insert'ы в одну транзакцию. Вот здесь читай сам.

Может, надо выполнить begin transaction / commit?

я так понимаю что голый питон 3.2 не умеет работать с mysql?
и тем более с embedded

стоит ли искать способ работы с mysql, переделывать всю структуру базы на mysql, переписывать класс питона для работы с БД - только ради хранения большого кол-ва данных?

неужели нельзя как-то иначе внести все данные в sqlite-базу?

>а разве sqlite не предназначен для хранения больших объемов?
sqlite предназначен в первую очередь для создания переносимой и нетребовательной БД.
600k - это, конечно, не энтерпрайз, но полнофункциональная БД подойдёт лучше, как выше советовали.

600000 записей для sqlite это ооочень много. Ищи другую базу.

вы отстали. sqlite давно подрос и оптимизации присутствуют.

вы имеете ввиду оптимизации движка или со стороны программиста?
не требуется ли какая оптимизация в коде для больших объемов данных?

Так написано на сайте разработчика. Ни на страничке About, ни в FAQ я не нашёл ни слова о поддержке стопицот записей как фиче.
Да и не утверждал я нигде, что sqlite не потянет столько записей :3

и те и другие.

как уже говорили, в вашем случае, думаю действительно оптимизировать запросы.

ну, если говорить об оффсайте, то там вот что: http://www.sqlite.org/limits.html - пункт 13.

http://www.sqlite.org/pragma.html#pragma_synchronous

Это теоретические пределы. В реальности же на 100000 sqlite начнет тормозить, а на 1000000 просто встанет колом.

Херня, есть опыт, когда sqlite 1,5 миллиона записей неплохо ворочал.

Херня, есть опыт, когда sqlite 5 миллионов записей лога squid'a неплохо ворочал.

> я что-то делаю не так

да, создавай рядом таблицу с нужной структурой, копируй записи в нее( без дампа ес-но ) и через ALTER TABLE переименовывай

> требуется: добавить к одному столбцу параметр UNIQUE

create unique index «Новый Индекс» on «Моя Таблица» («Столбец»);

Если в будущем приспичит изменить как-то более хитро, можно создать новую таблицу и перегнать туда данные одним запросом insert-select, а не кучей инсертов. Если на изменяемую таблицу ссылаются другие таблицы, то задача усложнится :)

Плюсую советы про заворачивание в одну транзакцию и pragma synchronous.