Откуда aviasales добывает данные?

Из апи. Им предоставляют доступ к апи всякие Победы и Аэрофлоты. Для увеличения клиентской базы.

Кстати посмотрел сайт компании Победы. Нигде нету у них API. Как же таки сними сотрудничать. У тебя такие проекты бывали, есть у тебя опыт по этой тематике?

Бывали, но не в авиа. Конечно, у них на сайте не будет апи, апи или за бабки раздают, или за другие плюшки по контракту, это тебе надо искать их IT отдел и общаться с ними, а точнее, с аэрофлотом, т.к. Победа, вроде, им принадлежит. Ещё есть апи у всяких агенств, которые также как и ты озаботились такой же задачей. Обрати внимание, что авиасайлс работает медленно, это значит, что они частично парсят данные с сайтов, т.к. апи обычно отрабатывает до 250-400 мс. Сейчас посмотрел яндекс авиабилеты - у них поиск и отображение билетов очень быстрый, значит, внутренне они либо хранят всю бд по полетам, либо имеют доступ к апи всех крупных авиа.

Я думаю вряд ли они парсят. Прикинь, каждый раз если сайтом что-то будет не то, верстка поломается или что-то в дизайне измениться. То наверняка вместо выдачи будут непонятная лабуда. У них есть API http://www.aviasales.ru/API. Но, опять же, там только для двух SDK идет: Andoid и IOS. Блин, мне нужен именно для python. Я то думал это простая задача, а вон какая оказывается. Только что звонил в Аэрофлотовскую гоярую линию, мол, они говорят вам лучше позвонить к корпоративный отдел или написать письмо. Я конечно отправил в их email предложение. ХЗ завтра наверно ответят.

за бабки раздают

+, ну и в меньшей степени бывает и халявно

их IT отдел

Было давно. Работала такая продажка себе, жрать не просила, а потом послетали все стили (раскрашивали то под свой дезайн) в таблице из АПИ. Оказалось — палки в колеса пихают, на каждый запрос к АПИ возвращается та же таблица, но, с другими классами и айдишниками в хтмл. Твари...

частично парсят данные с сайтов

Да, крутятся как могут.

яндекс очень быстрый

Ну, они то могут себе позволить уникальные условия. Может даже напрямую к БД (слейв узлу?) имеют доступ или даже в доле всего этого мракобесия.

вряд ли они парсят

Не так уж и редко это бывает.

там только для двух SDK, а мне нужен python

Ну и в чем проблема? Обычные запросы же: https://support.travelpayouts.com/hc/ru/articles/203956133-API-поиска-отелей шли питоном.

Дополню menangen.

Они рассказывали как проектировали свою систему. Да они парсят каждый раз все сайты, возможно кешируют, возможно часть авиокомпаний им выгружает данные о рейсах в виде XML или ещё как. Там где нету API там парсеры и да это не быстрый процесс, да не точный ибо даже при нажатии бронирования они проверяют доступен ли рейс или нет.

Ну можно обвешать парсинг проверками, чтобы бредовой выдачи не было. Вероятность того что несколько авиакомпаний одновременно сменят дизайн мала, так что какая-то выдача сохранится, просто менее качественная. А так это коммерческая организация с программистами на зарплате. Так что думаю за 1-2 часа они всё пофиксят. Редизайн сайтов авиакомпаний не частое событие, так что если раз в пару месяцев выдача будет ухудшаться на пару часов конечные юзеры не заметят.

откуда эти сервисы берут данные об авиаперелётах

Ты не поверишь - парсят из гугла и других таких же сервисов.

Одни наркоманы в треде, если брать данные с сайтов, то где заработок? Как получить свою агентскую комиссию по данным с сайта аэрофлота? Рекламка на сайте не окупит ту рекламу на тв и в интернете, которую покупает тот же aviasales

это тебе надо искать их IT отдел и общаться с ними

Придётся порушить твой мир - нужно общаться отнюдь не с айтишниками, а с манагерами, которые отвечают за работу с партнёрами.

Но, опять же, там только для двух SDK идет: Andoid и IOS

Ты наркоман что ли? Что ты разрабатывать собрался, если не понимаешь, что такое API, а что такое SDK?

GDS из серии Amadeus, Galileo, Sabre. Плюс, возможно, апи лоукостов/агрегаторов.

https://habr.com/ru/post/446488/