Мы все привыкли к тому, что если что-то ищем то бежим в поисковик - и сразу останавливаемся на первой пятерке сайтов в выдаче. И в основном там всем знакомые популярные сайты - а что же на самом деле содержится в интернете? Миллиарды сайтов заброшенных, устаревших, сделанных на коленке в спешке и никем не посещаемых. Вот допустим кто-то устал от бесконечных лент всем известных сайтов рунета - а что же за ресурсы находятся там где их никто не найдет - потому что их обходят стороной алгоритмы, роботы поисковиков и краулеры ЛЛМ? Я решил задаться вопросом и узнать сколько всего сайтов можно найти в сети, для примера взял часть Рунета.
Постановка задачи
Немного математики - 2^n - количество всех возможных комбинаций последовательностей длины n состоящих из 0 и 1. Вот допустим требуется узнать доменные имена сайтов в Рунете - возможно эти списки где-то и есть, но где? Ответ - сервер доменных имён, там спрятано куча имен сайтов - достаточно перебрать имена сайтов по-буквенно. Я выбрал 4 буквенные имена сайтов, состоящих из латинских букв, цифр и дефиса. Давайте вместе посчитаем сколько будет комбинаций - в основании 26 букв, 10 цифр и дефис, итого 37 символов. 37^4 - Вот кол-во всех возможных комбинаций вида от aaaa.ru до ----.ru. Посчитаем общее количество - 1 874 161 всех возможных сайтов. 5 буквенные сайты слишком долго перебирать, а 3х буквенные быстро(тема для следующего поста, скорее всего). Скажу заранее что у меня вышло перебрать 4-х буквенные сайты за сутки. В общем я их записал в базу данных - будет ссылка в конце поста для тех кому интересно.
Немного статистики
Всего сайтов нашлось 173 857
Таблица ниже с кол-вом использования букв во всех именах в базе.
s 39771
a 38173
m 34528
t 33826
o 32964
i 32397
r 32132
e 31052
p 30355
k 28694
n 27990
d 27950
c 27620
b 25882
l 23612
g 22183
u 21535
v 20955
f 18126
z 15969
h 14848
y 11757
1 10676
x 10358
2 9610
w 9578
3 7657
4 7336
- 7112
5 6107
7 6064
0 5993
6 5425
8 4696
j 4303
9 4164
q 4034
Интересно совпадает ли эта частота букв с всем известной частотой использования букв в текстах?
Вот еще таблица с какой буквы начинаются сайты в кол-ве
a 10666
s 10536
m 9750
t 8336
r 8200
i 7694
d 7579
p 7492
e 7463
k 7257
c 7215
b 7176
n 7130
o 6478
v 6291
g 6147
f 5665
l 5427
u 5104
z 4303
h 3945
w 3457
1 2938
y 2560
x 2276
j 1950
2 1795
q 1629
3 1423
4 1287
7 1102
5 923
0 854
8 659
9 576
6 575
Что нашлось
По большому счету - многие домены продаются, либо не открываются в браузере по тайм-ауту.
Я пытался пробежаться по ним беглым взглядом и пооткрывать их за пару часов, но осилил меньше буквы, но нашел такие имена:
abcd acab acid acos addr afaq agro agsm agta ahah ahha ahuy ajaj ajar ajax ajoy akab akde alal aloh alsu anah aneh ania anka anus arab arja
С помощью английских слов нашлись такие нейминги:
acid also army atom baby back ball base bear beat bell best bird body book boss both bowl busy call calm came case cash cast cell chat city clip cold come cook copy cost cute date deep dial dirt door draw drop dust each east edge else even ever face fail fair fall farm fast feel feet find fine fire fish five food foot form free game gate gift give glad goal gold grab gray grow half hand hang hard have head help here high home hope huge idea jump just keep kind know land last late leaf left life line link list live long look lose love made mail main mark mean meet mine miss more most move must name near news next note once only open pack page pair park pass plan plus poor pull pure push quit rate read real rest ring road role room root rule safe same sand save seat seek send shut sign sing site slow snow soft soil some soon sort soul stay step stop such suit talk tall team tell than that them then they thin time town trip true turn type unit user very view wait walk wall warm wash weak week well went west what when wind wine wish wood word work yard year your
Наиболее удобные для восприятия.
Ссылка на базу доменных имён (SQLite)
Перемещено hobbit из desktop
