Где взять словарь наиболее употребляемых русских слов?

не думаю что в войне и мире есть штош, денегнет, ипотека и кредит так что выборка будет не актуальной :-)

http://dict.ruslang.ru/freq.php

с Войной и миром ты получишь только самые распространённые слова русской интеллигенции 19-го века.

но есть бонус - самые распространённые _французские_ слова русской интеллигенции 19-го века %))

http://bokrcorpora.narod.ru/frqlist/frqlist.html

есть подоздрение, что наиболее часто употреблямые слова могут оказаться трехбуквенными, если мы не говорим о литературном языке :)

Чтобы что? Главное же не употребление, а смысл. Как ты собираешься писать бота без фундаментального понимания языка?

А какой сегмент языка исследовать?

https://ru.m.wikipedia.org/wiki/Русский_мат - оно?

semrush.com

Может это оно? В гугле есть триал на 30 дней.

Ты про язык рабочих?)

Можно это и так назвать (:

google://"частотный словарь"

Где взять словарь наиболее употребляемых русских слов?

ЛОР в своем репертуаре …
Погуглите «Войну и мир разбить, на слова, отсеять коросче трех символов и посчитать количество вхождений для каждого, потом отсортировать? Может готовое есть?»

Где взять словарь наиболее употребляемых русских слов?

Все зависит от тематике книги.
Например про отбойные молотки чаше всего будет встречаться слово - «молоток».

https://ruscorpora.ru/new/

Может готовое есть?

Что тебе «готовое»? Куда может быть готовее? Ты скоро будешь вопрошать, «а чтобы посцать надо искать унитаз, открывать крышку и снимать штаны? Может что-то готовое есть?»

//nodejs
var txt = readFileSync("Война и мир.txt").toString();
var words = txt.replace(/[\.,;]/g,"").split(" ").map(v=>v.trim().toLowerCase());
var cnt = words.reduce((s,v)=>{
   s[v] = s[v] || {count : 0};
   s[v].count++;
   return s
}, {});
var top = Object.values(cnt).sort((a,b)=>a.count - b.count);
writeFileSync("Топ 100.txt", top.slice(0,100));

На любом язычке это кодится быстрее, чем ты писал пост на ЛОР.

смотри например «Словарь синонимов В.Н.Тришина»

программа под винду с MS Access базой

там частотный словарь синонимов по частоте словоупотребления

Где взять словарь наиболее употребляемых русских слов?

идиотизм

Войну и мир разбить, на слова

исходный корпус текстов какой? из разного набора будут разные «наиболее употребимые» получаться

версия 7.3 от 30.01.2012 (может, в новой уже поболее)

составитель В.Н. Тришин

слов 416039

синонимических связей 1756603

len(x) > 3

Т.е. ‘была’ 902 А ‘был’ вообще не определено.

не умеет в лемматизацию и стоп-слова?

https://www.geeksforgeeks.org/python-stemming-words-with-nltk/

этож уже датасаенс-говно

Ну и в чём проблема?

питон круче ноды для решения этой задачи

1.Ты задачу свою решил?
2.Я ничего не вижу про поручика в твоём выхлопе, проверь код. XD

круче

3.Скриптуха дёргает либы.

а что ты делаешь-то?

вообще, интересно.

если тупо выбирать марковские цепи на самых частотных словоупотреблениях (например, насколько бредогенератор бредоносный получается?

если например из войны и мира бредогенератор запилить?

код на APL – просто няшечка!!!

на питоне елдой обойтись можно

Я сейчас попробовал марковские цепи сделать (код, возможно, неправильный ибо я во всей этой околоматематике нуб):

# coding: utf-8
from collections import Counter, defaultdict
from typing import DefaultDict, Iterable, Sequence, Union
import random
import re
import sys


def pairs(seq: Sequence[str]) -> Iterable[tuple[str, str]]:
    for i in range(1, len(seq)):
        yield seq[i - 1], seq[i]


def markov(seq: Sequence[str]) -> DefaultDict[str, Union[DefaultDict[str, float], dict[str, float]]]:
    counters = defaultdict(Counter)
    for state, next in pairs(seq):
        counters[state][next] += 1
    probabilities = defaultdict(lambda: defaultdict(float))
    for state, counter in counters.items():
        total = sum(counter.values())
        probabilities[state] = {k: v / total for k, v in counter.items()}
    return probabilities


def generate(init_state: str, seq: Sequence[str], n: int=5) -> Iterable[str]:
    chain = markov(seq)
    state = init_state
    for i in range(n):
        yield state
        d = chain[state]
        state, = random.choices(list(d.keys()), d.values())



if __name__ == '__main__':
    with open(sys.argv[1]) as fp:
        contents = fp.read()
    words = re.findall(r'\b\S+\b', contents.lower())
    print(*generate(sys.argv[2], words))

Проверка:

❯ python markov.py ~/Documents/Books/Onegin.txt 'дом' 
дом селенье рощу под видом

~/workspace via 🐍 v3.9.5 
❯ python markov.py ~/Documents/Books/Onegin.txt 'онегин' 
онегин вы легкомыслия страстей и

~/workspace via 🐍 v3.9.5 
❯ python markov.py ~/Documents/Books/Onegin.txt 'вино'   
вино шипит и сердца факел

а самое удивительное, что питон почти не жрет память. на хранение всех этих переходов между словами для структуры используется 294 килобайта памяти (sizeof), столько же сколько для текста

о, слушай а напиши и мне что ни будь, чтобы для души?

Где взять словарь наиболее употребляемых русских слов?

На заборе

Пьера посчитать забыл

console.log(["Шульман","поц."].join(" - "));

(какое тз, такой и код)

Когда-то пользовался (прошлый век, конечно) FDC.
http://owndictionary.narod.ru/download.html

Где взять словарь наиболее употребляемых русских слов?

На ЛОР конечно …
Первое место занимает

не нужно

отсеять коросче трех символов

это так не работает

Там яшка как раз на днях что-то выкладывал, погугли

И это, если с книжек набирать, то надо не одну смотреть, а сразу много и разнообразных, добавляя ещё и тексты с форумов

Войну и мир разбить, на слова …

Зачем?
Лучше уж тогда «Большую Советскую Энциклопедию» …
А может просто качнуть какой-нибудь Либрусек и 1000000 книг проанализировать.

слова относящиеяс к опр специфике проще запомнить (генерируем пароль из случайных слов)

поймешь о чем я