Дублирующиеся теги

modrewrite,mod rewrite,
openvswitch,open vswitch,
oomkiller,oom-killer,
iptv,ip-tv,
heroes3,heroes 3,
warthunder,war thunder,
opensuse,open suse,
неготов,не готов,
minipc,mini-pc,
koi8r,koi8-r,
iproute,ip route,
codestyle,code style,
bruteforce,brute-force,
symfony2,symfony 2,
ohmyzsh,oh-my-zsh,
pcie,pci-e,
dualgraphics,dual graphics,
h264,h.264,
мопеднемой,мопед не мой,
unity2d,unity 2d,
msoffice,ms office,
handmade,hand-made,
email,e-mail,
ipcam,ip cam,ipcam,ip-cam,
emu,e-mu,
rs485,rs-485,
qtquick,qt quick,
steamdeck,steam deck,
filetransfer,file transfer,
япознаюмир,я познаю мир,
rubyonrails,ruby on rails,
libreoffice,libre office,
realtime,real time,
sweethome3d,sweet home 3d,
expressjs,express.js,
рентв,рен-тв,
opencascade,open cascade,
неосилил,не осилил,
ненужно,не нужно,
hyperv,hyper-v,
tvtuner,tv tuner,tvtuner,tv-tuner,
rstudio,r-studio,
xwindow,x window,
csharp,c sharp,
kdeconnect,kde connect,
macpro,mac pro,
blackscreen,black screen,
uboot,u-boot,
mail server,mailserver,
linuxformat,linux format,
deusex,deus ex,
raid1,raid 1,raid1,raid-1,
webserver,web server,webserver,web-server,
fibrechannel,fibre channel,
userfriendly,user friendly,userfriendly,user-friendly,
useragent,user-agent,
unity3d,unity 3d,
microsd,micro sd,
bigdata,big data,
ddwrt,dd-wrt,
tvbox,tv box,
synflood,syn flood,
mustdie,must die,
sailfishos,sailfish os,
postgrespro,postgres pro,
softwarefreedomday,software freedom day,
covid19,covid-19,
linuxgamepublishing,linux game publishing,
64bit,64-bit,
webmail,web mail,
неторт,не торт,
небылопечали,не было печали,
dlink,d-link,
filesharing,file sharing,
cpuburn,cpu burn,
appstore,app store,
oldschool,old school,
plan9,plan 9,
baytrail,bay trail,
partedmagic,parted magic,
googleearth,google earth,
mssql,ms sql,
pcspeaker,pc speaker,
scifi,sci-fi,
cdrom,cd-rom,
gma3600,gma 3600,
rs232,rs-232,

[10155] [free software] fsf
[10155] [free software] gnu
[10155] [free software] gpl
[10155] [free software] opensource
[10155] [free software] stallman
[10155] [free software] спо
[10155] [free software] fsf
[10155] [free software] opennet

----------------------------------------------------------------------------
--                        Поиск дубликатов тегов                          --
----------------------------------------------------------------------------
-- lua checktags.lua --tags tags.txt - сохранить теги в файл и сразу выйти
-- lua checktags.lua --dups dups.txt - найти и сохранить дубликаты тегов
-- lua checktags.lua                 - как с --dups но без сохраниния в файл
----------------------------------------------------------------------------
local https = require('ssl.https') -- Зависимость 'apt install lua-sec'
----------------------------------------------------------------------------
local config =
{
    https_success  = 200;
    root_tags_url = 'https://www.linux.org.ru/tags/';
    tags_url_list = {}; -- ссылки на группы тегов
    tags_tag_list = {}; -- все теги из групп тегов
    tags_dup_list = {}; -- все дублирующиеся теги
}
----------------------------------------------------------------------------
-- Поиск явных дубликатов тегов
----------------------------------------------------------------------------
local function is_duplicate(tag_a,tag_b)
      -- игнорируем полный дубликат
      if tag_a == tag_b then return false end
      -- исключить ложные срабатывания на 4.2 и 42 и подобного
      if (#tag_a <= 3 and tag_a:find('.',1,true)) or
         (#tag_b <= 3 and tag_b:find('.',1,true)) then
         return false;
      end
      -- исключить варианты с -42 и 42
      if (tag_a:sub(1,1) == '-' or tag_b:sub(1,1) == '-') and
         (tag_a:gsub('%-','') == tag_b:gsub('%-','')) then
         return false;
      end
      -- одинаковые теги различающиеся только разделителем
      if (tag_a:gsub('%.','') == tag_b:gsub('%.','')) then return true end;
      if (tag_a:gsub('-' ,'') == tag_b:gsub('-' ,'')) then return true end;
      if (tag_a:gsub(' ' ,'') == tag_b:gsub(' ' ,'')) then return true end;
      return false
end
----------------------------------------------------------------------------
-- Закодировать в hex (URL кодирование )
----------------------------------------------------------------------------
function encode_percent(raw_text)
    local encoded = '';
    for i=1,#raw_text do
        -- лор кидает 500 на "%2E"
        if raw_text:sub(i,i) == '.' then
           encoded = encoded .. '.';
        else
           encoded = encoded .."%".. string.format("%X",raw_text:byte(i))
        end
    end
    return encoded
end
----------------------------------------------------------------------------
-- Декодировать из hex (URL кодирование )
----------------------------------------------------------------------------
local function decode_percent(encoded_text)
    local out = encoded_text;
    if not encoded_text:find('%',1,true) then
       return out;
    end
    for symbol_code in encoded_text:gmatch('(%%%w%w)') do
        local hex_code = symbol_code:gsub('%%','');
        if type(tonumber('0x'..hex_code)) == 'number' then
           out = out:gsub('%'..symbol_code,string.char('0x'..hex_code))
        end
    end
    return out;
end
----------------------------------------------------------------------------
-- Получить HTML страничку
----------------------------------------------------------------------------
local function get_page(url)
    local page,code,headers,status = https.request(url);
    if code == config.https_success then
        return page;
    end
    return ''
end
----------------------------------------------------------------------------
-- Получить ссылки на группы тегов с главной тегов
----------------------------------------------------------------------------
for tag_group in get_page(config.root_tags_url):gmatch('"/tags/(%S+)"') do
    if tag_group ~= ' ' and tag_group ~= '.' then
       table.insert(config.tags_url_list,config.root_tags_url..encode_percent(tag_group));
    end
end
----------------------------------------------------------------------------
-- Извлечь сами теги из групп тегов
----------------------------------------------------------------------------
for id, tag_group_url in pairs(config.tags_url_list) do
    io.write('[Получение тегов из]: '..decode_percent(tag_group_url))
    local cnt = 0;
    for tag in get_page(tag_group_url):gmatch('"/tag/(%S+)"') do
        table.insert(config.tags_tag_list,decode_percent(tag));
        cnt = cnt + 1;
    end
    print(' ['..cnt..']');
end
print('[Всего тегов на LOR]: '..#config.tags_tag_list)
----------------------------------------------------------------------------
-- Сохранить список тегов как есть в файл и сразу выйти
----------------------------------------------------------------------------
local file_id   = nil;
local tags_file = nil;
for idx,val in ipairs({...}) do
    if val == '--tags' then file_id = idx+1; break; end
end
if file_id and arg[file_id] then
   print("[сохранение списка тегов]: "..arg[file_id])
   tags_file = io.open(arg[file_id],'w');
   assert(tags_file,'Ошибка открытия файла для сохранения списка всех тегов')
   for _,tag in ipairs(config.tags_tag_list) do
       tags_file:write(tag..'\n')
   end
   tags_file:close();
   print("[Сохранено тегов]: "..#config.tags_tag_list)
   print("[Выход]")
   os.exit(0)
end
----------------------------------------------------------------------------
-- Обойти теги и найти дубликаты
----------------------------------------------------------------------------
io.stdout:setvbuf('no')
local back_cnt = #config.tags_tag_list
for id_a,tag_a in pairs(config.tags_tag_list) do
    io.write('[Поиск дубликатов  ]: '..id_a..'\r')
    for id_b,tag_b in pairs(config.tags_tag_list) do
        if is_duplicate(tag_a,tag_b) then
           if config.tags_dup_list[tag_b] then
              for _,duptag in ipairs(config.tags_dup_list[tag_b]) do
                  if tag_a == duptag then
                     goto skip_tag;
                  end
              end
           end
           if not config.tags_dup_list[tag_a] then
              config.tags_dup_list[tag_a]={};
              table.insert(config.tags_dup_list[tag_a],tag_a);
           end
           table.insert(config.tags_dup_list[tag_a],tag_b);
        end
    end
    ::skip_tag::
    back_cnt = back_cnt - 1;
end
print(('-'):rep(21));
----------------------------------------------------------------------------
-- Вывести результат поиска дубликатов в виде 'тег1, тег2, тег3' и т.д.
----------------------------------------------------------------------------
local dup_file = nil;
local file_id  = nil;
for idx,val in ipairs({...}) do
    if val == '--dups' then file_id = idx+1; break; end
end
if file_id and arg[file_id ]then
   dup_file = io.open(arg[file_id],'w');
   assert(dup_file,'Ошибка открытия файла для сохранения списка дубликатов')
   print("[Сохранение дубликатов]: "..arg[file_id]..'\n')
end
for tag, duplicats in pairs(config.tags_dup_list) do
    for id,duplicat in ipairs(duplicats) do
        io.write(duplicat..',');
        if dup_file then dup_file:write(duplicat,', '); end
    end
    if dup_file then dup_file:write('\n'); end
    io.write('\n');
end
----------------------------------------------------------------------------