Если для меня это было бы настолько критично, то я поставил бы основной домен как виртуальный хост, а основным хостом поставил бы сообщение о неправильном имени хоста.

Казалось бы, ситуация простая, но при этом у меня в настройках dns нет записи * IN A ip

Если бы такой записи не было, то subsubsubsub.domain.com просто не резолвился на твой ip (до апача дело бы даже не дошло). Скорее всего, кто-то (твой браузер, система или днс хостер) закешировали вилдкард.

У меня вот так сделано

Конфиг nginx (default.vhost)

# Неизвестные соединения (nginx - 403 error)
server {
       listen *:80 default_server;

       return 403;
}

Apache выдает первый хост (если хост не найдет в виртуалхостах) в конфигурации при обращении к нему. Выход поставить заглушку первым хостом.

Apache выдает первый хост (если хост не найдет в виртуалхостах) в конфигурации при обращении к нему.

Какой апач, если даже резолва сабдомена не будет?

Ну да, только это произойдет, если хост будет резолвиться на ip,а на этом ip апач не найдет виртуалхоста.

я бы начал с /etc/hosts на машине, с которой ты открываешь «несуществующий поддомен» ;)

я бы начал с /etc/hosts на машине, с которой ты открываешь «несуществующий поддомен» ;)

И /etc/resolv.conf на предмет domain и search