В лучших традициях Задорнова...

По Задорнову.

Планы на год.

Несмотря на ошибки в чертежах и неправильную сборку запустить аэродинамическую трубу.

Если останусь жива...

Это я про генератор текстов.

Хочу его собрать. С самого начала.

А начало – это личность автора.

А как определяется личность автора?

Хватаюсь за первое понятное, - темы, на которые он пишет.

А как выявить тему?

Предполагаю – по определенным словам.

То бишь. Если встречаются слова – Париж, кафе, круассаны, платье, духи, флирт, поцелуй – это что-то милое, романтическое.

Если слова – лес, чаща, роща, мороз, ружье, пыжи, патроны, тетерев, - это тема охоты.

Было желание скачать 1000 самых распространенных существительных, сравнивать с текстами разных авторов. Например, взять текст автора, выбрать все существительные, убрать эти 1000 общих существительных, они все равно в каждом тексте – и посмотреть, какие встречаются другие существительные.

Решила попробовать свою гипотезу на произведениях неокей Марии Фомальгаут. И началось.

Был взят рассказ Угу-у-у. И что? Я не могу выбросить оттуда слово «дом», потому что идет противопоставление уютного дома и страшного внешнего мира ночью на улице. Уж никак не могу выбросить слово глаза – противопоставляются маленькие глазки юных голубят и жуткие глазища совенка. Не могу выбросить слово крылья – вся суть, что говорится вроде как про людей, а они крыльями машут. Слово небо не могу выбросить – ночное небо, на нем луна. И луну не могу выбросить, вокруг неё тоже вся соль текста.

А вот например, в рассказе Конан Дойля «Берилловая диадема» слово дом легко можно убрать, это слово неважно для текста.

Итак, получается два варианта:

Сравнить авторский текст с тысячей самых частых слов, убрать из авторского текста самые частые слова.

Из оставшихся слов выбрать самые часто встречающиеся – это и есть тема текста, его особенность.

Или второй вариант:

Сравнить авторский текст с тысячей слов, выбрать, какие слова из тысячи частых слов автор НЕ использует, и какие слова автор использует помимо тысячи слов.

Это что-то даст при генерации текста под какого-то автора. Хотя бы на уровне – НЕ используй эти слова, обязательно используй эти.

Но при разборе текста некоей Марии Фомальгаут все оказалось намного сложнее.

Например, дело не в том, что в тексте есть небо, а небо – звездное, темное, звездами утыканное, и не просто луна, а луна из-за горизонта выплывает, над лесом поднимается, большая, круглая, дивно пахнущая сыром, уу-ух…

И дело не в крыльях, а в крылышках – деточки, моем крылышки, и за стол.

Крылышки. Солнышки. Глазищи. И даже не так – оладьи, запеченные из солнышка. И совенок за столом просит кусочек луны. Важно, что не просто – а за столом, подтекст, что они и солнышко, и луну едят...

Ведь не написано прямым текстом - едят луну. 

Написано - едят оладушки из солнышка. И совенок просит кусочек луны.

И как программа вьедет, что тут луна за каким-то чертом съедобная стала? Никак не въедет. Потому что, например, сидят люди, обедают, один просит - а дайте мне газету - ну ясен же пень, что не жрать он её собирается. А у Марии Фомальгаут в книгах герой после обеда попросит газету и ею закусит на десерт.

Легко.

В этом Мария Фомальгаут. В сложнейшем контексте. А не в употребляемых словах.

Не дети, а детишечки, не город, а городок, не человек – песочный человек, открывает большим ключом луну.

Вот и думаю, есть ли смысл выбирать слова, которые использует автор, хотя бы для начала такое сделать. Или вообще не поможет.

Потому что тут как минимум довольно большие словосочетания и суффиксы, а как максимум – суть в  сложнейшем контексте.

А без этого никак. Генерация текста под автора начинается с ограничения – чего не должно быть у автора, что должно быть обязательно.