Вопрос программистам на засыпку
Уважаемые программисты, вопрос на засыпку: как, по-вашему, работает нейросеть, которая домысливает, с какой вероятностью за данным словом последует другое слово?
Я так понимаю, нейросеть обрабатывает кучу текстов, и заполняет для себя какие-то базы данных? Например, берет какое-то слово и выносит в таблицу все слова, которые могу следовать за данным словом, плюс частота появления этого слова за предыдущим словом?
То есть, правильно я понимаю, что в нейросетях есть какие-то базы данных, иначе как она «запомнит» слова?
Или какой-то иной принцип действия без заполнения баз данных?
Могу наивно предположить, что сочетаемость определяется где-нибудь так. Таблица сочетаемости слов, столбцы типа «ид», «слово», «характеристики подставляемого слова (часть речи, падеж и пр.)», «подставляемое слово (ид)». В последнюю ячейку выбираются слова, скажем, из этой же таблицы. А заполняются два последних столбца как-нибудь по результату фильтрации. Где-то еще заполняется автоматом таблица всех сочетаний, которые появляются в системе (на сайте, скажем), фильтруется по первому слову и подсчитывается частота употреблений второго слова. Думаю, я ошибаюсь.
и еще больше флуда, думаю, твой словарик вряд ли будет намного больше. При условии, что он будет динамически обновляемым (как только другое слово стало чаще встречаться в сочетании с основным — сразу меняются данные).Поток сознания у меня тут, похоже…
Чёрт возьми, как найти на странице текста в интернете слова, которые есть у меня в базе данных на MySql?
Чтобы программа, чёрт бы её драл, взяла отдельное слово, сравнила со словами в таблице, сказала, есть такое слово или нет?
Если текст поместить в отдельную ячейку и сделать выборку по тому или иному слову?
Открыть файл по ссылке в интернете
(разобраться с кодировками)
Дальше цикл:
Найти отдельное слово (выделенное пробелами и знаками препинания)
Сравнить слово со словами в таблице прилагательных (вхождение 80%)
Если не совпадает – искать следующее слово
Если совпадает – найти в таблице прилагательных индекс этого слова и внести в таблицу прилагательное + существительное в колонку – индексы прилагательных
Найти следующее слово, сравнить со словами в таблице прилагательных (вхождение 80%)
Если совпадает – найти в таблице прилагательных индекс этого слова и внести в таблицу прилагательное + существительное в колонку – индексы прилагательных
Если не совпадает – сравнить это слово со словами в таблице существительных
Если совпадает с существительными – найти индекс этого слова в таблице существительных и записать этот индекс в таблице прилагательное + существительное в одну строку с записанным индексом прилагательного
Так я ж не знаю, как оно будет, вот в чем беда
А алгоритм вот он. Предельно разложен по полочкам, чтоб программа поняла…
Кароч: найди прилагательное, найди существиетльное рядом с ним, запиши пару прилагательное — существительное.
Поскольку твой код на php будет запросы к БД в таком виде делать.
Одна буква — один байт. Многабукав = нетакмногабайт по нынешним меркам.
Просто поздравь меня с тем, что на днях я наконец-то за многие годы решилась открыть учебник по php. И поймешь цену моим советам. Нет, если что-то из практики подсказать — могу. Зависит от того, с какими задачами я сталкивалась, а с какими нет. Ну и пофантазировать — всегда пожалуйста.
Меня сегодня хватило только на то чтобы после месяца каторжной работы над программой швырнуть учебник РНР в стену и напугать кота. Остаток дня пришлось успокаивать животное.
Самую глупость я сделала в свое время, когда изучила бейсик. Ну, я об этом сто раз говорила.
Если серьезно, то Майкрософт выдала новый вариант бейсика и под него запилила свою VisualStudio, а шестой бейсик остался на обочине. А я даже не знаю, какой бейсик я изучала, дело было ну о-очень давно (в 90-х).
Сейчас его можно и освежить в голове смеха ради, если найдется время. Но мне еще десять лет назад говорили, что не пригодится уже нигде.