Автоматизированная обработка массивов слабоструктурированных 
текстовых  веб-документов
Матюнина Т.В., Удовенко С.Г., Чалая Л.Э.
Харьковский национальный университет радиоэлектроники
В последние годы наметился прогресс в области обработки текстов на естественном языке, однако многие задачи по-прежнему остаются нерешенными, хотя появляются новые, связанные с мониторингом социальных сетей и обработкой преднамеренно искаженных текстов. Разработаны различные методы решения задач информационного поиска, машинного перевода и т.п. [1]. При этом базовые принципы обработки, как правило, связываются с компьютерной лингвистикой, однако многие новые задачи (например, выделение ключевых слов в документах или мониторинг социальных сетей), язык которых может очень сильно отличаться от «канонического», решаются и без ее применения. К задачам, требующим применения новых методов обработки текстов, можно отнести извлечение мнений, определение эмоциональной окраски текстов, анализ реального влияния источников информации, обработку некорректных или преднамеренно искаженных текстов [2]. При решении практических задач важно разделить их на две большие группы: обработка отдельных документов и обработка их массивов. Группу задач обработки отдельных документов следует разделить на две подгруппы: корректировка документов и извлечение информации. Первая подразумевает, что на входе и на выходе будет текстовый документ (задачи исправления ошибок, корректировки текста, определения его структуры, реферирования, машинный перевод). Вторая подгруппа включает в себя задачи, связанные с обработкой формально представленного смысла: извлечение фактов, выполнение запросов на естественном языке, организация естественно-языковых интерфейсов, а также генерация корректных текстов. Реализация всех задач первой подгруппы может быть основана либо на правилах, сформулированных экспертами, либо на закономерностях, полученных в результате применения методов машинного обучения [3]. Использование системы правил потенциально дает более точные и предсказуемые результаты, но подразумевает большие затраты на ее создание. В свою очередь, применение методов машинного обучения является не столь трудоемким, но требует большого количества качественных примеров. 
В данной работе рассмотрен подход к автоматизированной обработке массивов слабоструктурированных текстовых данных, полученных поисковой системой в сети Интернет. Работа с массивами текстовых документов сводится к поиску необходимых документов или их фрагментов, что является обобщением задачи информационного поиска. Данный процесс включает в себя как собственно поиск документов, так и смежные с ним задачи определения ключевых слов, дубликатов документов и цитат, классификации и рубрикации документов, построения сниппетов (фрагментов) документов, построение кратких обзоров нескольких документов и так далее, вплоть до машинного перевода найденных документов с языка оригинала на язык запроса. 
Информационный поиск в сети Интернет имеет важные особенности. Во-первых, коллекция исходных документов является распределенной, и ее сбор (краулинг) сам по себе непрост. Во-вторых, огромный объем накапливаемой информации требует максимально высокой скорости обработки. В-третьих, документы в Интернете могут содержать ошибки и преднамеренные искажения, которые необходимо определять и обрабатывать (примером преднамеренных искажений является веб-спам и всевозможные «поисковые оптимизации»). В-четвертых, многие веб-документы (и массивы веб-документов) являются слабоструктурированными (т.е. они могут не сопровождаться метаданными или же  содержать неструктурированные элементы) [4]. Предлагаемый подход предполагает осуществление следующих этапов автоматизированной обработки массивов текстовых документов, полученных в результате поиска:  фильтрация спама, основанная на интеллектуальном анализе содержимого документов и проверке надежности источника данных по специальной базе данных со сведениями о серверах, рассылающих спам; частичная структуризация слабоструктурированных документов в каждом из обрабатываемых массивов, основанная на их каталогизации и индексации специального типа; проверка документов с целью устранения возможных дубликатов и фильтрации ошибок или преднамеренных искажений; кластеризация документов с применением гибридных критериев оценки их близости (эта процедура снабжена дополнительными условиями, связанными с исключением из формируемых кластеров соответствующих документов при реализации ситуации несимметрического сходства); обновление тематических разделов формируемого хранилища данных. В работе предложен программный модуль «ТМТ», реализующий функции предлагаемой системы обработки массивов текстовых веб-данных и приведены результаты его тестирования для автоматизированного поиска и анализа тематических научных документов. 
Следует отметить, что предлагаемый подход реализуется без использования методов популярной сегодня, но трудоемкой и неэффективной в ряде случаев компьютерной лингвистики, предполагающих необходимость учета особенностей естественного языка.
Список литературы. 
1. Рассел С. Искусственный интеллект. Современный подход / С.Рассел, П. Норвиг// М.: Вильямс, 2007. – 1480с. 2. Маннинг К., Рагхаван П., Шютце Х. Введение в информационный поиск / К. Маннинг, П. Рагхаван, Х. Шютце // М.: Вильямс, 2011. – 528 с. 3. Толдова С.Ю. Оценка методов автоматического анализа текста 2011–2012: синтаксические парсеры русского языка / С.Ю. Толдова // Диалог-2012: тезисы конференции. Москва, 2012. – С.25. 4. Шокин Ю.И. Проблема поиска информации / Ю.И. Шокин, А.М. Федотов, В.Б. Барахнин // Новосибирск: Наука, 2010. – 220с.
 ЗАЯВКА  НА УЧАСТИЕ В КОНФЕРЕНЦИИ ИСТ 2016
(файл ФИО_авторов_ИСТ2016_з.doc)
 
ФИО авторов: Матюнина Татьяна Валериевна

Название доклада:  Автоматизированная обработка массивов слабоструктурированных текстовых  веб-документов

Страна, город, организация, должность, ученая степень, звание (для студентов - ВУЗ, факультет, кафедра, группа) 

Адрес для переписки с обязательным указанием индекса города 

E-mail, факс, контактный телефон (с указанием кода) 

Название (номер) секции:   1 

Форма участия:            заочная 

 Предлагаемая тема обсуждения:   информационные системы автоматизированной обработки слабоструктурированных документов