Программа создания частотного словаря слов и выражений для русского языка - Ронин, Е. М.; Рублинецкий, В. И.; Чикина, В. А. (ХТУРЭ, 1999)
Описан подход к автоматизированному подсчету частот слов. Рассмотрены задачи для создания алгоритмов обработки естественно-языковых (Е-Я) текстов: выбор способа хранения словарной и грамматической информации; метод ее обработки; метод анализа поступающей Е-Я информации, построение статистической модели применения определенных слов и словосочетаний, выбор способа пополнения словаря, способность алгоритма к сбору и использованию словарно-грамматической информации. Рассмотрена программная реализация выбранных алгоритмов. Approach to automatic counting of words frequency is described. The tasks tor building of algorithms for processing natural language (NL) texts are considered: the choice ot method of keeping lexical and grammatical information; method of its processing; the method of analysis of receiving NL information; building a statistical model of application of certain words and combination of words, choice of method of vocabulary replenishment, the ability of algorithm to collect and use lexica! and grammatical infoimation. The program of realization of selected algorithms is considered.
Keywords: обработка текста; грамматическая информация; словосочетания