Огляд методів обробки та аналізу текстів на природних мовах

Abstract

UA: Розглянуто основні проблеми обробки природної мови, тобто необхідність структурування та систематизації даних, аналізу емоційного забарвлення тексту. Подано інформацію про принципи побудови глибоких мереж, рекурентних нейронних мереж, використання нейронних мереж з пам'яттю і машинного перекладу. Показано, що аналіз текстових даних має велике значення в сучасному світі, оскільки необхідно обробляти великі масиви текстової інформації. RU: В данной статье рассматриваются основные проблемы обработки естественного языка, то есть необходимость структурирования и систематизации данных, анализа эмоциональной окраски текста. В статье представлена информация о принципах построения глубоких сетей, рекуррентных нейронных сетей, использовании нейронных сетей с памятью и машинного перевода. Показано, что анализ текстовых данных имеет большое значение в современном мире, поскольку необходимо обрабатывать большие массивы текстовой информации. EN: The article analyzes the methods of processing and analysis of texts in natural languages and discusses the main problems of natural language processing, that is, the necessity of data structuring and data systematization. The analysis of emotional coloring of the text is also important. These include the principles of the construction and operation of deep networks and recurrent neural networks. The article provides information about the using of neural networks with memory to form answers custom questions. It describes the use of Tree-LSTM used to analyze the emotional coloring of statements. The use of neural machine translation to find phrasal matches is also considered. The relevance of this direction is determined by the need to process large amounts of textual information which were accumulated by mankind lately in the global information space. It is shown that the analysis of text data has a great importance in the modern world.