МЕТОДЫ ОПРЕДЕЛЕНИЯ ШУМОВ И ВЫБРОСОВ В СТРУКТУРЕ ИСПОЛЬЗУЕМЫХ ДАННЫХ НА ПРИМЕРЕ ДЛИТЕЛЬНОСТИ ОБРАБОТКИ СУДОЗАХОДА НА НЕФТЯНОМ ТЕРМИНАЛЕ
Аннотация
Важным этапом любого анализа является предварительная обработка входной информации. Отсутствие данных или наличие экстремумов может значительно исказить результаты и привести к ошибочному решению проблем, несоответствующих реальной ситуации. Несмотря на многочисленные исследования, поиск и обработка аномалий в используемых данных до сих пор является областью повышенного интереса. Для решения этой проблемы в статье отражены результаты применения интеллектуальных и статистическо-математических методов. Объектом для исследования является временной ряд, выраженный в количестве часов обработки судозахода на нефтяном терминале. Рассмотрены такие понятия, как шумы и выбросы в структуре исходных данных, и причины их возникновения. В статье предложены методы обнаружения и способы обработки выбросов, а также выбран оптимальный вариант для работы с данным временным рядом на основе сравнительного анализа доверительных интервалов, полученных в результате применения рассматриваемых методов.На практике универсальные и общеизвестные методы, такие как расчеты на основе среднего значения (математическое ожидание для генеральной совокупности) или квартилей, приводят к потере ценной информации, что в дальнейшем отражается на корректности результатов всего анализа. В статье рассмотрена проблема предварительной оценки структуры данных и необходимость использования расчетов на основе значения медианы в случае асимметричности ряда распределения величин. В качестве альтернативы показан результат метода анализа данных (кластеризации), его недостатки и преимущества.Следует отметить, что определение выбросов в структуре используемых данных принесет большую пользу при их последующем анализе и выявлении существующих закономерностей между ними. Судозаходы, которые представляют собой выбросы, нужно рассматривать как уникальные случаи, удаление которых из общей выборки не приведет к дальнейшему улучшению процесса обработки танкерного флота.
Ключевые слова
временной ряд, анализ выбросов, описательная статистика, нефтяной терминал, портовые процессы, обработка судна
Читать полный текст статьи: PDF
Список литературы
Van der Aalst W. Process mining: Overview and opportunities / W. Van der Aalst // ACM Transactions on Management Information Systems (TMIS). - 2012. - Vol. 3. - Is. 2. - Pp. 7. DOI:10.1145/2229156.2229157.
Гржибовский А. М. Типы данных, проверка распределения и описательная статистика / А. М. Гржибовский // Экология человека. - 2008. - № 1. - C. 52-60.
Субботина А. В. Описательная статистика и проверка нормальности распределения количественных данных / А. В. Субботина, А. М. Гржибовский // Экология человека. - 2014. - № 2. - C. 51-57.
Кузовлев В. И. Метод выявления аномалий в исходных данных при построении прогнозной модели решающего дерева в системах поддержки принятия решений / В. И. Кузовлев, А. О. Орлов // Наука и образование: науч. изд. МГТУ им. Н. Э. Баумана. - 2012. - № 9. - С. 16. DOI: 10.7463/0912.0483269.
Chandolla V. Anomalydetection: Asurvey / V. Chandolla, A. Banerjee, V. Kumar // ACM computingsurveys (CSUR). - 2009. - Vol. 41. - Is. 3. - Pp.15. DOI: 10.1145/1541880.1541882.
Box G. E. P.Time series analysis: forecasting and control / G. E. P. Box, G. M. Jenkins, G. C. Reinsel, G. M. Ljung. - 5th edition. - John Wiley &Sons, 2015. - 712 p.
Левин Д. М. Статистика для менеджеров с использованием MicrosoftExcel / Д. М. Левин, Д. Стефан, Т. С. Кребиль, М. Л. Беренсон. - 4-е изд. - Пер. с англ. - М.: Вильямс, 2004. - 1312 с.
Калинина В. H. Математическая статистика / В. Н. Калинина, В. Ф. Панкин. - М.: Высш. шк., 2002. - 336 с.
Елисеева И. И. Эконометрика / И. И. Елисеева. - М.: Изд-во «Юрайт», 2014. - 344 с.
Mukherjee S. Data Structures Using C: 1000 Problems and Solutions / S. Mukherjee. - McGrawHillEducation, 2007. - 556 p.
Рудницкая Ю. Ю. Исследование дескриптивной модели процесса обработки судна на нефтяном терминале на основе записей из таймшитов / Ю. Ю. Рудницкая // Вестник Астраханского государственного технического университета. Серия: Морская техника и технология. - 2017. - № 1. - С. 7-15.
Дроботько Д. В. Неавтономное обнаружение выбросов и очистка сигналов мониторинга внутричерепного давления / Д. В. Дроботько, А. И. Шевченко, В. Ф. Дроботько, И. В. Качур // Искусственный интеллект. - 2013. - № 3 (61). - С. 495-506.
Damodar N. G. Basic Econometrics / N. G. Damodar. - The McGraw-Hill Companies, 2004. - 1002 p.
Об авторах
Рудницкая Юлия Юрьевна - инженер, аспирант
Технический университет г. Брно
