Алексей, кратко ознакомился с сайтом и заявленными возможностями программы. Так как данная программа призвана облегчить работу с прогнозами, связанными с реальными финансами, возник ряд вопросов, ответов на которые в описании не увидел :
1. Как известно из теории мат статистики, анализируя результаты серии опытов (к примеру продажи), прежде чем приступить к прогнозам, проводится ревизия ряда данных (для оценки центра распределения) на предмет определения промахов. (к примеру в ряде данных затесались результаты акций, дефицит, а далее, как правило, отложенный спрос и проч.) У вас прочитал, что предметом промаха является только 0 (или отсутствие данных за период). Означает ли это, что оценка промахов первичных данных в данной программе не производится вообще? А если производится, то на основании каких теоретических или эмпирических правил (если данная тема - секрет, то сорри )?
2. Так либо иначе, далее, на этапе прогнозирования, заложен ли в программе классический механизм выявления вероятностного закона распределения через постановку гипотез и границ точности их удовлетворяющих? Дело в том, что в описании доверительных интервалов через среднеквадратичное отклонение я увидел цифры классического гауссовского распределения и чуть-чуть упоминание теоремы уважаемого академика Чебышева. (Кстати, оно, мне кажется, слегка сбивает восприятие границ попаданий в интервалы..). Очевидно, что любые продажи имеют ограниченный снизу предел (0) и теоретически неограниченный максимум. Это в свою очередь означает, что кривая плотности вероятности ЛЮБЫХ продаж будет завалена влево (имеет положительную асимметрию). В случае прямого использования метода сигм распределения Гаусса для количественного определения доверительного интервала при анализе выборки исследуемой величины (особенно не отредактированной на промахи и особенно на интервале 3 сигмы), встречаются довольно забавные случаи. А именно: уход нижней границы доверительного интервала в отрицательные области.. В своей практике я наблюдал такие казусы, когда с вероятностью 99% прогнозировалась выручка, к примеру, по товарной группе от -30 000 до 1 500 000 или продажи от -100 шт до 16 000 шт.. Занавес..
Вопрос: В программе используется только расчёт через Нормальный закон распределения или есть возможность обоснованно применить другие? Если только нормальный закон, то преобразовываются ли первичные данные (напр. берётся ряд их отношений, логарифмируется.. и проч)?
3. Вследствие асимметрии кривой плотности, доверительный интервал справа от центра распределения всегда будет больше левого (к примеру.. с вероятностью 90% продажи будут 3 000 ед.. + 800/ - 600 ). Имеется ли возможность расчёта доверительного интервала задавая вероятность напрямую через интерквантильный промежуток, а не через кол-во сигм?

P.S.: Заранее спасибо и сорри за многословность.

Андрей, добрый день.

Спасибо за вопросы. Редко встретишь специалистов, с такими вопросами.

По Пунктам
1. дополнительно при расчете сезонности рассчитывается нормирующий коэффициент, которые выравнивает пики. В этой статье есть пример
www.4analytics.ru/prognozirovanie/kak-ra...onnosti-v-excel.html
А дефицит корректируются только при нуле, как подругому в автоматическом режиме, пока не понятно, т.к. есть глубоко сезонные товары. Сейчас это вопрос подготовки данных до расчета прогноза.

2. В новой версии будет автоматичесткое тестирования моделей на фактических данных. А в границах сейчас можно задать только сигму. Границы рассчитываются по логике, описанной в этой статье
www.4analytics.ru/prognozirovanie/kak-ra...nie-na-praktike.html

3. Только Сигма

Спасибо вам за ваши вопросы.

Если будут пожелания, вопросы, предложения.

Пишите, буду рад!

Спасибо, Алексей, за оперативный ответ! Если правильно понял, то общий принцип фильтрации данных таков. Берётся ряд из N-1 члена данных (либо полный ряд, что влечёт некоторые последствия), рассчитывается прогнозный показатель N-ого члена с учётом тренда (ес-но ряда из N-1) и коэффициента сезонности (либо массива N-1 либо полного массива). Далее сравнивается рассчитанный прогноз N-ого члена ряда с фактической цифрой оного. И либо сравнением с эмпирически заданным коэффициентом расхождения (соотношения) этих двух показателей, либо выходом фактического значения за рамки глобально установленного доверительного интервала (рассчитанного как в ссылке на основе сигм), принимается решение о подмене (или НЕподмене) фактической цифры на прогнозный показатель (коим наверно можно назвать мат ожидание).. Правильно? По поводу п.2 и п.3 всё понял.
P.S. : Пришла простая, как трёшка, мысль, что при ВСЕГДА реальной правой положительной асимметрии плотности вероятности распределения и использовании в расчёте доверительного интервала, основанного на сигмах нормального распределения, возможно в некоторых случаях, более точно ВЕРХНЮЮ границу определять исходя не из МАТ ожидание + k*сигма, а МОДА + к*сигма. И, хотя при этом ошибки на нижней границе будут всё равно теми же, в целом это должно улучшить точность прогноза более правильным определением верхней границы.. (как интерпретация - более точное определение страхового запаса или неснижаемого остатка в рамках выбранной через сигму вероятности и соот-но высвобождение оборотных средств)... Н..да.. интересно проверить... Алексей.. это всего лишь гипотеза..

Андрей, как я понял вопрос остался по пункту 1. В программе для полных временных рядов рассчитывается сезонность относительно тренда. Но сезонность еще дополнительно выравнивается нормирующим коэффициентом - во вложенном файле "Общий индекс сезонности" - выделил желтым. Этот коэффициент позволяет приводить сезонность в среднем к 1 и корректировать выбросы. Больше никаких логик нет, с границами не сравниваем.

Но в новой версии будет дополнительная проверка трендов и если при построении тренда, его значения вдруг оказываются меньше нуля, то они будут заменяться на ноль и использоваться далее для расчета прогноза. Это добавляет точности.

По поводу МОДЫ вместо модели не понял? Т.е. вместо модели использовать часто повторяющееся значение, а если их нет?

По п.1 вопросов уже нет. В целом вроде понятно. В принципе, сезонность можно считать миллионом способов. Я считаю коэффициенты сезонности как весовые множители отдельных периодов по отношению к годовому объёму исследуемого параметра, коэффициенты должна быть нормированы и их сумма должна быть равна 1. Далее умножаю каждый на выявленный тренд, и снова нормирую. Получаю сезонность с учётом последнего выявленного тренда. После остаётся технически простая задача, наложить модифицированные коэффициенты сезонности на выявленный текущий "центр распределения" (или проще математическое ожидание) годового объёма исследуемого параметра и получаю сезонный прогноз продаж. Ну это если период прогноза - год.
А что касается "Моды" ....
Параметр "мода" вместо "математического ожидания"(начальный момент первого порядка). Дело в том, что при анализе рядов важно правильно определить центр распределения, коим может выступать медиана распределения, мода распределения или математическое ожидание. Медиана - это точка на оси х, относительно которой вероятность и справа и слева равна 0,5. Существует у любого распределения. Мода - точка на оси х, соответствующая максимуму кривой плотности вероятности (наиболее вероятное значение). Мода существует не у всех распределений. Например при равновероятном законе распределения мода отсутствует. Математическое ожидание - оценка аналитическая соответствующая начальному моменту первого порядка. Существует не у всех распределений, а только у тех, которых плотность вероятности спадает круче 1/ модуль х в степени 2+бетта, где бетта сколь угодно мало. При более пологих спадах мат ожидания не существует, так как определяющий его интеграл расходится.. Если брать симметричное распределения типа нормального, то все эти оценки сходятся в одной точке. Если есть положительная асимметрия кривой плотности вероятности, то мода < медиана< матожидание, если асимметрия отрицательная, то матожидание < медиана < мода. Самая упрощённая интерпретация "центра распределения" - это то значение, относительно которого наиболее правильно считать отклонения в сигмах, минимизируя ошибку, вносимую ассиметрией кривой плотности вероятности.. Или если совсем грубо, то точку прогноза без учёта тренда и сезонности. На которую накладывается коэффициент сезонности и тренд.. Извини, если череcчур заумно, или излишне много..

Андрей, показатели мода, средняя, медиана, они статичны, у меня же сигма считается относительно значения модели (разных моделей) в каждый момент времени. Относительно трендовой, скользящей средней ... Посмотрите вложенный файл. Когда-то экспериментировал со средней, медианой, считал относительно них прогнозы, но пришел к тому, что относительно модели это точнее и логичнее.

Модели используем разные, ряды есть полные, не полные, склонные к влиянию последних периодов, более стабильные...
И здесь пока пришел к тому, что важнее протестировать и подобрать оптимальную модель для конкретного ряда с его особенностями, которая и будет центром распределения. Т.к. мы этот центр продлеваем в будущее и относительно него хотим оценить границы.
Но это мой опыт на данный момент и мое мнение, возможно в будущем мнение поменяется. Но пока мне кажется это логичным и в работе этот подход работает и удовлетворяет.

В 4 версии Forecast4AC, автоматический подбор моделей на основании тестирования и границы для каждой модели будут на 100% реализованы (в текущей версии программы, границы строятся только для трендовых моделей).

Спасибо что лишний раз заставляете задуматься, это полезно! )))

Разумеется, на качество прогнозов влияют огромное количество факторов. Тип модели, цель прогноза, чистота данных, наличие непрерывных продаж и проч. проч проч. Однако моды, медианы и мат ожидания они ведут себя вне зависимости от желания или ощущения статичности-динамичности.. Они цифры.. И зависят от ряда данных. И могут быть по определению статичны только при условии, что данные не меняются и не дополняются.. При условии введения в анализ новых данных, они изменяются ВСЕГДА и ровно настолько, насколько меняются характеристики ряда и метод его обработки..

Совершенно точно, что на разных источниках данных разные прогнозные методы могут показывать разные результаты.. Но это как правило говорит о том, что там работают разные законы вероятности.. Но у каждого из них (или у подавляющего большинства) всё равно остаются базисными эти чёртовы мода, медиана и математическое ожидание.. Именно они и являются основой для полноценного и максимально правильного применения этих законов для прогнозирования.. Хотя, строго говоря.. футурология не является наукой.. Тут можно и возможно нужно применять все возможные средства, даже если это куриная лапка, главное что бы работало..

Для тех специалистов кто читает форум и кому наскучила рутина, могу, например, посоветовать обрабатывать данные полиномами. Чем полином выше степени, тем жизнь станет веселее... У полиномов есть одна сакрально - волшебная особенность.. Чем выше его степень, тем он лучше описывает что БЫЛО и тем хуже предсказывает что БУДЕТ.

P.S.: Алексей, сорри если эмоции проглянули.. И спасибо, что подвинули в теорию и мат часть заглянуть.. Давненько я там не был, а это не есть зер гут!

Андрей, вам спасибо!

Всегда полезно задуматься лишний раз на тем что делаешь!

Полиномы, кстати, хорошо прогнозируют для рядов без роста, там весь секрет в том, как его в будущее продлить. Если продлить, как линейный тренд, то смысла нет, это глупость (которая в некоторых источниках встречается). А вот если описывать будущее, как он описал прошлое, в этом есть смысл. Не продлевать, а именно описывать.

Если есть пожелания, пишите.
Буду рад вашим предложениями и вопросам.

Любой ряд, состоящий из N членов можно ТОЧНО описать полиномом N-1 степени.. Но при вхождении N+1 данного, ошибка которую даёт полином нарастает. Для того, чтобы полином точно описал ряд с вновь вошедшим N+1 значением, нужно увеличить разрядность полинома. ПРИ ЭТОМ, возникнет новый полином порядка N, в котором НИ ОДИН коэффициент (а их теперь N) не совпадает с предыдущим... Т.е. Это будет СОВЕРШЕННО новый полином.. Увы.. Поэтому, баловство с полиномами добром не заканчивается. Можно с их помощью сколь угодно точно описать прошлое, но при этом будущее он будет описывать всё хуже и хуже.. Я уж не говорю о том, что будет, если полиномом степени N попытаться спрогнозировать значение N+13 или N+366... Это сливай воду.. Кстати, на фондовых и валютных рынках серьёзные игроки типа маркетмейкеров используют механические торговые системы с серьёзными вложенными алгоритмами.. В которых полиноминальные алгоритмы не присутствуют. Потому как системы работают здесь и сразу и с серьёзными финансами и с проверяемыми результатами и отображением и контролем сделок, пойманных лосей и профитов... И для разработчиков таких систем, кол - не самое уютное место, где можно подсчитывать маржу.. Даже если кол на уютных Мальдивах.. . И хоть подобный пример из немного другой области, но тоже связан с футурпродуктом..
Конечно, истину не знает никто, но к ней нужно стремиться. И тот кто что-то делает и к чему-то стремится, у меня вызывает уважение. Хотел бы искренне пожелать успехов, Алексей, и всего самого светлого и доброго!!! Желание помочь и кому - либо облегчить труд это супер!

Андрей, спасибо большое за добрые слова и внимание к моему делу! Очень приятно!

По поводу полиномов. Модель вывел сам, нигде описания не видел, но она работает очень хорошо для некоторых рядов (например для сезонных товаров).

Подход следующий (если по простому, но есть доп. нюансы и варианты):
Когда мы говорим о цикличных временных рядах, например, месячные продажи по годам, то для каждого года мы строим отдельный полином (для каждого года n от 1 до 12), если 5 лет, то 5 полиномов.
Для прогноза берем среднее значение коэф-тов всех полиномов и опять же для прогноза n от 1 до 12 для каждого следующего года + корректируем сезонностью (отклонениями от полиномов в прошлом для каждого месяца).

Если мы в прогноз с полиномом возьмем N+13 .... N+366, как при линейном, логарифмическом, экспоненциальном... трендах, для полинома такой подход на 100% не работает.

По поводу форекса, там полиномов нет, т.к. не понятно к чему их привязать и цикличности как таковой нет. Нет цикличности, нет полиномов. Есть события, их надо ловить, оценивать и тестировать модель и подбирать оптимальную модель как прогнозирования так и постановки денег, которая при тех или иных событиях подскажет как действовать, на каком уровне поставить цену и зафиксировать прибыль или убытки. Т.е. модель которая поможет максимизировать прибыль и максимально уменьшить убытки... (есть хороший опыт разработки программы в Excel для форекса под заказ для профи, некоторые подходы, кстати, будут в новой версии моей программы, но адаптированные для прогнозирования продаж).
Там своя кухня, алгоритмы реально серьезные, каждая запятая тестируется и перетестируются, куча индикаторов...))), но подходы в прогнозировании продаж и на валютных рынках очень разные... И много оттуда. никак не применить к продажам, даже сказал бы бессмыслено применять, как и наоборот.

Еще раз Андрей, спасибо. Надеюсь и вам наш диалог на пользу!