:: Игры Разума
Re: 2-мерное распределение в планировании
akvvohinc

Сообщений: 4203
Откуда: Москва
Дата регистрации: 11.11.2008
Цитата:
Оптимально надо, когда сумма квадратов отклонений старых и новых значений минимальная
Что такое "оптимально", зависит от целей.

Я встречался только с такими задачами, для которых наиболее важно иметь минимальные относительные отклонения, то есть отклонение в 1 единицу от 1 или от 100 - это далеко не одно и то же. И поэтому минимальная сумма квадратов абсолютных отклонений - далеко не оптимальное решение.

Из описания самой задачи и использования весовых коэффициентов мне показалось, что и в вашем случае минимум абсолютных отклонений - не оптимальное решение.

Если некоторое количество было равно 1, а станет равно 2, то это увеличение количества на 100% вам не простят. А вот если было 100, а станет 101, то такое изменение будет вполне допустимо, хотя в обоих случаях абсолютное отклонение было одинаковым.
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Ydin
Автор

Сообщений: 7648
Откуда: Киев
Дата регистрации: 16.12.2005
Первый этап планирования - прогнозирование в каком-то виде.
Когда прогнозируется структура экономических показателей показателей, то приведение ее
исповедует принцип "сверху-вниз". Наиболее точными являются прогнозы агрегированных показателей.
Далее эксперты корректируют именно агрегированные показатели, а те, которые в них входят должны минимально
отличаться. Т.е. процедура используется многократно.
Вот с округлением проходит номер поднятия погрешности на верхние уровни структуры показателей.
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
akvvohinc

Сообщений: 4203
Откуда: Москва
Дата регистрации: 11.11.2008
Цитата:
Если бороться с округлением, то может быть дельту распределять и проходит.
Здесь номер не идет, сразу в минусы попадаем по кому-то.
Идет и здесь, просто я не стал описывать, как с этим бороться...

Цитата:
Это вносит несимметричность, поменяв последовательность столбцов, получим разные результаты.
Да, результат будет зависеть от выбора последовательности столбцов.
Но пока мне не приходилось встречаться с непременным требованием "симметричности" при таком распределении.

Предположим, получено два разных, но допустимых результата распределения - мой и ваш.
Я могу легко получить еще 10 допустимых распределений.

Теперь мы приглашаем ваших пользователей посмотреть на эти 12 допустимых вариантов распределения. Смогут ли они определить (угадать), который из них ваш? Нужно ли им это?



Исправлено 1 раз(а). Последнее : akvvohinc, 10.04.12 17:59
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
akvvohinc

Сообщений: 4203
Откуда: Москва
Дата регистрации: 11.11.2008
Цитата:
Далее эксперты корректируют именно агрегированные показатели, а те, которые в них входят должны минимально отличаться.
Так вопрос именно в том, что такое "минимально отличаться".
Обычно под этим понимают отклонение в процентах от исходной величины, а не абсолютное отклонение.
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Ydin
Автор

Сообщений: 7648
Откуда: Киев
Дата регистрации: 16.12.2005
akvvohinc
Цитата:
Далее эксперты корректируют именно агрегированные показатели, а те, которые в них входят должны минимально отличаться.
Так вопрос именно в том, что такое "минимально отличаться".
Обычно под этим понимают отклонение в процентах от исходной величины, а не абсолютное отклонение.
Сумма квадратов отклонений. Эта задача решается прямым счетом.
У меня двое знакомых решали эту задачу. Один умер, второй очень давно уехал в Штаты.
Вообще, я третий, я ее программировал 30 лет назад, но кода не осталось.
Формул не помню.
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Ydin
Автор

Сообщений: 7648
Откуда: Киев
Дата регистрации: 16.12.2005
Эта задача называлась (да и называется) двумерной балансировкой.
А одномерная, для случая с любыми значениями (и отрицательными) решается через дельту, для положительных -
через удельные веса. И это выводится математически. Но это как бы очевидное и никто не выводит.
Короче, как понимать "минимально отличаться" известно.
Надо мне самому напрячься и вспомнить математику.
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Igor Korolyov

Сообщений: 34580
Дата регистрации: 28.05.2002
Тут надоть прежде всего постановку уточнить - что есть критерий оптимальности, что есть "допустимое искажение"...
Вот к примеру для матрицы
12   5   5   2
 4   0   4   0
 6   6   0   0
Как хотя-бы примерно должен выглядеть ответ?
И ещё, я не понимаю почему в начальном примере
12   5   5   2    
 4   1   2   1    
 6   2   3   1
Для "правильного ответа" вдруг потребовалось менять и так сбалансированные 3-ю и 4-ю колонки?
Не правильнее ли в этом случае было бы менять только 2-ю колонку (и "автоматом" получить сумму в 1-й).
Нечто типа (округляя до десятых)
 12    5   5   2
4.7  1.7   2   1
7.3  3.3   3   1


------------------
WBR, Igor




Исправлено 1 раз(а). Последнее : Igor Korolyov, 10.04.12 21:02
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Ydin
Автор

Сообщений: 7648
Откуда: Киев
Дата регистрации: 16.12.2005
Критерий баланса переменных
2 2
Z (yi - xi) / Z xi -> min
i i

Здесь я пишу Z вместо сигмы.
yi - значения до балансировки, xi - после



Исправлено 1 раз(а). Последнее : Ydin, 11.04.12 08:30
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Ydin
Автор

Сообщений: 7648
Откуда: Киев
Дата регистрации: 16.12.2005
Пример абстрактный. Я ж задачу решаю, только является это решение оптимальным - просто не знаю
Вот код
LPARAMETERS laY, lnLines, lnCols, lnDecimals
LOCAL ln, lnCol, lnDelta, lnIter, lnLine, lnMaxDelta, lnRightCol, lnSum
lnRightCol=lnCols+1
lnDecimals=IIF(VARTYPE(lnDecimals)='N',lnDecimals,2)
lnEpsilon=0.1**lnDecimals
* Распределение колонкам
FOR lnCol=1 TO lnCols
lnSum=0
FOR lnLine=2 TO lnLines
lnSum=lnSum+laY(lnLine,lnCol)
NEXT
FOR lnLine=2 TO lnLines
laY(lnLine,lnCol) = laY(lnLine,lnCol) * laY(1,lnCol)/lnSum
NEXT
NEXT
lnDelta=0
lnMaxDelta=0
FOR lnLine=2 TO lnLines
laY(lnLine,lnRightCol)=0
FOR lnCol=2 TO lnCols
laY(lnLine,lnRightCol)=laY(lnLine,lnRightCol)+laY(lnLine,lnCol)
NEXT
ln=laY(lnLine,1)-laY(lnLine,lnRightCol)
lnDelta=lnDelta+ln*ln
lnMaxDelta=MAX(lnMaxDelta,ABS(ln))
NEXT
FOR lnIter=1 TO 25
IF lnMaxDelta < lnEpsilon
EXIT
ENDIF
* Разброс на формулу по регионам
FOR lnLine=2 TO lnLines
ln=laY(lnLine,1)/EVL(laY(lnLine,lnRightCol),1)
FOR lnCol=2 TO lnCols
laY(lnLine,lnCol) = laY(lnLine,lnCol) * ln
NEXT
NEXT
* Разброс на регионы по компонентам формулы
FOR lnCol=1 TO lnCols
lnSum=0
FOR lnLine=2 TO lnLines
lnSum=lnSum+laY(lnLine,lnCol)
NEXT
FOR lnLine=2 TO lnLines
laY(lnLine,lnCol) = laY(lnLine,lnCol) * laY(1,lnCol)/lnSum
NEXT
NEXT
lnDelta=0
lnMaxDelta=0
FOR lnLine=2 TO lnLines
laY(lnLine,lnRightCol)=0
FOR lnCol=2 TO lnCols
laY(lnLine,lnRightCol)=laY(lnLine,lnRightCol)+laY(lnLine,lnCol)
NEXT
ln=laY(lnLine,1)-laY(lnLine,lnRightCol)
lnDelta=lnDelta+ln*ln
lnMaxDelta=MAX(lnMaxDelta,ABS(ln))
NEXT
NEXT
FOR lnLine=2 TO lnLines
FOR lnCol=1 TO lnCols
laY(lnLine,lnCol)=ROUND(laY(lnLine,lnCol),lnDecimals)
NEXT
NEXT
Не стоит в нем разбираться. Это такая прикидка, пока даже не оцененная заказчиком.
Может скахут, что их устраивает. На этой неделе должна быть встреча.
Математически к этому критерию приписываются ограничения, которые описаны выше.
Да, не хочу я Вас грузить этим. Просто кто-то мог это решать в прошлом.
Если нет, то и не надо.
Спасибо за посты всем. Я разберусь.



Исправлено 1 раз(а). Последнее : Ydin, 10.04.12 23:13
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Mitchman

Сообщений: 9978
Откуда: Николаев
Дата регистрации: 24.05.2002
Ydin
Критерий баланса переменных
2 2
Z (yi - xi) / Z xi -> min
i i
Саш проверь мой вариант - в сравнении со своим - думаю решение будет не хуже на данно е условие - а алгоритм проще

кстати - чиста математически величину Z xi (квадрат) - мона из данного выражения выкинуть - так как в пределах точности эта величина суть константа и от метода распределения суть не зависит


------------------
-
«свидомые украинцы озабочены не столько созданием украинской культуры, сколько уничтожением русской»
-
Олесь Бузина




Исправлено 1 раз(а). Последнее : Mitchman, 11.04.12 08:23
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Ydin
Автор

Сообщений: 7648
Откуда: Киев
Дата регистрации: 16.12.2005
Андрей, у тебя
Сумма квадратов = 4.444
Максим. отклонение = 1.333

У меня
Сумма квадратов = 4
Максим. отклонение = 1

Считается, конечно, у тебя быстрее
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Ydin
Автор

Сообщений: 7648
Откуда: Киев
Дата регистрации: 16.12.2005
Mitchman
кстати - чиста математически величину Z xi (квадрат) - мона из данного выражения выкинуть - так как в пределах точности эта величина суть константа и от метода распределения суть не зависит
Я ее и не беру. Это я взял из статьи, там нормированную величину берут. Более показательно.
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Igor Korolyov

Сообщений: 34580
Дата регистрации: 28.05.2002
Отчего бы это "суммарной" колонке входить в формулу критерия оптимальности? Если уж и считать сумму квадратов, то по самым "детальным" данным, а не по итогам или там подитогам Иначе можно навставляв произвольно этих самых подитогов кардинально изменить результат.


------------------
WBR, Igor
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Рома

Сообщений: 1079
Дата регистрации: 06.06.2001
Mitchman
Ydin
Критерий баланса переменных
2 2
Z (yi - xi) / Z xi -> min
i i

кстати - чиста математически величину Z xi (квадрат) - мона из данного выражения выкинуть - так как в пределах точности эта величина суть константа и от метода распределения суть не зависит

Так точно.

А если предположить, что мы ищем линейное приближение, то каждое xi - это линейная комбинация Z bi*yi
То есть наш "критерий баланса переменных" можно выразить через известные yi и неизвестные коэффициенты bi (удельными весами их здесь, по-моему, называли)

Наша задача найти эти неизвестые bi при которых будет достигаться минимум нашего критерия (функции ошибки/невязки)

Как известно, в точках экстремума производная функции равна нулю.
Так как переменных (bi) много, то нужно составить систему уравнений в частных производных от нашей функции невязки по bi и приравнять каждую из них к нулю.

После дифференцирования мы получим систему линейных уравнений относительно bi, которую можем совершенно точно решить (метод Гаусса, факторизация и т.п.) - никаких итерационных методов (FOR lnIter=1 TO 25) здесь, в принципе, не надо.
Не уверен, что будет намного быстрее, но зато - правильное решение.

Более подробное объяснение с формулами - http:// ru.wikipedia.org/wiki/Регрессионный_анализ

Мы же, по сути, регрессионным анализом и занимаемся - пытаемся установить зависимость между некоторыми факторами (две нижние строчки) и плановыми/целевыми значениями (первая строчка).

Дальше с помошью статистических критериев (Стьюдента, Фишера) можно оценить достоверность каждого из найденных коэффициентов - грубо говоря, сказать, какова вероятность исполнения полученного нами плана.

Ну и в конце концов останется только пропорционально раскидать регрессионные отклонения между нижними строчками - чтобы подогнать результат под сумму в верхней строчке - чисто для красоты.
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Ydin
Автор

Сообщений: 7648
Откуда: Киев
Дата регистрации: 16.12.2005
Метод неопределенных множителей Лагранжа
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Ydin
Автор

Сообщений: 7648
Откуда: Киев
Дата регистрации: 16.12.2005
Все, работает. Только система линейных уравнений большого порядка.
Типа 150 на 150. Скорость страдает, но это уже детали.



Исправлено 1 раз(а). Последнее : Ydin, 18.04.12 13:32
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
sphinx

Сообщений: 31166
Откуда: Каменск-Уральски
Дата регистрации: 22.11.2006
Цитата:
Метод неопределенных множителей Лагранжа
Цитата:
Все, работает. Только система линейных уоавнений большого порядка.

Взглянуть бы...


------------------
"Veni, vidi, vici!"(с)
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Ydin
Автор

Сообщений: 7648
Откуда: Киев
Дата регистрации: 16.12.2005
Пока с отрицательными значениями распределяет.
Еще не закончил.
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Ydin
Автор

Сообщений: 7648
Откуда: Киев
Дата регистрации: 16.12.2005
Короче, с отрицательными значениями я обломался.
Не знаю как их обойти.
То, что сделал - там простое все.
Для матрицы 5 на 36 получаю систему линейных уравнений с 4*36+4+36= 184 неизвестных
Ratings: 0 negative/0 positive
Re: 2-мерное распределение в планировании
Ydin
Автор

Сообщений: 7648
Откуда: Киев
Дата регистрации: 16.12.2005
Критерий баланса переменных для неотрицательных yij записывается


Z Z xij * ln(yij/ xij) -> min
i j

Здесь я пишу Z вместо сигмы.
yij - значения до балансировки, xij - после

И тогда все решается.
Но по гуглам нашел описание алгоритма, код которого привел выше.
Оказывается это метод Г. В. ШЕЛЕИХОВСКОГО, который был предложен еще в 1931 году.
А БРЭГМАН А.М. в 1967г. опубликовал доказательство его сходимости к оптимальному по этому критерию значению.
Т.е. я случайно решил задачу, но считал, что это не оптимальное решение.
Работает быстро и я ставлю точку на этой теме.



Исправлено 1 раз(а). Последнее : Ydin, 24.04.12 09:59
Ratings: 0 negative/0 positive


Извините, только зарегистрированные пользователи могут оставлять сообщения в этом форуме.

On-line: 4 (Гостей: 4)

© 2000-2024 Fox Club 
Яндекс.Метрика