Сравнение разных Систем

Пт, 30/12/2011 - 16:13 — bas

Меня часто спрашивают - а каким образом можно сравнить (предоставить ЛПР) данные о выборе той или иной Системы/Платформы/Решения...

Нагляднее всего это представить в виде таблицы, где по горизонтали идут важные для вас Характеристики, а по вертикали Системы.

На пересечении Характеристик и Систем идут показатели - на сколько хорошо удовлетворяет Система данной Характеристики по выбранной шкале. Можно добавить еще веса для каждой Характеристики и в итоге даже можно посчитать количественно - на сколько вам подходит Система. Я использую разную шкалу - по 10и, 5и бальной шкале или просто +/- (удовлетворяет или нет)

Пример такого сравнения платформ 1С и SAP для нужд определенной компании с кол-вом сотрудников 500-1000 человек находится во вложении к этому посту.

Прикрепленный файл	Размер
sravnenie_1s_i_sap.xls	29 кб

блог пользователя bas
Войдите или зарегистрируйтесь, чтобы получить возможность отправлять комментарии

Такое ощущение, что люди, разрабатывающие разные там теории оценивания старались зря. Действительно берем, рисуем табличку, выписываем какие-то критерии, ставим плюсики и вуаля, вот он, отличный выбор.

Вообще оценивание, выбор(отбор) альтернатив, одно из составляющих системного анализа. При этом существуют качественные и количественные методы оценивания. То, что предложено Александром, можно отнести к экспертной оценке. Тут важен нюанс, тот, кто оценивает, должен быть экспертом. А при таком серьезном выборе важно иметь мнение нескольких экспертов. При этом есть такой важный критерий, как доверие (коэффициент конкордации) к эксперту.

Проставление баллов (или плюсиков, что тоже можно свести к баллу 1 или 0) не завершает анализ. Важно как потом с этими баллами распорядится. И тут есть разные критерии: минимакса, максимина, Сэвиджа, Гурвица, и т.п. Важно получить оценки разными способами.

Кроме того, с чего собствтенно следовало бы начать, необходимо точно указать цели сравнения (выбора), точно обосновать критерии отбора.

Войдите или зарегистрируйтесь, чтобы получить возможность отправлять комментарии

Втр, 10/01/2012 - 07:57 — bas

Эд, Спасибо за дополнения.

Эд,

Спасибо за дополнения. Совсем забыл, что по моему описанию оценка должна делаться естественно несколькими экспертами...

Войдите или зарегистрируйтесь, чтобы получить возможность отправлять комментарии

Втр, 10/01/2012 - 20:46 — galogen

Всегда, пожалуйста. Кстати по

Всегда, пожалуйста. Кстати по поводу подбора критериев для оценки, в нашем кладезе знаний кое-что появилось на эту тему: http://lib.uml2.ru/Acceptance_and_Evaluation_Criteria_Definition. Правда довольно абстрактно, малоконкретно и совсем нет примеров практического применения.

Я со студентами проводил эксперимент. Каждая команда получала тему. По этой теме должна была сформировать некий набор критериев и создать по этим критериям оценку выбранных систем-кандидатов. Используя мои рекомендации по индивидуальной экспертизе каждым членом бригады и последующей обработке по различным техникам(я о них оболвился раньше), они осуществляли выбор наиболее привлекательной на их взгляд системы.

Наблюдались вполне объяснимые закономерности. Ряд критериев неозвучивались, но они явно присутствовали - это субъективные предпочтения или неготивизм эксперта. Очень часто кардинально меняет оценки и конечный выбор. Поэтому важна репутация эксперта в этом деле, и его естественно компетенция. Однако если оценки в целом коррелируют, то способ получение "оптимальной" альтернативы практически не влияет на конечный результат, если случается наоборот, то измерительная сила способа оценки уже разница. Хорошей избирательностью обладают критерии Гурвица, Сэвиджа и призведений. Введения весов может поменять картину. Обычно мы анализируем несколько критериев и используем такое понятие как частоту попадания в экстремум. Насколько объективная подобная оценка к сожалению серьезной статистики не имею

Войдите или зарегистрируйтесь, чтобы получить возможность отправлять комментарии

Вход в систему

Блоги сообщества аналитиков