авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:   || 2 | 3 | 4 | 5 |   ...   | 7 |
-- [ Страница 1 ] --

Институт проблем управления

им. В.А. Трапезникова РАН

УПРАВЛЕНИЕ

БОЛЬШИМИ

СИСТЕМАМИ

Выпуск 27 СБОРНИК

ТРУДОВ

Декабрь 2009

ISSN 1819-2467

Регистрационный номер Эл №ФС77-27285 от 22.02.2007

Москва – 2009

www.mtas.ru

ИНТЕРНЕТ-сайт теории управления

организационными системами

Целью сайта является предоставление специалистам по тео рии и практике управления организационными системами (уче ным, преподавателям, аспирантам, студентам, а также реаль ным управленцам) доступа к ресурсам, отражающим современное состояние теории и возможности обмена идеями и результатами.

На сайте имеются разделы:

Теория – с обзором теории управления организационными системами, глоссарием, информацией для аспирантов;

Практика – с обзором результатов внедрения механизмов управления в реальных организациях;

Библиография – около 2500 публикаций по теории управления, снабжена классификатором и аннотациями;

Электронная библиотека – около 700 полнотекстовых моно графий, статей и учебных пособий;

а также многое другое.

На сайте работает форум, на котором можно обсудить вопросы, относящиеся к математике, экономике, управлению организа циями, узнать новости теории управления и ознакомиться с планируемыми конференциями и семинарами.

ubs.mtas.ru Интернет-сайт электронного периодического научного издания «Управление большими системами: сборник трудов»

С 1998 года Институт проблем управления РАН выпускает периодический сборник трудов ученых, занимающихся разра боткой и исследованием математических моделей управления большими (социально-экономическими, организационными, организационно-техническими и др.) системами. Все статьи, публикуемые в сборнике, проходят рецензирование ведущими специалистами по теории управления.

C 2006 года сборник "Управление большими системами" вместе с ведущим журналом ИПУ РАН "Проблемы управления" – вклю чены в Российский индекс научного цитирования (РИНЦ).

С июля 2007 года Сборник входит в список ВАК (перечень веду щих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора и кандидата наук):





* по управлению, вычислительной технике и информатике (для докторов наук);

* по электронике, измерительной технике, радиотехнике и связи;

по энергетике (для кандидатов наук).

Уважаемые коллеги! Приглашаем Вас опубликовать Вашу статью в очередном выпуске сборника "Управление большими системами"!

Периодичность сборника - 4 раза в год. Время выхода прошед шей рецензирование статьи - 3-4 месяца. Плата с авторов за публикацию рукописей не взимается.

Редколлегия сборника "Управление большими системами" сотрудничает со многими научными и общественными организациями:

ФГУП НТЦ "Информрегистр" по указанию Правительства РФ осуществляет регистрацию электронных научных изданий, публикация в которых приравнивается ВАКом к опубликованным работам, отражающим основные результаты диссертационной работы. Сборник трудов "Управление большими системами" с 2006 года зарегистрирован НТЦ "Информрегистр".

Научная электронная библиотека eLIBRARY.RU - это круп нейший российский информационный портал в области науки, технологии, медицины и образования, содержащий рефераты и полные тексты более 12 млн научных статей и публикаций. Все выпуски сборника трудов "Управление большими системами" доступны в открытом доступе на платформе eLIBRARY.RU.

Общероссийский математический портал Math-Net - это общероссийский математический портал, предоставляющий российским и зарубежным математикам различные возможности в поиске информации о математической жизни в России. Все выпуски сборника трудов "Управление большими системами" доступны в открытом доступе на платформе MathNet.Ru.

Всероссийский институт научной и технической информа ции РАН – это крупнейший российский и мировой информаци онный и аналитический центр. Все выпуски Сборника трудов "Управление большими системами" обрабатываются ВИНИТИ, включаются им в базу данных и реферативный журнал.

Издательство "МАИК Наука" при поддержке Российской ака демии наук издает более 180 академических журналов на анг лийском языке и совместно с Академиздатцентром Наука – более 200 журналов на русском языке практически по всем направлениям современной науки. С 2010 года Сборник трудов «Управление большими системами» сотрудничает c выпускае мым издательством МАИК Наука журналом «Автоматика и телемеханика», что предполагает опубликование избранных статей Сборника на английском языке в выпускаемом издатель ством МАИК «Наука» журнале «Automation and Remote Control»

(английская версия журнала «Автоматика и телемеханика»).

Подробнее о программах сотрудничества со Сборником УБС – на официальном сайте ubs.mtas.ru РОССИЙСКАЯ АКАДЕМИЯ НАУК Институт проблем управления им. В.А. Трапезникова УПРАВЛЕНИЕ БОЛЬШИМИ СИСТЕМАМИ СБОРНИК ТРУДОВ Выпуск Москва – УДК 519 ISSN 1819- ББК 32. У Управление большими системами / Сборник трудов. Выпуск 27. М.: ИПУ РАН, 2009. – 324 с. Дата опубликования: 31.12.2009.

КООРДИНАЦИОННЫЙ СОВЕТ Академики РАН: Васильев С.Н., Емельянов С.В., Коровин С.К., Куржанский А.Б., Федо сов Е.А., Черноусько Ф.Л.;

члены-корреспонденты РАН: Желтов С.Ю., Каляев И.А., Пархоменко П.П., Попков Ю.С.;

д-ра техн. наук: Бутковский А.Г., Дорофеюк А.А., Куз нецов О.П., Кульба В.В., Кротов В.Ф., Лотоцкий В.А., Павлов Б.В., Поляк Б.Т., Рутков ский В.Ю.

РЕДАКЦИОННАЯ КОЛЛЕГИЯ Главный редактор: член-корр. РАН Новиков Д.А. Отв. секретарь: к.т.н. Губко М.В.

Д-ра техн. наук: проф. Алескеров Ф.Т. (ГУ ВШЭ), проф. Артамонов Е.И. (ИПУ РАН), д р экон. наук, проф. Архипова М.Ю. (ИПИ РАН), д-ра техн. наук: проф. Афанасьев В.Н.

(МИЭМ), проф. Бахтадзе Н.Н. (ИПУ РАН), проф. Бурков В.Н. (ИПУ РАН), проф.

Вишневский В.М. (ИППИ РАН), д-р экон. наук, проф. Голиченко О.Г. (ЦЭМИ РАН), д-р физ.-мат. наук, проф. Добровидов А.В. (ИПУ РАН), д-ра техн. наук: проф. Заложнев А.Ю. (ИПУ РАН), проф. Ириков В.А. (МФТИ), проф. Калянов Г.Н. (ИПУ РАН), проф.

Касаткин С.И. (ИПУ РАН), проф. Каравай М.Ф. (ИПУ РАН), д-р экон. наук, проф.

Клочков В.В. (ИПУ РАН), д-ра техн. наук: проф. Кононенко А.Ф. (ВЦ РАН), проф.

Курдюков А.П. (ИПУ РАН), проф. Лебедев В.Г. (ИПУ РАН), к-т техн. наук, доцент Лебедев В.Н. (ИПУ РАН), д-р экон. наук, проф. Ловчиновский Э.В. (ИПУ РАН), д-р техн. наук, проф. Мандель А.С. (ИПУ РАН), д-р экон. наук, проф. Нижегородцев Р.М.

(ИПУ РАН), д-ра техн. наук: проф. Новосельцев В.Н. (ИПУ РАН), проф. Орлов А.И.

(МВТУ), канд. техн. наук Петрикевич Я.И. (ИПУ РАН), д-р физ.-мат.наук, проф.

Рапопорт Л.Б. (ИПУ РАН), д-р техн. наук, проф. Рыков А.С. (МИСИС), д-р экон. наук, проф. Секерин В.Д. (ИПУ РАН), д-ра техн. наук: проф. Сидельников Ю.В. (МАИ), проф.

Совлуков А.С. (ИПУ РАН), д-р экон. наук, проф. Сухарев О.С. (Ин-т экономики РАН), д-ра техн. наук: проф. Уткин В.А. (ИПУ РАН), проф. Хоботов Е.Н. (МВТУ), д-ра физ. мат. наук: доцент Чеботарев П.Ю. (ИПУ РАН), проф. Чхартишвили А.Г. (ИПУ РАН), проф. Щербаков П.С. (ИПУ РАН).

РЕГИОНАЛЬНЫЕ РЕДАКЦИОННЫЕ СОВЕТЫ Волгоград – д-ра физ.-мат. наук: проф. Воронин А.А., проф. Лосев А.Г. (ВолГУ);

Воронеж – д-р техн. наук, проф. Баркалов С.А., д-р физ.-мат. наук, проф. Головинский П.А. (ВГАСУ), д-р техн. наук, проф. Подвальный С.Л. (ВГТУ);

Ижевск – д-р физ.-мат.

наук, проф. Непейвода Н.Н., к-т физ.-мат. наук, проф. Родионов В.И. (УдмГУ);

Иркутск – д-ра физ.-мат. наук: проф. Бычков И.В., проф. Лакеев А.В. (ИДСТУ СО РАН);

Казань – д-р физ.-мат. наук, проф. Маликов А.И., д-р техн. наук, проф. Сиразетдинов Р.Т.

(КГТУ-КАИ);

Липецк – д-ра техн. наук: проф. Кузнецов Л.А., проф. Погодаев А.К.

(ЛГТУ);

Самара – д-ра экон. наук: проф. Богатырев В.Д., проф. Гераськин М.И., д-р техн. наук, проф. Засканов В.Г. (СГАУ);

Санкт-Петербург – д-ра физ.-мат. наук: проф.

Петросян Л.А. (СПбГУ), проф. Фрадков А.Л. (ИПМ РАН);

Старый Оскол – д-р техн.

наук, проф. Еременко Ю.И. (СТИ);

Тверь – д-ра техн. наук: проф. Кузнецов В.Н., проф.

Палюх Б.В. (ТГТУ).

Адрес редакции: 117997, г. Москва, ул. Профсоюзная, д. 65.

Адрес в Интернет: ubs.mtas.ru.

Номер гос. регистрации электронного научного издания (ЭНИ): 0420900023.

© ИПУ РАН, СОДЕРЖАНИЕ Системный анализ Новиков Д. А.

Дискуссия о проблемах оценки научных журналов: ввод ное слово главного редактора............................................... Федорец О. В.

Коллективная экспертиза научных журналов: методика агрегирования экспертных оценок и построения рейтин га.............................................................................................. Абаев Л. Ч.

Об одном подходе к использованию экспертных методов для оценки научных журналов............................................... Мазалов В. В., Печников А. А., Фалько И. А.

О построении рейтинга научных журналов........................ Миркин Б. Г.

О статье О.В. Федорца «Коллективная экспертиза научных журналов: методика агрегирования экспертных оценок и построения рейтинга»........................................... Орлов А. И.

Методологические ошибки ведут к неправильным управ ленческим решениям............................................................... Сидельников Ю. В.

Трудности построения системы рейтингов научных журналов................................................................................. Хованов Н. В.

Статья о построении рейтинга российских научных журналов как повод подумать об общих принципах при менения метода сводных показателей................................ Чеботарев П. Ю.

О рейтинге журналов и агрегировании неполных балль ных оценок............................................................................... Шахнов И. Ф.

К вопросу построения рейтинга российских научных журналов................................................................................. Федорец О. В.

Агрегирование результатов экспертной стратификации без использования матриц парного сравнения на примере рейтинга научных журналов................................................. Анализ и синтез систем управления Кочетков С. А., Уткин В. А.

Инвариантность в системах с неидеальными релейными элементами............................................................................. Управление в социально-экономических системах Бреер В. В.

Стохастические модели социальных сетей........................ Губанов Д. А., Новиков Д. А., Чхартишвили А. Г.

Модели влияния в социальных сетях..................................... Латышева М. А.

Эконометрическое моделирование уровня социально экономического развития регионов Российской федера ции............................................................................................ Мыльников Л. А., Алькдироу Р. Х.

Подход к прогнозированию развития и управления жиз ненным циклом инвестиционных проектов......................... Технические и программные средства управления Тазетдинов А.Д.

О некоторых способах измерения параметров управля ющей информации в автоматизированных обучающих системах.................................................................................. Системный анализ УДК 021.8 + 025. ББК 78. ДИСКУССИЯ О ПРОБЛЕМАХ ОЦЕНКИ НАУЧНЫХ ЖУРНАЛОВ:

ВВОДНОЕ СЛОВО ГЛАВНОГО РЕДАКТОРА Новиков Д. А. (Учреждение Российской академии наук Институт проблем управления РАН, Москва) Статья предваряет собой дискуссию о проблемах построения рейтингов научных журналов, проводимую на страницах на стоящего выпуска сборника «Управление большими система ми» (далее – Сборник) в результате рассмотрения редколлеги ей Сборника статьи О. В. Федорца «Коллективная экспертиза научных журналов: методика агрегирования экспертных оце нок и построения рейтинга» (далее – Статья). Описываются предпосылки дискуссии, цели и форма ее проведения.

Ключевые слова: результативность научной деятельности, методы экспертизы, рейтинги научных журналов.

Основным результатом научной деятельности любого уче ного являются научные публикации, в первую очередь – статьи в научных журналах. Журналы, даже посвященные одной и той же предметной области, различаются и по тематике, и по уров ню требований, предъявляемых к авторам, и по множеству других параметров.

Любая группа ученых, работающих по близкой тематике, быстро придет к единому мнению о том, какой из журналов более «солиден», а какой является более слабым. Более того, то, в каком журнале публикует свои результаты тот или иной ис Дмитрий Александрович Новиков, доктор технических наук, профес сор, член-корреспондент РАН (novikov@ipu.ru).

Управление большими системами. Выпуск следователь, в существенной степени определяет его нефор мальный «рейтинг» среди коллег.

Спрашивается, а можно ли предложить универсальную формальную процедуру рейтингования научных журналов? И нужна ли такая процедура?

Ответ на второй вопрос прост: самим ученым такая фор мальная процедура вряд ли нужна, но есть много субъектов, для которых она необходима. Поясним это утверждение.

Исторически известны два основных подхода к научным исследованиям. Автором первого является Г. Галилей. Целью науки, с его точки зрения, является установление порядка, ле жащего в основе явлений, чтобы представлять возможности объектов, порожденных этим порядком, и, соответственно, открывать новые явления. Это так называемая «чистая наука», теоретическое познание.

Автором второго подхода был Ф. Бэкон. О нем вспоминают гораздо реже, хотя сейчас возобладала именно его точка зрения:

«я работаю, чтобы заложить основы будущего процветания и мощи человечества. Для достижения этой цели я предлагаю науку, искусную не в схоластических спорах, а в изобретении новых ремесел…». Наука сегодня идет именно по этому пути – пути технологического совершенствования практики [5].

Фундаментальная наука представляет собой труднопрогно зируемую область, для которой характерное время получения отдачи в виде конкретных технологий может составлять десятки лет, а некоторые результаты так никогда и не дадут практиче ской отдачи. Поэтому «стимулирование» науки со стороны государства в рамках Галилеевской парадигмы не должно быть искусственным. Фундаментальная наука развивается естествен ным путем, по своим внутренним законам, по ей присущей (и, наверное, не всегда понятной самим ученым) внутренней логи ке. Поэтому управление фундаментальной наукой, как в мас штабах отдельной научной организации, так и в масштабах страны, заключается в том, чтобы «поливать», и «поливать»

качественно в смысле размера финансирования, максимально широкое поле (потому что неизвестно, в каком месте посеяны Системный анализ зерна будущих результатов). На этом поле потом «взойдут»

результаты. А управление здесь может заключаться в том, чтобы либо расширить поле, либо/и полить некоторые участки обиль нее других, но не в ущерб последним. С этой точки зрения требовать результаты априори (какие бы совершенные методы оценки, экспертизы и рейтинги при этом не применялись) бес смысленно – «поливая» избранные «делянки», можно вырастить сорняки и загубить ростки великих открытий.

С другой стороны, государство (наверное, следуя Ф. Бэко ну), тратя деньги на фундаментальные исследования, обосно ванно стремится понять, насколько эффективно расходуются средства, а для этого нужны институализированные методы формальной оценки результатов1 как индивидуальной, так и коллективной – в рамках научных организаций и их подразделе ний – научной деятельности (РНД).

Таким образом, первым субъектом, заинтересованным в системе оценке РНД, и, в первую очередь, в рейтинге журналов, в которых публикуются результаты научных исследований, является государство в лице чиновников от науки (см. также обзор проблем управления научными проектами и соответст вующие библиографические ссылки в [7]).

Вторым таким субъектом являются руководители научных организаций, вынужденные (как минимум в силу наличия пер вого субъекта) заниматься оценкой индивидуальных и коллек тивных РНД своих подчиненных. Задачи, стоящие пред этими руководителями, проще, чем у чиновников – как правило, буду чи активными учеными, первые прекрасно понимают как объек тивно существующую дифференциацию индивидуальной про Всем памятны дискуссии (отраженные, например, на страницах газеты академического сообщества «Поиск») по поводу внедрения в 2007 году в институтах Российской академии наук системы индиви дуальных показателей РНД (так называемая «система ПРНД»).

Другим примером служит внедряемая в настоящее время Минобрнау ки система критериев оценки научных организаций.

Управление большими системами. Выпуск дуктивности исследователей (см. [2, 6, 14]), так и порождаемую ею (а также административными и другими факторами) диффе ренциацию научных журналов.

Третьим субъектом являются организации, профессиональ но специализирующиеся в области наукометрики, а также сбора, систематизации и распространения научной информации (сюда, конечно, относятся и научные библиотеки).

Четвертую группу субъектов составляют сами ученые – во первых, вторгаясь в новую для себя предметную область, полез но иметь в качестве ориентиров «объективные» характеристики приоритетов в этой области. Также существуют формальные показатели, которым вынуждены соответствовать ученые для подтверждения своей квалификации. Примерами являются квалификационные требования к сотрудникам, занимающим научные должности, и так называемый «список ВАК», вклю чающий журналы, в которых Высшая аттестационная комиссия РФ рекомендует соискателям ученой степени доктора или кан дидата наук публиковать свои результаты.

Итак, ответ на второй из сформулированных выше вопросов однозначен: без формальной процедуры рейтингования научных журналов обойтись нельзя. Остается первый вопрос – существу ет ли такая процедура, которая была бы универсальной и уст раивала все перечисленные выше группы субъектов? Ответ на этот вопрос далеко не тривиален. Единственно, что очевидно, так это то, что искомая процедура должна быть экспертной, так как пользователи процедуры – чиновники – не могут быть спе циалистами во всех разделах науки одновременно.

Статья Олега Владимировича Федорца «Коллективная экс пертиза научных журналов: методика агрегирования экспертных оценок и построения рейтинга» [10] описывает используемую ВИНИТИ РАН методику сбора и агрегирования экспертных оценок для построения экспертного рейтинга научных журналов в области естественных и технических наук с целью формиро вания списка важнейших российских и зарубежных журналов, необходимых для обеспечения подготовки Реферативного жур нала и Базы данных ВИНИТИ РАН с требуемым уровнем отра Системный анализ жения зарубежных публикаций и наиболее полного отражения отечественных и русскоязычных журналов.

В нашем Сборнике регулярно публикуются статьи, посвя щенные моделям принятия решений и методам экспертизы, тем не менее, за все время его существования (более 10 лет) ни одна из статей не вызывала таких бурных дискуссий членов Редакци онной коллегии Сборника.

Поступившие рецензии официальных рецензентов, нося щие, в основном, полемический характер, сходились во мнении, что «статья представляет несомненный общественный и истори ческий интерес». Поэтому редколлегия Сборника приняла ре шение организовать тематическую подборку статей по данной проблеме и обратилась к ведущим специалистам в области экспертных оценок с просьбой высказать свое мнение.

Эта просьба была встречена с большим пониманием и энту зиазмом – в короткое время редколлегия получила восемь очер ков (см. [1, 3, 4, 8, 9, 11-13]), довольно сильно различающихся формой, мнениями авторов по поводу построения рейтинга научных журналов вообще и отношением к статье О. В. Федор ца в частности. Часть очерков в большей степени концентриру ется на анализе описанного в [10] подхода, часть – на предложе ниях по его улучшению;

есть и специалисты, придерживающи еся принципиально иных взглядов на рассматриваемую пробле му. Хочется надеяться, что, несмотря на разницу в стилистике очерков, в совокупности они представляют более или менее полную и выпуклую картину проблемы построения рейтингов научных журналов.

В рамках проводимой дискуссии принят следующий регла мент. За настоящим вводным словом следует статья [10] Олега Владимировича Федорца, послужившая стартовой точкой дис куссии. Затем следуют очерки [1, 3, 4, 8, 9, 11-13] специалистов, выстроенные в алфавитном порядке по фамилии автора и со держащие как критические замечания по поводу статьи [10], так и личные соображения авторов очерков по теме дискуссии. В конце дискуссии О. В. Федорцу дается возможность ответить в краткой заметке на критику, прозвучавшую в очерках.

Управление большими системами. Выпуск Редколлегия Сборника надеется, что публикуемые ниже статьи, посвященные экспертным методам построения рейтин гов научных журналов, вызовут интерес у читателей Сборника и побудят их к продолжению конструктивной дискуссии (способ ствующей не только развитию соответствующих методов, но и совершенствованию реальных процедур), а также проиллюстри руют пользователям как нетривиальность соответствующей проблемы, так и необходимость понимания причин относитель ности/сомнительности любых рейтингов.

В заключение хотелось бы выразить глубокую признатель ность как инициатору дискуссии – О. В. Федорцу, так и всем ее участникам за принципиальность их профессиональных и граж данских позиций.

Литература АБАЕВ Л. Ч. Об одном подходе к использованию эксперт 1.

ных методов для оценки научных журналов // Управление большими системами. – 2009. – Выпуск 27. – С. 36 – 46.

АРУТЮНОВ В. С., СТРЕКОВА Л. Н. Социологические 2.

основы научной деятельности. – М.: Наука, 2003.

МАЗАЛОВ В. В., ПЕЧНИКОВ А. А., ФАЛЬКО И А.

3.

О построении рейтинга научных журналов // Управление большими системами. – 2009. – Выпуск 27. – С. 47 – 52.

МИРКИН Б. Г. О статье «Коллективная экспертиза науч 4.

ных журналов: методика агрегирования экспертных оценок и построения рейтинга» // Управление большими система ми. – 2009. – Выпуск 27. – С. 53 – 58.

НОВИКОВ А. М., НОВИКОВ Д. А. Методология научного 5.

исследования. – М.: Книжный дом «ЛИБРОКОМ», 2010.

НОВИКОВ Д. А. Задача стимулирования Парето-агента // 6.

Автоматика и телемеханика. – 2007. – №1. – С. 137–146.

НОВИКОВ Д. А. Теория управления образовательными 7.

системами. – Народное образование, 2009.

ОРЛОВ А. И. Методологические ошибки ведут к непра 8.

вильным управленческим решениям // Управление большими Системный анализ системами. – 2009. – Выпуск 27. – С. 59 – 65.

СИДЕЛЬНИКОВ Ю. В. Трудности построения системы 9.

рейтингов научных журналов // Управление большими сис темами. – 2009. – Выпуск 27. – С. 66 – 74.

ФЕДОРЕЦ О. В. Коллективная экспертиза научных журна 10.

лов: методика агрегирования экспертных оценок и по строения рейтинга // Управление большими системами. – 2009. – Выпуск 27. – С. 12 – 35.

ХОВАНОВ Н. В. Статья о построении рейтинга россий 11.

ских научных журналов как повод подумать об общих прин ципах применения метода сводных показателей // Управле ние большими системами. – 2009. – Выпуск 27. – С. 75 – 80.

ЧЕБОТАРЕВ П. Ю. О рейтинге журналов и агрегировании 12.

неполных балльных оценок // Управление большими систе мами. – 2009. – Выпуск 27. – С. 81 – 90.

ШАХНОВ И. Ф. К вопросу построения рейтингa россий 13.

ских научных журналов // Управление большими система ми. – 2009. – Выпуск 27. – С. 91 – 94.

ЯБЛОНСКИЙ А. И. Модели и методы исследования науки.

14.

– М.: Эдиториал УРСС, 2001.

DISCUSSION ON THE SCIENTIFIC JOURNALS’ EVALUATION PROBLEM Dmitry Novikov, Institute of Control Sciences of RAS, Moscow, Dr. Sc., professor (novikov@ipu.ru).

Abstract: The paper precedes the discussion on the scientific jour nals’ evaluation problem, induced by the paper of Oleg V. Fedorets “Collective expert examination of scientific journals: procedure of expert judgments aggregation and rating construction”, presented for the “Large-Scale Systems Control”. This article describes pre conditions, goals and agenda of the discussion.

Keywords: efficiency of scientific activity, collective expert examination, rating of scientific journals.

Управление большими системами. Выпуск УДК 005.935.3+025. ББК 65.050.2- КОЛЛЕКТИВНАЯ ЭКСПЕРТИЗА НАУЧНЫХ ЖУРНАЛОВ: МЕТОДИКА АГРЕГИРОВАНИЯ ЭКСПЕРТНЫХ ОЦЕНОК И ПОСТРОЕНИЯ РЕЙТИНГА Федорец О. В. (Учреждение Российской академии наук Всероссийский институт научной и технической информации РАН, Москва) Описана методика сбора и агрегирования экспертных оценок для построения экспертного рейтинга научных журналов в области естественных и технических наук. Отличительной особенностью научного журнала как объекта оценивания является его политематический характер, что требует полу чения оценок от экспертов, являющихся специалистами в различных научных областях. Другая особенность – каждый эксперт оценивает своё множество журналов, поэтому мат рица экспертных оценок оказывается неполной. Таким обра зом, предлагается подход к решению задачи, отличающейся от типовых задач экспертного оценивания, в которых каждый эксперт оценивает каждый объект, и все эксперты являются специалистами в одинаковой предметной области.

Ключевые слова: комплектование информационного центра, рейтинг научного журнала, коллективная экспертиза, лекси кографическое упорядочение.

Федорец Олег Владимирович, старший научный сотрудник (ovf@viniti.ru).

Системный анализ 1. Введение Объектом экспертного оценивания обычно является аль тернатива в целом (проект, товар, фирма, информационный ресурс и т.п.) или критерии оценивания альтернативы. Экспер тов привлекают в тех случаях, когда точно измерить объект невозможно, но можно дать ему качественную оценку.

Ответы экспертов часто носят нечисловой характер. Экс перт может сравнить два объекта, сказать, какой из двух лучше, дать им оценки типа «хороший», «приемлемый», «плохой», упорядочить несколько объектов по привлекательности, но обычно не может ответить, во сколько раз или на сколько один объект лучше другого [10].

Экспертная оценка, как правило, отображается на порядко вую шкалу. При этом градации на порядковой шкале не обяза тельно обозначаются натуральными числами – количеством баллов или номером ранга.

Например, в экономике и финансах популярны порядковые шкалы с буквенным обозначением градаций. В рейтингах бан ков, корпораций, ценных бумаг и т.п. часто можно увидеть шкалу вида AAA, AA, A, BBB, BB, BB и т.д. При этом проме жуточные градации обозначают с использованием знаков плюс и минус, например AA+ и BBB–. Тем самым подчёркивается, что результат оценки носит нечисловую природу.

Если объектом оценивания является альтернатива, то в ре зультате агрегирования экспертных оценок создаётся упорядо ченный (ранжированный) список объектов по убыванию каче ства. Если эксперт оценивает критерии, то на основании агрегирования экспертных данных определяется приоритет (вес) критериев, а обобщённые оценки альтернатив вычисляются с помощью свёртки критериев. Наиболее простые виды свёрток – линейная и мультипликативная.

Полученная в результате агрегированная оценка альтерна тивы может называться по-разному: обобщённый критерий, интегральный критерий, целевой критерий (или фокус цели) Управление большими системами. Выпуск суперкритерий, рейтинг и т.д. По убыванию обобщённого кри терия строится ранжированный список альтернатив (рейтинг лист), который затем для дополнительной проверки можно предъявить экспертам, чтобы получить качественную оценку ранжирования и определить пути совершенствования методики взвешивания критериев и вычисления рейтинга. Иногда рейтин гом считается номер ранга (абсолютный или нормированный) в итоговом ранжированном списке.

Наиболее известные методы получения качественных оце нок, описанные в [7], приведены в таблице 1.

Таблица 1. Методы получения качественных оценок Метод Результат Парное сравнение Матрица парных сравнений объектов Ранжирование Ранжированный список объектов Экспертная класси- Оценки объектов по порядковой шкале, фикация градациям которой соответствуют вер бальные описания.

Метод векторов Вектор, первая компонента которого – предпочтений число объектов, которые превосходят первый объект, вторая компонента – число объектов, которые превосходят второй объект, и т.д.

Используя экспертную классификацию, вербальные назва ния для градаций порядковой шкалы желательно выбирать такими, чтобы они были привычными и примерно одинаково трактовались всеми участниками экспертизы. В сфере образова ния привычна шкала отлично, хорошо, удовлетворительно, неудовлетворительно. На основании сравнения с ассоциатив ным понятием «средний» можно построить следующие шкалы:

высокий, выше среднего, средний, ниже среднего, низ кий;

очень высокий, высокий, средний, низкий, очень низкий;

Системный анализ очень высокий, высокий, выше среднего, средний, ниже среднего, низкий, очень низкий.

Выбор метода получения качественных оценок определяет ся в первую очередь количеством и сложностью оцениваемых объектов.

Парные сравнения объектов имеет смысл использовать, ес ли объектов немного (менее десяти). Количество элементов, которые эксперт должен ввести в матрицу размера n n, вычис ляется по формуле (n2 – n)/2. Остальные ячейки можно запол нить автоматически. Примеры матриц парного сравнения кри териев по шкале отношений можно найти в [1, 11]. Таким же способом можно сравнить небольшое количество альтернатив, если эксперты в состоянии оценить их в целом, не уточняя приоритеты критериев.

Размеры ранжированных списков объектов также целесо образно ограничивать. Эксперту вряд ли стоит предлагать упо рядочить более 30 объектов, даже если он будет сначала разби вать их на группы по убыванию качества, а затем ранжировать внутри групп. Причина не только в технической трудности ранжирования эксперт может просто не обладать достаточным объёмом знаний о значительном количестве сложных объектов.

Экспертная классификация позволяет осуществлять экс пертную оценку десятков и даже сотен объектов. Но в случае их большого количества эксперту необходимо помимо наименова ний объектов предоставить необходимую информацию (стати стическую, описательную), на основании которой он может сделать логические выводы и оценить объект.

Во многих задачах сложность объекта оценивания требует строить иерархию критериев, которая позволяет оценить объект с различных сторон и вычислить общий рейтинг в результате иерархического синтеза частных рейтингов. В таких случаях эксперты привлекаются для определения приоритета (веса) критериев и частных рейтингов.

Традиционным результатом экспертного оценивания, кото рый необходимо обрабатывать и агрегировать, является матрица Управление большими системами. Выпуск индивидуальных экспертных оценок (aij), элементом которой является оценка i-го объекта j-м экспертом. В случае примене ния экспертной классификации или ранжирования элементом матрицы является оценка в порядковой шкале (обозначение класса или номер ранга соответственно). У подобных задач можно выделить две характерные особенности:

1. полнота каждый объект оценивается каждым экспертом, следовательно, все элементы матрицы индивидуальных экспертных оценок являются непустыми;

2. одноаспектность – эксперты являются специалистами в одинаковой предметной области и оценивают объект в одном аспекте (хотя их субъективное мнение может раз личаться, как может различаться и квалификация экспер тов, уровень которой учитывается в некоторых моделях экспертного оценивания).

После сбора экспертных оценок в первую очередь опреде ляется их согласованность. Если оценки несогласованные, отдельным экспертам предлагают заново оценить объекты. Если согласованные, то следующая задача – получить усреднённую оценку объекта или усреднённое ранжирование объектов, кото рые при этом вычисляются не как «среднее арифметическое», а более сложными методами, используемыми для «усреднения»

нечисловых оценок. Описание различных методов агрегирова ния экспертных оценок можно найти в [1, 7, 10], обзор методов построения рейтингов – в [9].

В теории экспертного оценивания разработано немало ме тодов агрегирования данных нечислового характера: метод Борда, медиана рангов, медиана Кемени, использование вер бально-числовой шкалы для перевода качественных оценок в числовые, построение функций предпочтения и т.д.

Какой метод использовать в случае многоаспектного и не полного оценивания, когда каждый эксперт оценивает не все, а лишь некоторые известные ему объекты, причём c позиции своего аспекта, т.е. своей тематики или специальности? В таком случае в матрице (aij) допустимы пустые элементы, причём Системный анализ таких элементов может быть большинство. С одной стороны, процедура агрегирования неполной матрицы оценок больше напоминает обработку результатов голосования, при котором необходимо получить некую суммарную оценку, т.е. сумму экспертных голосов. С другой стороны, наличие высокой экс пертной оценки, данной объекту хотя бы одним экспертом, может оказаться более приоритетным, чем большая сумма, сложенная из средних и невысоких экспертных оценок.

Далее мы рассмотрим экспертизу научных журналов, кото рые в силу своей многочисленности и политематического ха рактера приводят к неполному и многоаспектному экспертному оцениванию.

2. Постановка задачи Рассмотрим экспертное оценивание сериальных (т.е. пе риодических и продолжающихся) изданий, которое проводи лось во Всероссийском институте научной и технической ин формации Российской академии наук (ВИНИТИ) в 2008 г. для оптимизации входного потока научно-технической литературы.

Материалы из зарубежных и отечественных сериальных изданий составляют в среднем 73% всего документального потока, отражаемого в базах данных и реферативных журналах (РЖ) ВИНИТИ. При этом их доля колеблется в составе различ ных выпусков РЖ от 91 до 46% [3].

Одной из основных задач комплектования ВИНИТИ явля ется совершенствование списка важнейших российских и зару бежных журналов, необходимых для обеспечения подготовки Реферативного журнала и Базы данных ВИНИТИ с требуемым уровнем отражения зарубежных публикаций и наиболее полно го отражения отечественных и русскоязычных журналов [2].

Нельзя сказать, что до сих пор список журналов, обрабаты ваемых в ВИНИТИ, формировался стихийно. Сотрудники отде ла комплектования не реже одного раза в год проводят монито ринг мирового потока научной литературы и вводят в базу Управление большими системами. Выпуск данных описания новых изданий. Ценным источником инфор мации о периодических и продолжающихся изданиях является электронный справочник Ulrich’s Periodicals Directory, исполь зуются также сайты издательств и подписных агентств.

Информация о новых изданиях поступает в отраслевые от делы, которые отмечают заинтересовавшие их издания. Затем комплектаторы получают образцы отмеченных изданий и на правляют их в профильный отраслевой отдел на первичную экспертную оценку. В случае положительной экспертной оцен ки издания обеспечивается его регулярное поступление в ВИНИТИ в течение года. В результате накапливается статисти ка отражения статей в РЖ, что позволяет впоследствии выпол нять вторичную оценку издания – с учётом статистики отраже ния в реферативных базах данных.

В условиях неуклонного роста мирового потока сериальных изданий необходим более обоснованный механизм вторичной экспертной оценки, опирающийся на учёт мнений всех заинте ресованных редакторов, в том числе, из различных отраслевых отделов.

Группа экспертов состояла из 237 редакторов рефератив ных журналов, работающих в 16-ти отраслевых отделах ВИНИТИ. Экспертам были выданы из базы данных списки сериальных изданий, ранжированные по отражаемости в РЖ (всего 237 наименований РЖ, соответственно столько же тема тических списков). По каждому изданию была предоставлена статистическая информация о тематической разметке и отраже нии в РЖ, а также формальные критерии, свидетельствующие о цитировании, отражении зарубежными реферативными служ бами, включении в список ВАК и т.д. Тематические списки были выданы экспертам в виде файлов в формате MS Excel, в которых они проставили оценку напротив каждого сериального издания [5].

При определении методики экспертизы учитывалось, что экспертная оценка носит субъективный характер, а экспертные суждения обычно выражаются в качественном, а не в количест Системный анализ венном виде [10]. Поэтому редакторам РЖ была поставлена задача экспертной классификации – присвоение каждому сери альному изданию порядкового номера, означающего желатель ность его обработки в ВИНИТИ и отражения в РЖ. Порядковый номер может принимать одно из шести значений: высокий (5), выше среднего (4), средний (3), ниже среднего (2), низкий (1), нулевой (0).

Отрицательные оценки в данной шкале отсутствуют. Нуле вую оценку нельзя трактовать как отрицательную, скорее она означает отказ эксперта присвоить оценку по одной из двух причин:

журнал выдан эксперту случайно и не соответствует его тематике;

журнал соответствует тематике эксперта, но статьи по его тематике в этом журнале носят научно-популярный харак тер.

В результате 11067 сериальных изданий получили ненуле вую оценку хотя бы одного эксперта. Большинство изданий (9384) периодические, остальные – продолжающиеся. Количе ство изданий в тематических списках варьировалось от 18 до 831, в среднем 180 изданий в одном списке.

Существенная особенность экспертной оценки научного журнала – невозможность чётко разделить её на оценку качест ва и оценку использования (спроса), так как она аккумулирует в себе обе составляющие. Эксперт принимает во внимание не только среднее качество статей, но и примерное количество статей в год, поэтому баллы, выставленные экспертом, можно трактовать как субъективную оценку величины КАЧЕСТВО СПРОС.

После сбора тематических экспертных оценок задача со стояла в том, чтобы агрегировать их и построить политематиче ский ранжированный список сериальных изданий. Ранг, полу ченный сериальным изданием в итоговом ранжированном списке, считался его экспертным рейтингом.

Управление большими системами. Выпуск 3. Зарубежный и отечественный опыт оценки журналов В 1970 г. R. L. Zwemer предложил следующий список ха рактеристик «хорошего журнала» [15]:

1. Высокие стандарты принятия рукописей.

2. Широкая представительная редакционная коллегия.

3. Редактор использует систему рецензирования.

4. Быстрота публикации.

5. Покрытие большинством реферативных и индексных служб.

6. Высокий уровень доверия содержимому журнала со сто роны учёных, использующих его статьи.

7. Высокая частота цитирования другими журналами.

Основные принципы отбора журналов были определены ещё тогда, когда индекс цитирования и ежегодный отчёт о цитировании журналов (Journal Citation Report) издавались Институтом научной информации (Institute of Scientific Information, ISI), базирующемся в Филадельфии. В дополнение к перечисленным критерием в ISI были добавлены следующие требования [13]:

8. Включение рефератов или резюме на английском языке.

9. Включение адресной информации об авторах.

10. Предоставление полной библиографической информации об используемых источниках.

В 2005 г. персонал Thomson ISI (подразделение корпорации Thomson, которая с 2008 г. называется Thomson Reuters) про сматривал около 2000 новых журналов, но только 10-12% из них отбирались для включения в базу данных цитирования Web of Science. Помимо уже перечисленных критериев, уделяется внимание своевременному выходу номеров издания, географи ческой распространённости авторов статей, а также авторов цитируемых ими статей (т.е. приоритетом пользуются издания международного уровня) [16].

Системный анализ Обзор критериев цитирования и зарубежной литературы по данной тематике можно найти в [15], где приведены формулы для вычисления различных импакт-факторов на основе стати стики цитирования, в том числе формула для вычисления стан дартного импакт-фактора ISI, ежегодно публикуемого в Journal Citation Reports.

Импакт-факторы – это всегда коэффициенты в форме «ко личество полученных ссылок, делённое на количество публика ций». Импакт-фактор рассчитывается в отношении определён ного множества журналов, покрываемых базой данных цитиро вания [15]. Помимо Thomson, отдающей предпочтение журналам на английском языке (свыше 85%), в некоторых странах (Китай, Япония, Россия) созданы свои национальные базы данных научного цитирования и публикуются импакт факторы.

Обзор критериев оценки качества журналов, не основанных на статистике цитирования, опубликован в [12]. Там же можно найти ссылки на публикации, в которых исследуется ограни ченность подхода, при котором импакт-фактор используется в качестве единственного измерителя качества журнала.

Обзор статей, посвящённых оценке и ранжированию жур налов по библиотековедению и информатике, опубликовал T. E. Nisonger [14]: 178 статей за 50 лет разделяются на 5 кате горий по используемым критериям ранжирования журналов:

цитирование (94);

продуктивность, т.е. количество статей в год (33);

субъективное суждение, т.е. экспертная оценка (25);

чита тельский спрос (18);

смешанные критерии (8).

Nisonger пишет о двух известных подходах к экспертному оцениванию журналов:

оценка по шкале, подобной шкале Лайкерта («Likert-like scale, such as 1-5 or 0-10»);

подход «top-n», при котором эксперту предлагается соста вить неупорядоченный список из n «наиболее важных»

журналов в его предметной области (3, 5, 10 и т.д.) Управление большими системами. Выпуск В первом случае журналы ранжируются по убыванию сум мы экспертных оценок, во втором – по убыванию количества вхождений в экспертные списки.

В [4] описана математическая модель формирования опти мального списка журналов, приобретаемых Библиотекой по естественным наукам Российской академии наук (БЕН РАН).

Вводится понятие «информативность журнала», которая вычис ляется с помощью линейной свёртки критериев читательского спроса, экспертной оценки и цитирования.

Система формирования заказа на журналы в БЕН РАН предполагает реализацию следующих условий [4]:

обеспечение максимальной информативности репертуара периодических изданий в рамках имеющихся финансовых средств (решается как задача линейного программирова ния);

поддержка сбалансированного обеспечения литературой различных научных направлений, определённых темати ческим планом комплектования библиотеки в соответст вии с их значимостью (разработана математическая мо дель распределения денежных средств с учётом значи мости направлений и коэффициентов стоимости изданий по каждому направлению).

БЕН РАН собирает экспертные оценки через свой сайт http://www.ben.ran. Авторизованные эксперты имеют возмож ность знакомиться с информацией об изданиях и оценивать каждое из них с точки зрения целесообразности приобретения его в фонды библиотеки своего института или Центральной библиотеки. В 2007 г. база данных экспертов включала учёных из 88 научно-исследовательских институтов РАН [6].

Изучение отечественного и зарубежного опыта оценки на учных журналов по материалам открытой печати привело к выводу, что математические методы активно используются для обработки статистических данных цитирования и читательского спроса, которые накапливаются в базах данных информацион ных служб и библиотек. Однако не удалось найти описаний Системный анализ математических моделей, применяемых для экспертного оцени вания и агрегирования экспертных оценок в многоотраслевых информационных службах или библиотеках.

4. Алгоритм ранжирования От экспертов были получены и загружены в базу данных экспертные оценки в соответствии с порядковой шкалой. Для вычисления обобщённой оценки порядковые номера было решено заменить числовыми значениями в соответствии с вер бально-числовой шкалой.

За основу была взята вербально-числовая шкала Харринг тона, которая достаточно широко применяется в экспертных оценках для характеристики степени выраженности критери ального свойства. Шкала (см. таблицу 2) имеет универсальный характер и может в соответствующих модификациях использо ваться для оценки показателей качественного характера [7].

Таблица 2. Шкала Харрингтона № п/п Содержательное описание Численное градаций значение Очень высокая 1 1,0 – 0, Высокая 2 0,8 – 0, Средняя 3 0,63 – 0, Низкая 4 0,37 – 0, Очень низкая 5 0,2 – 0, В разработанной модификации шкалы (таблица 3) интерва лы заменены числами, каждое из которых является средним арифметическим значением границ интервала, а также добавлен нулевой уровень.

Управление большими системами. Выпуск Таблица 3. Вербально-числовая шкала для агрегирования экс пертных оценок сериальных изданий.

№ Содержательное Числен- Вычисление уровня описание уровня ное зна- численного чение значения Высокий 5 0,9 = (1,0 + 0,8) / Выше среднего 4 0,715 = (0,8 + 0,63) / Средний 3 0,5 = (0,63 + 0,37) / Ниже среднего 2 0,285 = (0,37 + 0,2) / Низкий 1 0,1 = (0,2 + 0,0) / Нулевой 0 0 = Результатом агрегирования экспертных оценок является «Обобщённая оценка», для получения которой суммируются численные оценки уровней, полученные от всех экспертов.

Например, журнал получил четыре оценки от редакторов раз личных наименований РЖ:

«Список оценок» = 5;

5;

4;

В результате вычисляются два критерия:

«Максимальная оценка» = max(5;

5;

4;

3) = «Обобщённая оценка» = (0,9+0,9+0,715+0,5) = 3, Алгоритм агрегирования оценок и ранжирования журналов состоит из семи последовательных шагов.

Шаг 1. Собрать индивидуальные экспертные оценки в мат рицу (aij) размера n m, каждый элемент которой является качественной экспертной оценкой i-го журнала j-м экспертом.

Шаг 2. Построить матрицу (bij), которая получается путём замены каждого элемента матрицы (aij) числом в соответствии с вербально-числовой шкалой (см. таблицу 3).

Шаг 3. Для каждого i-го журнала вычислить обобщённую оценку Si по формуле:

m Si = bij.

j = Системный анализ Шаг 4. Для каждого i-го журнала вычислить максимальную оценку Mi по формуле:

M i = max aij.

j Шаг 5. Построить матрицу (rij) размера n m, в которой каждый элемент представляет собой номер ранга i-го журнала в ранжированном списке j-го эксперта. Ранжирование осуществ ляется по убыванию двух значений: aij (экспертная оценка) и Si (обобщённая оценка). Если в ранжированном списке j-го экс перта оказываются группы совпадающих (aij, Si), их ранги заме няются средним арифметическим рангов группы.

Шаг 6. Для каждого i-го журнала вычислить высший нор мированный ранг Ri по формуле:

Ri = 1 min( rij / max rij ).

i j Шаг 7. Ранжировать журналы методом лексикографическо го упорядочения по трём критериям: Mi, Si и Ri Лексикографическое упорядочение (lexicographic ordering) – упорядочение объектов (в многокритериальной задаче, задаче выявления предпочтений) таким образом, что, например, объект a предпочитается объекту a, если он имеет бльшую оценку по наиболее важному критерию x1, невзирая на то, насколько он является хорошим или же плохим по другим менее важным критериям. Но если значения x1 для них совпа дут, вводится в рассмотрение следующий по важности критерий x2 и по нему выбирается предпочитаемый объект. Соответст венно, в случае совпадения оценок по критериям x1, x2 вводится критерий x3 и т. д. Определение «лексикографическое» объясня ется тем, что эта процедура напоминает построение словаря [8].

5. Разработка алгоритма ранжирования Описанный выше алгоритм был разработан в результате экспериментальных компьютерных сортировок по различным критериям и добавления новых критериев по мере необходимо Управление большими системами. Выпуск сти, т.е. имитационного моделирования и последовательного улучшения промежуточных результатов.

В первоначальном ранжированном списке журналы сорти ровались одному критерию – по убыванию обобщённой оценки.

Однако анализ списка журналов показал неадекватность такого ранжирования. Преимущество получили журналы, относящиеся к отраслям науки, по которым издаётся значительное количест во выпусков РЖ, имеющих смежную тематику. В первую оче редь это такие крупные отрасли, как Биология, Химия и Физика.

В то же время журналы, относящиеся к менее крупным и более изолированным отраслям (Транспорт, Экономика промышлен ности, Информатика, Астрономия) подверглись дискриминации.

Несмотря на высокие оценки, присвоенные отдельными экспер тами, в итоговом списке такие журналы оказались значительно ниже журналов, получивших множество средних оценок от экспертов смежных научных тематик. Подобный отбор «попу лярных» журналов в ущерб узкоспециализированным журналам, высоко оценённым по отдельным научным тематикам, не обес печивал сбалансированное покрытие всех тематик качествен ными сериальными изданиями.


В результате был добавлен второй критерий. Использова ние лексикографического упорядочения журналов по двум критериям – «максимальная оценка» и «обобщённая оценка» – значительно улучшило результат, обеспечив более равномерное распределение ранжированного списка по тематикам. Теперь ранжированный список представляет собой пять упорядочен ных кластеров: на первом месте кластер журналов, оцененных как «высокий» хотя бы одним экспертом, затем кластер журна лов, оцененных «выше среднего» хотя бы одним экспертом, и т.д. Внутри каждого кластера журналы сортируются по убыва нию обобщённой оценки, которая агрегирует в себе все экс пертные оценки журнала.

Конечно, существует риск, что эксперт может поставить высокую оценку журналу случайно. Присвоена хотя бы одна высокая оценка – и журнал автоматически оказывается в лиди Системный анализ рующем кластере. В этом случае журнал может быть ошибочно включён в подписку, запущен в технологию обработки, и ошиб ка будет исправлена не раньше, чем через год. Однако многоот раслевой реферативной службе, стремящейся отражать наибо лее передовые научные издания в каждом тематическом РЖ, гораздо важнее не упустить ценный монотематический журнал.

Подписчики РЖ быстрее заметят, что реферативная служба не отражает какой-либо авторитетный журнал в их области, чем обратят внимание на то, что в список реферируемых изданий включён малоизвестный журнал.

Несомненно, что при выделении достаточных средств на организацию экспертизы необходимо расширять группу экспер тов – привлекать несколько специалистов по каждой тематике (например, внештатных референтов) и усреднять тематическую оценку. Тогда влияние одного эксперта было бы сведено к минимуму. Впрочем, статистика экспертных оценок показала, что и сейчас влияние одного эксперта невелико – в лидирующем кластере оказалось 45,5% журналов, получивших хотя бы одну высокую оценку. В следующие четыре кластера включены соответственно 21,1%, 16,3%, 10,6%, и 6,4% журналов.

Экспериментальное ранжирование показало, что двух кри териев недостаточно, так как для некоторых пар значений (Si;

Mi) образовались значительные кластеры журналов с повто ряющимися значениями. Количество повторяющихся значений для некоторых пар (Si;

Mi) исчислялось сотнями, поэтому возник вопрос, в каком порядке сортировать журналы внутри этих кластеров.

В итоге было принято решение добавить третий критерий, который был назван «высшим рангом».

Сначала рассмотрим методику вычисления ненормирован ного «высшего ранга» и покажем его ограниченность. Для вычисления «высшего ранга» были построены отсортированные тематические списки сериальных изданий, получивших экс пертные оценки от 1 до 5. Количество тематических списков равнялось количеству экспертов. Сортировка списков произво Управление большими системами. Выпуск дилась согласно лексикографическому упорядочению по двум критериям: «экспертная оценка» и «обобщённая оценка». Сери альные издания в каждом тематическом списке были пронуме рованы порядковыми номерами (рангами), начиная с единицы.

Если группа журналов имеет совпадающие значения по обоим критериям, то ранги заменяются средним арифметическим значением рангов данной группы.

В результате значение «высший ранг» вычисляется как ми нимальное значение ранга сериального издания по всем ранжи рованным тематическим спискам. Например, если некое сери альное издание присутствует в трёх ранжированных списках на позициях 12, 15 и 30, то «высший ранг» = 12.

Очевидно, что абсолютные значения рангов не учитывают размеры тематических ранжированных списков, которые, как было указано выше, варьировались в широком диапазоне (от до 831). Поэтому вместо рангов необходимо использовать нор мированные ранги. К сожалению, идея нормировать тематиче ские ранги пришла уже после того, как экспертный оценки были агрегированы, а ранжированный список окончательно проверен и утверждён. Однако в дальнейшем для вычисления «высшего ранга» планируется использовать нормированные тематические ранги. Нормированный ранг предлагается вычислять как отно шение тематического ранга к максимальному рангу тематиче ского списка. Расширим предыдущий пример: пусть некое издание получило в трёх ранжированных списках ранги 12, 15 и 30, при этом максимальные ранги списков равны соответствен но 40, 60 и 300. Тогда «высший нормированный ранг» равен 1 – min(12/40;

15/60;

30/300) = 0,9.

Таким образом, в результате вычисления новых критериев и экспериментальных сортировок был разработан алгоритм, описанный в предыдущем разделе.

Системный анализ 6. Пример Продемонстрируем алгоритм ранжирования на простом примере оценивания 8-ми объектов, которые получили оценки 6-ти экспертов, обозначенных как Э1, Э2,..., Э6 (см. таблицу 4).

Объектам для наглядности присвоены имена – латинские буквы от A до H (хотя подразумевается, что каждый объект имеет порядковый номер – индекс i). Если упорядочить объекты по убыванию суммы экспертных оценок, то получится следующая последовательность: F B A = С D = Е H G. Далее мы увидим, что результатом выполнения предложенного алгоритма лексикографического упорядочения является другая последова тельность: F B C A H D E G.

Таблица 4. Индивидуальные экспертные оценки (шаг 1) i Объ ект Э1 Э2 Э3 Э4 Э5 Э6 Mi 1 A 5 4 3 1 2 B 5 2 4 3 3 C 3 5 5 4 D 4 3 4 5 E 4 4 3 6 F 3 4 3 5 7 G 1 3 2 8 H 5 4 После замены экспертных оценок числами по вербально числовой шкале получаем таблицу 5, в которой в последней колонке вычислена обобщённая оценка Si.

Построенная на шаге 5 матрица рангов и вычисленные на шаге 6 высшие нормированные ранги можно увидеть в табли це 6.

Управление большими системами. Выпуск Таблица 5. Числовая интерпретация экспертных оценок (шаг 2) i Объект Э1 Э2 Э3 Э4 Э5 Э6 Si 1 A 0,9 0,715 0,5 0,1 2, 2 B 0,9 0,285 0,715 0,5 2, 3 C 0,5 0,9 0,9 2, 4 D 0,715 0,5 0,715 1, 5 E 0,715 0,715 0,5 1, 6 F 0,5 0,715 0,5 0,9 2, 7 G 0,1 0,5 0,285 0, 8 H 0,9 0,715 1, Таблица 6. Ранги объектов (шаги 5 и 6) Объект Э1 Э2 Э3 Э4 Э5 Э i Ri 1 0, A 1,5 2,5 3,5 2 0, B 1,5 5 1,5 3 0, C 4 1 4 0, D 2,5 4 1, 5 0, E 3 2,5 3, 6 0, F 4 2,5 3,5 7 G 5 3,5 8 0, H 1 maxi(rij) 5 5 4 3,5 5 Высшие нормированные ранги объектов вычисляются следую щим образом:

R1= 1 – min(1,5/5;

2,5/4;

3,5/5;

3/3) = 0,7 ;

R2= 1 – min(1,5/5;

5/5;

1,5/3,5;

2/3) = 0,7 ;

R3=1 – min(4/5;

1/4;

1/5) = 0,8 ;

R4=1 – min(2,5/5;

4/4;

1,5/3,5) = 0,57 ;

R5=1 – min(3/5;

2,5/5;

3,5/5) = 0,5 ;

R6=1 – min(4/5;

2,5/4;

3,5/3,5;

1/3) = 0,67 ;

R7=1 – min(5/5;

3,5/3,5;

5/5) = 0 ;

R8=1 – min(1/5;

2/5) = 0,8.

Системный анализ В таблице 7 представлен итоговый ранжированный список объектов, полученный в результате лексикографического упо рядочения по трём критериям – Mi, Si, Ri.

Результат упорядочения: F B C A H D E G.

Таблица 7 Результат выполнения алгоритма Ранг Объект Mi Si Ri 1 0, F 5 2, 2 0, B 5 2, 3 0, C 5 2, 4 0, A 5 2, 5 0, H 5 1, 6 0, D 4 1, 7 E 4 1, 8 0, G 3 0, 7. Заключение В качестве инструментального средства для хранения дан ных, вычисления критериев и ранжирования журналов исполь зовалась реляционная СУБД Microsoft SQL Server и её диалект языка SQL, который называется Transact-SQL. Итоговый ранжи рованный список сериальных изданий, выданный из базы дан ных, был окончательно уточнён отраслевыми экспертами и комплектаторами ВИНИТИ. В результате был утверждён пере чень журналов, которые обязательно должны отражаться в реферативных базах данных ВИНИТИ в 2009 г.

Для практических целей комплектования были созданы от дельные ранжированные списки по видам изданий (периодиче ские и продолжающиеся) и по географическому признаку (зару бежные и российские). В таблице 9 представлен фрагмент общего ранжированного списка – первые двадцать изданий, получившие наивысший экспертный рейтинг. В этом списке только первое сериальное издание является продолжающимся, остальные – периодические издания.

Управление большими системами. Выпуск Очевидно, что на основании предложенного алгоритма можно создавать его различные модификации в зависимости от предметной области, целей экспертизы, состава экспертной группы. Модификации могут производиться двумя способами:

1) изменение вербально-числовой шкалы;

2) изменение порядка критериев при лексикографическом упорядочении.

Таблица 9. TOP-20 научных сериальных изданий в 2008 г. по результатам обработки экспертных оценок Ранг Код ISSN Страна Название США 1 1046-6770 Proceedings of SPIE Россия Доклады Российской акаде 2 0869- мии наук Велико 3 0028-0836 Nature: International Weekly британия Journal of Science (Gr. Brit.) Германия 4 0341-5775 Maschinenmarkt (MM) США 5 0027-8424 Proceedings of the National Academy of Sciences of the United States of America США 6 0036-8075 Science Германия 7 0042-1758 VDI-Nachrichten Германия 8 0344-6166 Produktion: Die Wirtschaftszeitung fur die deutsche Industrie Россия Известия высших учебных 9 0321- заведений (вузов). Северо Кавказский регион. Техни ческие науки Украина Доповiдi Нацiональноi 10 1025- академii наук Украiни США 11 0022-2461 Journal of Materials Science США 12 0003-6951 Applied Physics Letters Системный анализ США 13 0007-7135 Business Week. European Edition Россия Известия Томского политех 14 1684- нического университета Швейца 15 0921-5093 Materials Science and Engi рия neering. A. Structural Materi als: Properties, Microstructure and Processing Россия Горный информационно 16 0236- аналитический бюллетень Россия Известия Российской акаде 17 0367- мии наук (РАН). Сер. физи ческая Швейца 18 0040-6090 Thin Solid Films рия США 19 0021-8979 Journal of Applied Physics Велико 20 0013-5194 Electronics Letters британия Литература АНДРЕЙЧИКОВ А. В., АНДРЕЙЧИКОВА О. Н. Анализ, 1.

синтез, планирование решений в экономике: учебник. – 2-е изд., доп. и перераб. – М.: Финансы и статистика, 2004. – 464 с.


АРСКИЙ Ю. М. ВИНИТИ в решении проблем современ 2.

ной информатики // НТИ-2007. Информационное общество, интеллектуальная обработка информации, информационные технологии. Материалы международной конференции. – М.: ВИНИТИ, 2007. – C. 3-5.

АРСКИЙ Ю. М., ЛЕОНТЬЕВА Т. М., НИКОЛЬСКАЯ 3.

И. Ю., ШОГИН А. Н. Банк данных ВИНИТИ: состояние и перспективы развития. – М.: ВИНИТИ, 2006. – 242 с.

КАЛЕНОВ Н. Е., КОЗЛОВА Е. И., ГИАЦИНТОВ О.М.

4.

Математическая модель оптимизации подписка на журна лы в научной библиотеке // Научно-техническая информа Управление большими системами. Выпуск ция. Сер. 1. Организация и методика информационной ра боты. – М: ВИНИТИ. – 1999. – №12. – C. 9-12.

КИРИЛЛОВА О. В., ФЕДОРЕЦ О. В. Сбор и агрегирование 5.

экспертных оценок для ранжирования научных журналов // Двенадцатая международная конференция LIBCOM-2008, п. Ершово, Одинцовский район, Московская область, 17- ноября 2008 г. [Электронный ресурс]. – Режим доступа:

http://www.gpntb.ru/libcom8/disk/22.pdf КОЧУКОВА Е. В., НАУМОВА В. С. Современные инфор 6.

мационные технологии в практике комплектования ЦБС БЕН РАН // НТИ-2007. Информационное общество, интел лектуальная обработка информации, информационные тех нологии. Материалы международной конференции. – М.:

ВИНИТИ, 2007. – С. 158-159.

ЛИТВАК Б. Г. Экспертные технологии в управлении: учеб.

7.

пособие. – 2-е изд., испр. и доп. – М.: Дело, 2004. – 400 с.

ЛОПАТНИКОВ Л. И. Экономико-математический сло 8.

варь: Словарь современной экономической науки. — 5-е изд., перераб. и доп. — М.: Дело, 2003. – 520 с.

НИКОЛАЕВА М. А., ЮНЦЕВИЧ О. Ф. Методы и алго 9.

ритмы построения рейтингов // Информационные техно логии. – 2003. – №12. – C. 7-18.

ОРЛОВ А. И. Теория принятия решений: учеб. для вузов. – 10.

М.: Экзамен, 2006. – 576 с.

СААТИ Т. Принятие решений. Метод анализ иерархий. – 11.

М.: Радио и связь, 1989. – 316 с.

12. COLEMAN A. Assessing the Value of a Journal Beyond the Impact Factor // Journal of the American Society for Informa tion Science and Technology.– 2007.– №58(8).– P. 1148-1161.

13. GARFILD E. How ISI selects journals for coverage. Quantita tive and qualitative considerations // Current Contents. 1990.

№22. – P. 5-13.

14. NISONGER T. E. JASIS and library and information science journal rankings: A review and analysis of the last half Системный анализ century // Journal of the American Society for Information Sci ence.– 1999.– №50(11).– P. 1004-1019.

15. ROUSSEAU R. Journal Evaluation: Technical and Practical Issues // Library Trends. 2002. Vol. 50, №3. P. 418-439.

16. TESTA J. The Thompson Reuters Journal Selection Process. – 2008. [Электронный ресурс]. – Режим доступа:

http://www.thomsonreuters.com/business_units/scientific/free/e ssays/journalselection/ COLLECTIVE EXPERT EXAMINATION OF SCIENTIFIC JOURNALS: PROCEDURE OF EXPERT JUDGMENTS AGGREGATION AND RATING CONSTRUCTION Oleg V. Fedorets, All-Russian Institute of Scientific and Technical Information, Senior research officer (ovf@viniti.ru).

Abstract: The technique of gathering and aggregation of expert estimations for the expert rating construction for scientific journals in natural and technical sciences is described. One of the distinctive features of scientific journal is its multidisciplinary character that demands estimations from the experts in various scientific fields.

Another feature is that each expert estimates the set of journals;

therefore a matrix of expert estimations turns out to be incomplete.

Thus, an approach is offered to this problem that differs from the typical process of expert estimation where each expert estimates each object, and all experts have expertise in the same subject area.

Keywords: acquisition of information centre, scientific journal rating, collective expert examination, lexicographic ordering.

Статья представлена у публикации членом редакционной коллегии Д. А. Новиковым Управление большими системами. Выпуск УДК 005.935.3 + 025. ББК 65.050.2- ОБ ОДНОМ ПОДХОДЕ К ИСПОЛЬЗОВАНИЮ ЭКСПЕРТНЫХ МЕТОДОВ ДЛЯ ОЦЕНКИ НАУЧНЫХ ЖУРНАЛОВ Абаев Л. Ч. (Российский институт стратегических исследований, Москва) Проводится анализ статьи О. В. Федорца «Коллективная экспертиза научных журналов: методика агрегирования экс пертных оценок и построения рейтинга». Обсуждаются вопросы уточнения постановки задачи и проведения коллек тивной экспертизы. Рассматриваются различные методы агрегирования ранговых экспертных оценок.

Ключевые слова: организация экспертного опроса, рейтинг научных журналов, ранговые оценки, агрегирование экс пертной информации.

1. Актуальность проблемы Статья О. В. Федорца «Коллективная экспертиза научных журналов: методика агрегирования экспертных оценок и по строения рейтинга» [7] является актуальной как в теоретиче ском плане, так и в практическом.

Проблема оценки и рейтингования российских научных журналов представляется весьма важной. В действующих в настоящее время индексах цитирования научных статей отече ственные работы встречаются достаточно редко, во всяком случае – русскоязычные. Отечественный индекс цитирования, Лев Черменович Абаев, доктор технических наук, ведущий научный сотрудник (abaev_lev@mail.ru).

Системный анализ который мог бы в определенной степени характеризовать и научные журналы, находится в настоящее время на начальном этапе своего развития. Поэтому рассмотрение проблемы оценки качества российских научных журналов представляется вполне обоснованным. К тому же, как справедливо указывается в статье О. В. Федорца, решение данной проблемы позволит произво дить эффективный отбор научных журналов для их рефериро вания в ВИНИТИ.

В теоретическом плане данная работа также является акту альной, поскольку способствует исследованию весьма важной задачи экспертного ранжирования объектов при неполных исходных данных.

Не будучи специалистом по науковедению, позволю себе, тем не менее, высказать ряд соображений и замечаний, касаю щихся постановки задачи, организации экспертного опроса и методики обработки экспертной информации.

2. О постановке задачи и некоторых аспектах организации экспертного опроса при построении рейтингов научных журналов Что касается постановки задачи, то в работе О. В. Федорца вызывает настороженность определенная ее «раздвоенность». С одной стороны, автор предлагает экспертам проводить ранжи рование научных журналов от «лучшего» к «худшему», а с другой – утверждает, что подобная процедура необходима для отбраковки «плохих» журналов (действительно, формирование множества реферируемых в ВИНИТИ журналов требует не определения «лучших», а отсеивания «худших»).

В случае получения от эксперта полной информации, т.е.

ранжирования всех объектов противоречия не возникает, так как экспертное упорядочение определяет и «лучшие» и «худ шие» объекты. Однако если эксперты упорядочивают лишь относительно небольшую долю объектов (а именно такой слу чай и рассматривает автор), то решить задачу отсеивания «пло Управление большими системами. Выпуск хих» объектов, на мой взгляд, становится затруднительным.

Дело в том, что при упорядочении от «лучшего» к «худшему»

объекту в случае неполного ранжирования эксперт будет оцени вать группу журналов-«лидеров», а не «аутсайдеров».

Представляется, что более обоснованной в данной ситуации была бы процедура упорядочения журналов от «худшего» к «лучшему». В этом случае эксперт должен был бы определять наиболее, на его взгляд, «некачественные» журналы, что и позволило бы путем агрегирования экспертной информации определить подмножество отбраковываемых изданий.

Такой подход, кстати, в определенной степени позволит снизить риск манипулирования, вольного или невольного, со стороны экспертов. А именно, при ранжировании от «лучшего»

к «худшему» объекту эксперт, заинтересованный в «продвиже нии» того или иного журнала будет ставить его на высокое место, что может привести к существенному увеличению мно жества «хороших» журналов (особенно если для агрегирования экспертной информации используется методика, предлагаемая автором). В то же время, при ранжировании от «худшего» к «лучшему» объекту «продвижение» вверх «своего» издания окажется, во всяком случае, гораздо более затруднительным.

Поэтому представляется целесообразным продумать исходную постановку задачи и, при необходимости, скорректировать ее.

Второй момент, вызывающий сомнения, заключается в «общем» ранжировании всех журналов – и специализирован ных, причем различной тематики, и политематических (во всяком случае, именно это следует из рассмотрения представ ленного в статье списка «ТОР–20 научных журналов»).

На мой взгляд, более надежным представляется ранжиро вание научных журналов «внутри» своей специализации и, соответственно – отдельно политематических. Конечно, здесь могут возникнуть трудности с отнесением некоторых журналов к тому или иному классу, к тому же возникнет проблема при оритетности тех или иных «классов» журналов. Тем не менее, упорядочение «однотипных» журналов может быть проведено с Системный анализ гораздо большей обоснованностью, нежели упорядочение «раз нотипных» журналов. Я вообще не очень представляю, как можно достаточно адекватно сравнить, например, «физический»

журнал с «машиностроительным», а ведь ранжирование пред полагает получение именно сравнительных оценок. Если же в результате неполного ранжирования фактически сравнимыми окажутся лишь «однотипные» издания, то и практически любое итоговое упорядочение всех журналов окажется весьма нена дежным.

Кстати, ранжирование журналов «внутри» своей «специа лизации» может помочь в решении и той важной проблемы, на которую совершенно справедливо указал автор, а именно – на сложность получения высоких итоговых оценок для журналов довольно узкой специализации, интересующих лишь небольшой круг специалистов. Вследствие этого, они получают небольшое число экспертных оценок и по критерию суммы оценок, пред ложенному автором, оказываются «неконкурентоспособными»

по сравнению с более «популярными» журналами (автор, прав да, решает эту проблему, используя критерий максимальной оценки, однако данный критерий, как будет показано ниже, имеет ряд недостатков). В случае, когда узкоспециализирован ные издания будут рассматриваться отдельно, часть из них обязательно попадет в список реферируемых изданий.

Проблема отнесения журнала к тому или иному классу мо жет быть решена с использованием методов классификации на базе, например, существующего классификатора научных на правлений. Что касается процедуры формирования общего множества реферируемых журналов, то в первом приближении, например, можно потребовать, чтобы доли журналов различных направлений (включая политематические) в итоговом списке совпадали с долями этих журналов в исходном множестве оцениваемого массива. С учетом данного требования и может быть выделено «необходимое» количество журналов каждой тематики, подлежащих реферированию в ВИНИТИ.

Управление большими системами. Выпуск 3. О методике агрегирования экспертных оценок при построении рейтинга научных журналов Предложенная автором методика агрегирования эксперт ных оценок при построении рейтинга научных журналов имеет, на мой взгляд, ряд серьезных недостатков.

Предлагаемый автором в качестве основного критерий мак симальной оценки не позволяет провести эффективную ранжи ровку объектов. Всего одна максимальная оценка дает возмож ность тому или иному журналу оказаться в лидирующей группе (причем такая оценка может оказаться и результатом манипули рования со стороны какого-либо эксперта). Сам автор отмечает, что по данному критерию из исходного множества в «лиди рующий» кластер было включено 45,5% журналов, имеющих хотя бы одну максимальную оценку (почти половина). По моему, это очень большая доля1.

Автор, понимая это, вводит второй критерий – сумму оце нок, полученную рассматриваемым изданием.

Здесь, по моему мнению, автор совершает существенную методологическую ошибку, так как предлагаемый им подход оказывается логически противоречивым.

Действительно, автор утверждает, что экспертные ранжи рования представляют собой измерения в порядковой шкале. Но тогда вербальная шкала и соответствующие ей «количествен ные» оценки могут использоваться лишь для удобства. При этом в случае использования порядковых шкал такая операция с ранговыми оценками, как их суммирование (применяемая, например, в процедуре Борда), не представляется вполне обос нованной даже в том случае, если все эксперты проранжировали все объекты (по крайней мере, в этом случае требуется наличие Кстати, интерес представляет информация о том, какая доля от всего объема оцениваемых изданий оказалась по данному критерию в «лидирующем» кластере, а также – какую долю в этом кластере составляют журналы с одной максимальной оценкой.

Системный анализ высокой согласованности групповых экспертных ранжирова ний).

В гораздо большей степени такой подход оказывается не обоснованным в случае неполного экспертного ранжирования.

Рассмотрим пример ранжирования восьми объектов шестью экспертами, представленный автором в разделе 6 своей работы.

Поскольку каждый эксперт, оценив некоторые объекты, сформировал на них отношение порядка, становится возмож ным для k-го эксперта (k = 1, …, 6) построить матрицу непол ных парных сравнений Ak, где aij принимает значение 1, если k для k-го эксперта i-й объект предпочтительнее j-го, – если данные объекты для эксперта равноценны и 0 – если j-й объект предпочтительнее i-го.

Рассмотрим матрицу A с ячейками aij = aij, k (1) k = где i, j = 1, …, 8, причем в тех случаях, когда некоторые aij не k определены, будем считать их нулевыми. Результаты расчета по формуле (1) представлены в таблице 1 (отметим, что, хотя элементы (6, 8) и (8, 6) матрицы А имеют значение н/о – нет оценок, в дальнейших расчетах их значения будут считаться нулевыми).

Из построенной матрицы видно, что объект F, по мнению экспертов, предпочтительнее (с перевесом в один голос) лишь объекта G. Объекты A и D эквивалентны F, а объекты H и F – не сравнимы. Что касается объектов B, C и E, то они, по мнению экспертной группы, оказались предпочтительнее F (с перевесом в один голос каждый).

Возникает вопрос, можно ли считать на основании данных экспертных оценок объект F лучшим? Очевидно, что нельзя.

Однако методика автора рассматриваемой статьи именно объект F выделяет в качестве лучшего. Что определило такой резуль тат? Именно необоснованное использование критерия суммы, предлагаемого автором.

Управление большими системами. Выпуск Таблица 1. Матрица неполных парных сравнений Объекты A B C D E F G H * ** A – 0,5 0 1 1,5 1,5 2 0 6,5 B 1,5 – 0 0,5 1 2 2 0 7 53, C 2 1 – 1 1 1 1 1 8 72, D 0 1,5 1 – 0,5 1 1 0 5 E 0,5 1 1 0,5 – 1 2 0 6 1,5 н/о F 1,5 1 0 1 0 – 41, G 0 0 0 0 0 0,5 – 0 0,5 4, 2 н/о H 1 1 1 1 1 – 7 87, 6,5 6 3 5 6 7 10,5 Сумма потерянных объектами очков (в таблице 1 * – сумма набранных объектами очков;

** – про цент набранных объектами очков) Возвращаясь к матрице А, отметим, что построение такого рода матриц может оказаться весьма полезным, даже если не использовать для ее обработки те или иные формальные проце дуры.

Действительно, она позволяет понять, какие объекты имеют достаточное количество сравнительных оценок, а какие объекты необходимо дополнительно сравнивать, существуют ли проти воречия в экспертных оценках, определяемые нарушением свойства транзитивности (например, в рассматриваемом случае данное свойство оказывается нарушенным для объектов A, B и D). В ряде случаев матрицы такого рода позволяют, не прибегая к относительно сложной процедуре итогового упорядочения объектов (ввиду неполных парных сравнений, а также наруше ний свойства транзитивности), тем не менее, решить задачу выделения подмножества «лучших» объектов (например, выде ляя множество недоминируемых вариантов). Кстати, эта проце дура может, на мой взгляд, оказаться эффективной при отбра ковке «плохих» журналов в случае, если экспертные ранжирова ния проводятся от «худшего» объекта к «лучшему».

Системный анализ Естественно, что рассмотренная матрица групповых пар ных сравнений может использоваться и для итогового упорядо чения объектов. В качестве примера рассмотрим подход, осно ванный на введении уровней «надежности» l. В нашем случае l принимает значения 0,5;

1;

1,5 и 2 и содержательно интерпрети руется как «объем» используемой экспертной информации для упорядочения объектов. Определим матрицы Al следующим образом:

1, если aij l, aij = l (2) i, j = 1, …, 8.

0, в противном случае, Тогда получим семейство обычных матриц парных сравне ний, по которым и определим итоговое упорядочение объектов с точностью до классов эквивалентности (будем считать, что объекты, образующие циклические предпочтения, входят в один класс).

В итоге придем к следующим результатам для различных l.

1. l = 0,5 – {C, H } { A, B, E} { D, F } G.

2. l = 1 – {C, H } { A, B, D} E F G, при этом объекты A, B и D образуют цикл предпочтений.

3. l = 1,5 – {C, D, H } B { A, F } E G.

4. l = 2 – { B, C, D, H } { A, E, F } G.

Отметим, что рассмотренная процедура идентична извест ной процедуре представления нечетких бинарных отношений предпочтения в виде семейства -срезов и решения на их основе задачи выбора.

Конечно, представленный выше подход носит иллюстра тивный характер, но и он показывает необоснованность выбора в качестве оптимального объекта F, полученного с использова нием процедуры суммирования экспертных оценок, предложен ного автором.

В то же время необходимо отметить, что критерий суммы на самом деле может в ряде случаев использоваться для анализа Управление большими системами. Выпуск неполных матриц групповых парных сравнений. Однако здесь необходимо понимание сложности этой задачи.

Например, если использовать критерий суммы набранных очков, то результат будет следующим (см. таблицу 1):

C { B, H } A E { D, F } G.

А если использовать критерий суммы потерянных очков, то результат изменится:

H C D { B, E} A F G.

Очевидно, что в связи с различным числом парных сравне ний для обоснованного упорядочения необходимо учитывать и число набранных, и число потерянных очков (для матриц пол ных парных сравнений такой проблемы не возникает).

Например, в квалификационных шахматных соревновани ях, в случае, когда турнир оказывается незаконченным, для оценки игроков используется показатель «процент набранных очков», но соответствующий разряд присваивается лишь в том случае, если игрок сыграл не меньше определенного числа партий. В случае использования вышеуказанного критерия результат будет следующий:

H C B { A, D, E} F G.

Представленные результаты показывают, к каким неодно значным результатам может привести непродуманное использо вание критерия суммы оценок.

В связи с этим рекомендую автору обсуждаемой статьи обя зательно ознакомиться с работами П. Ю. Чеботарева [8, 9 и др.], в которых получены важные результаты, касающиеся как мето да строчных сумм (для полных и неполных парных сравнений), так и в целом процедур агрегирования неполных экспертных предпочтений.

Наконец, для решения задачи, поставленной автором в рас сматриваемой статье, могут быть использованы и вероятност ные (статистические) модели обработки экспертной информа ции. К таковым относятся модели Тэрстоуна [5], Брэдли-Терри [2], стохастическая модель Ушакова [6] и др.

Системный анализ Возможно, данные модели окажутся более устойчивыми к неполноте экспертной информации, однако это требует допол нительной проверки.



Pages:   || 2 | 3 | 4 | 5 |   ...   | 7 |
 



Похожие работы:





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.