авторефераты диссертаций БЕСПЛАТНАЯ БИБЛИОТЕКА РОССИИ

КОНФЕРЕНЦИИ, КНИГИ, ПОСОБИЯ, НАУЧНЫЕ ИЗДАНИЯ

<< ГЛАВНАЯ
АГРОИНЖЕНЕРИЯ
АСТРОНОМИЯ
БЕЗОПАСНОСТЬ
БИОЛОГИЯ
ЗЕМЛЯ
ИНФОРМАТИКА
ИСКУССТВОВЕДЕНИЕ
ИСТОРИЯ
КУЛЬТУРОЛОГИЯ
МАШИНОСТРОЕНИЕ
МЕДИЦИНА
МЕТАЛЛУРГИЯ
МЕХАНИКА
ПЕДАГОГИКА
ПОЛИТИКА
ПРИБОРОСТРОЕНИЕ
ПРОДОВОЛЬСТВИЕ
ПСИХОЛОГИЯ
РАДИОТЕХНИКА
СЕЛЬСКОЕ ХОЗЯЙСТВО
СОЦИОЛОГИЯ
СТРОИТЕЛЬСТВО
ТЕХНИЧЕСКИЕ НАУКИ
ТРАНСПОРТ
ФАРМАЦЕВТИКА
ФИЗИКА
ФИЗИОЛОГИЯ
ФИЛОЛОГИЯ
ФИЛОСОФИЯ
ХИМИЯ
ЭКОНОМИКА
ЭЛЕКТРОТЕХНИКА
ЭНЕРГЕТИКА
ЮРИСПРУДЕНЦИЯ
ЯЗЫКОЗНАНИЕ
РАЗНОЕ
КОНТАКТЫ


Pages:   || 2 |
-- [ Страница 1 ] --

ТРАСТОВЫЙ ФОНД РОССИЙСКОЙ ПРОГРАММЫ СОДЕЙСТВИЯ ОБРАЗОВАНИЮ В ЦЕЛЯХ РАЗВИТИЯ

READ

ГОДОВОЙ ОТЧЕТ ЗА

2011

«Обеспечение обучения для всех — очень непростая задача, но это верно выбранный путь,

по которому следует двигаться в течение следующего десятилетия. Именно те знания и

навыки, которые дети и молодежь приобретают сегодня, будут являться основой их

трудоустройства, производительности, здоровья и благополучия на десятилетия вперед, именно эти знания и навыки помогут обеспечить процветание сообществ и государств, в которых они живут».

—Элизабет Кинг, Директор сектора образования Всемирного банка, Выступление на открытии Третьей глобальной конференции по программе READ, 24 октября 2011 г.

ГОДОВОЙ ОТЧЕТ ПО READ ANNUAL REPORT2011 Г. n ПРОГРАММЕ READ ЗА 2010 n СОДЕРЖАНИЕ Обращение совета программы READ.................................................................. Обращение руководителя программы................................................................ Обзор................................................................................................. Oсновные финансовые показатели 2011 года......................................................... Итоги работы в 2011 году: глобальный уровень....................................................... 2011 г: Итоги работы в участвующих странах......................................................... Перспективы........................................................................................ Список сокращений.................................................................................. Глоссарий терминов, применяемых в сфере оценивания............................................. Приложение 1: Концептуальная основа оценки достижений учащихся по системе SABER............. Приложение 2: Ключевые характеристики высококачественных учебных стандартов................ Приложение 3: Краткий отчет о Третьей глобальной конференции READ.............................. Данный отчет подготовлен Эмили Гарднер под методическим и общим руководством Элизабет Кинг, Робина Хорна и Олава Кристенсена. Ценные добавления и замечания поступили от Глобальной группы по программе READ (Маргерит Кларк, Джулия Либерман, Диана Маневская, Фахма Нур и Мария Хосе Рамирес) и от целевых групп по странам-участницам программы READ (Кристиан Аэдо, Саодат Базарова, Карла Бертончино, Дингйонг Ху, Радженда Джоши, Джеффри Муленга, Софи Нодо, Кристина Панаско Сантос, Маи Тан Ти и Гирма Вольдецадик).



Дизайн: Патриция Хорд. Редактор графического дизайна: Майкл Дж. Олван. Фото на обложке (Всемирный банк/Э. Гарднер);

на внутренней обложке (Национальный центр тестирования Таджикистана);

Перевод: Ольга Гринькова и Александр Резанов.

ТРАСТОВЫЙ ФОНД РОССИЙСКОЙ ПРОГРАММЫ СОДЕЙСТВИЯ ОБРАЗОВАНИЮ В ЦЕЛЯХ РАЗВИТИЯ 2 n ОБРАЩЕНИЕ СОВЕТА ПРОГРАММЫ READ Приняв Декларацию тысячелетия, содержащую цели развития, международное сообщество взяло на себя глобальное обязательство оказать поддержку в обеспечении к 2015 году наличия всеобщего начального образования во всех странах мира. В конечном итоге данная цель направлена на расширение прав и возможностей целого поколения молодежи при помощи тех благ, которые несет начальное школьное образование. Мировое сообщество с растущей убежденностью признает исключительную важность качества образования и результатов обучения. Российская Федерация при содействии Всемирного банка инициировала программу READ с целью объединения ведущих экспертов, международных организаций и правительств для оказания содействия странам СНГ, Азии и Африки в эффективном повышении качества результатов обучения.

Цель программы READ по повышению качества результатов обучения посредством использования результатов оценки обучения полностью соответствует основной задаче Стратегии сектора образования Всемирного банка, сформулиро ванной как «Обучение для всех». Программа READ получила заслуженное признание за системный подход к оказанию странам помощи в создании правильных систем и учреждений для измерения самого важного показателя для любой системы образования — достижений учащихся в учебе, — и использования результатов таких измерений для ускорения движения к цели «Обучение для всех». Программа READ считается лидирующей программой в этом направлении деятельности.

На заседании Совета программы, прошедшем в январе 2012 года в г. Ханое (Вьетнам), члены Совета от Всемирного банка и от Российской Федерации подчеркнули важность получения понятных, конкретных и поддающихся измерению результатов. На глобальном уровне информационно-методические материалы, разработанные в рамках программы, высоко ценятся. Эти материалы помогли программе READ прочно утвердиться на позиции одной из программ-лидеров в области систем оценки достижений учащихся. На страновом уровне каждая страна продолжает развивать собственную систему оценки достижений учащихся и добиваться успехов в ее укреплении и институционализации.





Достижения стран будут по-прежнему измеряться путем их сопоставления с матрицей результатов программы READ и значениями соответствующих ключевых показателей с целью демонстрации успехов и воздействия программы READ.

Совет программы READ с удовлетворением сообщает о получении Годового отчета по программе READ за 2011 г., который подтверждает, что программа вносит значительный вклад в реализацию глобальной программы в области обучения.

Члены Совета программы READ Андрей Бокарев Директор Департамента международных финансовых отношений Министерства финансов Российской Федерации Владимир Мау Ректор Академии народного хозяйства при Правительстве Российской Федерации Андрей Волков Декан Московской школы управления «Сколково»

Робин Хорн Руководитель сектора образования, Всемирный банк Альберто Родригес Руководитель сектора образования по Европе и Центральной Азии, Всемирный банк Совет программы READ выражает благодарность Манораме Готур, бывшему руководителю программы READ, за работу, проделанную на этапах становления и начала программы, а также за руководство этой масштабной программой до февраля 2011, и приветствует Олава Кристенсена, нового руководителя программы READ.

ГОДОВОЙ ОТЧЕТ ПО ПРОГРАММЕ READ ЗА 2011 Г. n ОБРАЩЕНИЕ РУКОВОДИТЕЛЯ ПРОГРАММЫ Трастовый фонд READ в 2011 году завершил третий год реализации программы. В течение первых месяцев 2011 года программа READ претерпела ряд изменений. Армения была номинирована кандидатом и принята Советом READ в члены программы, став восьмым государством, получающим прямую помощь в рамках программы READ. Кроме того, членом Совета READ стал еще один официальный представитель Всемирного банка — Альберто Родригес, руководитель сектора образования по региону Европы и Центральной Азии (ЕЦА). И, наконец, у программы появился новый руководитель. На фоне этих изменений программа продолжала демонстрировать позитивную динамику развития как на всемирном уровне, так и на уровне отдельных стран.

В рамках программы уже имеются важные достижения, но большую часть работы еще предстоит выполнить. Конечная цель программы READ — cоздание эффективной системы оценки, а создать такую систему за несколько лет непросто.

Даже странам, показывающим наилучшие результаты, потребовались десятилетия на создание стабильно действующих систем оценки достижений учащихся и обеспечение эффективного использования результатов для повышения общего качества образования. Однако разработанные в рамках программы READ концептуальные основы и механизмы определения и использования контрольных показателей внесли неизмеримый вклад в выполнение сложнейшей задачи создания системы оценки. Инструментарий программы READ позволяет разбить процесс выполнения задачи на несколько управляемых этапов: выявление ключевых показателей, определение различных стадий развития и планирование необходимых шагов для поступательного движения вперед.

Абсолютно необходимым является получение к завершению программы READ четких, измеримых результатов и обеспечение существенных достижений в становлении системы оценки в каждой из стран-участниц. Эти механизмы определения и использования контрольных показателей и вновь созданная матрица результатов программы READ стали средствами отслеживания и мониторинга хода реализации программы на уровне стран. В рамках программы READ и далее будет продолжаться процесс согласования работы на уровне страны с ключевыми показателями и отражения уровня достижений по базовым показателям для страны, установленным в 2009 г.

Отчет отражает существенный прогресс, достигнутый в рамках программы READ за последний год. Концептуальная основа и инструментарий систем оценки достижений учащихся, отработанные в экспериментальном режиме в течение нескольких первых лет реализации программы, начинают использоваться в более широком масштабе в разных странах земного шара. Практически все страны, участвующие в программе READ, завершили работу над Планами действий и приступили к реализации начального комплекса мероприятий. Предстоящий год, несомненно, станет годом интенсивной деятельности для всех участников программы.

Олав Кристенсен, Руководитель программы трастового фонда READ ТРАСТОВЫЙ ФОНД РОССИЙСКОЙ ПРОГРАММЫ СОДЕЙСТВИЯ ОБРАЗОВАНИЮ В ЦЕЛЯХ РАЗВИТИЯ 4 n ОБЗОР Созданная в 2008 году, Российская программа содействия образованию в целях развития (READ) представляет собой совместный проект Правительства Российской Федерации и Всемирного банка, сосредоточенный на повышении качества образования в странах с низким доходом. Трастовый фонд READ (далее по тексту ТФ READ) является частью этой программы и располагает средствами в объеме 32 млн. долларов США, которые предполагается израсходовать на нужды программы в течение 6 лет — с 2008 по 2014 г.г.

обуЧение для вСех — улуЧшение результатов обуЧения Через оценивание Стратегия 2020 Сектора образования Всемирного банка особо подчеркивает важность достижения цели «Обучение для всех». Экономических преимуществ и снижения уровня бедности, имеющих доказанную связь с образованием, можно добиться только тогда, когда дети действительно обучаются. Недостаточно просто посещать школу. Все участники системы образования должны знать, происходит ли обучение, и, отталкиваясь от этого, совершенствовать качество образования.

Учитывая исключительную важность измерения уровней приобретенных учащимися знаний, главная цель ТФ READ сводится к оказанию странам с низким доходом помощи в разработке, внедрении и использовании надежных систем оценки достижений учащихся. ТФ READ оказывает поддержку аналитической работе и техническому содействию, направленным на оказание помощи странам в (i) создании (или укреплении действующих) систем и учреждений, занимающихся формулированием целей обучения и проведением оценок достижений учащихся;

(ii) совершенствовании существующих или разработке новых инструментов для измерения результатов обучения учащихся и (iii) укреплении существующих или разработке новых механизмов (методик) использования данных о результатах обучения для повышения качества преподавания и обучения.

организация и Структура тФ READ ТФ READ предоставляет поддержку как на глобальном уровне, так и на уровне стран. На глобальном уровне деятельность сосредоточена на накоплении и распространении знаний в форме инструментов и механизмов, аналитических докладов, целевых исследований и на обмене передовыми практическими методами работы и извлеченными уроками. На уровне стран (в Анголе, Армении, Эфиопии, Кыргызской Республике, Мозамбике, Таджикистане, Вьетнаме и Замбии) рабочие группы Всемирного банка и заинтересованные стороны стран сотрудничают в разработке и реализации комплексов финансируемых ТФ READ мероприятий, направленных на ликвидацию пробелов в действующих в этих странах на настоящий момент системах оценки результатов обучения. Группа экспертов по оценке результатов обучения оказывает консультативную и практическую поддержку в работе по созданию инструментов и механизмов для оценки и в разработке программ как на глобальном, так и на страновом уровнях. (см. Рисунок 1).

Рисунок 1. Полномочия и обязанности ключевых действующих лиц, реализуемые при поддержке ТФ READ техническая группа READ Совет READ группа управления глобальная группа READ целевые рабочие группы (международные (россия, вб) READ (вб) (вб) READ в странах (вб) эксперты по оцениванию) Руководство по Управление программой Разработка Координационный элемент Поддержка в разработке стратегическим и ее исполнение, т.

е. концептуальной основы по всей помощи со стороны глобальных продуктов направлениям, стратегическое для работы над системами ТФ READ в странах-участницах знаний, обеспечение приоритетам и планирование, оценивания и стандартами программы, тесно качества программы и правилам выделение средств, обучения, механизмами взаимодействующий с прямое техническое задействования сил и координация контрольных показателей правительствами стран содействие на уровне страны средств ТФ READ и программы, контроль оценки и др. глобальными и другими мониторинг качества и мониторинг информационно- заинтересованными результативности методическими сторонами в деле разработки программы материалами и реализации оценочных мероприятий, финансируемых ТФ READ официальные лица систем образования стран, действующие при поддержке тФ READ (ангола, армения, Эфиопия, кыргызская респблика, мозамбик, таджикистан, вьетнам и замбия) Источник: READ.

ГОДОВОЙ ОТЧЕТ ПО ПРОГРАММЕ READ ЗА 2011 Г. n уСкорение реализации программы READ В течение первого года главное внимание было направлено на становление программы READ на глобальном и на страновом уровнях. Были созданы структура трастового фонда, техническая группа, началась реализация программы в нескольких странах-участницах, в каждой стране проведена самодиaгностика для выявления пробелов и запуска процесса создания Планов действий для получения содействия со стороны ТФ READ.

В течение второго года работа в рамках программы READ на глобальном уровне была сосредоточена на создании четкой концептуальной и научной основы для анализа и укрепления систем оценки. На уровне стран эта основа помогла повысить уровень понимания правительствами собственных систем оценки и расширить возможности правительств в выявлении действий, необходимых для улучшения существующих систем оценки. Были одобрены Планы действий для Анголы и Замбии, и обе страны приступили к реализации первых комплексов мероприятий.

В течение 2011 года, третьего года действия программы READ, работа была сосредоточена на ускорении прогресса на уровне стран и создании понятной основы для мониторинга и фиксирования результатов на страновом уровне. Ангола и Замбия продолжили реализацию своих Планов действий и мероприятий по оцениванию в экспериментальном режиме;

были одобрены Планы действий Эфиопии, Мозамбика, Таджикистана и Вьетнама, а Армения была выбрана новым государством-бенефициаром программы. На глобальном уровне была создана матрица результатов программы READ, была продолжена поддержка в деле разработки глобальных инофрмационно-методических материалов в области оценки достижений учащихся, началась работа в сфере учебных стандартов, а также продолжилась работа по обмену извлеченными уроками среди стран-участниц.

ожидаемый клюЧевой результат программы READ: более каЧеСтвенные СиСтемы оценки обуЧения Ожидается, что главным результатом программы READ станет более мощный институциональный потенциал стран участниц программы в области обработки, анализа и использования данных, полученных в ходе оценивания достижений учащихся. Кроме того, эти страны смогут использовать концептуальную основу и механизмы, разработанные в рамках программы READ, для измерения сильных и слабых сторон их мероприятий по оценке достижений учащихся и выявления областей, где необходимо улучшить ситуацию. Вооруженные информацией о том, насколько результативно занимаются учащиеся, учителя, политики и международные доноры смогут определить, на каких направлениях необходимо сосредоточить энергию и ресурсы для максимального улучшения учебных результатов.

ТРАСТОВЫЙ ФОНД РОССИЙСКОЙ ПРОГРАММЫ СОДЕЙСТВИЯ ОБРАЗОВАНИЮ В ЦЕЛЯХ РАЗВИТИЯ 6 n ГЛАВНЫЕ ФИНАНСОВЫЕ ПОКАЗАТЕЛИ 2011 ГОДА Трастовый фонд READ общим объемом 32 млн. долларов США был создан для финансирования деятельности как на глобальном уровне, так и на уровне стран (см. Рисунок 2). Изначально предполагалось, что расходованием средств фонда будут руководить только штатные сотрудники Банка. Однако внесенная в 2010 году поправка позволила правительствам стран-получателей в отдельных случаях, когда это оправдано, самостоятельно распределять и расходовать средства (До сегодняшнего дня только в Таджикистане действует программа самостоятельного распоряжения средствами;

Кыргызская Республика готовит такую программу к началу реализации в 2012 году).

Рисунок 2. Структура трастового фонда READ - READ SABER- READ READ READ READ SABER READ READ READ READ Источник: READ.

По состоянию на декабрь 2011 года Всемирный банк получил всю сумму средств в размере 32 млн. долларов США.

Средства поступили четырьмя траншами: 5 млн. долларов США в декабре 2008 г., 8 млн. долларов США в июне 2009 г., 10 млн. долларов США в июле 2010 г. и 9 млн. долларов США в декабре 2011 г. Для обеспечения реального периода времени на реализацию программы в 2011 г. был распределен практически весь остаток средств. В дополнение к Планам действий Анголы и Замбии (получивших финансирование в 2010 г.) были утверждены запросы на финансирование Планов действий Эфиопии, Мозамбика, Таджикистана и Вьетнама.

Согласно руководящим указаниям Совета READ, все средства трастового фонда были распределены на финансирование рабочих программ глобального и странового уровней. На деятельность на глобальном уровне выделяется приблизительно 35 процентов, а на работу на уровне стран — 60 процентов всех имеющихся в распоряжении фонда средств. Большая часть средств выделяется на работу в конкретных странах.

В течение первых двух лет самое крупное расходование средств имело место на глобальном уровне. Такой подход позволил создать информационно-методические материалы в области оценивания учебных результатов, которые являются информационной основой всей работы, проводимой в странах-участницах программы READ. Даже несмотря на то, что некоторые страны получили финансирование к концу 2011 года, расходование средств на уровне стран существенно нарастает по мере того, как страны начинают реализовывать свои программы и расходовать выделенные средства (Рисунок 3). Ожидается, что эта тенденция продолжится и в последующие годы реализации программы READ.

ГОДОВОЙ ОТЧЕТ ПО ПРОГРАММЕ READ ЗА 2011 Г. n Рисунок 3. Динамика расходования средств трастового фонда READ на глобальном и страновом уровнях (млн. долларов США) 3, $2, Глобальный 2, уровень READ 2,0 Страновой млн. долл.США уровень READ $1, $1, 1, 1, $1, $0, 0, $0, 0, 2009 2010 Год Источник: READ.

В Таблице 1 представлена финансовая сводка по ресурсам трастового фонда READ с момента его основания в 2008 году.

До настоящего времени всего выделено средств в объеме 28,9 млн. долларов США, из них 12,1 млн. долларов США — на работу на глобальном уровне, 15,2 млн. долларов США — на работу на страновом уровне (для стран-участниц READ) и 1,6 млн. долларов США — на оплату комиссии за управление трастовым фондом согласно требованиям Всемирного банка. В настоящее время прорабатываются запросы на дополнительное финансирование, которые будут поданы в 2012 году Арменией (1 млн. долларов США), Анголой (1 млн. долларов США) и Кыргызской Республикой (2 млн. долларов США). Мероприятия READ были намеренно запланированны “с запасом” (сверх выделенных ресурсов) с тем чтобы обеспечить полное расходование средств к концу программы READ в 2014.

Трастовый фонд READ рассчитан на работу в течение шестилетнего периода — с октября 2008 по октябрь 2014 года.

Конец 2011 года является средней точкой цикла реализации программы. Как показано на Рисунке 4, на конец года израсходовано около 40% всех средств. Однако в большинстве стран уровень расходования средств выглядит скромно.

Значительное время ушло на выявление потребностей, достижение согласия внутри страны и разработку проектных решений. Сейчас, когда в большинстве стран программа уже работает, ожидается, что уровень расходования средств в 2012 году резко возрастет.

Рисунок 4. Общая сумма израсходованных средств трастового фонда READ по состоянию на 31.12. (в млн. долларов США) Общая сумма 32 млн. долларов США Израсходовано 14,4 млн. долл. США 19,6 млн. долл. США Остаток 0 5 10 15 20 25 30 Источник: READ.

ТРАСТОВЫЙ ФОНД РОССИЙСКОЙ ПРОГРАММЫ СОДЕЙСТВИЯ ОБРАЗОВАНИЮ В ЦЕЛЯХ РАЗВИТИЯ 8 n Таблица 1. Финансовая сводка по трастовому фонду READ по состоянию на 31.12.2011 (в долларах США) выделено всего израсходовано задействовано остаток комиССия за управление Комиссия ВБ за управление трастовым фондом 1 600 000 1 600 000 0 итого 1 600 000 1 600 000 0 глобальная программа Обмен знаниями/координация программы 6 400 000 2 189 851 93 549 4 116 SABER — оценка достижений учащихся 4 700 000 2 031 311 147 099 2 521 SABER — стандарты обучения 1 000 000 241 217 562 408 196 итого 12 100 000 4 462 379 803 056 6 834 программы в Странах READ Ангола* 1 280277 780 752 15 176 484 READ Армения* 0 0 0 READ Эфиопия 1 091 000 289 705 0 801 READ Кыргызская Республика* 350 000 299 355 0 50 READ Мозамбик 2 425 000 676 815 752 948 995 READ Таджикистан 3 800 000 673 137 0 3 126 READ Вьетнам 3 811 894 334 475 330 599 3 146 READ Замбия 2 413 500 1 236 193 136 301 1 041 итого 15 171 671 4 290 432 1 235 024 9 646 вСего $28 871 671 $10 352 811 $2 038 080 $16 480 Источник: READ.

*В 2012 году Анголой, Арменией и Кыргызской Республикой будут поданы запросы на дополнительное финансирование, которые покроют остаток неразмещенных средств.

ГОДОВОЙ ОТЧЕТ ПО ПРОГРАММЕ READ ЗА 2011 Г. n ИТОГИ РАБОТЫ В 2011 Г.: ГЛОБАЛьНЫЙ УРОВЕНь Деятельность в рамках программы READ на глобальном уровне сосредоточена на (i) разработке информационно методических материалов, предназначенных для расширения понимания того, что лежит в основе эффективной системы оценки достижений учащихся;

(ii) создании партнерских отношений и обеспечении обмена знаниями с международными донорами с целью получения дополнительной поддержки в реализации планов программы READ и (iii) предоставлении возможностей обмена приобретенным опытом между всеми странами-участницами программы READ, а также заимствовании передовых практических методов, выработанных в других странах, в области оценки достижений учащихся.

разработка инФормационно-методиЧеСких материалов В области разработки информационно-методических материалов деятельность в 2011 г. была сосредоточена на отработке в экспериментальном режиме, проверке, обосновании и применении концептуальных основ и научно обоснованных механизмов для определения уровня качества и укрепления систем оценки достижений учащихся и учебных стандартов. Работа по оценке достижений учащихся стала продолжением и расширением работы, начатой в 2010 г., тогда как работа над учебными стандартами представляет собой новое направление деятельности. Более глубокое понимание эффективных методик и практических подходов в обоих этих направлениях исключительно важно для достижения цели программы READ, которая заключается в укреплении в каждой стране систем и учреждений, формулирующих учебные цели и проводящих оценки. Рабочие программы по обоим направлениям являются частью более крупного проекта Всемирного банка, известного как программа «Системный подход к улучшению результатов образования» (SABER) (см. Вставку 1).

Вставка 1. SABER — программа Всемирного банка «Системный подход к улучшению результатов образования»

Для содействия в реализации собственной «Стратегии сектора образования 2020: обучение для всех» Всемирный банк разработал программу для оказания помощи странам в систематическом анализе и повышении результативности работы их систем образования. Эта научно обоснованная программа, называемая «Системный подход к улучшению результатов образования (SABER)», направлена на создание комплексного набора инструментов системной диагностики для исследо вания различных компонентов и методологических областей систем образования и их сопоставления с глобальными стандартами и передовыми практическими методами, сложившимися в мире.

Программа SABER ликвидирует дефицит методологических данных, информации и знаний в отношении того, что является самым важным для повышения качества образования. Кроме того, программа дает ответы на вопросы политиков и граждан стран мира, которые хотят знать, какие реформы необходимо провести, чтобы школы в этих странах смогли обеспечивать получение учебных результатов, соответствующих целям государств и глобальным возможностям 21-го века.

С опорой на имеющиеся мировые научные данные и результаты исследований в рамках программы SABER была начата работа по широкому кругу областей образовательной политики (в том числе по вопросам работы учителей, оценки достижений учащихся, финансирования, дошкольного воспитания и образования и т.д.). В каждой из областей использовалась единая технология разработки инструментов и знаний по следующим ключевым направлениям:

n Концептуальная основа — в ней определяются ключевые цели, которые предполагается достигнуть в данной области образовательной политики, методологические механизмы или определяющие факторы качества, которые позволили бы достичь этих целей, и показатели, при помощи которых измеряется степень достижения каждой цели.

n Диагностический инструментарий — он используется для оперативного и экономичного сбора данных, необходимых для оценки результативности работы в конкретной области образовательной политики, и основан на имеющихся научных доказательствах и опыте работы самых эффективно работающих систем образования.

n Отчеты о работе в стране — они дают стандартизированную информацию о положении дел на текущий момент и краткое описание того, насколько результативно ведется работа в стране в той или иной области образовательной политики.

n Исследование конкретных примеров — оно дает конкретные иллюстрации достижений стран в деле измеримого повышения результативности работы в какой-либо области образовательной политики.

n Интернет-портал SABER с базой знаний — предназначен для предоставления заинтересованным лицам собранных данных, вспомогательных документов и результатов аналитической работы в каждой из областей образовательной политики.

Источник: READ.

ТРАСТОВЫЙ ФОНД РОССИЙСКОЙ ПРОГРАММЫ СОДЕЙСТВИЯ ОБРАЗОВАНИЮ В ЦЕЛЯХ РАЗВИТИЯ 10 n SABER — оценка достижений учащихся В 2011 году при поддержке программы READ в рамках программы оценки достижений учащихся SABER продолжался процесс разработки и подтверждения научно обоснованной методологии сравнительного анализа методики оценивания достижений учащихся и соответствующих систем в развитых и развивающихся странах мира с целью продвижения более сильных систем оценки, которые способствуют повышению качества образования и достижению цели «обучение для всех».

В 2011 году трастовый фонд READ оказал помощь в завершении концептуальной основы для системы оценки достижений учащихся SABER (показана в приложении 1);

в экспериментальном применении инструментов сбора данных и протоколов, основанных на концептуальной матрице и в ретроспективном использовании этих механизмов в странах-участницах READ (на основе данных 2009 г.). В конечном итоге по каждой стране был составлен стандартизированный отчет, включающий в себя рейтинги и описание сильных и слабых сторон системы оценки достижений учащихся. В таблице 2 представлены рейтинги каждой страны по четырем видам оценочной деятельности.

Представляется очевидным, что все страны в данной области имеют направления, нуждающиеся в дальнейшем развитии, и могут с выгодой для себя воспользоваться целевым финансированием и помощью, предоставляемыми в рамках программы READ. Эти базовые рейтинги и соответствующие ключевые показатели, представленные в матрице результатов по программе READ (см. стр. 20) используются для отслеживания в каждой стране хода работы по укреплению общей системы оценивания.

Таблица 2. Базовые рейтинги стран-участниц программы READ оценивание в классе Экзамены NLSA ILSA Ангола Армения Эфиопия Кыргызская Республика Мозамбик Таджикистан Вьетнам Замбия Неразвитый Формирующийся Сложившийся Передовой Источник: Всемирный банк.

Примечание: За исключением Армении (данные 2011 г.) по всем остальным странам использованы данные за 2009 г.

ГОДОВОЙ ОТЧЕТ ПО ПРОГРАММЕ READ ЗА 2011 Г. n Рисунок 5. Страны, участвующие в деятельности по оценке достижений учащихся по системе SABER (по состоянию на 31 декабря 2011 г.) Российская Федерация Польша Кыргызская Германия Республика Восточная Армения Азия Таджикистан Ближний Восток Гамбия Вьетнам Эфиопия Уганда Бразилия Ангола Квинсленд Мозамбик Замбия Чили Новая Зеландия Полная версия отчёта по стране Страна целевого исследования Краткая версия общерегионального отчёта Источник: Всемирный банк.

В 2011 году отмечался существенный спрос со стороны многих стран мира на возможность использования системы оценки достижений учащихся SABER для создания комплексов контрольных показателей в их системах оценки достижений учащихся. К концу 2011 г. группа специалистов провела практическую работу по установлению контрольных показателей во всех странах регионов Восточной Азии, Ближнего Востока и Северной Африки.

Так же, как и в 2010 году, трастовый фонд обеспечил поддержку еще 6 целевых исследований в 2011 году. Эти целевые исследования сосредоточены на изучении того, как различные страны мира эффективно использовали информацию, полученную в результате оценки достижений учащихся, в деле повышения качества и результативности обучения. Этими странами в 2011 году стали Чили, Германия, Иордания, Российская Федерация, Сингапур и Гамбия (см. рисунок 5).

Результаты этих целевых исследований были представлены на Третьей глобальной конференции READ, проведенной в октябре 2011 г. в Германии, и будут опубликованы в 2012 году. Эти и другие разработанные в 2011 г. при поддержке трастового фонда READ материалы более подробно описаны в таблице 3.

ТРАСТОВЫЙ ФОНД РОССИЙСКОЙ ПРОГРАММЫ СОДЕЙСТВИЯ ОБРАЗОВАНИЮ В ЦЕЛЯХ РАЗВИТИЯ 12 n Таблица 3. Материалы, разработанные в рамках программы оценки достижений учащихся по системе SABER В рамках программы оценки достижений учащихся по системе SABER разработана матрица и определены ключевые показатели, при помощи которых страны могут систематически —проверять качество своих систем оценки достижений учащихся. Основа:

n дает описание ключевых характеристик эффективных систем оценки, концептуальная n предоставляет научную опору для анализа и укрепления систем оценки, основа для n составляет фундамент всей программы READ и является информационной платформой работы на глобальном и страновом уровнях в рамках программы READ.

систем оценки В 2011 г. документ, в котором была представлена эта концептуальная основа, прошел через процесс внутренней и внешней коллегиальной оценки. Окончательный его вариант будет опубликован в 2012 году в качестве документа, знаменующего начало серии публикаций «SABER-оценка достижений учащихся».

В 2011 году после проведенных в Чили, Новой Зеландии и Уганде в 2010 году практических мероприятий в экспериментальном режиме была завершена работа над полным комплектом анкет и рубрик, созданных на базе концептуальной основы. Цель этих инструментов заключается в обеспечении стандартизованного научно обоснованного подхода к сбору и определению качества данных о характеристиках и уровнях развития системы оценки в стране.

Полный комплект анкет и рубрик используется при проведении оценок следующих типов:

оценок на уровне класса, n диагностические экзаменов, n инструменты:

широкомасштабных национальных исследований, n анкеты и широкомасштабных международных исследований.

n рубрики Группа специалистов также разработала «краткий вариант» анкеты, который охватывает все типы оценок.

Полный комплект анкет и рубрик использовался во всех восьми странах, получающих поддержку трастового фонда READ, тогда как «краткий вариант» был применен в странах Восточной Азии и Тихоокеанского бассейна, Ближнего Востока и Северной Африки, а также в трех штатах Нигерии в качестве средства получения данных для проекта по финансированию образования на основе результатов.

В 2011 году группой специалистов был разработан стандартизированный шаблон отчета, в котором кратко изложены ключевые выводы и рекомендации, сформулированные на основании практического опыта использования этого диагностического инструментария применительно к системам оценки страны. Странам, получающим поддержку от ТФ READ, эти отчеты дают базовые данные для мониторинга хода процесса на уровне страны.

В 2011 году были завершены полные обобщающие отчеты по всем восьми странам, получающим поддержку от ТФ READ:

отчеты по Анголе, Армении, Эфиопии, Кыргызской Республике, Мозамбику, Таджикистану, Вьетнаму и Замбии.

странам Кроме того, с использованием компактного варианта консолидированного набора инструментов были подготовлены сравнительные обобщающие отчеты по следующим странам и регионам:

n Восточная Азия (14) — Камбоджа, Китай, ОАР Китая Гонконг, Индонезия, Японния, Республика Корея, Лаосская Народно-Демократическая Республика, Малайзия, Монголия, Филиппины, Сингапур, Таиланд и Вьетнам;

n Ближний Восток и Северная Африка (7) — Дубаи, Иордания, Ливан, Оман, Палестина, Сирийская Арабская республика и Тунис;

n Африка (1) — три штата Нигерии.

Заказываемые документы по результатам исследований нацелены на создание доказательной базы по передовым практическим методам реформирования и укрепления систем оценки. В 2010 году было заказано проведение целевых исследований по теме «стимулирующая среда» в Австралии (Квинзлэнд). Бразилии, Чили, Республике Корее, Новой Зеландии, Российской Федерации и Уганде. Затем, в 2011 году, было дано поручение на проведения целевых исследований по теме целевые «использование результатовоценивания» в Чили, Гамбии, Германии, Иордании, Российской Федерации и Сингапуре.

исследования (Работа по анализу результатов этих целевых исследований в настоящее время завершается, и готовится их публикация в новой серии публикаций по оцениванию “SABER-оценка достижений учащихся”. Данные документы стали завершением процесса анализа и внесения коррективов 2011 года. 2012 год станет годом производства.) Источник: READ.

ГОДОВОЙ ОТЧЕТ ПО ПРОГРАММЕ READ ЗА 2011 Г. n учебные стандарты SABER В 2011 году при поддержке ТФ READ в рамках программы учебных стандартов SABER началась разработка и тестирование научно обоснованной методологии установления контрольных показателей по политике учебных стандартов и систем в развитых и развивающихся странах мира с целью повышения уровня учебных стандартов, которые способствуют повышению качества образования и достижению цели «обучение для всех».

Контракт на проведение подготовительной работы по учебным стандартам SABER был заключен на конкурсной основе с Американскими исследовательскими институтами (АIR). В 2011 году группа специалистов АIR завершила работу над проектом рамочного документа по данной области. Цель документа — предоставить основные ориентиры в отношении того, что является наиболее важным в области учебных стандартов, исходя из существующих в мире научных доказательств и передовых практических подходов (см. приложение 2). Кроме того, группа специалистов АIR, опираясь на эти ориентиры, разработала диагностические инструменты (см. таблицу 4).

В 2012 году концептуальная основа и диагностические инструменты будут подвергнуты анализу и испытаны в экспериментальном режиме, после чего работа над ними будет завершена. При этом будут созданы новые инструменты и знания в форме отчетов по странам и целевых исследований. Прежде чем эти материалы станут полноценными инструментами системы SABER, они будут дополнительно задействованы в экспериментальном режиме и подвергнуты дальнейшему анализу и корректировке.

Таблица 4. Материалы, разработанные в 2011 году в рамках программы SABER-учебные стандарты В концепции описаны ключевые характеристики эффективных учебных стандартов и представлена научная основа для разработки учебных стандартов высокого качества.

концептуальная основа для Цель документа — предоставить основные ориентиры в отношении того, что является наиболее важным в области учебных учебных стандартов, исходя из существующих в мире научных доказательств и передовых практических подходов. Предполагается, стандартов что этот доклад будет комплексным документом, соответствующим самым высоким современным требованиям в этой области.

Для сбора данных по характеристикам учебных стандартов в стране и выработки суждения об уровне их развития разрабатываются анкеты и рубрики по различным предметным областям.

диагностические инструменты: Разработаны экспериментальные варианты анкет по различным предметным областям и соответствующие рубрики.

анкеты и Предметные области включают в себя:

рубрики n словесность, n математику, n естествознание.

Источник: Всемирный банк.

Создание партнерСких отношений и обмен знаниями Еще одним ключевым компонентом программы READ на глобальном уровне является активный поиск путей построения партнерских отношений с другими донорами и продолжение усилий по обеспечению широкой поддержки планам реализации программы READ. Ряд мероприятий 2011 года был посвящен обучению других доноров, партнеров и практиков в области развития пользованию инструментами и материалами, разрабатываемыми в рамках программы «SABER — оценка достижений учащихся». Участие в этих мероприятиях предоставляет программе READ возможность продемонстрировать результаты проделанной работы, показать различные пути обсуждения и обеспечения поддержки со стороны партнеров схемы деятельности по оцениванию, разработанной в рамках программы «SABER — оценка достижений учащихся», и делает программу READ более заметной на международной арене.

ТРАСТОВЫЙ ФОНД РОССИЙСКОЙ ПРОГРАММЫ СОДЕЙСТВИЯ ОБРАЗОВАНИЮ В ЦЕЛЯХ РАЗВИТИЯ 14 n занятия по обучению в области оценки достижений учащихся Следуя духу партнерства и сотрудничества, ряд доноров, заинтересованных в расширении собственных возможностей и углублении понимания вопросов оценки достижений учащихся, приглашал группу экспертов по программе «SABER — оценка достижений учащихся» для проведения специализированных занятий по этой теме. Примеры:

27 января 2011 года Агентство международного развития США (USAID) пригласило n группу специалистов программы «SABER — оценка достижений учащихся» провести занятие по инструментам введения контрольных показателей в рамках «Недели знаний» для сотрудников, занимающихся сектором образования, проводимой в г.

Вашингтоне.

Для активизации использования инструментов программы «SABER — оценка n достижений учащихся» целевыми группами, работающими в секторе образования, 8 марта 2011 г. в течение целого дня было проведено занятие, посвященное теме оценки достижений учащихся, в рамках «Недели знаний об образовании» Всемирного банка.

Министерство международного развития Великобритании (DfID) также является n одним из крупнейших доноров, оказывающих поддержку программе SABER. С 16 по 18 марта 2011 г. в Шотландии был проведен семинар для сотрудников DfID по различным стратегическим направлениям работы, в том числе по вопросам оценки достижений учащихся.

Курс «Варианты стратегии реформирования систем образования», проводимый n Институтом Всемирного банка, включает в себя учебный раздел, в котором рассматриваются «Результаты и последствия реформы: оценка и определение качества». В рамках данного курса 16 марта 2011 г. группа специалистов программы «SABER — оценка достижений учащихся» провела тренинг для 50 представителей правительственных структур, управляющих системами образования стран, по проблемам инструментария для введения контрольных показателей оценивания достижений учащихся, эффективной отчетности о результатах национальных оценок достижений учащихся и предотвращения списывания и коррупции во время экзаменов. Поскольку первый тренинг прошел очень успешно, группа специалистов была вновь приглашена для проведения еще одного такого же занятия 18 июля 2011 г.

для 54 сотрудников сектора образования ЮНИСЕФ.

Для того чтобы осветить работу по программе READ на глобальном и страновом n уровнях и углубить сотрудничество с другими донорами, занимающимися проблемами оценивания, была собрана группа экспертов для выступления на Международном симпозиуме по сравнительному анализу систем образования, проходившем с 1 по 5 мая 2011 г. в Монреале (Канада).

По приглашению Института статистики ЮНЕСКО (UIS) 30 сентября 2011 г. в штаб n квартире UIS в Монреале (Канада) состоялось выступление, посвященное инструментам и ресурсам, разрабатываемым в рамках программы «SABER — оценка достижений учащихся».

другие примеры сотрудничества Хотя в Декларации о целях развития тысячелетия (ЦРТ) и в документе «Образование для всех» (ОДВ) имеются показатели по завершению образования и приему, четкие учебные цели и соответствующие показатели отсутствуют. В январе 2011 г. Глобальное партнерство в сфере образования (GPE) (ранее известное под названием Инициатива по ускорению реализации) и программа READ совместно собрали международную группу экспертов по оценке навыков чтения для проведения внешнего анализа потенциальных показателей Инициативы по ускорению реализации (FTI) для измерения результатов обучения навыкам чтения и понимания. В результате работы группы экспертов появился документ, в котором на основании согласия членов группы был представлен перечень рекомендаций, касающийся дальнейших действий, необходимых для утверждения потенциальных учебных показателей и их применения на практике. Дискуссии о потенциальных показателях по-прежнему продолжаются.

ГОДОВОЙ ОТЧЕТ ПО ПРОГРАММЕ READ ЗА 2011 Г. n Всемирный банк и правление Программы международной оценки достижений учащихся (PISA) ОЭСР сотрудничают в поиске путей адаптации теста PISA таким образом, чтобы он мог с большей пользой использоваться странами с низким доходом. При поддержке ТФ READ организация «Education Testing Services» (ETS) начала разработку новой оценки навыков по трем компонентам предмета «чтение»: словарному запасу, навыкам работы с предложением и навыкам понимания отрывка текста. В 2011 году прошло испытание разработки в реальных условиях, включавшее в себя подготовку инструкции по проведению, руководства по подготовке и планов выборки. Главный инструмент опросов прошел проверку с опорой на анализ данных, полученных в результате тестирования в реальных условиях, выработаны рекомендации по мерам его совершенствования. Ожидается, что этот международный вариант будет готов к применению в ходе проведения оценки PISA 2012, и его использование повысит информационную ценность данных PISA в нижней доле шкалы достижений.

предоСтавление инФормации об извлеЧенных уроках и передовых практиЧеСких методах оценки На глобальном уровне в рамках программы READ выявляются возможности распространения информации об извлеченных уроках и передовых практических методах в области оценки результативности обучения среди стран, получающих поддержку от программы READ. Цель распространения такой информации заключается в повышении эффективности работы программы READ на страновом уровне и в повышении уровня осведомленности о наилучших практических методах оценивания.

Серия публикаций по системам оценки образовательных достижений Public Disclosure Authorized Всемирный банк в настоящее время публикует пятитомную серию работ, посвященных ключевым понятиям в национальных оценках уровней достижений учащихся. В 2011 году при поддержке Public Disclosure Authorized READ завершена работа над третьим томом под названием «Внедрение национальной оценки National Assessments of Educational Achievement VOLUME образовательных достижений». Основное внимание в этой книге уделено таким практическим Implementing a Public Disclosure Authorized National Assessment вопросам, как планирование, составление бюджета, обеспечение защищенности тестирования;

of Educational Achievement кроме того в ней содержится поэтапное руководство по подготовке выборки на национальном Public Disclosure Authorized Vincent Greaney Thomas Kellaghan уровне. В 2012 году будет опубликован четвертый том этой серии.

третья глобальная конференция READ, 23-26 октября 2011 г.

Высокопоставленные представители систем образования восьми стран-участниц программы USING STUDENT ASSESSMENT RESULTS FOR EDUCATION QUALITY AND SYSTEMS READ, российские официальные лица и эксперты в области образования, сотрудники Всемирного STRENGTHENING Third READ Global Conference and Sixth ECA Education Conference банка и эксперты по оценкам из разных стран мира вновь собрались вместе на трехдневную October 23–26, 2011 — Eschborn, Germany конфренцию в Эшборне (Германия) под названием «Использование результатов оценки достижений учащихся для повышения качества образования и укрепления систем образования».

Данное мероприятие в этом году было объединено с Конференцией Всемирного банка по вопросам образования в регионе ЕЦА, кроме того, соустроителем мероприятия выступило Агентство международного сотрудничества Германии (GIZ). Все эти факторы еще более повысили статус программы READ как одной из ведущих программ оценки достижений учащихся и сделали акцент на важной и новой для России роли государства-донора. (В приложении 3 содержится краткий отчет о конференции.) интернет-сайт READ Интернет-сайт, посвященный программе READ, был создан для (i) представления роли России как государства-донора и (ii) распространения ключевых идей программы READ, информации о достижениях стран-участниц программы READ и информационно-методических материалов, разработанных в рамках глобальной программы READ. Официальное открытие сайта состоялось в 2011 году. Сайт постепенно становится одним из главных коммуникационных инструментов программы (www.worldbank.org/readtf).

ТРАСТОВЫЙ ФОНД РОССИЙСКОЙ ПРОГРАММЫ СОДЕЙСТВИЯ ОБРАЗОВАНИЮ В ЦЕЛЯХ РАЗВИТИЯ 16 n КРАТКИЕ ОТЧЕТЫ ПО СТРАНАМ ЗА 2011 Г.

Финансируемые ТФ READ программы реализуются в восьми странах: в Анголе, Армении, Эфиопии, Кыргызской Республике, Мозамбике, Таджикистане, Вьетнаме и Замбии. Руководители целевых групп Всемирного банка (РЦГ) и группы специалистов в странах в тесном сотрудничестве с соответствующими представителями правительств провели тщательный анализ существующих систем оценки обучения, приняли решения в отношении действий, направленных на устранение пробелов и реализацию необходимых мероприятий.

мониторинг и отСлеживание доСтижений Учитывая абсолютную необходимость обеспечения способности программы READ демонстрировать понятные и измеримые результаты в ходе дальнейшего совершенствования системы оценки каждой страны, было принято решение о разработке матрицы результатов и определении ключевых показателей, по которым можно было бы измерять динамику процесса. Матрица результатов программы READ в очень многом опирается на работу, проведенную в рамках оценки достижений учащихся по системе SABER. В матрице указаны ключевые показатели по типам оценки в соответствии с анкетами и рубриками (см. таблицу 5). Сейчас все виды деятельности на уровне стран согласованы с матрицей результатов, и в рамках программы READ ведется мониторинг и отслеживается ход работы по этим ключевым показателям. Ожидается, что благодаря такому подходу, по окончании программы можно будет четко продемонстрировать уровень достижений страны по базовым показателям.

ГОДОВОЙ ОТЧЕТ ПО ПРОГРАММЕ READ ЗА 2011 Г. n Таблица 5. Матрица результатов READ и ключевые показатели Стимулирующая среда (EC) EC1 — Формирование четкoй государственной политики Существует официальный документ (документы), в котором изложены руководящие принципы оценочных мероприятий.

Этот официальный документ (документы) доступен для ключевых заинтересованных сторон и общественности.

EC2 — наличие эффективного руководства Ключевые заинтересованные стороны поддерживают деятельность по оценке.

Ключевые заинтересованные стороны поддерживают непрерывный процесс совершенствования деятельности по оценке.

EC3 — наличие регулярных бюджетных ассигнований/средств для проведения оценочной деятельности Проведение оценочной деятельности прописано отдельной строкой в государственном бюджете расходов на образование.

Обеспечение достаточных бюджетных ассигнований по основным направлениям – разработка, проведение, обработка данных, предoставление отчетности.

EC4 — наличие сильных организационных структур Наличие организации, учреждения или группы, имеющих полномочия на проведение мероприятий по оценке.

Организация, учреждение или группа, ответственная за проведение оценочной деятельности, подчиняется известному и признанному ведомству.

EC5 — наличие эффективных кадровых ресурсов Наличие группы лиц, обладающих необходимыми навыками/потенциалом для проведения оценочной деятельности.

Наличие возможностей для развития потенциала в области оценочной деятельности, например, курсов/подготовки кадров в области разработки тестов, выборочных исследований, анализа данных и т.д.

Согласованность в рамках системы (SA) SA1 — Согласование оценки с целями обучения Существует четкое взаимопонимание между заинтересованными сторонами в отношении того, что измеряется в ходе оценочных мероприятий.

Oценочная деятельность согласуется с официальными учебными программами/стандартами, устанавливающими нормативы знаний учащихся SA2 — обеспечение возможностей получения информации об оценочной деятельности Наличие учебных мероприятий/курсов для учителей для получения информации об оценочной деятельности.

Учителя принимают участие в проведении оценочной деятельности.

качество оценки (AQ) AQ1 — обеспечение качества Наличие официальной документации о технических аспектах проведения оценочной деятельности.

Основные заинтересованные стороны признают результаты оценки обоснованными и надежными.

AQ2 — обеспечение эффективного использования результатов оценки Целенаправленное распространение результатов оценки среди основных заинтересованных сторон.

Результаты оценки используются как информационная основа совершенствования процесса обучения Источник: READ.

ТРАСТОВЫЙ ФОНД РОССИЙСКОЙ ПРОГРАММЫ СОДЕЙСТВИЯ ОБРАЗОВАНИЮ В ЦЕЛЯХ РАЗВИТИЯ 18 n доСтигнутое на Сегодняшний день В течение первых лет работы программы было потрачено значительное время на обеспечение более четкого понимания того, что требуется для создания комплексной эффективно функционирующей и стабильной системы оценки. Высокопоставленные правительственные чиновники во всех странах-участницах программы READ начали заниматься программой уже на самых ранних ее этапах, демонстрируя высокий уровень приверженности идее совершенствования систем оценки в их странах. Все страны кроме Армении, присоединившейся к программе в году, составили четкие планы действий и идут по пути их реализации, проводя первоначальные комплексы мероприятий.

Краткие приведенные ниже отчеты по странам указывают на различия в уровнях достижений. Некоторые страны, например, Эфиопия и Замбия, решили заняться ликвидацией пробелов сразу в нескольких видах оценки, тогда как другие решили сосредоточить усилия на каком-то одном типе оценки: например, в Анголе разрабатывается национальная широкомасштабная оценка достижений учащихся 3 классов, а в Таджикистане создается новый центр тестирования, которому поручено разработать единый вступительный экзамен в высшие учебные заведения страны.

Исследования говорят о том, что процесс создания комплексной системы продолжится и после истечения срока действия программы READ, а объем ресурсов, необходимых для построения такой системы, превышает объем ресурсов, выделяемых в рамках программы. Тем не менее, краткий отчет о проведенной до настоящего времени деятельности в каждой стране свидетельствует о наличии измеримых достижений в построении и укреплении фундамента такой системы.

проблемы Реализация программы READ проходит не без сложностей. Добиться не только совершенствования практических методов оценки, но еще и институционализировать систему оценки — очень серьезная и сложная задача. Комплексные системы оценки касаются практически каждого аспекта системы образования от центрального аппарата управления до повседневной работы в классе и требуют хорошей координации действий и обеспечения коммуникации на всех уровнях. Ряд проблем, возникших на пути реализации программы, включал в себя неустойчивое положение прави тельства, столкновение приоритетных интересов в тех ситуациях, когда в стране кроме программы READ реализуются другие крупные программы, потребность в дополнительной поддержке на местах и техническом содействии и создание четкого комплекса приоритетов правительства в отношении последующих шагов. Несмотря на эти препятствия, очевидно наличие поддающихся измерению достижений, есть хороший запас сил и энергии для движения вперед.

ГОДОВОЙ ОТЧЕТ ПО ПРОГРАММЕ READ ЗА 2011 Г. n READ-армения общая сумма гранта: 1 млн. долларов США (сумма будет выделена в 2012 г.) объем израсходованных средств (на 31/12/11): неприменимо СправоЧная инФормация По решению Совета READ, заседание которого состоялось в апреле 2011 г., Правительство Российской Федерации и Всемирный банк расширили число участников программы, пригласив Армению присоединиться к группе ее участников. Поскольку Россия и Армения уже начали сотрудничество в области оценивания образовательной деятельности и образовательной политики, было принято решение значительно активизировать их совместные усилия и придать этим отношениям официальный статус в рамках программы READ.

Начиная с конца 1990-х годов, сектор образования является одним из приоритетных направлений вложения государственных средств в Армении.

Рейтинги, полученные Арменией в рамках международных тестов, например, теста «Международные тенденции в изучении математики и естествознания» (TIMSS), показали наличие значительных улучшений в успеваемости учащихся. Однако, несмотря на эти существенные улучшения, произошедшие в течение последнего десятилетия, перед системой образования Армении по-прежнему стоит сложная задача повышения результативности обучения.

Проведенное практическое мероприятие по установлению контрольных показателей в рамках программы «SABER - оценка достижений учащихся»

показало, что, несмотря на наличие в стране многих из необходимых методик, многие направления по-прежнему нуждаются в совершенство вании. В области, нуждающиеся в улучшении, входят подготовка учителей и специалистов по оценке к проведению оценочных мероприятий, обеспечение эффективного использования результатов оценок в целях повышения качества образования и повышение качества таких ключевых экзаменов, как единый экзамен, проводимый в 12 классе. В настоящее время идут дискуссии о выборе оценочных мероприятий, на которых Армения сосредоточит свои усилия, используя ресурсы, предоставляемые трастовым фондом READ.

главные доСтижения в 2011 г.:

Завершение процесса введения контрольных показателей на основе n оценки достижений учащихся по системе SABER и заключительного отчета, утвержденного Министерством образования;

n Сильное руководство и поддержка, доказанные участием делегации Министерства образования Армении (5 представителей министерства, включая заместителя министра) в Глобальной конференции READ 2011 г. в Германии;

n Первые встречи с ключевыми представителями правительства Армении, руководителем целевой группы Всемирного банка по образованию в Армении и членом технической группы READ, посвященные началу разработки Плана действий, которые будут финансироваться ТФ READ.

ТРАСТОВЫЙ ФОНД РОССИЙСКОЙ ПРОГРАММЫ СОДЕЙСТВИЯ ОБРАЗОВАНИЮ В ЦЕЛЯХ РАЗВИТИЯ 20 n READ-ангола общая сумма гранта: 1 280 277 долларов США объем израсходованных средств (на 31/12/11): 780 752 долларов США СправоЧная инФормация Ангола начала участие в работе программы READ в 2009 г., располагая очень ограниченным потенциалом и опытом в сфере оценивания.

Существовавшая система оценки была в зачаточном состоянии, отсутствовал единый национальный орган, ответственный за проведение оценок, не было подготовленного штата специалистов по оцениванию, работающего на основе полной занятости, культура оценивания была слабо развита. Располагая ресурсами, полученными в рамках программы READ, правительство страны решило, прежде всего, заложить фундамент системы оценки, сосредоточив внимание на улучшении среды, стимулирующей работу по оцениванию, и на укреплении потенциала путем подготовки местных сотрудников к проведению национальной широкомасштабной оценки навыков чтения в начальных классах.

Сильное руководство и поддержка программы READ со стороны Министерства образования Анголы впечатляют. Проведенная оценка навыков чтения в начальных классах мобилизовала руководителей школ и учителей всей страны. Успехи, достигнутые в рамках программы READ, позволили начать идущие в настоящее время переговоры о возможной реализации в стране проекта Международной ассоциации развития (IDA).

Этот проект был бы полностью сосредоточен на повышении качества образования, включал бы в себя меры по поддержке развития национальной системы оценки в Анголе и введению в действие новой политики внедрения национальных экзаменов..

главные доСтижения 2011 г.:

Все 13 членов Технической группы Национальной системы n оценивания прошли подготовку по анализу данных, составлению выборки/работе в полевых условиях, вводу данных и пользованию программным обеспечением;

n 75 учителей и стажеров прошли подготовку по проведению национальной оценки навыков чтения в начальных классах;

n Проведена национальная широкомасштабная оценка навыков чтения в третьем классе — протестировано более 5 тыс. учащихся из 144 школ во всех 18 провинциях страны;

n Проведена Конференция по национальным экзаменам, в которой приняли участие более 80 представителей 18 провинций Анголы, в том числе руководители органов управления образованием провинций, представители педагогических колледжей, профсоюзов учителей и школ.

ГОДОВОЙ ОТЧЕТ ПО ПРОГРАММЕ READ ЗА 2011 Г. n READ-ангола: мероприятия и достигнутое за период с 2009 по 2011 г.

мероприятия результат Что изменилось EC2 наличие эффективного руководства Мероприятия по оценке, Семинар с участием руководителей сектора образования Результаты самодиагностики и План действий направленные на руководителей (в том числе трех заместителей министра образования) одобрены и утверждены руководителями Минобразования для обсуждения результатов самодиагностики и министерства образования;


мощная поддержка в предлагаемого Плана действий (2010 г.) деле построения системы оценки в Анголе со стороны руководства EC3 наличие регулярных бюджетных ассигнований/средств для проведения оценочной деятельности Выделить в бюджете на Национальный бюджет на оценки — 1 миллион На мероприятия по оценке ежегодно выделяются образование строку для долларов США бюджетные средства финансирования мероприятий по оценке EC4 наличие сильных организационных структур Создание технической группы 13 представителей ключевых департаментов Наличие штата сотрудников с конкретными Ангольской Национальной Министерства образования, наделенные полномочиями полномочиями по проведению мероприятий по системы оценки (NSATG) по курированию развития национальной системы оценки, оценке созданной приказом министра (2009 г.) EC5 наличие эффективных кадровых ресурсов Тренинги по проведению оценок Три практических семинара для группы NSATG по Повышен уровень готовности группы национальных следующим темам (2011 г.): оценок, учителей и стажеров к проведению оценок n Подготовка выборки, полевая работа;

(в частности, оценок EGRA) n ПО для ввода данных;

n Анализ данных Оценки навыков чтения в начальных классах (EGRA) Для участия в национальной оценке навыков чтения в начальных классах прошли подготовку 75 учителей и стажеров (2011 г.) Учебно-ознакомительная Учебно-ознакомительная поездка в Пернамбуко Повышен уровень подготовленности сотрудников поездка (Бразилия) для 21 сотрудника Министерства образования Министерства образования к разработке и с целью изучения опыта проведения оценок и руководству проведением оценок и использованием использования их результатов (март 2011 г.) их результатов Глобальные конференции READ Ежегодное участие правительственной делегации (5-6 Более глубокое понимание ключевых проблем представителей) возглавляемой заместителем министра оценивания и значения качества образования образования (2009, 2010, 2011 г.г.) Мероприятие по обучению Группа ангольских специалистов (5-6 человек) выступила Укрепляются отношения по оси «Юг-Юг», идет обмен с докладом перед сотрудниками Банка в г. Вашингтоне об опытом между странами и донорами извлеченных уроках с опорой на опыт работы групп по реализации программы в Бразилии и Мозамбике (июль 2011 г.) Конференция по национальным Трехдневная конференция с участием представителей Повышен уровень осведомленности главных экзаменам министерства образования, правительств 18 провинций заинтересованных лиц о путях совершенствования и педагогических институтов (декабрь 2011 г.) оценок и экзаменов AQ1 обеспечение качества EGRA в экспериментальном Оценка проведена в экспериментальном режиме в трех Улучшена структура национальной оценки EGRA режиме провинциях (2010 г.) Создание базы данных, Собраны данные, создана база данных, содержащая Повышен уровень доступности основных содержащей обновленную ключевые статистические данные по системе статистических данных об образовании в Анголе информацию по начальному образования, необходимые для создания выборки для образованию EGRA (август 2011 г.) Сбор данных для национальной Сбор данных завершен в 144 школах во всех 18 Повышен уровень готовности членов технической оценки EGRA провинциях страны (октябрь 2011 г.) группы NSATG к проведению национальных оценок, имеются данные для анализа учебных результатов Комплект данных готов к анализу (декабрь 2011 г.) в Анголе ТРАСТОВЫЙ ФОНД РОССИЙСКОЙ ПРОГРАММЫ СОДЕЙСТВИЯ ОБРАЗОВАНИЮ В ЦЕЛЯХ РАЗВИТИЯ 22 n READ-ЭФиопия общая сумма гранта: 1 091 000 долларов США объем израсходованных средств (на 31/12/11): 289 705 долларов США СправоЧная инФормация В связи с наличием большого количества международных доноров, работающих в области образования в Эфиопии, координация их деятельности приобретает особое значение. Финансовые средства ТФ READ направляются на поддержку деятельности в ключевых направлениях и дополняют усилия других доноров в сфере оценки достижений учащихся.

В Эфиопии программа разделена на три направления: национальные широкомасштабные исследования, национальные экзамены и инспектирование школ. В результате самодиагностики были выявлены такие постоянно проявляющиеся слабые стороны системы, как отсутствие политической основы, непонятные институциональные механизмы и отсутствие выделяемых целевым назначением бюджетных средств. В связи с этим средства программы READ используются на укрепление среды, стимулирующей оба вида ведущейся в настоящее время деятельности (национальные широкомасштабные исследования и экзамены) и новых видов деятельности (инспектирование школ). ТФ READ имеет преимущество перед другими донорами, так как является единственным донором, занимающимся темой инспектирования школ.

Тогда как другие источники финансирования (в том числе проект Всемирного банка «Программа повышения качества общего образования»

(GEQIP) и Агентство международного развития США) используются для финансирования проведения таких мероприятий, как национальные оценки достижений учащихся 10 и 12 классов и оценка навыков чтения в начальных классах, средства ТФ READ направляются на повышение уровня готовности к проведению таких мероприятий и на обеспечение наличия институцио нальных механизмов, которые смогут поддерживать ведение такой деятель ности с долгосрочной перспективе.

Ожидается, что к моменту окончания программы READ в Эфиопии будут действовать отлаженные политические и процедурные механизмы, способные направлять работу в данных областях. Благодаря поддержке со стороны READ и других доноров в Эфиопии появится более прочно стоящая на ногах система обеспечения качества.

главные доСтижения 2011 г.

Созданы проекты методологических и процедурных основ для нацио n нальных широкомасштабных исследований и инспектирования школ;

n Завершен отчет о самодиагностике в области национальных экзаменов;

n Реорганизация институциональных механизмов: в настоящее время национальные широкомасштабные исследования и национальные экзамены проходят под руководством одного автономного ведомства — Национального агентства по оценкам и экзаменам в системе образования, возглавляемого советом;

n В бюджете выделена отдельная строка для финансирования национальных широкомасштабных исследований;

n Имеется штат сотрудников, которому поручено проведение различных мероприятий по оценке: восемь сотрудников занимаются исключитель но национальными широкомасштабными исследованиями и два сотрудника — инспектированием школ.

ГОДОВОЙ ОТЧЕТ ПО ПРОГРАММЕ READ ЗА 2011 Г. n READ-Эфиопия — мероприятия и достигнутое за период с 2009 по 2011 г.

мероприятия результат Что изменилось EC1 Формирование четкой государственной политики Создание документов, Проект политических/процедурных основ NLSA (декабрь Наличие проекта основ и четкие руководящие в которых представлена 2010 г.) принципы проведения широкомасштабных исследований и инспекций в Эфиопии политическая / процедурная основа национальных Проект политических/процедурных основ инспектирования Определены текущее положение дел, ключевые широкомасштабных школ и учебное пособие (февраль 2011 г.) проблемы и потребности в сфере исследований (NLSA), национальных экзаменов (NE) Отчет о результатах самодиагностики по экзаменам экзаменационной деятельности и инспектирования школы (декабрь 2011 г.) EC2 наличие эффективного руководства Семинары для Семинар для 50-60 ключевых заинтересованных лиц Ключевые фигуры руководства вовлечены в руководителей министерства (руководителей Минобразования, сотрудников процесс, обеспечена широкая поддержка за счет образования с целью региональных органов образования и сообщества доноров) утверждения диагностических отчетов и планов обсуждения отчетов об для подтверждения результатов самодиагностики по NLSA действий по широкомасштабным оценках и утверждения утверждения Плана действий (август 2010 г.) исследованиям и инспектированию школ планов Встреча с министром образования, представителями доноров и сотрудниками службы инспектирования школ для обсуждения/утверждения Отчета об инспекции школ (2010 г.) EC3 наличие регулярных бюджетных ассигнований/средств для проведения оценочной деятельности Создание отдельной строки Ежегодно выделяются бюджетные средства NLSA проводится регулярно по финансированию NLSA EC4 наличие сильных организационных структур Реорганизация компонентов Создание автономного Национального агентства по Четкие и устойчивые институциональные NLSA и NE и подчинение оценкам и экзаменам в системе образования и механизмы для NLSA, экзаменов и их одному агентству, выделение восьми сотрудников для работы по инспектирования школ руководимому советом направлению инспектирования школ (2011 г.) Решение о создании Управления по инспектированию школ с двумя сотрудниками, занимающимися исключительно инспекциями EC5 наличие эффективных кадровых ресурсов Глобальные конференции Более четкое понимание ключевых проблем Ежегодное участие 5-6 представителей направлений NLSA, READ оценивания и важности качества образования NE, «Инспектирование школ» (2009, 2010, 2011 г.г.) Учебные поездки Учебно-ознакомительная поездка в Гану трех Сотрудники, имеющие более четкое представителей системы образования с целью представление об эффективных практических ознакомления с методологией проведения инспекций методах инспектирования школ школ (январь 2011 г.) ТРАСТОВЫЙ ФОНД РОССИЙСКОЙ ПРОГРАММЫ СОДЕЙСТВИЯ ОБРАЗОВАНИЮ В ЦЕЛЯХ РАЗВИТИЯ 24 n READ- кыргызСкая реСпублика общая сумма гранта: 350 000 долларов США объем израсходованных средств (на 31/12/11): 299 355 долларов США СправоЧная инФормация Благодаря усилиям, предпринятым ранее в духе сотрудничества между правительством и международными донорами в ходе проведения национальных и международных широкомасштабных исследований и реформирования экзаменационной системы, Кыргызская Республика начала участие в программе, сделав несколько серьезных шагов по пути развития системы оценки в стране. И хотя потребуется дополнительная работа о всем направлениям, оценка на уровне класса признана видом оценки, более всего нуждающимся в дальнейшем развитии. Поэтому, вероятнее всего, средства, выделяемые ТФ READ, будут преимущественно направлены на финансирование работы по совершенствованию оценивания на уровне класса.

В реализации программы READ произошла серьезная задержка в связи с революцией 7 апреля 2010 г. К счастью, агентство, на которое возложена основная ответственность по проведению мероприятий по оценке, осталось практически нетронутым в эти времена политической неопределенности. В апреле 2011 года программа начала возвращаться в работоспособное состояние, были приняты меры к продолжению деятельности, начатой ранее в рамках программы READ. На основе результатов ранее проведенной самодиагностики, составленного плана действий и с опорой на установленные по системе SABER контрольные показатели было подготовлено предложение по финансированию деятельности по ряду приоритетных направлений. Ожидается, что предложение войдет в силу во второй половине 2012 г. Оно состоит из трех основных элементов: построение методологии оценок на уровне класса и повышение уровня подготовки учителей к их проведению, продолжение широкомасштабного исследования, используя Национальную оценку на базе школ (NSBA) на уровне 4 класса, и начало применения усовершенствованного выпускного экзамена в 11 классе.

главные доСтижения 2011 г.:

Повышен уровень знаний и навыков семи ключевых руководителей системы образования за счет учебно-ознакомительной поездки в Нидерланды, в ходе которой главное внимание было уделено эффективному использованию результатов широкомасштабных исследований для повышения качества обучения и методике проведения независимых обобщающих оценок на уровне класса;

Пять специалистов по оцениванию из Национального центра тестирования (НЦТ) и Кыргызской академии образования прошли обучение в Москве по построению эффективной системы оценивания;

Получению широкой поддержки заинтересованных сторон способствовали два семинара, в каждом из которых приняло участие более 40 представителей Министерства образования и науки, организаций по оценке, доноров и научных кругов;

Подготовка нового предложения по финансированию.

ГОДОВОЙ ОТЧЕТ ПО ПРОГРАММЕ READ ЗА 2011 Г. n READ-кыргызская республика: мероприятия и достигнутое за период с 2009 по 2011 г.

мероприятия результат Что изменилось EC1 Формирование четкой государственной политики Выявление приоритетных Внутренний практический семинар с участием всех В результате консультаций с заинтересованными направлений оценивания главных заинтересованных сторон (июнь 2011 г.) сторонами определены приоритетные направления оценивания EC4 наличие сильных организационных структур Функциональный анализ Рекомендации по укреплению функциональных Четкое выявление институционального недостатка Отдела по оценкам в системе возможностей по оцениванию и потенциала и шаги по его устранению образования (ООСО) и сотрудников ООСО и НЦТ Национального центра тестирования (НЦТ) EC5 наличие эффективных кадровых ресурсов Укрепление потенциала Более четкое понимание ключевых проблем Глобальные конференции READ: делегация из 5– ключевых кадров, оценивания и важности качества образования, в том человек принимает участие каждый год (2009, 2010, занимающихся оцениванием, числе:

2011 г.г.) за счет учебно ознакомительнных поездок и Учебно-ознакомительная поездка в Центральный 1. Более четкое понимание роли кадров в тренингов институт разработки тестов (CITO) (Нидерланды) для формировании политики, разработке программ, представителей ключевых заинтересованных в обучения в рамках системы (Академия оценивании сторон Кыргызской Республики (апрель образования) и внедрении структур в регионах;

2011 г.) 2. Четкое понимание преимуществ сохранения независимости функций оценивания с целью Обучение семи специалистов по оцениванию обеспечения их объективности;

Кыргызской академии образования (КАО) и 3. Четкое понимание потребности в Министерства образования и науки в Москве (сентябрь унифицированных инструментах оценки для 2011 г.) получения сравнимых результатов и анализа компонентов для улучшения существующих структур AQ2 Эффективное использование результатов оценки Вторичный анализ Международными экспертами подготовлен отчет, Обеспечение надлежащего использования ключевых результатов оценки PISA включающий в себя конкретные рекомендации по выводов для принятия решений по 2006/2009 и Оценки на основе методике использования Министерством корректировочным и/или профилактическим национальной выборки образования и науки этих оценок в качестве политическим мерам;

доказательная основа для (NSBA) 2007 и 2009 г.г. информационной основы для построения политики принятия стратегических решений в будущем (май 2011 г.) ТРАСТОВЫЙ ФОНД РОССИЙСКОЙ ПРОГРАММЫ СОДЕЙСТВИЯ ОБРАЗОВАНИЮ В ЦЕЛЯХ РАЗВИТИЯ 26 n READ-мозамбик общая сумма гранта: 2 425 000 долларов США объем израсходованных средств (на 31/12/11): 676 815 долларов США СправоЧная инФормация Правительство Мозамбика финансирует деятельность по оцениванию через объединенный фонд доноров системы образования. Финансирование со стороны ТФ READ дополняет эту действующую систему финансирования и направляет средства на создание институционального потенциала в сфере оценки достижений учащихся и на проведение мероприятий по оценке в экспериментальном режиме, которые в случае успешности могут затем быть реализованы в общенациональном масштабе при финансировании за счет средств объединенного фонда. Хотя Мозамбик активно занимается разработкой оценочных мероприятий различных видов, самодиагностика выявила необходимость совершенствования стимулирующей среды и более структурированного подхода к реализации мероприятий по оценке. Деятельность в рамках программы READ нацелена на ликвидацию пробелов в институциональных и технических возможностях Министерства образования Мозамбика по проведения национальных исследований и оценок на уровне класса и на обеспечение более высокого уровня согласованности системы за счет внедрения показателей качества работы системы образования.

Ожидается, что к моменту окончания программы READ (i) около 25 сотрудников Отдела оценки (INDE), Совета по экзаменам (CNECE) и государственных универси тетов получат навыки, необходимые для самостоятельной разработки тестов, анализа результатов и эффективного распространения результатов тестирования;

(ii) появится официальный набор показателей качества и стандартов, на основе которого буду проводиться оценки;

(iii) оценка навыков чтения в начальных классах на базе школы («Provinha») будет обкатана в экспериментальном режиме в 3-х классах 70 школ и результаты проведения этой оценки послужат информационной основой для внесения изменений в практическую педагогическую деятельность на уровне школы и (iv) в экспериментальном режиме будет проведена представи тельная для общенационального уровня оценка (в том числе в третьих классах) среди представительной выборки учащихся в одной провинции. Результаты прове денных в экспериментальном режиме оценки на базе школы и представительной оценки будут использованы в качестве информационной основы для принятия решения в отношении того, следует ли вывести эти два типа оценки на общенацио нальный уровень.

главные доСтижения 2011 г.:

Разработаны 70 «черновых» показателей качества системы, которые прошли полевые испытания в 6 провинциях с участием директоров, учителей и родителей;

15 сотрудников INDE, CNECE и государственных университетов прошли подготовку по ряду технических аспектов оценивания: разработка тестов и анализ результатов, статистическое программное обеспечение и шкала эффективности Принятие 10 представителей правительства на обучение по программе «Управление системой образования и оценка» с получением степени магистра;

Разработаны и напечатаны материалы для тестов (550 тестовых буклетов, 16 инструкций по проведению и 10 инструкций по выставлению оценок), проведена оценка навыков чтения в начальных классах «Provinha», предшествующая национальной оценке в экспериментальном режиме.

ГОДОВОЙ ОТЧЕТ ПО ПРОГРАММЕ READ ЗА 2011 Г. n READ-мозамбик — мероприятия и достигнутое за период с 2009 по 2011 г.

мероприятия результат Что изменилось EC2 наличие эффективного руководства Мероприятия по Семинар для руководителей Минобразования и Широкая поддержка со стороны руководства и тематической международных партнеров с целью обсуждения основных партнеров: утвержден отчет о самодиагностике направленности оценок выводов самодиагностики (2009 г.) и согласованы последующие шаги EC5 наличие эффективных кадровых ресурсов 15 сотрудников INDE, CNECE, и университетов прошли Создание «самостоятельных» сил и средств для Краткие тематические курсы по оценке: подготовку по структуре систем оценки и тестов (июнь 2011 г.) выполнения следующих мероприятий при ограниченной поддержкой (или совсем без n Системы оценки 10 сотрудников INDE, CNECE, и университетов прошли таковой) со стороны внешних технических n Структура анкет, подготовку по структуре анкет, статистическому анализу, экспертов / консультантов:

статистический анализ пользованию статистического ПО и составлению шкалы n Разработка тестов и поэлементный анализ для и разработка шкалы эффективности (ноябрь 2011 г.) создания и проведения полного цикла оценки эффективности достижений учащихся;

n Базовый описательный и корреляционный анализ результатов оценки и факторов, связанных с начисленными баллами Степень магистра в 10 сотрудников Минобразования, INDE, CNECE и Степени магистра будут получены лишь области оценивания университетов получили высокую квалификацию в области в сентябре 2013 года.



Pages:   || 2 |
 

Похожие работы:





 
© 2013 www.libed.ru - «Бесплатная библиотека научно-практических конференций»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.