Выбор школы в Москве the hard way

Полгода назад я писал про то, как мы участвовали в конкурсе по открытым данным с проектом «Московские школы». Потом было исследование московских результатов ЕГЭ, московских кружков и секций. Недавно удалось собрать все результаты в одном месте и аккуратно оформить:
0bddf3f47dcc498fb8657edaf1e3b905

Я хотел бы подробно рассказать про процесс сбора и обработки школьных данных. Оказывается, что для каждой школы в Москве публикуется достаточно много информации: результаты ЕГЭ, ГИА и олимпиад, профили учителей, бухгалтерская отчётность и списки кружков.

Рейтинги


Департамент Образования Москвы каждый год составляет рейтинг школ. Доступны срезы за 2015, 2014 и 2013 годы. Можно посмотреть не только на каком месте находится школа сейчас, но и на динамику. Если лень разбираться в разных версиях названий школ, например «Специализированный учебно-научный центр (факультет) — школа-интернат имени А.Н. Колмогорова» и «СУНЦ МГУ», можно взять сводную таблицу из репозитория obr.msk.ru.

Нужно учитывать две вещи:

  1. Рейтинг может меняться по не зависящим от школы причинам. Например, приписали к школе вечёрку — рейтинг упал, хотя хуже учить не стали.
  2. К рейтингу есть вопросы с точки зрения математики. Например, в описании есть такая строчка «За каждого учащегося, который по каким-либо трем предметам на ЕГЭ набрал не менее 220 баллов, начисляется 1 балл». Пускай в одной школе ЕГЭ сдавало 100 человек и >220 набрало 10, а в другой сдавало 10 человек и >220 набрал 1. И там и там >220 набрало 10%, но первая школа получит 10 баллов, а вторая 1. Также интересно как они подбирают коэффициенты, почему за победителя Всеросов дают именно 10 баллов, а за призёра — 5.

И вообще, школа — очень сложная вещь: десятки учителей, сотни учеников, корпуса, кружки и секции. Как это можно свести к одной цифре? В топе рейтинга, действительно, хорошие школы. При этом низкая позиция ещё не означает, что школа плохая.

Сайты школ


В Москве почти все школьные сайты хостятся на одной платформе. Это очень удобно. Список школ со ссылками есть на obr.msk.ru. На сайтах школ есть много полезного:

  1. Списки корпусов. У школы есть юридический адрес и обычно его наносят на карту. Но это не совсем корректно. У 80% московских школ больше одного корпуса. Да, в 80% случаев эти корпуса находятся рядом (меньше 1.5 км), но бывает и так:
    7cb2c657d8214f8f9fe7aa3f2b740c11
  2. В каких корпусах кто учится. 95% школ учат с 1 по 11 класс. Почти у всех есть ещё детские сады. Но часто начальным классам и, конечно, садикам выделяют отдельные здания. Поэтому может оказаться, что школа близко от дома, а нужный корпус далеко.
  3. Публичный доклад. На каждом сайте есть специальный раздел, куда директор каждый год выкладывает отчёт о работе школы. В половине случаев это актуальный содержательный документ, где в произвольной форме описывается всё: результаты проверок и мониторингов, успехи на олимпиадах, отчёты о поездах и праздниках. Кстати, это единственный открытый источник баллов по ЕГЭ по отдельным предметам.
    f54daf93a75147c1a0906b0fab4057e3.png
  4. Фотки. 95% школ выкладывают на сайт фотографии с разных мероприятий и праздников. Иногда с их помощью можно получить представление о школьной инфраструктуре.
    2a6cbde6279d4c7daca901d1a89e0f34
  5. Профили учителей. Больше 75% школ выкладывают на сайты списки учителей. Для каждого указана квалификация, стаж, образование и награды.
    6d88027cd4d34d45ba08e3ba199afd6f


data.mskobr.ru


Пару месяц назад разработчики платформы, на которой работают все школьные сайты, запустили справочник data.mskobr.ru. На первый взгляд ничего особенного, но если присмотреться можно найти вещи, которых нигде больше нет:

  1. Мобильные телефоны и личные емейлы сотрудников администрации. Директора не очень довольны, наверное, скоро данные уберут.
  2. Число учеников и учителей. Можно измерять число учеников на одного учителя. Если оно больше 12–15, это странно.
    ac015ac4bb12490ab7d774e601890494
  3. Сколько пришло в первый класс, сколько из них учились в садике при школе. Если, например, 80% первоклашек приходит из садика при школе, значит хорошо бы заранее записаться именно в этот садик.
  4. Средние зарплаты учителей и администрации. Если зарплата больше 75 000р., значит нагрузка на учителей выше среднего или школа хорошо зарабатывает на дополнительных услугах.
    fb32391522304554a24d0e324c71899e


data.mos.ru


В начале 2016 года на Портале открытых данных Правительства Москвы появилось три датасета: результаты ГИА, результаты ЕГЭ и победители олимпиад.ЕГЭ
Вообще результаты ЕГЭ для отдельных школ публикуются очень редко. Обычно это большой секрет. По Москве данные представлены в супер-агрегированном виде, для каждой школы известно только три числа: «сколько одиннадцатиклассников сдавало ЕГЭ», «сколько набрали >150 баллов по результатам трёх экзаменов», «сколько набрали >220 баллов». Сначала кажется, что данных слишком мало и ничего не выйдет, но это не так. С помощью серии вычитаний и сложений для каждой школы получаем три числа: «сколько одиннадцатиклассников набрали 220». На эти три точки натягивает бета-распределение и рисуем графики. Получается достаточно информативно:
91d850ab32674eb8b70fe5d0a81f71e5
d8b0db95f6284dbeb9a3564fbf579e49

Нужно понимать две вещи:

  1. ЕГЭ — это очень высокоуровневый показатель, но если результаты значительно хуже средних, наверное, лучше в такую школу не идти.
  2. Нельзя просто так вычесть из всех сдававших тех, кто набрал >150 баллов и получить число тех, кто набрал <150. Некоторые одиннадцатиклассники сдают два экзамена. Иногда к школе приписывают пересдающих, их тоже надо исключать. К сожалению, таких данных нет и приходится немного корректировать результаты по запросу администраций школ.

Олимпиады
Табличка по олимпиадам на Портале открытых данных странная. Например, у Второй школы куча призёров и победителей по математике в старших классах, на портале указано всего 6 человек. Но есть прекрасный сайт — Единая Система Регистрации на олимпиады школьников. Особенно мне нравится их капча:
66b4373927014c9fbd73a2d56def198c

Там можно найти пофамильные списки победителей и призёров с указанием этапов олимпиад:
906937d677dd4e6cad8f7e593a495380

Финансы


Ещё один прекрасный сайт — bus.gov.ru. Для 90% школ там можно найти актуальную бухгалтерскую отчётность. Небольшой хак: не надо пытаться искать школу по названию, это бесполезно:
661acc15991a41349196e771d2ccb044

Сразу вбивайте ИНН, его можно найти на data.mskobr.ru:
c6de5607e82d464bb3d2a992d16fa3dd

Затем делаем несколько неочевидных кликов:
1ef1ec387de54bbbad579b02cb0eaac5.gif

И вуаля, можно посмотреть, какую долю доходов школа получает «от оказания платных услуг (работ)», сколько тратит в расчёта на одного ученика. Иногда можно даже посмотреть зарплату директора:
badb5dc6a2be4cd096bea6bdd3b04cba

ВКонтактик


Чтобы собрать профили московских школьников и выпускников, можно воспользоваться поиском. Проблема в том, что АПИ позволяет получить только первые 1000 результатов, а нужных профилей примерно 1000 000. Поэтому нужно сделать не один запрос, а много: «лицей 1535 мальчики 15 лет», «лицей 1535 девочки 15 лет», «лицей 1535 мальчики 16 лет» и так далее.

Удобно, что прямо в результатах поиска пишется вуз пользователя. Таким образом можно прикинуть, куда поступаю ученики школы. Для этого даже не нужно прокачивать профили. Правда, нужно быть аккуратным с МГУ и некоторыми другими вузами на букву «А». 90% пользователей ВК указывают именно их. Иногда уже в 5 классе.
42a8fe1b455f4590b8ccb4d9218fea3e

Также очень удобно собирать отзывы о школах. Создаёшь голосование, id всех проголосовавших известны, кто в какой школе учится известно:
7f8cd1e318b24e349af2ae7fa42c9b1e

Потом можно выводить статистику по школам:
b1fe9845c2184ff382b1b985deb64c67

Самые основные показатели из упомянутых источников собраны на obr.msk.ru. Если вдруг кому-то надо, код открыт github.com/alexanderkuk/moscow-school2.

© Habrahabr.ru