Московская картовстреча

19 апреля, 18:30

Наконец, запускаем регулярные московские картовстречи. После изучения ITO Map про этажность зданий выбрал район вокруг Таганской площади (снова!), от Яузы до Крестьянской Заставы. Там миллионы POI, которые не так важны и местами обозначены, и отсутствующие дворовые проезды и тропинки, если не смотреть на единственный образцово замапленный квартал. Наша цель — чтобы район хорошо выглядел, и чтобы путешественники не упирались неожиданно в забор. В Москве слишком много заборов, здесь их важно рисовать.

В субботу, 25 апреля, жду в 11 утра в «Шоколаднице» у ст. Марксистская. Пирог и подробности, как обычно, в вики. Кроме того, после прогулки и обеда желающие смогут в компании осмеров внести собранные данные на карту. Стол, интернет и чай мы захватим в офисе Mail.Ru на ст. Аэропорт, для проникновения в здание запишитесь.

2010—2015

9 апреля, 13:05

Вчера Народным картам Яндекса исполнилось пять лет. В честь праздника сотрудники компании радикально поменяли интерфейс и удалили большую часть правок пользователей.

Бета-версию нового интерфейса карт Яндекс показал осенью 2013 года. Она непривычная, но современная и неожиданно простая в изучении. Всё как у других: вместо боковой панели — россыпь кнопок и полей по периметру карты во весь экран. Вчера бета-версия стала основной. Николай «petrovnn» обратил внимание на аналогичную смену дизайна НЯК, а Евгений «Hind» положительно сравнил скорость его работы с iD. Отличный подарок, ура. Но почему в блоге яндекса пишут «сама Народная карта превращается в редактор Яндекс.Карт», и почему пользователи воют? Дело в новой модели данных и в глобальном импорте.

Новая модель данных выглядит серьёзно. Во-первых, в ней ничего лишнего: никаких дополнительных полей, вроде звёзд для гостиниц, минимум типов. И интерфейс не предусматривает излишеств. Интересно решена проблема множественных адресов: теперь только адресные точки. Во-вторых, фокус сместился на геометрию. Тут получилось очень круто, и тем способом, который я постоянно советую сделать для OSM: всё в отношениях. То есть, редактор Яндекса с аудиторией в десятки миллионов делает то, чего боятся все до единого наши редакторы: удобная правка отношений на всём. Все полигоны — мультиполигоны, и все линии — мультилинии. Например, улицы. Виртуальные характеристики, вроде названий, на отношении, кусочки с покрытиями и статусами — на геометрии. Про редактирование мультиполигонов отлично написал Павел Гущин. Это гениально, и было реально сделать в осме сто лет назад, но мы же гики и боимся отношений.

Редактором, кстати, невыносимое наслаждение пользоваться. Он быстр так, как не снилось никому в мапбоксе, все элементы достаточно крупные (кроме POI на карте, но это, наверное, починят), точки ставятся и двигаются, как будто в DOM кроме них ничего нет, анимированные панельки выпадают, сервисные кнопки, вроде отключения лишних слоёв, делают вид, что их нет, и всё внимание на редактировании карты. Конечно, новые источники данных, как треки, не появились, со смещениям снимков тот же бардак, но всё, что было в старом НЯКе, стало в тысячу раз удобнее и понятнее.

Новый редактор — больше не народные карты. Это редактор карт Яндекса. Как в гугле. На основных картах теперь рисуются именно эти данные. Модерация, понятно, стала жёстче: никакого автоподтверждения за три дня, проверяют каждую правку. То есть, как и в гугле, это теперь не редактор, а продвинутая система сообщения о неточностях — с той разницей, что там наёмные индусы, а в Яндексе — накопленная за пять лет армия преданных модераторов, умеющая разобраться даже в сложных правках. Проникновение полное: и прокладка маршрута (есть редактор запретов поворотов), и даже пробки. То есть, задача, к которой в осме все боятся подступиться — пробки по ежедневно редактируемому графу — здесь решена так, что никто даже не успел удивиться.

Так вот, старый НЯК. Иван «luiswoo» на форуме правильно замечает, что это нужно было сделать с самого начала. Но за пять лет проект накопил адовое количество данных: там 380 тысяч пользователей, это как в OSM во всём мире. Конечно, без офлайна объектов они ввели поменьше, но это ж НЯК. Помните, как у нас фигачат странные люди, которые при вопросе об источниках бесятся и хлопают дверью? Так вот, у Яндекса все такие увлечённые. Только несовершенство редактора не позволяет им покрыть планету данными ровным слоем. И вот, новый НЯК — это совсем другой проект с другой базой данных. В него сливаются данные как из народной, так и из основной карты, и приоритет, конечно, у последней. В новой базе нет привязки объектов к фотографиям и нет ни одного комментария к старым объектам. Дополнительных атрибутов и описаний тоже нет. Но основное-то сохранилось?

Короткое изучение пары районов обнаружило, что зачастую — например, в Москве — данные НЯК просто не попали. Все пешеходные дорожки в парках — ёк. Кропотливо прорисованные контуры домов пропали. Плавные линии дорог на перекрёстках теперь под 90°. Аккуратные острова в речках смялись и съехали. Если включить слой старых карт в редакторе и сравнить, руки опускаются. Именно поэтому пользователи в комментариях блога хватаются за голову и уходят из проекта навсегда. Задача слияния данных непроста, и сотрудники Яндекса взялись за неё так же, как за всё остальное: втихаря. Никто не знал, например, что правки с января 2015 года имеют реальный шанс не попасть на новую карту. Никто не смог обвести и выслать компании свои регионы, где поправлены адреса и проходимость дорог. В ближайшие пару месяцев всё общение в клубе будет состоять из «вон тут ещё забыли импортировать». А потом будет поздно: «сервис [старых народных карт] будет доступен минимум несколько месяцев, а дальше будем смотреть по обстоятельствам».

Новые карты Яндекса очень затруднят привлечение новых участников к редактированию OpenStreetMap. Если бы не известный пункт в их соглашении, про использование данных только через API Яндекса, объяснить целесообразность участия в нашем проекте было бы невозможно. Да и сейчас — ну кому какая разница, чьими становятся данные, если яндексом пользуются все, а осмом — только три хромых программиста и доктор Айболит? От глобального доминирования народные карты отделяют только перевод интерфейса на все языки (а инфраструктура для мультиязычных названий уже есть) и отсутствие мобильного редактора. Когда это будет — проект победит карты гугля и станет головной болью уже всего осмерского сообщества, а не только русскоязычной его части. При нынешней модели управления OSM мы не можем ни улучшить модель данных, ни сделать качественный редактор. Единственное, в чём мы великолепны, — это сообщество. Яндекс раз за разом проваливает работу с сообществом, по-русски считая, что уйдут эти — придут другие. К сожалению, этот подход работает. Но как иногда хочется, чтобы OpenStreetMap показал своё превосходство не потенциально через пятьдесят лет, а прямо сейчас.

См. также: запись OSM радио с сотрудниками и участником НЯК

Насорили и ушли

6 марта, 11:46

Jochen Topf снова обновил Taginfo. На странице каждого ключа появилась вкладка «Similar» («Похожие») со списком ключей, которые похожи на выбранный, но с опечатками, префиксами и суффиксами. Оттуда можно узнать, например, о 153 ключах _amenity_, 14 тысячах buildingpart, 1155 nature. Новый отчёт сопоставляет самые популярные ключи с самыми редкими вариантами их написания.

Также автор сделал временные графики с зависимостями количества ключей, тегов (пар ключ=значение) и типов отношений от времени. Первый и последний графики понятны: чем дальше, тем шире воображение у мапперов, — а во втором, где счёт на десятки миллионов, неожиданные скачки. Так, в декабре пропали несколько миллионов тегов, а в апреле-мае скорость добавления новых тегов была раза в три выше обычной, увеличив их количество на десять миллионов.

Jochen призывает не закрывать отчёты, а пойти и поправить опечатки в тегах. В Taginfo это просто: на странице ключей есть кнопки JOSM и Level0, в которых легко переименовать ключ на всех объектах, загрузить правку в базу и перейти к следующей строке отчёта.

josm-tested XVI

2 марта, 23:37

Сегодня выпустили очередную «стабильную» версию JOSM. Собирались ещё неделю назад, но не давал один баг, связанный с новыми сертификатами SSL сайта openstreetmap.org. Их выпустил удостоверяющий центр StartSSL, чей сертификат хотя и есть во всех современных браузерах, почему-то отсутствует в списке внутри библиотек Java. Хотели дождаться адекватного исправления, но в итоге вернули обратно старый сертификат.

Главным улучшением этого релиза стало подключение плагинов без перезапуска. Эта необходимость долго мешала жить; в мае 2013 года редактор научился сам себя перезапускать, но новичков всё равно озадачивает этот шаг. Теперь плагины, отмеченные галочкой в списке, устанавливаются и подключаются сразу. Их пока немного: для включения такого режима плагин нужно немного модифицировать и проверить. Пинайте авторов.

Из других изменений за этот год:

  • точки place=* раскрасили в разные цвета;
  • включили новый кэш TMS, более умно распределяющий файлы по временным каталогам;
  • вместо плагина notes теперь галочка в окне скачивания данных;
  • панель быстрого поиска по меню справа вверху;
  • синхронизировали пресеты и картостиль: если что-то видно, то это можно добавить из пресетов;
  • в частности, убрали значок для неизвестных значений тега barrier.

Наконец, спустя четыре года боли, сервис перевода редактора больше не тормозит и не выкидывает ошибки таймаута. Позвал бы переводчиков, но с русским языком в JOSM всё хорошо.

Не в этом году

18 февраля, 13:08

14 февраля Совет OSMF единогласно подтвердил: конференция State of the Map 2015 отменена, в ближайшее время начнут сбор заявок на следующий год. Место проведения конференции хотели объявить ещё в Буэнос-Айресе, но чехарда с выборами и спешка с заявками вынудили откладывать и откладывать решение.

Из трёх заявок Нью-Йорк выпал почти сразу: его перехватили американцы для местного SotM US. Торонто решили не рассматривать из-за близости к Нью-Йорку (примерно как Петербург — Москва), на что канадцы ответили горькими извинениями местному сообществу, потенциальным спонсорам и площадке. Оставалась Венеция — но, как сообщил Хэнк, итальянцы неделями тянули с ответами, не успели найти спонсоров и долго согласовывали площадку. Одно время в качестве запасного варианта рассматривали Париж, но не нашли отклика.

Конференцию SotM EU в Карлсруэ многие посчитали лучшей из проведённых, по организации и качеству докладов. Очень вероятно, что отсутствие центрального SotM в этом году подвигнет многие локальные сообщества — из Азии, Южной Америки, Европы, Австралии, — на проведение местных встреч. Уже объявили даты HOT (в США) и Шотландия. Своя большая конференция будет и в России в конце года.

Тем временем, продолжаются ранняя регистрация и сбор заявок на доклады на конференцию State of the Map US. Её проведут 6-8 июня в здании Генеральной Ассамблеи ООН в Нью-Йорке. Доклады принимают до 22 марта, визы нужно готовить уже сейчас: американцы известны сложными процедурами их выдачи.

Право-лево, лево-право

18 февраля, 11:04

На openstreetmap.org добавили кнопку прокладки маршрута. Пул-реквест обсуждали почти год, и для следивших за ним (и новостями здесь) в функциональности ничего нового: кнопка со стрелочками, перетаскиваешь два маркера, выбираешь один из шести профилей (спасибо авторам OSRM, GraphHopper и MapQuest, предоставившим сервисы).

Это последний их трёх главных пул-реквестов прошлого года, но за время их обсуждения добавили ещё несколько интересных. Самый важный, видимо, — переработка вкладки истории на базе нового движка OWL. К сожалению, его даже не обсуждают: в последнем комментарии интересуются, зачем это всё, когда есть исторические диффы от Overpass API.

Московское время

13 февраля, 18:16

Долгое время я уравновешивал кучу московских мапперов непомерной активностью петербуржских. Собирал их не реже раза в месяц. Считал, во сколько обойдётся проезд до очередной конференции. На вопрос о работе отвечал, что картами занимаюсь только в свободное время. Теперь, спустя почти пять лет участия в OpenStreetMap, всё поменялось: с этого понедельника я работаю в maps.me, ныне входящем в Mail.Ru Group, и живу в Москве.

Это означает, что приложение maps.me заинтересует не только миллионы нуждающихся в офлайн-картах, но и тысячи осмеров. Что направлениям Mail.Ru Group, которым понадобится карта для игры или социалки, теперь достаточно одного внутреннего звонка. Что обсуждения открытых геоданных и инициатив, касающихся открытых карт, не пройдут мимо сообщества. Что на мысль от ГИС-Лаба «а не организовать ли» последуют положительный ответ и помощь. Что удастся протолкнуть OpenStreetMap на новых площадках, напомнить москвичам, что карты — это не только Яндекс.

И самое главное, московское сообщество OSM перестанет быть диванным. Я не просто перенесу сюда всю петербуржскую движуху, коей завидовали осмеры со всей России, но смогу задействовать в ней все ресурсы Mail.Ru. Как программист и специалист по OpenStreetMap, я буду работать над удвоением крутости maps.me, но как осмер с возможностью уделять проекту часть рабочего времени, я планирую сделать OpenStreetMap самым громким и одним из самых эффективных краудсорсинговых проектов в России. Начнём, как обычно, с картовстреч — готовьтесь к апрелю, москвичи.

Команда maps.me растёт, мы будем рады программистам на C++ и другим специалистам. Пишите, будем строить большие планы и писать маленькие фичи вместе. В этом блоге, радиопередачах и на других сайтах я продолжаю говорить как осмер, а не как сотрудник maps.me: ничего из сказанного не является официальной позицией компании, если не заявлено обратное.

Any keys you like

2 февраля, 17:12

Новичкам с первого дня объясняют: придумывайте любые теги, у нас свободная модель. Рисуйте — но лучше справляйтесь по Map Features, а новые теги обязательно задокументируйте. Вы можете обозначить дорогу как «дорога=главная», но чтобы её показывали на картах, придётся изучить значения «highway». Поэтому сначала ищите по вики и форуму, если не нашли — откройте словарь, придумайте варианты, как назвать новый тег, проверьте их по taginfo. Новые теги могут быть любыми, и их не обязательно согласовывать заранее.

Документирование важных тегов начинается с пропозала. Когда-то пропозалы делались для совместного обсуждения моделей тегирования: названий, дополнительных тегов, документации. Человек отметил несколько объектов — пусть это будут люки, к примеру, — изучил их свойства, составил список используемых тегов и подтегов, и хочет узнать мнения у специалистов по люкам и тех, кто мапил люки раньше. Результатами будут вики-страница и осведомлённость авторов картостилей и валидаторов о связанных тегах.

То ли участники стали менее уверенными, то ли викиманьяки всех застращали, но в последние месяцы рассылка tagging@ необычно выросла: одновременно обсуждаются десятки пропозалов. В прошлой радиопередаче мы два часа перечисляли только темы за январь. Оказывается, в головах мапперов всё поменялось: вместо «сделал — задокументировал» порядок обратный: «захотел обозначить — написал пропозал — пришёл в tagging@ — со всеми переругался — пропихнул пропозал через голосование — снова переругался — поставил тег на точку». Яркий пример — man_made=water_tap, автор которого ярко показал недостатки пропозалов, спровоцировал две длинные философские темы, и сколько объектов обозначено спустя две недели его тегом? Пять. Из них две — автором.

Но то новые теги, а если старые не нравятся? 3,5 года назад мы приняли эпохальный пропозал: entrance=*. Он включал в себя не только классификацию входов, но и требование автоматического перетегирования всех 150 тысяч точек с building=entrance. Противники долго удерживали волну, но сейчас последних около 63 тысяч (два дня назад было 67 — процесс ещё идёт). Тот пропозал отверз хляби разума: оказалось, можно менять устоявшиеся схемы с сотнями тысяч использований. Немногие прошли, но примеров достаточно: электроподстанции, трубопроводы, emergency=*, public_transport:version...

Иногда заменить пару тегов недостаточно. Никита «d1g», проведя полгода за наведением порядка в вики, понял: сама модель «ключ=значение» ущербна. В частности, потому что не позволяет использовать несколько значений одного ключа («;» не в счёт, её никто не поддерживает). Заменой он определил формат «ключ:значение=yes». Плюсы такого подхода расписаны на странице пропозала, минусы предъявили другие участники в рассылке tagging@ и русском форуме. Услышав претензии, Никита понял: без изменения API тут не обойтись, потому что наши проблемы решат только иерархические теги с массивами внутри.

OpenStreetMap только в начале своего развития. Почти все элементы его модели плохи, и каждый рано или поздно хочет тип данных для области, более логичную иерархию тегов, JSON API, лучшую документацию, модераторов и орган, куда жаловаться. Но вы знаете: «хочешь — сделай». Следующая версия API назревает, и самое время расчехлить компилятор C++ и написать желаемые функции. Ограничений нет — только ваше рабочее время и обратная совместимость с базой и нынешним API. В этом году мы увидим немало перемен, на которые будем бурчать: «раньше было лучше», — и наша задача в том, чтобы настоящее стало этим «раньше» как можно раньше. Никита, дерзай!

СитиГид 8

31 января, 13:52

СитиГид — не только самая популярная навигационная программа в Петербурге, но и единственная из [двух] предустанавливаемых на устройства, авторы которой публикуют конвертер карт. Кирилл «Zkir» с 2010 года поддерживает для неё ежедневные выгрузки карт OSM, при создании которых также считается статистика по регионам и другим обрабатываемым странам. Авторы приложения и конвертера отвечали на вопросы и чинили ошибки, поэтому карты OpenStreetMap отличались от проприетарных только отсутствием пробок. Впрочем, для Москвы и Петербурга когда-то были и карты OSM с пробками, но их подготовка оказалась слишком трудоёмкой.

В апреле прошлого года вышла восьмая версия СитиГида (также под именем GeoNET): сначала для Android, затем для iOS, WinPhone и Windows. Формат карт в очередной раз поменялся, но конвертера не было. Оказалось, авторы навигатора решили не отдавать контроль над картами и обрабатывать OSM своими силами. Получалось плохо. На форуме СитиГида самым популярным файлом стал дистрибутив версии 7.8, раздел про самодельные карты заглох, осмеры начали смотреть на другие навигаторы, в частности, «7 дорог».

«Новогодний подарок!» — объявил сотрудник МИТ на форуме 16 января, — «вот вам конвертер для СитиГид 8». Кирилл взялся за его изучение, и этой ночью порадовал: карты OpenStreetMap теперь так же ежедневно собираются для восьмой версии навигатора. Седьмая версия, последняя для владельцев ВАЗ и устройств на WinCE и Symbian, не заброшена: новый конвертер умеет делать карты и для неё. СитиГид снова стал лучшим проприетарным навигатором для осмеров, спасибо Кириллу.

Снова в школу

29 января, 13:49

5 декабря Александр Матрунич, договорившись с физиком Владимиром из псковской школы №13, провёл у десятиклассников урок про OpenStreetMap, а Николай Петров его записал (заметка на форуме, видеоролик, обсуждение на радио c 19:40). Теоретическая часть получилась несколько сумбурной, да и практическая осложнилась полузакрытым интернетом на компьютерах. В этот понедельник, 26 января, мы повторили опыт — на этот раз со мной в качестве учителя, и с девятым классом.

У меня это было первое посещение школы за 16 лет. Вроде, на стольких конференциях выступил, а волновался как в первый раз. Паника прогрессировала: в пятницу думал: «ну, в худшем случае поскучают», после бессонных вечеров за подготовкой плана и чтения отзывов других начинающих преподавателей ожидания снизились до «если не выбегу с первого урока в слезах — уже успех». Мне не преминули напомнить, что школа это окраинная, дети там — «сам понимаешь», а самых одарённых сманил технический лицей. Неудивительно, что из опытных осмеров я в России примерно первый, кто пошёл с проектом в школу: нас и на междусобойные конференции-то едва загонишь. И как на других выступлениях, с первыми словами перед классом всё поменялось.

Самое главное — план урока. Вбив эти два слова в гугль, я получил памятку, которая требует начать с формулирования цели. Зачем школьникам OpenStreetMap? Никому из участников проект, на самом деле, не нужен: важны знания и принципы. Картографические проекции, ориентирование в пространстве, открытые лицензии. Сразу стало понятно, что все наработки Александра и Николая придётся отложить, потому что детям неинтересны запреты, контроль урожая и геоинформационные системы. Нужно двигаться медленно, развлекая по пути. Поэтому первый урок — основы картографии, второй урок — OSM. Времени на редактирование, в итоге, не хватило, но я и не ожидал.

Черновой план урока с комментариями, материалы к нему.

Детям интересно всё (примерно как мне): можно читать хоть особенности адресации всю пару, главное — чтобы были повороты сюжета и какие-нибудь развлечения для всего класса по пути. Пока слушателям не скучно, они не болтают между собой, не кидаются бумажками и не шумят, как в кинокомедиях. Опросы и викторины — хорошо, делать что-то руками или ногами — отлично. Если суть нашего проекта в самостоятельном рисовании карты, а на компьютеры полагаться нельзя, то и не важно: раздаём листы и рисуем схему от руки. Что проиллюстрирует идею OpenStreetMap лучше, чем карта города, складывающаяся из отдельных кусочков? (У нас не сложилась, но разнообразие рисунков помогло иллюстрировать почти все последующие темы).

Ни на минуту нельзя забывать цели урока, она помогает решать проблемы по ходу урока: как ответить на глупую шутку из зала, когда остановить затянувшуюся игру, где разорвать урок на перемену, на какую тему перескочить, привлекая внимание заскучавших учеников. «Дать понятие о проекциях» — и не беда, что «Mercator Puzzle» пришлось пройти до конца (школьники удивили познаниями в географии). «Объяснить важность чтения договоров» — ищем примеры нарушений правил вконтакта, пока в комнате не зазвучит смущённый смех, попутно переносим на карты и находим краем глаза нарушение прямо на стене над пришедшей послушать учительницей информатики. Это нельзя спланировать, но если вы увлечены OSM, иногда вылезаете из редактора, общаетесь на форуме, читаете штосм, то примеры и истории приходят сами собой. А если ничего не сработает — запускайте редактор карты (если подготовить флэшку и прийти заранее, интернет не понадобится).

В школе много интересного: несколько компьютерных аудиторий, в которых занимаются с начальных классов, волшебные интерактивные доски, в которые нужно тыкать пальцем, закрытый доступ к вконтактику, ютубу и https в целом на учебных компьютерах (то есть, нельзя залогиниться в OSM). Иные школьники удивляют продвинутостью: например, раз контактик закрыт, один восьмиклассник сделал его «зеркало» на своём домене. То есть, отдельный сайт, пока только с участниками id1 и id2, всё работает, даже лента и музыка. Учителя постоянно придумывают внеклассные занятия: например, в этой (окраинной, напомню) школе занимаются с Arduino, запускают БПЛА и выезжают смотреть на звёзды. Очень много общались с руководством, и тут нужно быть осторожным, чтобы случайно не подписаться на четыре урока географии в неделю, например. Искушение после первых уроков велико. Если большинство школ в России такие же или не хуже, то у нас всё очень хорошо.

Неназванными, но важнейшими целями урока были выяснить, кому интересна тема, и спроектировать повторяемый урок, с которым смогут выступить другие участники OSM. Видно, что двух уроков хватает только на выступление, а по уму нужно хотя бы четыре. Тема оказалась интересна не только школьникам, но и преподавателям: если не «втюхивать», а думать, чему мы можем научить, оказывается, что даже обводя домик за окном, мы используем столько знаний и технологий, что хватит и на пару информатики, и на географию, и на рисование, и на геометрию, и на день выездной работы. OpenStreetMap — это, конечно, игра и несерьёзно, но именно поэтому проект идеален для погружения школьников в картографию и технологии: по разнообразию применений он поспорит с популярными нынче Arduino. Нажмёшь случайно кнопку «Правка», опомнишься — а уже оформляешь инфографику для информационного агентства или выбираешь между американскими вакансиями по Ruby on Rails.

Ctrl +  Ранее