Больше, больше!

21 мая, 19:26

Картовстречи — привычный способ быстро и совместно улучшить карту любого района города. Объявляем дату и место сбора, встречаемся небольшой компанией, день работы — и любо-дорого посмотреть. Но проходят годы, а район на карте не меняется. Картографы приехали и уехали, а после себя оставились только карту, и никого, кто мог бы поддерживать её актуальность. Мы не умеем учить.

Благодаря MAPS.ME, у нас появились возможности эту ситуацию изменить. Начнём 30 мая, на второй московской картовстрече. Она будет особенной: под баннер «школа картографии» мы собираем людей, интересующихся картами, своим городом, взаимодействием человека и среды. Не только опытных участников OpenStreetMap, но и тех, кто это слово только слышал. Это мероприятие на целый день в офисе Mail.Ru Group на Ленинградском: мы встретимся в 11 утра, поговорим про OpenStreetMap и научимся рисовать город на бумаге, затем пойдём гулять в небольших группах. После обеда вернёмся в офис и продолжим учиться — нанесём всё собранное на карту, чтобы спустя минуты после загрузки на сервер увидеть результат.

OSM — это не только наполнение общей базы, но и сто способов использования карты, и мы попробуем некоторые из них. Программисты узнают, как правильно использовать геоданные, дизайнеры научатся раскрашивать дороги, урбанисты — получать из базы нужную статистическую информацию. Придя с нулевым пониманием, как работает карта, участники «школы картографии» узнают, насколько OpenStreetMap крут и полезен.

И в этом им поможем мы: опытные участники OpenStreetMap. Мне нужна ваша помощь. Регистрируйтесь на странице встречи и приходите: не только чтобы улучшить карту пары кварталов в районе метро «Аэропорт» (хотя работы тут — непочатый край), но и помочь новичкам в понимании карты. Как и на прошлой встрече, собирать и вводить данные лучше в мини-группах по 2-3 человека. Так и веселее, и от распределения работы скорость растёт. Конечно, в силу аудитории, кусочки пирога будут меньше обычного. Наконец, вид с 23 этажа отличный, кто уже видел — кажется, довольны.

«Школа картографии» пройдёт в субботу, 30 мая. Для участия нужно записаться. Формально встречу организует MAPS.ME, поэтому, скорее всего, будут какие-то сувениры и/или еда. Офис мейла — на ст. м. «Аэропорт», в одной из двух высоких стеклянных башен у Ленинградского проспекта. Приходите, давайте умножим количество осмеров в этом городе.

Logjam

21 мая, 16:02

Вчера нашли новую уязвимость в протоколе TLS (который используется для https-ссылок) и окрестили её Logjam. Около 8% из миллиона популярнейших сайтов ей подвержены, но openstreetmap.org пропатчили ещё воскресным вечером, три дня назад.

И если у вас Java 6, на этой неделе ваш любимый редактор JOSM не мог общаться с OSM API, то есть, редактировать карту можно было только в iD или Mercaartor (который, как мы выяснили, жив). Потому что в Java своя реализация протокола TLS, и поскольку шестая версия не поддерживается уже два года, с пропатченными серверами она взаимодействовать не может.

Проблема, пожалуй, актуальна только для пользователей Mac OS X, которая поставляется с Java 6, и которые могли из-за этого сидеть на JOSM версии 7000, выпущенной в прошлом апреле. Решение очевидное: обновить Java до версии 8, потому что седьмая версия тоже устарела: 14 апреля вышло последнее публичное обновление для неё, дальше — только за денежки. В августе установщик Java 8 для Mac OS X починили, и проблем при обновлении быть не должно.

Открытые 2015

19 мая, 23:32

20-22 ноября мы снова проведём конференцию «Открытые ГИС» с обязательной отдельной секцией про OpenStreetMap. Это лучшая — точнее, единственная, — конференция на русском языке про открытые геоданные и ГИС. Подпишитесь на новости на временном сайте конференции: далеко не все будут транслироваться в этот блог.

Прошлая конференция была в 2012 году, и тогда мы заполнили докладами про OSM два дня: 28 выступлений, плюс 9 коротких. К сожалению, видеозаписей не сохранилось, только фотографии и слайды. На этот раз мы подойдём к организации серьёзнее: ничего не пропадёт, оформление будет лучше, залы — удобнее, мастер-классов и докладов — больше. Ваша же задача, как участников OpenStreetMap, — за оставшееся время сделать много крутых штук, чтобы было, о чём рассказать. Уже готовы выступить и хотите застолбить место? Пишите на info@gisconf.ru или мне.

А и Б

19 мая, 2:44

Недавно в рассылке talk@ спросили, зачем мы используем для тайлов адреса вида a.tile.osm.org, с тремя префиксами. Если бы они вели на разные серверы, это было бы логично, но они ведут на один. На деле это сделано не для снижения нагрузки, а для браузеров: когда-то у них стояло ограничение на количество одновременных соединений с сайтом (что-то около двух). Это ограничение, вероятно, уже снято, но традиция осталась. Richard Z. предположил, что добавление префиксов к адресам тайлов ломает кэширование, на что Грант Слейтер, наш главный администратор, ответил письмом, которое стоит перевести.

Нет. Альтернативное название сервера (a, b, c) выбирается так, чтобы для каждого тайла всё время подставлять один и тот же сервер (см. исходник Leaflet, в OpenLayers так же).

Давно пора рассказать, как работает наш тайловый CDN:

У нас 16 распределённых серверов оконечного кэширования по всему миру (список, карта, требования). За работоспособностью этих серверов почти в реальном времени следит Pingdom. Мы используем GeoDNS для доменов [a|b|c].tile.openstreetmap.org, который перенаправляет запрос на ближайший или предпочтительный для страны пользователя кэширующий сервер.

Как только Pingdom замечает падение одного из серверов, мы перестраиваем GeoDNS, и посетители пойдут на другой сервер, как только обновится их таблица DNS (в течение 5 минут). Кэширующие серверы прикрывают два сервера рендеринга (orm и yevaud), один из которых — главный. За ними мы тоже следим в Pingdom и когда нужно, перестраиваем GeoDNS.

На кэширующих серверах работает алгоритм равнодоступности (маркерная корзина), который не даст какому-то одному клиенту или подсети ухудшить качество сервиса для остальных.

Оба сервера рендеринга постоянно перегружены, особенно когда обновляется картостиль. Быстрым решением было бы добавить ещё один сервер для рендеринга, но более долговременным — перейти на модель, в которой тайлы (картинки png) производят оконечные кэширующие серверы, а базовые серверы готовят векторные тайлы, которые и рассылают кэширующим узлам. Такие технологии развивают несколько организаций, но полноценного работающего решения с открытым кодом пока нет. Некоторые из нас, операционной команды OSM и команды из викимедии, пристально следят за разработками.

Картостиль OpenStreetMap обновляется нерегулярно, примерно раз в месяц, и после каждого обновления два дня серверы рендеринга работают на пределе. В последней версии стиля целиком переделали отображение болот (теперь оно зависит от типа), добавили значки для памятников, судов, скамеек, урн, 11 видов магазинов, и подписи для деревьев, почты, банкоматов. Грядущая версия пока только легчает: с 6-го масштаба пропадут железные дороги.

Кострома

11 мая, 13:43

23-24 мая мы, участники русскоязычного сообщества OpenStreetMap, кому не лень отдать проекту выходные, едем в Кострому. Мы обойдём весь город (ну, основую его часть) и нарисуем карту, точности которой позавидуют некоторые центральные районы Москвы. И попутно попробуем привлечь и научить правке OSM местных картографов-любителей, чтобы карта жила.

Всероссийские картовстречи мы проводим с 2010 года, когда дружно поехали в Великие Луки. С тех пор мы побывали ещё в трёх городах, а затем — всё, окуклились. Появились новые снимки (Mapbox), Bing каждый квартал обновлялся, и казалось — снимков достаточно, а сообщество растёт, когда-нибудь местные всё сами нарисуют. И да, нарисуют, лет через 50. А мы нетерпеливы, поэтому снова начинаем ездить и запускать местное сообщество, делая приличную картооснову. В этом году мы едем дважды: весной — в Кострому, осенью — ещё куда-нибудь.

Чтобы нам помочь, идите и купите билет на поезд и забронируйте гостиницу или хостел на ночь. Вам понадобится только фотоаппарат: остальное раздадим и объясним. Костромичам вообще просто: придите к 10 в кафе (тоже см. вики) и знакомьтесь. Для такого красивого и привлекательного туристам города карта сейчас выглядит пустовато. Но это ненадолго.

Google Map Viewer

10 мая, 18:41

Сначала кто-то нарисовал кота. Затем переместил Эдварда Сноудена. Затем вырезает писающих роботов. О каждом таком эпизоде сообщают ведущие технические блоги, от Wired до The Verge. А зачем вандалить в OpenStreetMap, чтобы про тебя написали два человека в почтовой рассылке, когда те же действия в Google Map Maker радуют в миллион раз больше читателей? Не удивительно, что молодые художники побежали в GMM табуном.

Терпение гугла, наконец, иссякло: с 12 мая редактор закрывается. Модераторы не справляются с валом правок: их каждый час приходит больше, чем обрабатывается. Раньше было автоподтверждение, как у почивших народных карт Яндекса, но его отключили: вандализм робот распознавал недостаточно хорошо. И пока инженеры гугла не написали робота поумнее, администраторы во вторник отключат редактирование Google Map Maker во всех странах. Приглашаем пользователей провести это отключение в... э... пожалуй, лучше идите в народные карты, спасибо.

Первые среди приложений

7 мая, 21:23

Зимой, когда команда MAPS.ME влилась в Mail.Ru Group, руководители много говорили про полезность OpenStreetMap и как важно помогать проекту. Правда, не конкретизируя, как именно. Способов много — например, деньгами. Вчера блог OSMF среди новых корпоративных членов упомянул MAPS.ME, второй из российских компаний поддержавшую проект. Попасть в этот список оказалось непросто, но мы были решительны и потревожили немало бюрократов с обеих сторон.

У Фонда OSMF всегда тяжело с деньгами, а в этом году особенно: около половины средств приносят конференции State of the Map. Иногда они объявляют марафон по сбору средств, но и на такие акции рассчитывать нельзя. Проекту нужен постоянный, предсказуемый источник дохода. На сегодня он один: члены OSMF. Участие стоит £15 в год с человека и позволяет участвовать в политической жизни проекта (и носить почётное звание члена). К сожалению, мало кто знает, преодолевает лень или может себе позволить участие, поэтому количество членов растёт всего на 1-2 человека в неделю. В январе было 600 — это в 600 раз меньше количества редакторов OSM.

При этом членство в OSMF — единственный способ долгосрочно помогать проекту. Пожертвования не заменяют, а дополняют его. OpenStreetMap постоянно растёт, серверы ломаются и устаревают, пользователи требуют больше тайлов и данных. Проекту нужна ваша помощь, пусть даже в OSMF не говорят об этом напрямую. Поддержите OpenStreetMap, став членом OSMF, а ещё лучше — убедите руководство компании сделать то же самое от её имени.

Студенческое лето

7 мая, 20:44

На прошлой неделе Google объявил распределение студентов по проектам в Google Summer of Code 2015. OpenStreetMap получил аж восемь человек из разных государств, включая Россию. Всё лето мы будем наблюдать, как они пытаются решить наши проблемы, делают велосипед из болтов и верёвок, отваливаются один за другим, и в итоге выдают гору исходников, о которой мы забудем к октябрю.

  • Mateusz Konieczny изучит CartoCSS и PostGIS и полностью переделает отображение дорог в нашем основном картостиле. Возможно, к осени мы начнём различать лесные транки. Руководитель — Пол Норман, который два года назад сам участвовал в GSoC с проектом прокси-сервера для API.
  • Shrey Bagroy поможет группе DWG, добавив в сайт очередь на модерацию и способы связаться с модераторами для обычных участников. Это не про карту, но про сервисы на osm.org: блоги, комментарии к ним и к ченджсетам. Руководит Serge Wroclawski, член DWG.
  • Secretmapper (имени не раскрыл) сделает образовательный портал по Overpass API, где будут документация, многочисленные учебники, примеры и задачи. Руководитель — Martin Raifer, автор Overpass Turbo.
  • Jorge López создаст грааль пользователей JOSM и Mapillary — плагин, объединяющий эти проекты. Все надеются, что хотя бы этот проект будет завершён, а то нынешние решения топорны, да и интеграция в iD так себе. Присматривает за ним маппер Polyglot, энтузиаст Mapillary, тоже страдающий от отсутствия плагина.
  • Вадим Варнавский добавит в JOSM растровые эффекты над слоями. Яркость, контрастность, повышение резкости, выделение краёв, и прочее. Ментор — Дмитрий Киселёв, активный участник, автор геокодера Gazetteer.
  • Michael Zangl, похоже, сделает новый движок рендеринга данных в JOSM на основе OpenGL. Будем надеяться, цель — ускорение, а не 3D. Руководит Paul Hartmann, один из разработчиков JOSM, известный нам как bastiK.
  • Sebastian Vetter будет работать над пользовательским интерфейсом приложения OSM2World. Сейчас интерфейса нет, только рендеринг. Ментор — Peter Barth, активист трёхмерности в OSM, недавно баллотировавшийся в Совет OSMF.
  • Sukant Garg перепишет веб-карту OSM2World на движке WebGL под руководством второго разработчика этого проекта, Tobias Knerr.

Гуманитарной команде не дали мест на GSoC, и никто не выбрал её проекты в рамках OSM, но есть и другие программы. Например, Outreachy, в которой гранты за работу над открытыми проектами дают женщинам и прочим слабо представленным в IT группам. Вот что они будут делать для HOT:

  • Anwar Abdul-Azim обновит и улучшит содержимое и оформление портала LearnOSM. Который недавно Andygol из Mapbox перевёл на русский, но значительно хуже, чем в nalodoni.
  • Tassia Camoes Araujo разработает плагин для QGIS для подключения слоя OpenAerialMap. Не очень понятно, почему нельзя взять QuickMapServices, но допустим, что там всё сложно.
  • Rekth K проведёт юзабилити-тестирование менеджера задач HOT. Основной разработчик проекта недавно рассказал про прошлое и будущее менеджера.
  • Arushi Vashist поработает над документацией и оформлением интерфеса для HOT Export Tool. Команда использует этот проект для оперативных выгрузок, но, видимо, научились не все.

Если вы хотите поработать над открытыми геоинформационными проектами, но пропустили все американские конкурсы, есть ещё стажировка в NextGIS. Максим Дубинин придумает вам много интересных и полезных задач.

Московская картовстреча

19 апреля, 18:30

Наконец, запускаем регулярные московские картовстречи. После изучения ITO Map про этажность зданий выбрал район вокруг Таганской площади (снова!), от Яузы до Крестьянской Заставы. Там миллионы POI, которые не так важны и местами обозначены, и отсутствующие дворовые проезды и тропинки, если не смотреть на единственный образцово замапленный квартал. Наша цель — чтобы район хорошо выглядел, и чтобы путешественники не упирались неожиданно в забор. В Москве слишком много заборов, здесь их важно рисовать.

В субботу, 25 апреля, жду в 11 утра в «Шоколаднице» у ст. Марксистская. Пирог и подробности, как обычно, в вики. Кроме того, после прогулки и обеда желающие смогут в компании осмеров внести собранные данные на карту. Стол, интернет и чай мы захватим в офисе Mail.Ru на ст. Аэропорт, для проникновения в здание запишитесь.

2010—2015

9 апреля, 13:05

Вчера Народным картам Яндекса исполнилось пять лет. В честь праздника сотрудники компании радикально поменяли интерфейс и удалили большую часть правок пользователей.

Бета-версию нового интерфейса карт Яндекс показал осенью 2013 года. Она непривычная, но современная и неожиданно простая в изучении. Всё как у других: вместо боковой панели — россыпь кнопок и полей по периметру карты во весь экран. Вчера бета-версия стала основной. Николай «petrovnn» обратил внимание на аналогичную смену дизайна НЯК, а Евгений «Hind» положительно сравнил скорость его работы с iD. Отличный подарок, ура. Но почему в блоге яндекса пишут «сама Народная карта превращается в редактор Яндекс.Карт», и почему пользователи воют? Дело в новой модели данных и в глобальном импорте.

Новая модель данных выглядит серьёзно. Во-первых, в ней ничего лишнего: никаких дополнительных полей, вроде звёзд для гостиниц, минимум типов. И интерфейс не предусматривает излишеств. Интересно решена проблема множественных адресов: теперь только адресные точки. Во-вторых, фокус сместился на геометрию. Тут получилось очень круто, и тем способом, который я постоянно советую сделать для OSM: всё в отношениях. То есть, редактор Яндекса с аудиторией в десятки миллионов делает то, чего боятся все до единого наши редакторы: удобная правка отношений на всём. Все полигоны — мультиполигоны, и все линии — мультилинии. Например, улицы. Виртуальные характеристики, вроде названий, на отношении, кусочки с покрытиями и статусами — на геометрии. Про редактирование мультиполигонов отлично написал Павел Гущин. Это гениально, и было реально сделать в осме сто лет назад, но мы же гики и боимся отношений.

Редактором, кстати, невыносимое наслаждение пользоваться. Он быстр так, как не снилось никому в мапбоксе, все элементы достаточно крупные (кроме POI на карте, но это, наверное, починят), точки ставятся и двигаются, как будто в DOM кроме них ничего нет, анимированные панельки выпадают, сервисные кнопки, вроде отключения лишних слоёв, делают вид, что их нет, и всё внимание на редактировании карты. Конечно, новые источники данных, как треки, не появились, со смещениям снимков тот же бардак, но всё, что было в старом НЯКе, стало в тысячу раз удобнее и понятнее.

Новый редактор — больше не народные карты. Это редактор карт Яндекса. Как в гугле. На основных картах теперь рисуются именно эти данные. Модерация, понятно, стала жёстче: никакого автоподтверждения за три дня, проверяют каждую правку. То есть, как и в гугле, это теперь не редактор, а продвинутая система сообщения о неточностях — с той разницей, что там наёмные индусы, а в Яндексе — накопленная за пять лет армия преданных модераторов, умеющая разобраться даже в сложных правках. Проникновение полное: и прокладка маршрута (есть редактор запретов поворотов), и даже пробки. То есть, задача, к которой в осме все боятся подступиться — пробки по ежедневно редактируемому графу — здесь решена так, что никто даже не успел удивиться.

Так вот, старый НЯК. Иван «luiswoo» на форуме правильно замечает, что это нужно было сделать с самого начала. Но за пять лет проект накопил адовое количество данных: там 380 тысяч пользователей, это как в OSM во всём мире. Конечно, без офлайна объектов они ввели поменьше, но это ж НЯК. Помните, как у нас фигачат странные люди, которые при вопросе об источниках бесятся и хлопают дверью? Так вот, у Яндекса все такие увлечённые. Только несовершенство редактора не позволяет им покрыть планету данными ровным слоем. И вот, новый НЯК — это совсем другой проект с другой базой данных. В него сливаются данные как из народной, так и из основной карты, и приоритет, конечно, у последней. В новой базе нет привязки объектов к фотографиям и нет ни одного комментария к старым объектам. Дополнительных атрибутов и описаний тоже нет. Но основное-то сохранилось?

Короткое изучение пары районов обнаружило, что зачастую — например, в Москве — данные НЯК просто не попали. Все пешеходные дорожки в парках — ёк. Кропотливо прорисованные контуры домов пропали. Плавные линии дорог на перекрёстках теперь под 90°. Аккуратные острова в речках смялись и съехали. Если включить слой старых карт в редакторе и сравнить, руки опускаются. Именно поэтому пользователи в комментариях блога хватаются за голову и уходят из проекта навсегда. Задача слияния данных непроста, и сотрудники Яндекса взялись за неё так же, как за всё остальное: втихаря. Никто не знал, например, что правки с января 2015 года имеют реальный шанс не попасть на новую карту. Никто не смог обвести и выслать компании свои регионы, где поправлены адреса и проходимость дорог. В ближайшие пару месяцев всё общение в клубе будет состоять из «вон тут ещё забыли импортировать». А потом будет поздно: «сервис [старых народных карт] будет доступен минимум несколько месяцев, а дальше будем смотреть по обстоятельствам».

Новые карты Яндекса очень затруднят привлечение новых участников к редактированию OpenStreetMap. Если бы не известный пункт в их соглашении, про использование данных только через API Яндекса, объяснить целесообразность участия в нашем проекте было бы невозможно. Да и сейчас — ну кому какая разница, чьими становятся данные, если яндексом пользуются все, а осмом — только три хромых программиста и доктор Айболит? От глобального доминирования народные карты отделяют только перевод интерфейса на все языки (а инфраструктура для мультиязычных названий уже есть) и отсутствие мобильного редактора. Когда это будет — проект победит карты гугля и станет головной болью уже всего осмерского сообщества, а не только русскоязычной его части. При нынешней модели управления OSM мы не можем ни улучшить модель данных, ни сделать качественный редактор. Единственное, в чём мы великолепны, — это сообщество. Яндекс раз за разом проваливает работу с сообществом, по-русски считая, что уйдут эти — придут другие. К сожалению, этот подход работает. Но как иногда хочется, чтобы OpenStreetMap показал своё превосходство не потенциально через пятьдесят лет, а прямо сейчас.

См. также: запись OSM радио с сотрудниками и участником НЯК

Ctrl +  Ранее