Ctrl + ↑ Позднее

Почтовый дизайн

Вчера в код сайта приняли правку Hervé Saint-Amand, в которой он превращает почтовые уведомления OpenStreetMap из технического текста в приятно и понятно оформленные письма. Теперь сразу видно, откуда пришло письмо: название проекта упоминается не только в теме, но и крупно, вместе с логотипом в заголовке. Текст сообщения же не спрятан среди технической информации и знаков «=», а выделен цветом и шрифтом.

Новый формат писем требует от почтовых клиентов поддержки HTML. Увы, не все его отображают правильно: например, в Outlook съехало слово «OpenStreetMap». Автор просит проверить вид писем в разных приложениях и поместить отзыв и скриншоты в вики-таблицу. Сейчас там не хватает The Bat и веб-клиентов Яндекса и Mail.ru.

2017   osm.org

josm-tested XX

Только что вышла очередная стабильная версия JOSM, в которой закрыли дыру с несанкционированными запросами в интернет. Чуть ранее опубликовали другую стабильную версию с кучей изменений за месяц. Самое интересное в ней — отображение загруженных треков в виде тепловой карты (как на картинке). Теперь не нужно подключать ненадёжный тайловый слой, чтобы проследить оси дорог, и можно пользоваться своим огромным архивом треков. Чтобы переключить отображение, нажмите правую кнопку на слое треков, там «настроить отрисовку».

С августа в редакторе сделали ещё несколько полезных штук:

  • Пункт меню «Файл → Скачать в текущей просматриваемой области» без вопросов скачивает данные в рамках окна.
  • Наконец-то полигоны сохраняются в GeoJSON не как LineString, а в Polygon. Эта особенность сломала немало мозгов. Также мультиполигоны превращаются в MultiPolygon и убрали безумие с проекциями в атрибуте crs, теперь только WGS-84.
  • В запросах к Overpass API можно использовать ключи {{bbox}} и {{geocodeArea:...}}, как в Overpass Turbo. Без bbox скачивание данных с Overpass может вернуть ошибку «an empty query is not allowed». Напомню, для скачивания всех объектов в прямоугольнике вводите (node({{bbox}});<;>);out meta;
  • Ползунок прозрачности слоя и других эффектов можно крутить колесом мышки.
  • Если скопировать в буфер обмена ссылку на объект на osm.org и в окне JOSM нажать Ctrl+V, объект скачается с сервера. Это работает и для других видов ссылок: например, на треки.
  • Иногда на узлах линий стоят теги direction или incline, зависящие от направления линии (чаще всего на highway=stop / give_way). Теперь JOSM отслеживает их в момент разворота линии и предлагает поменять значения на противоположные.
  • Встроили базу границ стран, теперь правила валидации и картостили можно привязывать к стране. Например, запрещать «ss» в названиях в Германии.
  • Настройки, кэш и модули теперь не в одном каталоге, а как регламентирует операционная система: в cache, config и т. п.

Помните, что слово «стабильный» в таких новостях нельзя использовать без кавычек, пользуйтесь свежими ночными сборками JOSM, читайте список интересных изменений на JOSM.ru и качайте оттуда редактор.

2017   josm   overpass

Десяти тысяч хватит всем

Вчера вечером Том Хьюз сдался: «Судя по всему, меня не оставят в покое, пока я не замёржу этот запрос, так что держите». Давний пул-реквест в OSM API, изменяющий одно число, наконец-то принят. Пятнадцать человек, включая нескольких участников DWG, не раз просили об этом, и никаких технических или моральных преград не было. Этой ночью пул-реквесту исполнилось полгода.

Когда обновят основной сервер, ограничение на размер пакета правок станет 10 тысяч объектов, а не 50 тысяч, как раньше. Для вас это ничего не изменит: JOSM умеет разбивать правки по пакетам и читает ограничение из вывода api/capabilities, а в других редакторах такие большие правки нормальные люди не делают. Пострадают скрипты для импортов: именно они ответственны за многие большие ченджсеты в нашей базе.

Лимит снизили для удобства анализа и откатывания, конечно. Подобных проблем с откатом огромных пакетов из нетегированных точек должно стать меньше. Откаты — сложные правки, требующие проверки зависимостей. Они загружаются на сервер медленнее, требуют больше ресурсов для валидации. Вялотекущее переписывание API на C++ в проекте cgimap отчасти решит эту проблему, но прямо сейчас проще запретить слишком большие правки. Всё равно их меньше 0,08% за прошлый год, и 91% из них отправили из JOSM.

Приём пул-реквеста дал старт гонке редакторов: почти одновременно запросы на поддержку нового ограничения открыли в репозиториях iD, Merkaartor и Vespucci. Самый большой пакет правок из последнего содержал 1982 объекта, так что ему, как и другим мобильным редакторам (у MAPS.ME это 957 объектов), знать об ограничении ни к чему. Саймон так и пишет: «это, скорее, формальное упражнение».

2017   osm.org

Атака покемонов

В июле прошлого года Niantic сделали игру Pokémon Go, которая немедленно стала самой популярной в мире. Сто миллионов игроков искали покемонов в парках и у ручьёв. «Давайте придумаем, как отхватить хотя бы процент этой аудитории», — носились маркетологи вокруг maps.me. «Давайте придумаем, как этих игроков заманить в OpenStreetMap», — обсуждали в нашей рассылке talk@. Мапперы искали признаки OSM в картооснове Pokémon Go, но игра упорно отказывалась демонстрировать точность и детальность наших карт. Кажется, в ней использовали те же данные, что в старой Ingress той же компании.

Впрочем, недавно на сайте Reddit обнаружили, что в списке источников в приложении появилось слово OpenStreetMap: оттуда компания взяла данные для Южной Кореи. Выбор понятен, если вспомнить, что в ноябре власти Южной Кореи отказались предоставить Google картографические данные (гугль сейчас там показывает старые растровые данные 2012 года от SK telecom).

Благодаря заметке, долгожданная популярность пришла в OSM: Южная Корея вышла в рейтинге активности стран на второе место (после США или Германии) с 600 редакторами в день. Неплохая прибавка к обычным пятнадцати на страну. Новички наносят на карту десятки тысяч объектов, и их качество, по оценке Мартина Райфера, неплохое.

С окончанием лета многие ушли из игры, и сейчас в неё играют самые упёртые, «хардкорные» игроки. Проблема в том, что их немало: только в Южной Корее четыре миллиона человек открывают приложение каждый день. Такие игроки, скорее всего, собрали основных покемонов и ищут способы быстрее найти редких. Они отслеживали их по карте и высматривали паттерны. Всё изменилось 31 августа: на Reddit опубликовали презентацию, сопоставляющую места появления покемонов с данными OpenStreetMap. Другие игроки проверили эту теорию и подтвердили: многие объекты, которых нет на Google Maps, притягивали покемонов.

Теперь у игроков в Pokémon Go был способ вычислить места с повышенной вероятностью найти редких покемонов. В последующие месяцы они его уточняли: например, определили релевантные теги (тропинки highway=footway или path внутри парков leisure=park/playground, landuse=grass и т. п.) и проверили, что покемоны появляются вдоль линий тропинок. Сайты показывали покемонов поверх OpenStreetMap, а покемоноводы передавали друг другу тексты запросов в Overpass API для поиска интересных мест.

22 декабря автор ютуб-канала Trainer Tips проверил, появятся ли покемоны на дорожке в парке, которую он нарисует в прямом эфире. Видео снято отлично, к слову. Всё важное происходит примерно с третьей минуты. К сожалению для нас, когда он приехал в пресловутый парк, его ждали сразу пять покемонов. Игроки быстро сообразили, что делать. Осмеры начали ругаться, затем вспомнили, что у нас дружелюбное сообщество, и под Новый год написали приветствие новичкам. Неизвестно, прочитал ли его кто, но змейки из тропинок пропали.

Ненадолго: 24 января участник Reddit похвастался, что он нарисовал в своём городе два парка и две поляны, после чего там появились гнёзда покемонов. В комментариях другие удачливые игроки поделились историями успеха: один парк нарисовал, другой — школу, и все радовались новым гнёздам. На следующий день весть подхватил сайт молодёжных новостей Mic.com, и в редактор iD побежала толпа игроков: Паскаль заметил, что его сайт статистики впервые зарегистрировал шесть тысяч активных картографов за сутки. То есть, около двух тысяч покемоноводов.

С этого дня новости про вандалов в OpenStreetMap стали включать слово «покемоны». Тропинки странной формы начали появляться не только в Корее, но и в Штатах, Индии, Бразилии, Южной Африке. Везде. Даже в Москве и в Ханты-Мансийске. Помня о вежливости, некоторые осмеры приветствуют новичков, но вычищая сотни километров ложных highway=footway, сложно сохранять лицо. BushmanK просто поругался (почему-то на участника DWG), а Майкл Райхерт написал инструкцию по поиску и уничтожению покемоноданных и покемонокартографов (на немецком языке, автоперевод). В Германии, говорят, две трети новых пользователей рисуют чушь для Pokémon Go. Даже сайт Mic.com через два дня попросил не портить карту — тщетно.

«Как долго ждать обновления данных в приложении» — спрашивают на Reddit. По ответам выходит, что от рисования парка до появления в нём гнезда проходит от месяца до четырёх. В других темах и в волшебном видео выше сроки совсем фантастические: от недели до одного дня. Позавчера WoodWoseWulf с Reddit закончил анализ связи гнёзд и дорог в OSM. В конце он пишет:

Те, кто зарегистрирован в OSM, могут поддаться желанию увеличить вероятности в своём районе. Я приветствую качественные и обдуманные правки OSM, но до сих пор не видел увеличения количества гнёзд на тропинках, нарисованных после первого релиза Pokémon Go.

Многие другие игроки поддерживают это наблюдение (например). К сожалению, информация об отсутствии влияния правок в OSM на количество покемонов вдохновляет не так, как слухи о их взаимосвязи, подкреплённые удачными вылазками. Поэтому прямо сейчас мы вынуждены регулярно просматривать карту и удалять потрясающие узоры из зелёных (у кого-то — пунктирных красных) линий.

Форум по паспорту

Со вторника на нашем форуме висит уведомление: «мы починили кое-что в коде входа на форум. Если у вас проблемы со входом, пожалуйста, пришлите свои никнеймы на форуме и в OpenStreetMap на support@openstreetmap.org. Мы проверим, что они связаны друг с другом».

Это последствие исправления для форума одного важного недостатка OSM: идентификации пользователей по имени. Стоит переименоваться — и вас никто не найдёт (из тех, кто не знает про Who’s That). На форуме и на многих других сайтах вам предоставят новый чистый профиль. У меня, например, из-за этого на форуме три разных профиля, сначала из-за ошибки с регистром букв, затем из-за кратковременного переименования.

С ноября в базе пользователей форума помимо имени сохраняется идентификатор пользователя в OpenStreetMap. А теперь при вводе логина и пароля профиль из базы запрашивается не по логину, а по идентификатору, который вернул OSM API. Если база вернёт профиль пользователя с другим именем, его автоматически переименуют и все сообщения сохранятся. То есть, если у вас был логин «Пётр» на форуме и вы в OpenStreetMap переименовались в «Семён», после входа на форум через форму логина ваши старые сообщения будут подписаны правильным, новым именем.

2017   форум

Атласы на выбор

Первые две ссылки на вики-странице про печать карт ведут на хорошо известные сервисы. Field Papers похорошел за прошлый год: регион для атласа выбирают теперь на полноэкранной карте, и не нужно думать над лишними настройками. Два клика, час ожидания (как можно так долго склеивать тайлы, не понимаю) — и pdf ваш. На нём традиционно расставлены точки и QR-код: исписанные листы можно отсканировать и загрузить подложкой в JOSM с помощью одноимённого плагина. Единственное, что стало хуже, — перевод. «Полевые материалы создан в Дизайн Stamen».

Второй сервис, MapOSMatic, стал синонимом атласов из OpenStreetMap. Создаваемые им файлы предназначены не для картирования, а для навигации: в них удобный индекс улиц и заведений, а на рамках страниц с картами указано, где искать соседние. За сервисом не стоит большой компании или хотя бы увлечённого разработчика, поэтому с 2012 года он работает на автопилоте, время от времени падая. На выходных, например, очередь на печать выросла до 300 атласов. Когда атлас нужен срочно и с особыми настройками — как, например, для Крымска во время наводнения, — приходится поднимать собственную копию.

Свежий еженедельник OSM обратил внимание на альтернативный сайт MapOSMatic, который в мае поднял Хартмут Хольцгреф. С октября он залил в базу всю планету, и сайт затмил оригинал. Стилей на выбор там не два, как в исходном сервисе, а двенадцать, каждый их них в атласе выглядит лучше, чем склеенные тайлы. К сожалению, процесс создания атласа неочевиден: поиск работает через раз (зато позволяет атласы с непрямоугольными границами области), рисование прямоугольника пугает внезапными масштабированиями, в важных параметрах — размере бумаги, отображаемых сведениях — выбора почти нет. Зато ждать всего пару минут.

Википедия + OpenStreetMap

Многие статьи википедии описывают реальные объекты. Справа вверху у них написаны координаты, при нажатии на которые выводится длинная страница со ссылками на онлайн-карты, включая OpenStreetMap и Google Maps. Часто рядом с координатами есть кнопка, открывающая мини-карту с подсвеченным контурами объекта из статьи. Долгое время картоосновой был неудобный VMAP0 с возможностью переключения на Landsat 7.

На прошлой неделе русскоязычная википедия избавилась от старого атласа: нажатие на координаты откроет полноэкранную карту на Leaflet и данных OpenStreetMap. На ней, если повезёт, будет контур объекта из OSM. Под кнопкой «другие карты» прячется каталог картографических сервисов, чем-то похожий на QMS. Ссылка на GeoHack со списком сервисов теперь спрятана под буквой «H», в ряду со ссылками на гугль, яндекс и OSM.

Контур объекта вытащен из OpenStreetMap по тегу wikidata. Этот тег не очень популярен, но усилиями нескольких активистов за прошлый год их количество в базе возросло почти в десять раз, с 40 до 390 тысяч. Это можно считать несогласованной массовой правкой, и в последние месяцы года в почтовой рассылке talk@ шли жаркие споры, откатывать сотни тысяч правок с этими тегами или нет. Очевидно, что среди этой массы новых тегов wikidata проскакивают ошибки, нередко из-за неправильных названий или ошибок сопоставления. Но пока осмеры обсуждают прошлые ошибки, а в DWG чешут репу, википедисты делают новые правки.

Остальные картографы тоже добавляют теги wikidata, иногда не осознавая этого. С июля в редактор iD добавили подсказку для статьи в википедии. Если выбрать подходящую статью, ссылка на неё и её идентификатор в Викиданных автоматически прописываются в оба тега. Для JOSM аналогичная функциональность есть в плагине Wikipedia — конечно, с традиционным для редактора запутанным интерфейсом.

Над картами для википедии почти два года работает команда картографии отдела Discovery фонда Викимедиа. В нашем сообществе они известны проектом Kartotherian, про который Юрий Астрахан рассказал на «Открытых ГИС». Большую часть годового плана команда уже выполнила: до июня осталось сделать отображение спорных государственных границ, англоязычный слой и отображение векторных тайлов на стороне браузера.

Расширение Kartographer добавляет два тега: для вставки интерактивной карты в текст статьи и  для ссылки, по нажатию на которую открывается полноэкранная карта. В начале ноября расширение включили в русскоязычной википедии, и в отдельных статьях — например, про Щёлковское шоссе, — можно увидеть результат. К сожалению, новые карты рекламировали недостаточно широко, поэтому в статьях они редки. Теперь, когда расширение используется для показа предмета статьи на карте, им заинтересуются многие авторы.

Участники википедии более склонны к классификации и связыванию, поэтому едва ли использование OSM в википедии, даже когда расширение включат в английской википедии, заметно повлияет на количество картографов. Но побочный эффект для OpenStreetMap мы видим уже сейчас: массовые правки тегов и непонимание друг другом сотрудников DWG и википедистов. Не сказать, что это плохо: в конечном итоге, это не правовой вопрос и не добавление отсутствующих на местности объектов, а всё остальное со временем наша карта переварит.

Вожделенная галочка

Два сайта статистики пользователей должен знать каждый русскоязычный маппер: stat.latlon.org с рейтингом по правкам и HDYC с россыпью чисел. Весной прошлого года на последнем у некоторых участников появились галочки « ✓ подтверждённый». Как добавить такую в свой профиль? Паскаль Найс объяснил по шагам:

  1. У вас должно быть не менее 100 пакетов правок.
  2. Зарегистрируйтесь на форуме, на сайте помощи (подойдут логин и пароль с osm.org) и в вики.
  3. Перечислите ссылки на все свои аккаунты в профиле на сайте OpenStreetMap.

Пример заполнения есть в блоге malenki. Спустя сутки зелёная галочка появится в вашей странице HDYC. На сегодня сайт собирает статистику из восьми источников, полный список смотрите, например, в моём профиле.

Календарь активности а-ля гитхаб Паскаль добавил в августе, и он привлекает внимание сильнее чисел. В теме «ни дня без OpenStreetMap» мы нашли людей, кто в прошлом году правил карту каждый день: их шесть человек. И ещё двое, как видно на диаграмме freeExec, продержались до осени.

Шейпы по триста

Для работы с данными OpenStreetMap в серьёзных ГИС нужно получить их в формате шейп-файлов. В России их делает компания NextGIS и публикует на сайте ГИС-Лаб. Выгрузки были ежедневными, но после ряда перебоев окончились в апреле 2016 года, причём последние опубликованные файлы оказались бракованными.

Сегодня регулярные выгрузки возобновились: с того же сайта (или из списка регионов) можно скачать данные от 17 января за 300 рублей/файл. После оплаты пейпалом лучше написать на info@nextgis.com, чтобы оттуда быстрее пришла ссылка на скачивание. Туда же нужно писать, чтобы договориться о пакетных, регулярных или нетрадиционных выгрузках. Покупателям приходит счёт, что удобно для отчётности.

Бесплатные шейп-файлы остались: рядом с кнопкой покупки есть кнопка скачивания старого архива. Сейчас там сборка от ноября, но в будущем планируют публиковать версии месячной давности.

Альтернативные бесплатные сборки продолжает делать Geofabrik. Россия у них разделена на девять федеральных округов. Летом их шейпы лишились главного недостатка, обретя мультиполигоны. Но Geofabrik не предоставляет стилей для QGIS и атрибутивные поля у них не так удобны для человека, ориентирующегося в тегах OSM.

Статистика по редакторам

Страницу Editor usage stats в нашей вики до 2015 года время обновлял немецкий маппер Oli-Wan. Он не только заполнял рейтинги редакторов по правкам и пользователям, но и рисовал графики и анализировал изменения. Прошлым летом, интересуясь успехами MAPS.ME, я написал скрипт для подготовки таблиц, и на этой неделе обновил их: теперь данные за 2016 год полны.

Первая и бесполезная таблица — рейтинг по количеству пакетов правок — доносит не количественную, а качественную информацию. Например, что Redaction Bot (скрипт для сокрытия правок после нарушений условий участия) в этом году сделал 450 правок, а 2014 и 2015 — по 250. Или что нашёлся человек, который зачем-то загрузил пакет правок через редактор iLOE, который давно убран из аппстора и не поддерживается с 2011 года.

Теория, что пользователи iD делают больше пакетов правок, чем пользователи JOSM, числами не подтверждается: в среднем 28,5 ченджсетов на пользователя в iD против 143,8 в JOSM. Конечно, причина этого в более низком показателе удержания пользователей у веб-редакторов: многие уходят после первой правки. Если заглянуть в третью таблицу, в JOSM пользователи делают в среднем 195 правок на пакет, а в iD — только 45. Интересен редактор Pushpin, у которого в 15187 пакетов разложена 15091 правка.

Пользователи

Рейтинг по пользователям говорит, что пользователи есть у всех. У редактора ArcGIS их в этом году рекордно много после затяжного падения с 2011 года, хотя до RawEdit он не дотянул. Обошёл его новичок GNOME Maps: в прошлом году в это приложение добавили редактирование заведений, но, кажется, заметили эту функцию немногие. Мобильный редактор Pushpin неожиданно упал в числе пользователей: вероятно, красоту и удобство затмила дата последнего обновления — 2012 год. Его также неожиданно обогнал сайт OsmHydrant, непрерывно привлекающий новых редакторов последние три года.

Интересна борьба Merkaartor с Potlatch 1. Несмотря на то, что развитие второго остановилось в 2010 году, а первый недавно вернулся к жизни силами Ладислава, число их пользователей примерно одинаково последние четыре года. И если поклонники быстрого и необычного редактора не соберутся поведать о нём миру, скоро его по числу пользователей обгонит даже Level0.

На фоне постоянного количества пользователей JOSM (~23 тысячи последние пять лет) и медленного роста iD, едва покрывающего падение Potlatch, заметен резкий старт MAPS.ME: почти сто тысяч пользователей за девять месяцев. К сожалению, он не вышел на первое место, но 37% от общего числа редакторов — заметная доля. Рост доли мобильных редакторов подтверждает и OsmAnd, в прошлом году c 3,5 тысячами пользователей окончательно оторвавшийся от Vespucci и обогнавший даже WheelMap.

Тренд заметить несложно. Из девяти редакторов с долей выше полупроцента (и тысячами пользователей) пять мобильные. Гуманитарная команда, сильнее других привлекающая новых пользователей в OpenStreetMap, постепенно переходит на мобильные приложения: OpenMapKit и MAPS.ME. Поэтому в этом году вероятно не только отсутствие роста, но даже падение количества пользователей редактора iD. Если OsmAnd перетащит редактор из подключаемого модуля в основное приложение, у него есть шанс обойти Potlatch 2.

Правки

Можно понять bulk_upload.py в шестой строчке таблицы рейтинга по количеству правок: им пользуются десять человек из DWG для массовых откатов. Можно понять 146 тысяч правок в Level0: он удобен для пакетной замены тегов. Но откуда у RawEdit 22 тысячи правок? Он же в базовом варианте не позволяет загружать больше одного объекта. Через редактор Mapzen, который нужно собирать из исходников, в прошлом году четыре человека поправили семь объектов. Видимо, не понравился.

Сумма правок через первые три настольных редактора не изменяется уже три года: около 850 млн объектов в год. Те 23 тысячи пользователей JOSM сдают: правок у них всё меньше и меньше. А вот 400 пользователей Merkaartor продолжают держать его на пятом месте по правкам.

Мобильные редакторы не могут сравниться с настольными по количеству правок, не в последнюю очередь из-за импортов. Но если сравнивать в категориях, где править с телефона удобнее, то есть, в правке заведений и адресов, то мобильные редакторы показывают себя достойно. Редакторы под iOS теряют в правках, а под Android показывают заметный рост. Поздравляем OsmAnd, наконец обошедший ArcGIS и Potlatch 1.

Что нам говорит отсутствие роста правок в последние три года? Точно не о застое в проекте: количество пользователей за год увеличилось на треть. Скорее о том, что состояние дорожной сети и домиков в большинстве регионов с активными картографами уже удовлетворительно, и всё меньше европейцев набегают на города с желанием обрисовать всё-всё. Мапперы переключаются на задачи, не плодящие большого количества правок: прежде всего, адресацию, атрибуты дорог и добавление POI. В дневничках постоянно проходят заметки про добавленные этажность зданий, полосы на дорогах, названия съездов на магистралях. Вместо визуальной полноты мы теперь занимаемся важными для практических задач атрибутами — и OpenStreetMap всё быстрее движется к статусу самой полезной карты.

Ctrl + ↓ Ранее