ШТОСМ

RapiD 2.0

Позавчера ходил на вебинар Meta, где анонсировали вторую версию редактора RapiD (теперь со строчной «d»). Честно, я ни разу им не пользовался, но он на третьем месте по количеству правок в OSM, и я хотел узнать, что хорошего новый релиз несёт нашей карте.

Крис Беддоу, известный по Mapillary (съеденному Meta), начал с демонстрации нового логотипа на новом сайте проекта, RapidEditor.org. Как заметил Anonymaps, сайт продолжает корпоративную традицию упоминания OpenStreetMap только в подвале, хотя сам редактор всё объясняет нормально.

Затем прошлись по новшествам, уже объявленным в твитере:

  • Ускорили редактор в десять раз, заметно сразу при перетаскивании карты.
    • И можно показывать больше данных на более далёких масштабах.
    • Теперь можно редактировать большие объекты на далёком масштабе (в iD редактирование отключается).
    • Прикольно как на далёком масштабе здания рисуются прямоугольниками без деталей.
  • Подписи лучше: их больше и они не прячутся.
    • В первой версии подписывали только осмерские объекты, теперь — и импортируемые данные.
    • Полигоны подписаны по периметру.

Над ускорением отрисовки через замену рендерера начали работать в октябре 2021. Оно позволяет теперь освободить процессор для других задач. Например, magic wand (просто мысль, не сделали ещё). Думали добавить ML на стороне клиента, но решили не делать.

Стала проще работа со снимками Mapillary: тысячи маркеров больше не замедляют редактор, а при тыке в распознанный объект на карте отображается снимок, где этот объект прямо подсвечен. Выглядит классно — жаль, что это пошло не в iD, которым пользуются большинство осмеров. Разработка всё ещё отдельная, с Мартином, которому OSMF платит за поддержку iD, в Meta общаются реже, чем с командой Bing, авторами Map Builder. Ну и проще искать, где светло, а не где потерял: у Rapid и технологии интереснее, и с сообществом не надо дискутировать.

Цель редактора — облегчить импортирование данных, а Mapillary из этой парадигмы выбивается. Авторы утверждают, что всё не так и они делают просто лучший редактор для OSM. Но вместо новых инструментов для удобства анонсировали новые данные для импорта: так, помимо привычных дорог и домиков теперь появились тротуары, адресные точки и деревья. Esri открывает много наборов данных — увы, пока только в Штатах и в Африке.

Данных по атрибутам существующих объектов в каталоге Rapid пока нет, поэтому работа сводится чаще к добавлению пропущенного. Но Брайан ожидает, что рано или поздно Esri начнёт делиться высотой зданий или покрытием дорог. Тогда в редактор, скорее всего, добавят простой способ переносить атрибуты.

Алгоритмы довольно просты: импортируемые здания не уточняют геометрию существующих, не заменяют их. Ответственность за проверку по снимку, дедубликацию, правильность геометрии всё ещё на пользователе. В этом плане ничего не изменилось: один может навставлять тысячу автораспознанных домиков кнопкой «A», а другой проведёт несколько часов, поворачивая их и исправляя геометрию по снимкам. В этом плане авторы думают разве что про сохранность истории, аналог инструмента «заменить геометрию» из JOSM.

Вообще, заметны корпоративность и замылившийся взгляд. Например, на любые задачи первый ответ — машинное обучение. Определение границ, дедубликация, привязка к снимкам — давайте натренируем модель. Инженерный подход: ускорение решает все проблемы. Вплоть до того, что вопросы про облегчение работы картографа пролетают мимо ушей. Пока Бен и Крис разговаривали, Брайан рисовал какой-то район в Штатах и постоянно спотыкался об уточнение геометрии зданий (импортированных, но сломанных вблизи), об их поворачивание. Ничего в Rapid не облегчает эту задачу, а разработчики в упор не видят проблемы. «Пишите тикеты на гитхаб».

Rapid 2.0 со вторника доступен на официальном сайте. В России из данных только фейсбучные дороги (я не нашёл ни одной, проведённой по реальной дороге, а не по деревьям и болотам) и микрософтовские здания (распознанные по смещённому Bing, произвольно повёрнутые и пересекающиеся). Однако редактор стал быстрее и подписывает больше объектов, так что он может для кого-то стать заменой официального iD. Попробуйте — и сообщайте авторам о проблемах через кнопку с жучком справа внизу (как и в iD): так в тикете будет информация о версии, браузере и операционке. Твитайте скрины, рассказывайте, как вы используете Rapid в жизни. Разработчикам всегда приятно знать, что их работой пользуются.

Overture Maps расправил плечи

На этой неделе крупные компании из второго эшелона рынка пользовательских карт — TomTom, AWS, Microsoft, Meta — объявили о запуске фонда Overture Maps Foundation. В комментариях и статьях немедленно начали надеяться на победу над Google Maps и на хороший редактор, чтобы обклацывать тротуары и деревья во славу фейсбука. Кажется, нужно объяснить, что происходит.

Что это

Люди называют картой что угодно. Мы помним, что OSM — не карта, несмотря на «map» в названии. Приложения для отображения карт называют картами, объединяя их с тем, что они показывают. API для поиска и маршрутов — тоже. Нередко этот термин применяют к разным диаграммам или текстам, ведь есть же roadmap, неловко переводимый на русский как «дорожная карта». Наконец, подобно OSM, другие сборники геоданных, даже если там ничего не визуализировано, — тоже карты. Overture Maps — это не карта, а именно такой сборник.

Overture — это открытая инициатива по публикации открытых геоданных в едином формате с единым пространством идентификаторов и контролем ошибок.

Это определение вытекает из анонса Linux Foundation, в котором они очерчивают свои планы: совместно строить карту (которая на самом деле не карта), найти универсальную систему идентификаторов, настроить процесс контроля качества и задокументировать общую схему данных.

В числе наборов данных, которые хотят публиковать на этой платформе, называют не только OpenStreetMap, но и подготовленные с помощью ML дома и дороги, и обработанные данные с сенсоров на транспортных средствах. Несомненно, туда положат и официальные наборы данных от разных государственных организаций.

Можно сказать, что ноги Overture растут из проекта Daylight Map Distribution картографов из фейсбука. В нём публикуют проверенный и почищенный слепок планеты OpenStreetMap с дополнениями в формате osmChange. Можно при желании накатить на OSM домики от Microsoft или дороги от Facebook и Grab. То есть, вот контроль ошибок, вот открытость и вот единые идентификаторы: очевидно, домики не будут дублироваться в дополнениях.

Также другой популярный продукт Meta и Kaart — редактор RapiD — предлагает полуавтоматически импортировать большое количество наборов данных с хаба Esri. Они тоже адаптированы для нашей модели данных. И можно вспомнить ещё много других источников — например, преобразование POI и адресов в моём OSM Conflator — которые используют формат OSM XML для обмена информацией. Случайно мы получили экосистему.

Кто это

Проблема всей этой системы в том, что в её основе — OpenStreetMap. Миллион человек, с которыми невозможно договориться, и дурацкий формат данных. Фонд OSM — неподотчётные добровольцы, то же можно сказать и о Совете. Никто не знает, чего они хотят и какие у них планы. Никто не ждёт, что они сделают что-то полезное для кого-то, помимо редакторов (хотя и тем грустно). Вся система крайне антагонистична. Поэтому возник фонд Overture.

Overture Foundation — это консорциум из корпораций со шкурным интересом в пользовательской картографии, который определяет формат, состав и условия для открытых геоданных.

Такая организация назревала давно. Как сетует Майкл Мигурски, изменения через OSMF проходят годами, как и пул-реквесты в код сайта. Политика OSMF всегда была: «лучше отдельным проектом, чем на openstreetmap.org». Когда отдельные карты делали маргинальные группы, типа FOSM и CommonMap, сообщество смеялось. Теперь же, почему-то, нет.

Среди первоочередных задач — изобретение новой модели данных. По иронии, это ровно то, что наша инженерная рабочая группа поручила Йохену — который пришёл к выводу, что текущий формат не очень удобен для потребителей. В Meta с ним согласны. Проекту Overture не нужно думать о мапперах, поэтому их модель будет практичнее и проще — ближе к GeoPackage, чем к нашей топологической вермишели.

Лицензия уже известна: это CDLA Permissive 2.0: аналог MIT и CC-BY, требующим только указания источника. Почему не ODC-By от OKFN, подарившей нам ODbL? Думаю, из-за сложности последней: сравните их полные тексты. Восемь экранов против одного. Для использования в OSM дадут специальное разрешение. Разумеется, все данные, построенные на основе OSM, опубликуют под ODbL.

В чём угроза

Маловероятно, что Overture создадут свою «живую» базу геоданных, куда перебегут все картографы на зарплате, которые вносят заметную часть правок во многих странах. Это было бы удобно, но осмеры правы в том, что без сообщества добровольцев такой проект не имеет смысла.

Нет, Overture не конкурент OSM. Не конкурируют они и с Google: создать API для крупных компаний — плёвое дело, а вот получить данные для этого сложновато. Верьте заявлениям фонда: они действительно хотят сделать новую картооснову, доступную любому. Это честный и удобный проект, на который в ближайшие пять лет пересядут почти все пользователи геоданных, от сайтов недвижимости до Mapbox и Apple Maps. Мы уже пожинаем плоды межкорпоративного сотрудничества через импорты в RapiD. Скоро польза открытого обмена данными дойдёт до остальных.

Лицензия CDLA Permissive требует указания источника, и все будут её соблюдать, выводя название Overture. А по ссылке можно посмотреть, какие данные входят в эту базовую карту, и где-то там будет OpenStreetMap. Вот она, главная для нас проблема. Мы ныли, что Mapbox прячет атрибуцию под кнопкой, из-за чего все считали, что это их карты, а не наши. Теперь об OSM точно никто не узнает, потому что все будут использовать Overture Maps.

И с чего бы выводить OSM на первое место? Анонс обещает первые слои в Overture до лета. TomTom в ответной статье уточняет, что дороги предоставят они. Здания, очевидно, от Microsoft, административные границы — из Natural Earth. Всё под Permissive, потому что ничего от OpenStreetMap. Наши данные пригодятся на детальных масштабах, но не везде и не всем. Мы там только одни из.

Будущее OSM

Если вы получаете удовольствие от рисования карты, то не заметите никаких изменений. Новички по-прежнему будут ломать мультиполигоны и добавлять караван-сайты. Залётные сотрудники Apple и Kaart удивят выбором тегов для автодорог. DWG будет банить вандалов, а EWG будет оплачивать развитие проектов из позапрошлого десятилетия. OpenStreetMap будет свободным, и несколько чрезмерно активных участников будут пинать вебсайты, чтобы добавили атрибуцию.

Мы даже выигрываем в плане источников: раньше мы предлагали компаниям и государственным органам открыть данные для OpenStreetMap. Это влекло долгие обсуждения, зачем и почему. Теперь все будут открывать данные для солидного проекта с миллионами долларов финансирования и десятками разработчиков в штате, поддерживаемого всем известными компаниями из первых строчек рейтингов. И эти данные все будут в едином формате. Взять их для уточнения OSM будет элементарно.

За последние десять лет видимость OSM для обывателя выросла с нуля до постоянных упоминаний во всех технических блогах. Мы мечтали, что нашу работу увидит каждый — и вот, добились. Но тут подняла голову классическая проблема open source: спасибо вам за ваш код, мы с удовольствием сделаем его основой для всей нашей работы, до свидания. Лицом открытых геоданных станет Overture, а не OpenStreetMap. Денег в OSM не появилось, а теперь и известность уйдёт.

Очевидно, что проблема в OSMF. Большинство активных осмеров чувствовало, что что-то с Советом не так. После пришествия Аллана Мастарда он стал активнее, отчёты о его заседаниях создают ощущение бурной деятельности. Но это всё так же семь неоплачиваемых добровольцев, из которых больше половины — технари. Внутри сообщества, которое для них своё, они всё делают правильно. Но они не те люди, которые наладят и будут поддерживать контакты с высшими менеджерами крупных корпораций. Они говорят на разных языках.

Поэтому орган Advisory Board не работает. Совет не предупредили о фонде Overture Maps, несмотря на то, что половина его основателей состоит в этом органе. Не о чем тут говорить. С рабочими группами ещё можно вести какие-то дела, отдельных участников и местные сообщества приглашают к беседе, а польза Совета неясна. Запрос теперь будет идти в обратную сторону: OSMF попросится войти в фонд Overture на правах НКО, с участием в рабочих группах, но без права голоса. Это довольно странно, если не сказать, унизительно.

Собственно, от Overture нам ни тепло, ни холодно, но есть шанс, что случившийся разрыв в коммуникации заставит Совет — или толпу участников рассылки osmf-talk — начать эволюцию менеджмента OpenStreetMap. Подсмотреть ответы у Гуманитарной команды, у Викимедии. Составить стратегический план, собрать несколько сотрудников, в том числе управляющих менеджеров. И понять, наконец, что «защищать статус-кво» — не лучшая миссия для проекта, который когда-то сам его поменял.

Волшебный тык

Роман в чатике обратил внимание на новый модуль для JOSM, Magic Wand. Он делает ровно то, что знакомо из рисовальных приложений: тыкаешь на озеро или лес, и он выделяет все соседние точки похожего цвета. Подсвеченную область можно увеличить или уменьшить, тыкая с зажатыми Ctrl или Shift. И в конце из подсветки делаем полигон кнопками Ctrl+2.

Старожилам это может напомнить ScanAerial, или даже Fuzzer, которые выдавали полигоны из спутниковых снимков одиннадцать лет назад. Нынче их установить непросто, да и незачем: настройка сложна, функции ограничены, качество — примерно такое же. Новый модуль не заморачивается: он распознаёт содержимое экрана, а не качает тайлы подложки. Передвинешь карту — и выделение сбрасывается. Странно, но понятно.

Детальные снимки могут стать проблемой — понадобится отдалить карту, чтобы ловить не отдельные деревья или волны на озере. Напомню, что в панели слоёв под кнопкой с глазом спрятана постобработка картинок: там можно слегка размыть снимки или сделать их насыщеннее, что усилит контраст. Поскольку распознаётся только содержимое экрана, несколько полигонов может понадобиться объединить, обычным сочетанием Shift+J.

Юниор Флорес, аналитик данных из Development Seed и автор модуля, сделал неплохую основу для нового полезного инструмента. Но JOSM — явно не его редактор, поэтому в модуле не хватает многого, очевидного для осмера. Например, Magic Wand не делает мультиполигоны, поэтому не обращайте внимания на дырки в подсвеченных областях. Зачем-то модуль пересделал объединение полигонов (Ctrl+3), а из шести настраиваемых значений в панели модуля можно изменить только одно (чувствительность) — и оно потеряется при перезапуске.

Наконец, держите под рукой инструмент упрощения линии (Shift+Y) с величиной ошибки метров в десять: несмотря на то, что качество автоматического распознавания никак не дотягивает до ручной обрисовки, по количеству точек в контуре оно легко обгонит человека.

Верни мне мой 2012

Для Великих Лук не было хороших спутниковых снимков, но мы примерно зарисовали дома на картовстрече

Ровно десять лет назад данные OpenStreetMap начали публиковать под лицензией Open Database License 1.0. Этому предшествовала длинная эпопея на весь 2012 год с поиском неподписавшихся под новыми условиями участия, слежением за карающим роботом, перекартированием потерянного. Всё это можно почитать в этом блоге по тегу odbl, не буду повторяться. Может, в комментариях старожилы вспомнят свои ощущения по этому поводу.

Новость же проста: на сайте 2012.osmz.ru можно сравнить, как выглядела наша карта в 2012 году и сейчас. Вместо снимков экрана удобнее будет пользоваться сайтом BigMap 2. На нём кнопка Enqueue сделает вам картинку из тайлов. Пользуйтесь тайлами 2012 года как угодно, но не мешайте другим зрителям. В конце октября сайт отключу.

С юбилеем ODbL-планеты!

8 мес   odbl   проекты

Современные тайлы

Этим летом отключили две незначительных штуки, связанные с тайлами OpenStreetMap. Про них почти никто не знал, но это знание придавало ощущение «внутреннего круга», техничности. Сродни умению написать запрос в API без подсказки.

Во-первых, веб-карты больше не должны добавлять префиксы к названию сервера тайлов. Никаких b.tile.osm.org и никаких {s} в шаблонах для Leaflet и JOSM. Соответствующие изменения уже приняты в Leaflet, OpenLayers, FlutterMap, OsmDroid, Overpass Turbo, MapsForge и других. Уберите и вы из своих карт, добавив ссылку на пул-реквест или коммит в тикет по ссылке выше.

Эти префиксы были придуманы, чтобы обойти ограничение браузеров на параллельное скачивание. Они грузили картинки в один-два потока на сервер, а карта на экране обычно состоит из 20-40 тайлов. Чтобы не ждать, пока они загрузятся по порядку, их качали как бы с трёх адресов параллельно. Не важно, что они указывают на один и тот же физический сервер.

С внедрением протоколов HTTP/2 и HTTP/3 подобные ухищрения устарели. Теперь ограничений нет, можно качать хоть всё одновременно. А без префикса становится проще кэшировать тайлы: в кэш попадает нормальный адрес, для всех один. Сейчас запросов по всем трём версиям протокола примерно поровну. HTTP/1, скорее всего, пользуются только приложения, а не браузеры. В том числе те, что грузят тайлы бочками.

Во-вторых, больше не работают суффиксы /status и /dirty для отдельных тайлов. Знающие люди добавляли их к адресам единичных тайлов, чтобы узнать, когда они были отрисованы, и при необходимости перерисовать. Они устарели и отключены: когда тайлы отрисовывают семь серверов, команды отправляются на любой из них — часто не тот, который прислал картинку.

Интересно, как нестабилен интернет даже по отношению к вещам, которые, казалось бы, не должны меняться. Тайлы — всего лишь картинки с фиксированными адресами. Формат один и тот же с 2006 года. Но если вы сделали веб-карту пять лет назад, то за это время она существенно устарела. Два года назад нужно было заменить http на https, а теперь — убрать префиксы. Иначе карта будет медленнее, чем возможно, и рано или поздно сломается совсем. В OpenStreetMap, чтобы оставаться на месте, бежать не обязательно, но важно хотя бы ползти в правильном направлении.

Ранее Ctrl + ↓

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.