ШТОСМ

Overture Maps расправил плечи

На этой неделе крупные компании из второго эшелона рынка пользовательских карт — TomTom, AWS, Microsoft, Meta — объявили о запуске фонда Overture Maps Foundation. В комментариях и статьях немедленно начали надеяться на победу над Google Maps и на хороший редактор, чтобы обклацывать тротуары и деревья во славу фейсбука. Кажется, нужно объяснить, что происходит.

Что это

Люди называют картой что угодно. Мы помним, что OSM — не карта, несмотря на «map» в названии. Приложения для отображения карт называют картами, объединяя их с тем, что они показывают. API для поиска и маршрутов — тоже. Нередко этот термин применяют к разным диаграммам или текстам, ведь есть же roadmap, неловко переводимый на русский как «дорожная карта». Наконец, подобно OSM, другие сборники геоданных, даже если там ничего не визуализировано, — тоже карты. Overture Maps — это не карта, а именно такой сборник.

Overture — это открытая инициатива по публикации открытых геоданных в едином формате с единым пространством идентификаторов и контролем ошибок.

Это определение вытекает из анонса Linux Foundation, в котором они очерчивают свои планы: совместно строить карту (которая на самом деле не карта), найти универсальную систему идентификаторов, настроить процесс контроля качества и задокументировать общую схему данных.

В числе наборов данных, которые хотят публиковать на этой платформе, называют не только OpenStreetMap, но и подготовленные с помощью ML дома и дороги, и обработанные данные с сенсоров на транспортных средствах. Несомненно, туда положат и официальные наборы данных от разных государственных организаций.

Можно сказать, что ноги Overture растут из проекта Daylight Map Distribution картографов из фейсбука. В нём публикуют проверенный и почищенный слепок планеты OpenStreetMap с дополнениями в формате osmChange. Можно при желании накатить на OSM домики от Microsoft или дороги от Facebook и Grab. То есть, вот контроль ошибок, вот открытость и вот единые идентификаторы: очевидно, домики не будут дублироваться в дополнениях.

Также другой популярный продукт Meta и Kaart — редактор RapiD — предлагает полуавтоматически импортировать большое количество наборов данных с хаба Esri. Они тоже адаптированы для нашей модели данных. И можно вспомнить ещё много других источников — например, преобразование POI и адресов в моём OSM Conflator — которые используют формат OSM XML для обмена информацией. Случайно мы получили экосистему.

Кто это

Проблема всей этой системы в том, что в её основе — OpenStreetMap. Миллион человек, с которыми невозможно договориться, и дурацкий формат данных. Фонд OSM — неподотчётные добровольцы, то же можно сказать и о Совете. Никто не знает, чего они хотят и какие у них планы. Никто не ждёт, что они сделают что-то полезное для кого-то, помимо редакторов (хотя и тем грустно). Вся система крайне антагонистична. Поэтому возник фонд Overture.

Overture Foundation — это консорциум из корпораций со шкурным интересом в пользовательской картографии, который определяет формат, состав и условия для открытых геоданных.

Такая организация назревала давно. Как сетует Майкл Мигурски, изменения через OSMF проходят годами, как и пул-реквесты в код сайта. Политика OSMF всегда была: «лучше отдельным проектом, чем на openstreetmap.org». Когда отдельные карты делали маргинальные группы, типа FOSM и CommonMap, сообщество смеялось. Теперь же, почему-то, нет.

Среди первоочередных задач — изобретение новой модели данных. По иронии, это ровно то, что наша инженерная рабочая группа поручила Йохену — который пришёл к выводу, что текущий формат не очень удобен для потребителей. В Meta с ним согласны. Проекту Overture не нужно думать о мапперах, поэтому их модель будет практичнее и проще — ближе к GeoPackage, чем к нашей топологической вермишели.

Лицензия уже известна: это CDLA Permissive 2.0: аналог MIT и CC-BY, требующим только указания источника. Почему не ODC-By от OKFN, подарившей нам ODbL? Думаю, из-за сложности последней: сравните их полные тексты. Восемь экранов против одного. Для использования в OSM дадут специальное разрешение. Разумеется, все данные, построенные на основе OSM, опубликуют под ODbL.

В чём угроза

Маловероятно, что Overture создадут свою «живую» базу геоданных, куда перебегут все картографы на зарплате, которые вносят заметную часть правок во многих странах. Это было бы удобно, но осмеры правы в том, что без сообщества добровольцев такой проект не имеет смысла.

Нет, Overture не конкурент OSM. Не конкурируют они и с Google: создать API для крупных компаний — плёвое дело, а вот получить данные для этого сложновато. Верьте заявлениям фонда: они действительно хотят сделать новую картооснову, доступную любому. Это честный и удобный проект, на который в ближайшие пять лет пересядут почти все пользователи геоданных, от сайтов недвижимости до Mapbox и Apple Maps. Мы уже пожинаем плоды межкорпоративного сотрудничества через импорты в RapiD. Скоро польза открытого обмена данными дойдёт до остальных.

Лицензия CDLA Permissive требует указания источника, и все будут её соблюдать, выводя название Overture. А по ссылке можно посмотреть, какие данные входят в эту базовую карту, и где-то там будет OpenStreetMap. Вот она, главная для нас проблема. Мы ныли, что Mapbox прячет атрибуцию под кнопкой, из-за чего все считали, что это их карты, а не наши. Теперь об OSM точно никто не узнает, потому что все будут использовать Overture Maps.

И с чего бы выводить OSM на первое место? Анонс обещает первые слои в Overture до лета. TomTom в ответной статье уточняет, что дороги предоставят они. Здания, очевидно, от Microsoft, административные границы — из Natural Earth. Всё под Permissive, потому что ничего от OpenStreetMap. Наши данные пригодятся на детальных масштабах, но не везде и не всем. Мы там только одни из.

Будущее OSM

Если вы получаете удовольствие от рисования карты, то не заметите никаких изменений. Новички по-прежнему будут ломать мультиполигоны и добавлять караван-сайты. Залётные сотрудники Apple и Kaart удивят выбором тегов для автодорог. DWG будет банить вандалов, а EWG будет оплачивать развитие проектов из позапрошлого десятилетия. OpenStreetMap будет свободным, и несколько чрезмерно активных участников будут пинать вебсайты, чтобы добавили атрибуцию.

Мы даже выигрываем в плане источников: раньше мы предлагали компаниям и государственным органам открыть данные для OpenStreetMap. Это влекло долгие обсуждения, зачем и почему. Теперь все будут открывать данные для солидного проекта с миллионами долларов финансирования и десятками разработчиков в штате, поддерживаемого всем известными компаниями из первых строчек рейтингов. И эти данные все будут в едином формате. Взять их для уточнения OSM будет элементарно.

За последние десять лет видимость OSM для обывателя выросла с нуля до постоянных упоминаний во всех технических блогах. Мы мечтали, что нашу работу увидит каждый — и вот, добились. Но тут подняла голову классическая проблема open source: спасибо вам за ваш код, мы с удовольствием сделаем его основой для всей нашей работы, до свидания. Лицом открытых геоданных станет Overture, а не OpenStreetMap. Денег в OSM не появилось, а теперь и известность уйдёт.

Очевидно, что проблема в OSMF. Большинство активных осмеров чувствовало, что что-то с Советом не так. После пришествия Аллана Мастарда он стал активнее, отчёты о его заседаниях создают ощущение бурной деятельности. Но это всё так же семь неоплачиваемых добровольцев, из которых больше половины — технари. Внутри сообщества, которое для них своё, они всё делают правильно. Но они не те люди, которые наладят и будут поддерживать контакты с высшими менеджерами крупных корпораций. Они говорят на разных языках.

Поэтому орган Advisory Board не работает. Совет не предупредили о фонде Overture Maps, несмотря на то, что половина его основателей состоит в этом органе. Не о чем тут говорить. С рабочими группами ещё можно вести какие-то дела, отдельных участников и местные сообщества приглашают к беседе, а польза Совета неясна. Запрос теперь будет идти в обратную сторону: OSMF попросится войти в фонд Overture на правах НКО, с участием в рабочих группах, но без права голоса. Это довольно странно, если не сказать, унизительно.

Собственно, от Overture нам ни тепло, ни холодно, но есть шанс, что случившийся разрыв в коммуникации заставит Совет — или толпу участников рассылки osmf-talk — начать эволюцию менеджмента OpenStreetMap. Подсмотреть ответы у Гуманитарной команды, у Викимедии. Составить стратегический план, собрать несколько сотрудников, в том числе управляющих менеджеров. И понять, наконец, что «защищать статус-кво» — не лучшая миссия для проекта, который когда-то сам его поменял.

Волшебный тык

Роман в чатике обратил внимание на новый модуль для JOSM, Magic Wand. Он делает ровно то, что знакомо из рисовальных приложений: тыкаешь на озеро или лес, и он выделяет все соседние точки похожего цвета. Подсвеченную область можно увеличить или уменьшить, тыкая с зажатыми Ctrl или Shift. И в конце из подсветки делаем полигон кнопками Ctrl+2.

Старожилам это может напомнить ScanAerial, или даже Fuzzer, которые выдавали полигоны из спутниковых снимков одиннадцать лет назад. Нынче их установить непросто, да и незачем: настройка сложна, функции ограничены, качество — примерно такое же. Новый модуль не заморачивается: он распознаёт содержимое экрана, а не качает тайлы подложки. Передвинешь карту — и выделение сбрасывается. Странно, но понятно.

Детальные снимки могут стать проблемой — понадобится отдалить карту, чтобы ловить не отдельные деревья или волны на озере. Напомню, что в панели слоёв под кнопкой с глазом спрятана постобработка картинок: там можно слегка размыть снимки или сделать их насыщеннее, что усилит контраст. Поскольку распознаётся только содержимое экрана, несколько полигонов может понадобиться объединить, обычным сочетанием Shift+J.

Юниор Флорес, аналитик данных из Development Seed и автор модуля, сделал неплохую основу для нового полезного инструмента. Но JOSM — явно не его редактор, поэтому в модуле не хватает многого, очевидного для осмера. Например, Magic Wand не делает мультиполигоны, поэтому не обращайте внимания на дырки в подсвеченных областях. Зачем-то модуль пересделал объединение полигонов (Ctrl+3), а из шести настраиваемых значений в панели модуля можно изменить только одно (чувствительность) — и оно потеряется при перезапуске.

Наконец, держите под рукой инструмент упрощения линии (Shift+Y) с величиной ошибки метров в десять: несмотря на то, что качество автоматического распознавания никак не дотягивает до ручной обрисовки, по количеству точек в контуре оно легко обгонит человека.

Верни мне мой 2012

Для Великих Лук не было хороших спутниковых снимков, но мы примерно зарисовали дома на картовстрече

Ровно десять лет назад данные OpenStreetMap начали публиковать под лицензией Open Database License 1.0. Этому предшествовала длинная эпопея на весь 2012 год с поиском неподписавшихся под новыми условиями участия, слежением за карающим роботом, перекартированием потерянного. Всё это можно почитать в этом блоге по тегу odbl, не буду повторяться. Может, в комментариях старожилы вспомнят свои ощущения по этому поводу.

Новость же проста: на сайте 2012.osmz.ru можно сравнить, как выглядела наша карта в 2012 году и сейчас. Вместо снимков экрана удобнее будет пользоваться сайтом BigMap 2. На нём кнопка Enqueue сделает вам картинку из тайлов. Пользуйтесь тайлами 2012 года как угодно, но не мешайте другим зрителям. В конце октября сайт отключу.

С юбилеем ODbL-планеты!

4 мес   odbl   проекты

Современные тайлы

Этим летом отключили две незначительных штуки, связанные с тайлами OpenStreetMap. Про них почти никто не знал, но это знание придавало ощущение «внутреннего круга», техничности. Сродни умению написать запрос в API без подсказки.

Во-первых, веб-карты больше не должны добавлять префиксы к названию сервера тайлов. Никаких b.tile.osm.org и никаких {s} в шаблонах для Leaflet и JOSM. Соответствующие изменения уже приняты в Leaflet, OpenLayers, FlutterMap, OsmDroid, Overpass Turbo, MapsForge и других. Уберите и вы из своих карт, добавив ссылку на пул-реквест или коммит в тикет по ссылке выше.

Эти префиксы были придуманы, чтобы обойти ограничение браузеров на параллельное скачивание. Они грузили картинки в один-два потока на сервер, а карта на экране обычно состоит из 20-40 тайлов. Чтобы не ждать, пока они загрузятся по порядку, их качали как бы с трёх адресов параллельно. Не важно, что они указывают на один и тот же физический сервер.

С внедрением протоколов HTTP/2 и HTTP/3 подобные ухищрения устарели. Теперь ограничений нет, можно качать хоть всё одновременно. А без префикса становится проще кэшировать тайлы: в кэш попадает нормальный адрес, для всех один. Сейчас запросов по всем трём версиям протокола примерно поровну. HTTP/1, скорее всего, пользуются только приложения, а не браузеры. В том числе те, что грузят тайлы бочками.

Во-вторых, больше не работают суффиксы /status и /dirty для отдельных тайлов. Знающие люди добавляли их к адресам единичных тайлов, чтобы узнать, когда они были отрисованы, и при необходимости перерисовать. Они устарели и отключены: когда тайлы отрисовывают семь серверов, команды отправляются на любой из них — часто не тот, который прислал картинку.

Интересно, как нестабилен интернет даже по отношению к вещам, которые, казалось бы, не должны меняться. Тайлы — всего лишь картинки с фиксированными адресами. Формат один и тот же с 2006 года. Но если вы сделали веб-карту пять лет назад, то за это время она существенно устарела. Два года назад нужно было заменить http на https, а теперь — убрать префиксы. Иначе карта будет медленнее, чем возможно, и рано или поздно сломается совсем. В OpenStreetMap, чтобы оставаться на месте, бежать не обязательно, но важно хотя бы ползти в правильном направлении.

Самый быстрый редактор

Сегодня я рад показать свой новый редактор OpenStreetMap. Опять. Кажется, этот блог превращается в поток анонсов моих проектов, а новости уходят в твитер и телеграм.

После выступления на State of the Map меня спрашивали, а где найти эту волшебную кнопку «Edit Tags» на главной проекта, чтобы быстренько поправить теги? Конечно, такой кнопки там нет: я лишь сварганил панель в консоли разработчика Firefox. Но было бы круто.

Так что теперь кнопка появилась. Но не на сайте: её добавляют расширения для браузеров. Установите своё из каталога: для Firefox, для Chrome. После этого зайдите на страницу любого объекта в OSM и узрите ссылку.

Очевидно, это расширение — заплатка, которая использует незадокументированные функции и дыры в аутентификации. Например, вам нужно сначала открыть редактор iD, чтобы это расширение заработало. Иногда страницу нужно обновить, чтобы кнопка «Edit Tags» появилась. Расширение может сломаться в любой момент из-за изменений в коде сайта.

Можно ли сделать этот редактор функцией сайта? Конечно — это почти тривиально, пара часов разработки. Но я устал биться со смотрителями openstreetmap-website, так что оставлю согласование и программирование кому-нибудь другому.

Ранее Ctrl + ↓

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.