Скриншот сделал literan 25 августа

На этой неделе карта OSM подверглась «дефейсу»: на ней рисовали гадости, как когда-то на картах Google и яндекса. Казалось бы: ну да, вандалы у нас всегда водились. У нас есть средства отката правок и кнопка жалоб в рабочую группу по данным. Но на этот раз масштаб оказался беспрецедентен: более семи тысяч аккаунтов загрузили сотни тысяч правок, заменяя названия улиц и заведений в РФ оскорблениями.

Как и рассчитывал неизвестный вандал, названия попали на карты разных популярных систем, включая википедию, телеграм, guru maps; муниципальные системы типа умных остановок, парковок и прочих табло; частные веб-сайты и osmand live. Какие-то системы из-за этого закрыли «на переучёт». Одна из русских компаний вывесила на vc рекламу в духе TomTom, что осму доверять нельзя, и она переводит свои карты на 2gis. Последние четыре дня в чатиках все узнают, как обновить тайлы в браузере (Ctrl+F5 или ⌘⇧R), потому что хотя откатывают быстро, картинки остаются в кэше.

Что делать? Пожалуй, это тот случай, когда отдельные участники бессильны и нужен системный подход. То есть, усилия программистов, DWG и OWG (админов):

• Камиль Монич написал инструмент для поиска вандальных пакетов правок и их отката. Тот работает день и ночь, неутомим, как и инструменты, создающие вандальные правки.
• Энди Таунсенд и другие участники DWG банят аккаунты вандалов тысячами. Моральные силы на исходе, поэтому...
• Том Хьюз из OWG ограничил скорость регистраций с одного IP и с одной почты. Да, вы думали, что один аккаунт — одна почта, но забыли про суффиксы после плюса (ilya+osmsuffix@gmail.com) и поддомены.
• Роман Деев в русскоязычном чатике ведёт учёт и помогает пользователям (как и многие другие участники, приходите к нам).

Мы впервые столкнулись с массированной автоматизированной продолжительной атакой, и способы защиты придумываем по ходу дела. Индивидуальные откаты, пожалуй, только усложнят работу, поэтому увидев плохое название, сначала проверьте, что его не откатили (нажав кнопку «что здесь»). Найдя там объект, откройте профиль его автора, нажмите «сообщить об этом пользователе». И ждите.

Эта ситуация хуже художественного вандализма, когда рисуют вымышленные символы или города. Хуже добросердечного вандализма переводчиков, когда люди заливают сотни тысяч локализованных названий (недавно участились правки тегов name:ru и name:uk). Но вандализм неизбежен. Если вы используете OpenStreetMap в качестве подложки, рано или поздно вы обнаружите, что это открытый проект, отредактировать который может каждый. Нельзя иметь только плюсы без минусов. Без третьего измерения OSM хуже альтернатив, а с ним — сложнее.

Но модераторы в OpenStreetMap есть, и благодаря их работе вы замечаете вандализм только в закэшированных картинках, как свет давно умершей звезды в ночном небе. Сотни картографов на зарплате просматривают правки в компаниях типа Meta, Grab, Mapbox, TomTom. Единичные случаи откатывают энтузиасты на местах. И нельзя не упомянуть ежемесячные курированные слепки Daylight Map Distribution от фейсбука, которые, скорее всего, скоро станут частью Overture Maps.

© Mapbox, OpenStreetMap

Ребятам в Mapbox не давал покоя красивый рендеринг F4 Map, и они запилили объёмные здания и реалистичность в свои карты общего назначения, Mapbox Standard. Поздравляю дизайнеров и технологов, получилось впечатляюще.

Но. Как же без «но». Я смотрю на виды с птичьего полёта и ничего не понимаю. Всё это очень красиво — и очень бесполезно. Ровно как их древний инструментарий для видеорегистраторов, который тихо умер. Проблема с инновациями в картографическом дизайне одна, и она не менялась последние пятьдесят лет: карты — не для людей.

Мы подбираем цвета и текстуры, наклоняем карту и экспериментируем с объёмом, включаем-выключаем отдельные слои, чтобы сделать карту понятнее и удобнее. Но ничего не работает. Если показать заблудившемуся человеку на улице маршрут на карте, он/она едва ли смогут понять, как одно соотносится с другим.

Карты — это вид сверху. Можно работать над ним сколь угодно профессионально, но это профессия сродни «birdshit architects», кто проектирует красивые рендеры без учёта людей, которые будут по ним ходить. Пока мы не летаем, вид карты будет непривычен глазу.

© warmuseum.kiev.ua

Знаете, как многие аттракционы развлекают видом с птичьего полёта? Все эти обзорные площадки, колёса обозрения, горные площадки. Даже местные жители их любят, потому что они показывают родной город таким, каким его обычно не видишь. Дают шанс не узнать привычные дороги, познакомиться с ними заново.

То же самое карта, даже под углом и с объёмными зданиями: это непривычный вид, и вместо упрощения жизни она усложняет задачи. Требует дополнительно выучить, как одно соотносится с другим.

Поэтому никто всерьёз не пользовался F4 Map для визуализации данных или схем проезда. Это лишь красивая картинка. Поэтому те же схемы проезда в России рисуют на базе Яндекс-карт, а не OSM или 2гис: люди запомнили одну карту и не хотят учить остальные. Помните, как взрослые люди (и дети теперь) пользуются компьютером? Запоминают значки и последовательность действий, но не изучают каждое новое состояние в целях понять. Незнакомые карты требуют обучения, а какой с этого прок.

Решить эти проблемы можно, но это R&D, а венчурные компании не любят R&D. Инвестиции дают только под «те же щи, да погуще». Отсюда и новый анонс: смотрите, карта становится тёмной без ведома пользователя, ну не круто ли! Мы нарисовали сотни объёмных домиков (но вам не дадим)! Как и с анонсом, что Mapbox GL JS теперь рисует глобус на далёких масштабах: читаю и восхищаюсь. Сотрудники компании крутые. Но кто будет работать над тем, чтобы все эти достижения стали не нужны?

Утром 22 июня спутниковая подложка Maxar перестала работать во всех редакторах, включая iD, JOSM и Every Door. Не только в России, как иногда бывает из-за военных санкций, но и во всех остальных странах.

За несколько дней мы спросили компанию, что случилось с ключами доступа, — частно и от организаций. Люди и фонд OpenStreetMap пока не получили ответа. Гуманитарная команда вроде как получила: «руководство попросила приостановить сервис, пока не будут решены проблемы с ограничением доступа».

Как замечает Саймон Пул, вполне вероятно решение с персональными ключами доступа к снимкам: хотя их будет сложновато использовать в мобильных приложениях, всё-таки они лучше, чем полное отсутствие снимков Maxar.

Это не первый раз, когда нам отключили эти снимки. Как и раньше, проблема не в картографах, а в тех, кто пользуется доброй волей провайдера, чтобы скачать себе снимки всего мира забесплатно.

Однозначного решения проблемы «зайцев» нет. Рекомендовать бесплатные снимки сложно, потому что любые рекомендации — даже в осме — разбиваются о «но мне надо!». Джо Моррисон призывал открыть архивы снимков: всё равно они лежат мёртвым грузом, а так будут двигать науку и технологии. Наконец, есть путь твитера: шестьсот тайлов в день, достаточно для среднего картографа.

В любом случае, решение не за нами. Используйте пока любые альтернативы, благо у нас их много: Mapbox, Bing, Esri, OpenAerialMap и местные источники.

Позавчера ходил на вебинар Meta, где анонсировали вторую версию редактора RapiD (теперь со строчной «d»). Честно, я ни разу им не пользовался, но он на третьем месте по количеству правок в OSM, и я хотел узнать, что хорошего новый релиз несёт нашей карте.

Крис Беддоу, известный по Mapillary (съеденному Meta), начал с демонстрации нового логотипа на новом сайте проекта, RapidEditor.org. Как заметил Anonymaps, сайт продолжает корпоративную традицию упоминания OpenStreetMap только в подвале, хотя сам редактор всё объясняет нормально.

Затем прошлись по новшествам, уже объявленным в твитере:

• Ускорили редактор в десять раз, заметно сразу при перетаскивании карты.
  • И можно показывать больше данных на более далёких масштабах.
  • Теперь можно редактировать большие объекты на далёком масштабе (в iD редактирование отключается).
  • Прикольно как на далёком масштабе здания рисуются прямоугольниками без деталей.
• Подписи лучше: их больше и они не прячутся.
  • В первой версии подписывали только осмерские объекты, теперь — и импортируемые данные.
  • Полигоны подписаны по периметру.

Над ускорением отрисовки через замену рендерера начали работать в октябре 2021. Оно позволяет теперь освободить процессор для других задач. Например, magic wand (просто мысль, не сделали ещё). Думали добавить ML на стороне клиента, но решили не делать.

Стала проще работа со снимками Mapillary: тысячи маркеров больше не замедляют редактор, а при тыке в распознанный объект на карте отображается снимок, где этот объект прямо подсвечен. Выглядит классно — жаль, что это пошло не в iD, которым пользуются большинство осмеров. Разработка всё ещё отдельная, с Мартином, которому OSMF платит за поддержку iD, в Meta общаются реже, чем с командой Bing, авторами Map Builder. Ну и проще искать, где светло, а не где потерял: у Rapid и технологии интереснее, и с сообществом не надо дискутировать.

Цель редактора — облегчить импортирование данных, а Mapillary из этой парадигмы выбивается. Авторы утверждают, что всё не так и они делают просто лучший редактор для OSM. Но вместо новых инструментов для удобства анонсировали новые данные для импорта: так, помимо привычных дорог и домиков теперь появились тротуары, адресные точки и деревья. Esri открывает много наборов данных — увы, пока только в Штатах и в Африке.

Данных по атрибутам существующих объектов в каталоге Rapid пока нет, поэтому работа сводится чаще к добавлению пропущенного. Но Брайан ожидает, что рано или поздно Esri начнёт делиться высотой зданий или покрытием дорог. Тогда в редактор, скорее всего, добавят простой способ переносить атрибуты.

Алгоритмы довольно просты: импортируемые здания не уточняют геометрию существующих, не заменяют их. Ответственность за проверку по снимку, дедубликацию, правильность геометрии всё ещё на пользователе. В этом плане ничего не изменилось: один может навставлять тысячу автораспознанных домиков кнопкой «A», а другой проведёт несколько часов, поворачивая их и исправляя геометрию по снимкам. В этом плане авторы думают разве что про сохранность истории, аналог инструмента «заменить геометрию» из JOSM.

Вообще, заметны корпоративность и замылившийся взгляд. Например, на любые задачи первый ответ — машинное обучение. Определение границ, дедубликация, привязка к снимкам — давайте натренируем модель. Инженерный подход: ускорение решает все проблемы. Вплоть до того, что вопросы про облегчение работы картографа пролетают мимо ушей. Пока Бен и Крис разговаривали, Брайан рисовал какой-то район в Штатах и постоянно спотыкался об уточнение геометрии зданий (импортированных, но сломанных вблизи), об их поворачивание. Ничего в Rapid не облегчает эту задачу, а разработчики в упор не видят проблемы. «Пишите тикеты на гитхаб».

Rapid 2.0 со вторника доступен на официальном сайте. В России из данных только фейсбучные дороги (я не нашёл ни одной, проведённой по реальной дороге, а не по деревьям и болотам) и микрософтовские здания (распознанные по смещённому Bing, произвольно повёрнутые и пересекающиеся). Однако редактор стал быстрее и подписывает больше объектов, так что он может для кого-то стать заменой официального iD. Попробуйте — и сообщайте авторам о проблемах через кнопку с жучком справа внизу (как и в iD): так в тикете будет информация о версии, браузере и операционке. Твитайте скрины, рассказывайте, как вы используете Rapid в жизни. Разработчикам всегда приятно знать, что их работой пользуются.

На этой неделе крупные компании из второго эшелона рынка пользовательских карт — TomTom, AWS, Microsoft, Meta — объявили о запуске фонда Overture Maps Foundation. В комментариях и статьях немедленно начали надеяться на победу над Google Maps и на хороший редактор, чтобы обклацывать тротуары и деревья во славу фейсбука. Кажется, нужно объяснить, что происходит.

Что это

Люди называют картой что угодно. Мы помним, что OSM — не карта, несмотря на «map» в названии. Приложения для отображения карт называют картами, объединяя их с тем, что они показывают. API для поиска и маршрутов — тоже. Нередко этот термин применяют к разным диаграммам или текстам, ведь есть же roadmap, неловко переводимый на русский как «дорожная карта». Наконец, подобно OSM, другие сборники геоданных, даже если там ничего не визуализировано, — тоже карты. Overture Maps — это не карта, а именно такой сборник.

Overture — это открытая инициатива по публикации открытых геоданных в едином формате с единым пространством идентификаторов и контролем ошибок.

Это определение вытекает из анонса Linux Foundation, в котором они очерчивают свои планы: совместно строить карту (которая на самом деле не карта), найти универсальную систему идентификаторов, настроить процесс контроля качества и задокументировать общую схему данных.

В числе наборов данных, которые хотят публиковать на этой платформе, называют не только OpenStreetMap, но и подготовленные с помощью ML дома и дороги, и обработанные данные с сенсоров на транспортных средствах. Несомненно, туда положат и официальные наборы данных от разных государственных организаций.

Можно сказать, что ноги Overture растут из проекта Daylight Map Distribution картографов из фейсбука. В нём публикуют проверенный и почищенный слепок планеты OpenStreetMap с дополнениями в формате osmChange. Можно при желании накатить на OSM домики от Microsoft или дороги от Facebook и Grab. То есть, вот контроль ошибок, вот открытость и вот единые идентификаторы: очевидно, домики не будут дублироваться в дополнениях.

Также другой популярный продукт Meta и Kaart — редактор RapiD — предлагает полуавтоматически импортировать большое количество наборов данных с хаба Esri. Они тоже адаптированы для нашей модели данных. И можно вспомнить ещё много других источников — например, преобразование POI и адресов в моём OSM Conflator — которые используют формат OSM XML для обмена информацией. Случайно мы получили экосистему.

Кто это

Проблема всей этой системы в том, что в её основе — OpenStreetMap. Миллион человек, с которыми невозможно договориться, и дурацкий формат данных. Фонд OSM — неподотчётные добровольцы, то же можно сказать и о Совете. Никто не знает, чего они хотят и какие у них планы. Никто не ждёт, что они сделают что-то полезное для кого-то, помимо редакторов (хотя и тем грустно). Вся система крайне антагонистична. Поэтому возник фонд Overture.

Overture Foundation — это консорциум из корпораций со шкурным интересом в пользовательской картографии, который определяет формат, состав и условия для открытых геоданных.

Такая организация назревала давно. Как сетует Майкл Мигурски, изменения через OSMF проходят годами, как и пул-реквесты в код сайта. Политика OSMF всегда была: «лучше отдельным проектом, чем на openstreetmap.org». Когда отдельные карты делали маргинальные группы, типа FOSM и CommonMap, сообщество смеялось. Теперь же, почему-то, нет.

Среди первоочередных задач — изобретение новой модели данных. По иронии, это ровно то, что наша инженерная рабочая группа поручила Йохену — который пришёл к выводу, что текущий формат не очень удобен для потребителей. В Meta с ним согласны. Проекту Overture не нужно думать о мапперах, поэтому их модель будет практичнее и проще — ближе к GeoPackage, чем к нашей топологической вермишели.

Лицензия уже известна: это CDLA Permissive 2.0: аналог MIT и CC-BY, требующим только указания источника. Почему не ODC-By от OKFN, подарившей нам ODbL? Думаю, из-за сложности последней: сравните их полные тексты. Восемь экранов против одного. Для использования в OSM дадут специальное разрешение. Разумеется, все данные, построенные на основе OSM, опубликуют под ODbL.

В чём угроза

Маловероятно, что Overture создадут свою «живую» базу геоданных, куда перебегут все картографы на зарплате, которые вносят заметную часть правок во многих странах. Это было бы удобно, но осмеры правы в том, что без сообщества добровольцев такой проект не имеет смысла.

Нет, Overture не конкурент OSM. Не конкурируют они и с Google: создать API для крупных компаний — плёвое дело, а вот получить данные для этого сложновато. Верьте заявлениям фонда: они действительно хотят сделать новую картооснову, доступную любому. Это честный и удобный проект, на который в ближайшие пять лет пересядут почти все пользователи геоданных, от сайтов недвижимости до Mapbox и Apple Maps. Мы уже пожинаем плоды межкорпоративного сотрудничества через импорты в RapiD. Скоро польза открытого обмена данными дойдёт до остальных.

Лицензия CDLA Permissive требует указания источника, и все будут её соблюдать, выводя название Overture. А по ссылке можно посмотреть, какие данные входят в эту базовую карту, и где-то там будет OpenStreetMap. Вот она, главная для нас проблема. Мы ныли, что Mapbox прячет атрибуцию под кнопкой, из-за чего все считали, что это их карты, а не наши. Теперь об OSM точно никто не узнает, потому что все будут использовать Overture Maps.

И с чего бы выводить OSM на первое место? Анонс обещает первые слои в Overture до лета. TomTom в ответной статье уточняет, что дороги предоставят они. Здания, очевидно, от Microsoft, административные границы — из Natural Earth. Всё под Permissive, потому что ничего от OpenStreetMap. Наши данные пригодятся на детальных масштабах, но не везде и не всем. Мы там только одни из.

Будущее OSM

Если вы получаете удовольствие от рисования карты, то не заметите никаких изменений. Новички по-прежнему будут ломать мультиполигоны и добавлять караван-сайты. Залётные сотрудники Apple и Kaart удивят выбором тегов для автодорог. DWG будет банить вандалов, а EWG будет оплачивать развитие проектов из позапрошлого десятилетия. OpenStreetMap будет свободным, и несколько чрезмерно активных участников будут пинать вебсайты, чтобы добавили атрибуцию.

Мы даже выигрываем в плане источников: раньше мы предлагали компаниям и государственным органам открыть данные для OpenStreetMap. Это влекло долгие обсуждения, зачем и почему. Теперь все будут открывать данные для солидного проекта с миллионами долларов финансирования и десятками разработчиков в штате, поддерживаемого всем известными компаниями из первых строчек рейтингов. И эти данные все будут в едином формате. Взять их для уточнения OSM будет элементарно.

За последние десять лет видимость OSM для обывателя выросла с нуля до постоянных упоминаний во всех технических блогах. Мы мечтали, что нашу работу увидит каждый — и вот, добились. Но тут подняла голову классическая проблема open source: спасибо вам за ваш код, мы с удовольствием сделаем его основой для всей нашей работы, до свидания. Лицом открытых геоданных станет Overture, а не OpenStreetMap. Денег в OSM не появилось, а теперь и известность уйдёт.

Очевидно, что проблема в OSMF. Большинство активных осмеров чувствовало, что что-то с Советом не так. После пришествия Аллана Мастарда он стал активнее, отчёты о его заседаниях создают ощущение бурной деятельности. Но это всё так же семь неоплачиваемых добровольцев, из которых больше половины — технари. Внутри сообщества, которое для них своё, они всё делают правильно. Но они не те люди, которые наладят и будут поддерживать контакты с высшими менеджерами крупных корпораций. Они говорят на разных языках.

Поэтому орган Advisory Board не работает. Совет не предупредили о фонде Overture Maps, несмотря на то, что половина его основателей состоит в этом органе. Не о чем тут говорить. С рабочими группами ещё можно вести какие-то дела, отдельных участников и местные сообщества приглашают к беседе, а польза Совета неясна. Запрос теперь будет идти в обратную сторону: OSMF попросится войти в фонд Overture на правах НКО, с участием в рабочих группах, но без права голоса. Это довольно странно, если не сказать, унизительно.

Собственно, от Overture нам ни тепло, ни холодно, но есть шанс, что случившийся разрыв в коммуникации заставит Совет — или толпу участников рассылки osmf-talk — начать эволюцию менеджмента OpenStreetMap. Подсмотреть ответы у Гуманитарной команды, у Викимедии. Составить стратегический план, собрать несколько сотрудников, в том числе управляющих менеджеров. И понять, наконец, что «защищать статус-кво» — не лучшая миссия для проекта, который когда-то сам его поменял.