ШТОСМ

Не база данных

Что такое OpenStreetMap? Новички думают, что карта. Опытные картографы поправляют их, что на самом деле визуальное представление не важно, OSM — это база данных. Ветераны ставят под вопрос и это.

Недавно я объяснял людям-академикам некоторые нюансы OpenStreetMap, и речь, конечно, зашла про базу данных и многочисленные социальные проблемы, наросшие вокруг неё. Да, в сцепке «карта + сообщество» второе важнее: форки без сообщества умерли, а зияющие дыры после перелицензирования быстро перекартировали. В этом смысле OSM — лишь контейнер для наших усилий. Но когда я привычно назвал OSM базой данных, я почувствовал неточность.

Базы данных хорошо изучены, у них есть общие свойства. Все программисты знают их и умеют с ними работать. Есть нормальные формы BNF, есть ключи, типы колонок. Профессиональные форматы ГИС, типа Shapefile или GeoPackage, — те же базы данных, в которых одна колонка с геометрией, а остальное — как обычно. Можно делать update, можно делать join. Например, одно из свойств — каждая строка таблицы (то есть, каждый объект) независима от других. Проблемы с OSM начинаются с этого, но не заканчиваются.

Разработчики приходят в OpenStreetMap, читают, что это база данных, и у них в голове включается режим работы с базами данных. Технарям свойственно туннельное зрение: отбросить неважное и принудительно улучшать мир. Нормализуем теги! Насильно (массовыми правками) или мягкой силой (валидаторы и редакторы). Объединим базы в одну для удобства! Насильно (импорты, ведь они так просты и очевидны) или мягко (ключи-ссылки в ту или иную сторону). Автоматизируем работу с помощью ML! Напишем больше правил, добавим валидацию в API, разделим «строчки таблицы», введя тип area.

Ничего из этого не делает нашей карте лучше. Проблема баз данных — с ними тупо скучно работать, потому что там главенство алгоритмов, а не людей. Технологии обещали улучшить жизнь, будучи помощниками и инструментами, но вместо этого технари сделали людей помощниками и инструментами в руках технологий. Везде: от творчества (люди на копеечной зарплате генерируют базу для обучения AI) до работы (миллионные армии людей-инструментов в руках алгоритмов Uber, Amazon и их местных аналогов). Шаг влево — недовольный «бип» из системного блока и слово «нельзя». Данные не твои, их нарисовала и бережёт машина. Такой OpenStreetMap сделают технари, если им не мешать.

Источник этого — слова. Формулировки важны. Если мы называем OpenStreetMap картой, мы рисуем карту. Если мы называем его базой данных, мы наполняем и курируем таблицы базы данных. И, честно говоря, ни один из этих вариантов мне не нравится. Отсюда и то чувство в разговоре с академиками. Давайте переформулируем.

OpenStreetMap — это отражение реального мира. В окно видны улицы, и на OSM нарисованы улицы. Магазины делятся на продуктовые, мебельные и сувенирные, и у нас тоже такое разделение. Но если ты выйдешь на улицу, то едва ли сможешь согласиться с другими насчёт того, что входит в состав улицы и что отдельно от неё. Классифицировать заведения однозначно иногда невозможно. Граница между лесом и кустарником призрачна.

В реальном мире ничего не определено и не нормализовано, поэтому карты не отражают его на близких масштабах. Но OpenStreetMap ближе всего к тому, что можно назвать отражением. Именно потому, что он не карта и не база данных, в OSM нет ограничений этих двух сущностей. Но есть сообщество, которое рисует и в этой работе постоянно переосмысливает структуру реальности и способы её отражения.

Если принять эту формулировку, то становится понятен источник многих болей. Почему импорты никогда не проходят гладко? Из-за разницы между базой данных и реальным миром: в базе объекты сами по себе, а в реальности всё взаимосвязано. Почему нормализации тегов каждый раз противится сообщество? Теги не сами по себе, и человек, выставивший их, явно хотел что-то сообщить об объекте. Нужно смотреть в комплексе.

Одной из главных «проблем» OpenStreetMap многие технари считают топологичность: то, что геометрии не раздельны, их нужно собирать их кусков. Отсюда их святой грааль в виде нормальных area, с чем Йохен носится уже больше декады. Но выглянем на улицу и поймём: ничего не само по себе. Геометрии взаимосвязаны. Теги взаимосвязаны. Слоёв нет. Правильным было бы принять это «несовершенство» за имманентное свойство и упрощать работу с ним, не уничтожая.

Поэтому any tags you like. Truth on the ground. Мы пытаемся классифицировать мир, но это невозможно. Любая техническая помощь помогает не туда. OpenStreetMap сложен для использования именно потому, что он отражение реального мира, а не потому, что нет типа area и валидаций в API. Отражение взгляда миллионов его редакторов на этот мир, которое невозможно нормализовать. Все они правы. Сопротивление бесполезно.

Главное решение

Сейчас читаю очередного Кори Доктороу и его мысли насчёт схлопывания платформ из-за рукомашества. Мол, «мы сделаем всё тип-топ, не обращайте внимания, верьте нам, крутым пацанам». Кори напоминает о «пакте Улисса»: создайте себе ограничения до того, как появятся соблазны. И тут я вспомнил о главном решении в Maps.Me.

Руководители Maps.Me приняли много решений, которые определили это приложение. Они правильно выбрали конкурента (гуглокарты), правильно не стали покупать данные, воспользовались поглощением, чтобы сделать приложение бесплатным (и, следовательно, доступным каждому). Придумали монетизационную модель, которая не мешала, а помогала пользователям: гостиницы booking.com, работавшие и без интернета, приносили львиную часть прибыли. Работая там, я слабо понимал, насколько деморализующими могли быть альтернативы.

Но о главном решении мне рассказали ещё на собеседовании, и его я помогал воплощать. Это публикация всего кода приложения под открытой лицензией. И не только — вообще, перевод разработки в публичную сферу, работу в пул-реквестах, которые каждый мог прочитать. Тогда мне, только пришедшему из нескольких лет кувыркания в открытом сообществе, не было известно, насколько редкая эта практика. Насколько... Честно, я не могу вспомнить даже пять продуктов с аналогичной историей. Обычно всё идёт вспять.

Объяснять, зачем нужно открывать код, было довольно просто. Чтобы сообщество участвовало в разработке (хаха). Чтобы доказать свою готовность работать с другими. Маркетинговый повод (мало кто заметил, на самом деле). Важным было не навредить продукту — и я уверял: над Maps.Me работают полтора десятка крутых инженеров, и чтобы кому-то «увести» продукт, понадобится создать такую же команду. Мы ничего не теряем и становимся более благонадёжными.

Mail.Ru сделал пару пресс-релизов, потом мы помогли сделать страницу opensource.mail.ru, которую с гордостью возглавляли. Со временем на ней нас заменила база данных Tarantool, а потом и она отъехала. Мы продолжали кодить, в гитхаб сыпались сотни тикетов от пользователей, но нас это не смущало: мы привыкли работать без баг-трекера. Несколько людей сделали форки для своих задач, в сторах появлялись фейковые копии с платными частями, но MAU рос, Maps.Me был главным и лучшим.

А потом давление мейла заработать деньги стало слишком большим, и команда начала сыпаться. CEO начал дёргаться. Приложение начало плющить. Mail.Ru не понял, зачем им дальше его тащить, и они продали приложение корейским криптанам. Это ощущалось, как поражение.

Но вспомним о «пакте Улисса»: открытый код невозможно провернуть назад. Поэтому стал возможен Organic Maps, вышедший всего через полгода благодаря изначальным авторам Maps.Me. Всё то же самое, но без единого трекера и без реклам. Продолжились сборки данных, продолжились починки багов, и самое удивительное — продолжилась разработка!

Да, чтобы конкурировать со старым Maps.Me, понадобилась бы большая команда. Чтобы конкурировать с новым, который в момент помешательства даже заменил офлайн-карты на библиотеку от Mapbox, достаточно просто не делать хуже. Organic Maps живёт и догоняет Maps.Me по пользователям не потому, что маркетологи покупают установки и рекламируют приложение, а потому что пользователи советуют установить эти карты всем своим знакомым.

Более того, они развиваются! Над приложением работают несколько сотрудников, плюс им помогают пул-реквестами остальные. Только в прошлом году в Organic Maps добавили импорт GPX, линейку, стиль для походов, и даже сборку для Android Auto. По мне, это невероятно, что в отсутствие какого-либо финансирования, разработчики не только делают новые штуки, но ещё и терпят странные требования и ругань пользователей в телеграме.

Это чудо стало возможным, в первую очередь, благодаря главному решению — открыть исходный код. Не знаю, кто из основателей Maps.Me это придумал, — Юра, Алекс, Витя, они все могли. Не уверен, что они ожидали, что из этого выйдет что-то путное. Но заложив основу открытости, они, как оказалось, сделали приложение бессмертным, как OpenStreetMap бессмертен по той же самой причине. Как AMDmi3 комментировал девять лет назад, недостаточно обещаний сделать всё хорошо, важны юридически связывающие действия.

Организация НКО — обычный вариант такого связывания, в этом случае венчурные инвестиции невозможны, и все финансы открыты. Можно принять юридически значимую хартию. Или ограничить себя технически: например, как Mastodon, в который сбежали технически подкованные люди из твитера, не может контролировать какая-то одна компания. Открытая лицензия — очень хороший вариант для приложений и данных. Она делает обещание вечности реальным, потому что отвязывает от людей и юридических лиц. Жаль, что увидеть, как новые или устоявшиеся проекты выбирают открытость, удаётся всё реже.

Светлое будущее

На этой неделе OSMF поделился радостью: Microsoft подарила Фонду 150 тысяч долларов. Эти деньги пойдут на спонсирование трёх конференций, в счёт кампании по сбору пожертвований и сделают Microsoft вторым платиновым спонсором проекта, вместе с TomTom.

Прежде всего, большое спасибо Microsoft. Не в первый раз — когда-то они дали нам снимки Bing, позже — панорамы и контуры зданий. Деньги очень нужны проекту — в первую очередь, как раз на конференции, которые в этом году испытывают проблемы с поиском спонсоров.

Но мне вспоминается 2012 год. MapBox получил полмиллиона на разработку нового редактора. Получился iD — лучший веб-редактор карт в мире, все остальные смотрят и завидуют (кроме яндекса, у них тоже неплохо). В 2010 году Stamen Design получили 400 тысяч на создание картостилей на базе OpenStreetMap (и позже ещё два гранта на их поддержку). Вы все слышали про Watercolor и Toner, они для многих стали лицом проекта. Они вдохновили проект Field Papers, который до сих пор главный в распечатке обходных листов (хотя появился конкурент).

150 тысяч — это был весь планируемый доход от корпоративных спонсоров за 2023 год. Годовой бюджет OSMF — 700 тысяч. Это включает 170 на серверы, 100 на рабочие группы и Совет, и 280 на четырёх сотрудников. Это, мягко говоря, небольшие деньги. Бюджет QGIS втрое меньше, но это один проект, сравним с iD. Бюджет гуманитарной команды — десять миллионов. Полтора миллиона только на «технологические инновации».

OSMF целится удивительно низко для масштабов проекта. Представьте гуманитарную команду или викимедию, спамят они свои каналы благодарностями спонсорам за каждую сотню? Наш Фонд всё время с основания живёт в режиме выживания, каждый фунт на счету, поэтому нет времени на развитие. Попробовали пару раз — с микрогрантами и с моделью данных, испугались реакции сообщества, больше ни-ни. В стратегии OSMF грусть: только про помощь с проведением сборов пожертвований и жизнь в условиях нехватки денег.

Только пожелай

Деньги на выживание никто не даёт, их дают на светлое будущее. «Сначала скажите, куда вы их потратите». Благодаря нескольким заметным членам сообщества, развитие у нас под запретом, потому что «посмотрите, что случилось с викимедией». Пожертвования и спонсорство работают только до какого-то предела, после которого нужно уметь ходить по компаниям и рисовать красивые картины будущего. И это, очевидно в OSMF не умеют — кроме, наверное, Mikel Maron, чей срок вышел. Это демонстрирует ситуация с Overture Maps и то, что для картографов с 2013 года ничего особо не изменилось.

Может ли OSM развиваться сам, силами добровольцев? Конечно. Мы все (почти) рисуем карту бесплатно. Энтузиасты делают новые инструменты — например, StreetComplete и все остальные мобильные приложения. Они пишут плагины для JOSM и выпускают новости WeeklyOSM. Коммерческие компании оплачивают свою разработку: Osmium, Rapid, Osmcha, Mapillary, Tasking Manager. Организации спонсируют картирование по всему миру и обучают людей. OSMF с его рабочими группами не при чём.

Проблема в том, что принимая это состояние дел, Совет заявляет, что OpenStreetMap идеален в его нынешнем состоянии. Ему не требуются изменения, не требуется помощь. Главное — чтобы серверы работали. Корпорации лучше знают, какие инструменты делать и как руководить тысячами картографов на зарплате. Энтузиасты с хорошей работой и свободным временем придумают, как сделать жизнь картографов легче, и сами напишут все приложения, а в награду другие энтузиасты упомянут их в новостях.

Это работает, потому что некоторые люди не могут не картировать. Другие — не могут не писать. Не могут не делать приложения. Но перестаёт работать, когда масштаб работы больше одного-двух человек (кроме JOSM, JOSM — это необъяснимое чудо).

Инновации стоят дорого. Такие, как iD. Такие, как новый API. Как Tasking Manager. Любой новый проект требует разработчиков, проектирования, управления, внедрения, и бюджет будет сопоставим с бюджетом всего OSMF. Целясь низко, OSMF не даёт себе возможности что-то запустить. У Фонда нет ни контроля, ни ресурсов, ни даже способа помочь людям, которые что-то зачинают. Если у тебя нет свободных денег или свободного времени, иди картируй. Если есть — будь готова, что благодарности не будет, а будут отказы от мейнтейнеров и претензии от мапперов. OpenStreetMap — это боль.

Так что 150 тысяч — это отличный подарок от Microsoft. Но то, что эти деньги не нужны Фонду ни на что, кроме поддержки обычных конференций и обычных операционных расходов, огорчает. Хочется светлого будущего.

Тропинки

Идёшь, значит, по лесу, смотришь ягоды по сторонам, гладишь случайного кота. Заглядываешь в Organic Maps и замечаешь, что тропинка не отмечена. Вечером открываешь JOSM, проклацываешь линию — и вспоминаешь, что когда в прошлый раз навесил на тропинку привычный тег highway=path, набежали другие мапперы и завязался спор. Как же правильно?

Довольно долго был консенсус: highway=footway — это пешеходная дорожка, за которой следят (улучшают покрытие, устанавливают освещение и т. п.), а highway=path — это случайная тропинка, типа как люди протаптывают на углах между footway или в лесу. Год назад это было отмечено и в русской вики. Разница казалась очевидной: по path не всегда проберёшься на велосипеде, а footway вполне подходит. Объединение этих тегов на картостиле OSM Carto стало той гранью, за которой некоторые участники разочаровались в его принципах. «Path и footway — совершенно разные объекты по OSM Wiki» — писал vvoovv. Откуда недопонимание?

Оказалось, англоязычное сообщество ещё в 2013 году поспорило на эту тему, почти ровно десять лет назад. Ричард пожаловался в дневничке, что path обозначает «всё вышеперечисленное»: и тропинки, и велопроезды, и грунтовки, с покрытием и без. Никто не знает, что там под path. Шон из Cyclestreets сдаётся: «чёрт его знает, что там». Швед Туре для своего картостиля пытается выжать максимум из дополнительных тегов, но что делать, если их нет? В нашей вики с 2009 года собирают мнения о path, и единственное, на чём сошлись, — четырёхколёсные транспортные средства туда либо не поместятся, либо запрещены.

Как же тегировать правильно? И почему у нас есть нормальный простой тег для пешеходных дорожек, но нет тега для тропинок, которых гораздо больше?

Триединые теги

Простой ответ — такой тег есть, и это highway=path, только указывайте surface и bicycle. Сложный требует понимания трёх уровней access: физического («тут можно проехать»), юридического («тут разрешено проехать») и онтологического («это тротуар»). Первые два из них отмечаются одним тегом (access/foot/bicycle/bus/motorcar/...). Хотя в вики юридический аспект выделен и несколько раз просят не использовать тег для физических ограничений, кто из нас не навешивал access=no на закрытые ворота, или motorcar=no, когда на проезжей части бетонный блок?

Онтологическое ограничение доступа выводится из других тегов и географического контекста — например, highway=footway. В России мы знаем, что по тротуару юридически нельзя ехать на велосипеде, но физически — вполне. Поэтому иногда переключаем планировщик маршрутов в режим пешехода, чтобы построить лучший веломаршрут. А тот, в свою очередь, подключает highway=path в болоте и делает маршрут интереснее.

У нас есть теги highway для всего. Path возникает, когда дорога проваливается сквозь классификации:

  1. Одновременно пешеходная и велосипедная дорожка, или ещё какие-то равнозначные категории. Можно, конечно, выбрать главную и сделать highway=cycleway + foot=designated (т. е. пешеходам знаками тоже разрешено). Но вики и JOSM советуют уравнять их через highway=path + нужное проставить в designated. В этом случае path — это шаблон для footway, cycleway, bridleway и прочих; highway=path + foot=designated = highway=footway.
  2. Дорога без назначения. Здесь ходят грибники или ездят квадроциклисты. Или пропахал осенью джип, тренируясь к заезду. Маршрутов для четырёхколёсных средств нет (иначе бы поставили highway=track или highway=service), но следы налицо. Иногда такие дороги облагораживают, от чего они не перестают быть path.
  3. Ничья дорога. То, что мы называем тропинками. Все остальные значения highway стоят на учёте, эта же возникла стихийно и не зарастает только потому, что там ходят или ездят люди. Покрытие натуральное. Отличие от 2 — тропинка может куда-то вести или быть важной частью велопешеходной сети. Там «не используется, чтобы куда-то добраться», здесь — «не стоит на балансе».

Все три пункта объединяет то, что мы не можем ничего сказать про проходимость path для кого-либо, кроме здоровых пешеходов. Ну, разве что тег bicycle=* поможет. Поэтому для highway=path обязателен хотя бы один дополнительный тег. Да, это surface. Он дополняет 29% path в мире, но 22% в России.

Path недостаточно

Помимо surface, для городских дорожек стоит указать тег юридического доступа (foot=designated) вместе с segregated=yes/no для велопешеходных дорожек. Как ни странно, мапперы ставят footway=sidewalk/crossing и на highway=path: звучит странно, но по первому пункту вверху разницы никакой. Впрочем, и вики, и тагинфо допускают path=crossing.

Загородные и парковые тропинки различаются по проходимости. Её нужно отметить чем-то из этого:

  • Тегом физического доступа bicycle=yes/no. Не совсем легально, но в некоторых случаях альтернативы нет. И гарантированно поможет планировщикам маршрутов.
  • smoothness, хотя он слишком заточен под автомобили (тропинки — very_bad и ниже). Я бы использовал surface:grade.
  • informal=yes для всех «ничьих» дорог, третий тип в списке выше.
  • trailblazed=yes, если по ходу тропинки на деревьях есть отметки.
  • sac_scale для горных троп, trail_visibility для ориентирования, mtb:scale для техничности прохода на велосипеде, wheelchair и width — кажется, уже перебор.

Но главное, что вытекает из первого пункта классификации выше, — тропинки можно отметить как highway=footway! Этот тег подразумевает foot=yes/designated, то есть:

  1. По footway гарантированно можно пройти, он создан, чтобы ходить. При этом для велосипеда разрешение не очевидно: тег bicycle за городом обязателен. В остальном же правила такие же, как для path: добавляйте surface и остальное.
  2. Можно напороться на аргумент, как для highway=cycleway в Петербурге: ставим тег только на тротуары и дорожки, обозначенные знаками 4.5.1-4.5.5. То есть, footway обозначает юридический статус дорожки. Всё остальное — игристый path.

Подытоживая, в OpenStreetMap всё сложно, и прочитав тридцать вкладок, я не стал понимать систему лучше — даже не нашёл никакой системы. Сейчас я бы картировал лесную тропинку с фотографии как highway=footway + surface=ground + bicycle=yes. Что поменялось — раньше я смотрел на тег highway=path и видел тропинку, на которую лучше не соваться на велосипеде. Теперь я вижу тег-заглушку, который не имеет смысла без пояснений. Чего и добивались авторы роутеров и картостилей.

Внезапная топо-карта

На глагне новый слой карт — впервые с января 2021 (когда туда добавили CyclOSM). Он называется Tracestrack Topo, выглядит контрастнее и чище на близких масштабах, но топорно на z11 и дальше, где протекают его истоки из OSM Carto и OpenTopoMap. Из всех стилей на osm.org этот приятнее для глаз и удобнее, если планируешь поход. И он очень быстрый: три сервера для рендеринга и ещё пять кэширующих!

Откуда он взялся — загадка. Для начала, не было ни предупреждений, ни объявлений. Он просто появился. Слоя нет в списке предложений на вики — автор добавлял его в декабре и сразу удалил, а с мая Пол Норман вообще очистил все предложения и попросил писать напрямую OWG. Которая не публикует протоколы совещаний с января. Совет OSMF здесь ничего не решал. Короче, процессы в OpenStreetMap понемногу закрываются, в основном из-за непрозрачного OWG.

Автор — Qing Cai из Нидерландов. Это примерно всё, что можно узнать о нём и его компании Tracestrack из одного человека. Публичная история примерно такая:

  • 2015—2019 — интересовался записью и отображением GPS-треков, о чём написал пару постов в Medium.
  • 2020 — пришёл в OpenStreetMap и начал картировать Китай и улучшать страницы по нему в OSM Wiki.
  • 2021 — создал картостиль для своего приложения на базе OSM Carto.
  • 2022 — зарегистрировал компанию Tracetrack для продажи тайлов и сфокусировался на ней.
  • 2023 — открыл исходники TracesMap, как сообщил WeeklyOSM, а теперь ещё и добавил свой слой на osm.org.

Это довольно вдохновляющая история — не каждая компания может позволить себе достаточно серверов, чтобы справиться с нагрузкой от глагне! И слой на osm.org — лишь вершина айсберга. Если всмотреться в демонстрационный сайт, он собран из нескольких растровых и векторных слоёв: заменяемой подложки и надписей (выбор из 21 языка), плюс дополнительные слои типа велотрасс или машрутов общественного транспорта. Похоже на то, с чем мы экспериментировали лет десять назад, но, как видно, работает!

Ранее Ctrl + ↓

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.