ШТОСМ

Главное решение

Сейчас читаю очередного Кори Доктороу и его мысли насчёт схлопывания платформ из-за рукомашества. Мол, «мы сделаем всё тип-топ, не обращайте внимания, верьте нам, крутым пацанам». Кори напоминает о «пакте Улисса»: создайте себе ограничения до того, как появятся соблазны. И тут я вспомнил о главном решении в Maps.Me.

Руководители Maps.Me приняли много решений, которые определили это приложение. Они правильно выбрали конкурента (гуглокарты), правильно не стали покупать данные, воспользовались поглощением, чтобы сделать приложение бесплатным (и, следовательно, доступным каждому). Придумали монетизационную модель, которая не мешала, а помогала пользователям: гостиницы booking.com, работавшие и без интернета, приносили львиную часть прибыли. Работая там, я слабо понимал, насколько деморализующими могли быть альтернативы.

Но о главном решении мне рассказали ещё на собеседовании, и его я помогал воплощать. Это публикация всего кода приложения под открытой лицензией. И не только — вообще, перевод разработки в публичную сферу, работу в пул-реквестах, которые каждый мог прочитать. Тогда мне, только пришедшему из нескольких лет кувыркания в открытом сообществе, не было известно, насколько редкая эта практика. Насколько... Честно, я не могу вспомнить даже пять продуктов с аналогичной историей. Обычно всё идёт вспять.

Объяснять, зачем нужно открывать код, было довольно просто. Чтобы сообщество участвовало в разработке (хаха). Чтобы доказать свою готовность работать с другими. Маркетинговый повод (мало кто заметил, на самом деле). Важным было не навредить продукту — и я уверял: над Maps.Me работают полтора десятка крутых инженеров, и чтобы кому-то «увести» продукт, понадобится создать такую же команду. Мы ничего не теряем и становимся более благонадёжными.

Mail.Ru сделал пару пресс-релизов, потом мы помогли сделать страницу opensource.mail.ru, которую с гордостью возглавляли. Со временем на ней нас заменила база данных Tarantool, а потом и она отъехала. Мы продолжали кодить, в гитхаб сыпались сотни тикетов от пользователей, но нас это не смущало: мы привыкли работать без баг-трекера. Несколько людей сделали форки для своих задач, в сторах появлялись фейковые копии с платными частями, но MAU рос, Maps.Me был главным и лучшим.

А потом давление мейла заработать деньги стало слишком большим, и команда начала сыпаться. CEO начал дёргаться. Приложение начало плющить. Mail.Ru не понял, зачем им дальше его тащить, и они продали приложение корейским криптанам. Это ощущалось, как поражение.

Но вспомним о «пакте Улисса»: открытый код невозможно провернуть назад. Поэтому стал возможен Organic Maps, вышедший всего через полгода благодаря изначальным авторам Maps.Me. Всё то же самое, но без единого трекера и без реклам. Продолжились сборки данных, продолжились починки багов, и самое удивительное — продолжилась разработка!

Да, чтобы конкурировать со старым Maps.Me, понадобилась бы большая команда. Чтобы конкурировать с новым, который в момент помешательства даже заменил офлайн-карты на библиотеку от Mapbox, достаточно просто не делать хуже. Organic Maps живёт и догоняет Maps.Me по пользователям не потому, что маркетологи покупают установки и рекламируют приложение, а потому что пользователи советуют установить эти карты всем своим знакомым.

Более того, они развиваются! Над приложением работают несколько сотрудников, плюс им помогают пул-реквестами остальные. Только в прошлом году в Organic Maps добавили импорт GPX, линейку, стиль для походов, и даже сборку для Android Auto. По мне, это невероятно, что в отсутствие какого-либо финансирования, разработчики не только делают новые штуки, но ещё и терпят странные требования и ругань пользователей в телеграме.

Это чудо стало возможным, в первую очередь, благодаря главному решению — открыть исходный код. Не знаю, кто из основателей Maps.Me это придумал, — Юра, Алекс, Витя, они все могли. Не уверен, что они ожидали, что из этого выйдет что-то путное. Но заложив основу открытости, они, как оказалось, сделали приложение бессмертным, как OpenStreetMap бессмертен по той же самой причине. Как AMDmi3 комментировал девять лет назад, недостаточно обещаний сделать всё хорошо, важны юридически связывающие действия.

Организация НКО — обычный вариант такого связывания, в этом случае венчурные инвестиции невозможны, и все финансы открыты. Можно принять юридически значимую хартию. Или ограничить себя технически: например, как Mastodon, в который сбежали технически подкованные люди из твитера, не может контролировать какая-то одна компания. Открытая лицензия — очень хороший вариант для приложений и данных. Она делает обещание вечности реальным, потому что отвязывает от людей и юридических лиц. Жаль, что увидеть, как новые или устоявшиеся проекты выбирают открытость, удаётся всё реже.

Светлое будущее

На этой неделе OSMF поделился радостью: Microsoft подарила Фонду 150 тысяч долларов. Эти деньги пойдут на спонсирование трёх конференций, в счёт кампании по сбору пожертвований и сделают Microsoft вторым платиновым спонсором проекта, вместе с TomTom.

Прежде всего, большое спасибо Microsoft. Не в первый раз — когда-то они дали нам снимки Bing, позже — панорамы и контуры зданий. Деньги очень нужны проекту — в первую очередь, как раз на конференции, которые в этом году испытывают проблемы с поиском спонсоров.

Но мне вспоминается 2012 год. MapBox получил полмиллиона на разработку нового редактора. Получился iD — лучший веб-редактор карт в мире, все остальные смотрят и завидуют (кроме яндекса, у них тоже неплохо). В 2010 году Stamen Design получили 400 тысяч на создание картостилей на базе OpenStreetMap (и позже ещё два гранта на их поддержку). Вы все слышали про Watercolor и Toner, они для многих стали лицом проекта. Они вдохновили проект Field Papers, который до сих пор главный в распечатке обходных листов (хотя появился конкурент).

150 тысяч — это был весь планируемый доход от корпоративных спонсоров за 2023 год. Годовой бюджет OSMF — 700 тысяч. Это включает 170 на серверы, 100 на рабочие группы и Совет, и 280 на четырёх сотрудников. Это, мягко говоря, небольшие деньги. Бюджет QGIS втрое меньше, но это один проект, сравним с iD. Бюджет гуманитарной команды — десять миллионов. Полтора миллиона только на «технологические инновации».

OSMF целится удивительно низко для масштабов проекта. Представьте гуманитарную команду или викимедию, спамят они свои каналы благодарностями спонсорам за каждую сотню? Наш Фонд всё время с основания живёт в режиме выживания, каждый фунт на счету, поэтому нет времени на развитие. Попробовали пару раз — с микрогрантами и с моделью данных, испугались реакции сообщества, больше ни-ни. В стратегии OSMF грусть: только про помощь с проведением сборов пожертвований и жизнь в условиях нехватки денег.

Только пожелай

Деньги на выживание никто не даёт, их дают на светлое будущее. «Сначала скажите, куда вы их потратите». Благодаря нескольким заметным членам сообщества, развитие у нас под запретом, потому что «посмотрите, что случилось с викимедией». Пожертвования и спонсорство работают только до какого-то предела, после которого нужно уметь ходить по компаниям и рисовать красивые картины будущего. И это, очевидно в OSMF не умеют — кроме, наверное, Mikel Maron, чей срок вышел. Это демонстрирует ситуация с Overture Maps и то, что для картографов с 2013 года ничего особо не изменилось.

Может ли OSM развиваться сам, силами добровольцев? Конечно. Мы все (почти) рисуем карту бесплатно. Энтузиасты делают новые инструменты — например, StreetComplete и все остальные мобильные приложения. Они пишут плагины для JOSM и выпускают новости WeeklyOSM. Коммерческие компании оплачивают свою разработку: Osmium, Rapid, Osmcha, Mapillary, Tasking Manager. Организации спонсируют картирование по всему миру и обучают людей. OSMF с его рабочими группами не при чём.

Проблема в том, что принимая это состояние дел, Совет заявляет, что OpenStreetMap идеален в его нынешнем состоянии. Ему не требуются изменения, не требуется помощь. Главное — чтобы серверы работали. Корпорации лучше знают, какие инструменты делать и как руководить тысячами картографов на зарплате. Энтузиасты с хорошей работой и свободным временем придумают, как сделать жизнь картографов легче, и сами напишут все приложения, а в награду другие энтузиасты упомянут их в новостях.

Это работает, потому что некоторые люди не могут не картировать. Другие — не могут не писать. Не могут не делать приложения. Но перестаёт работать, когда масштаб работы больше одного-двух человек (кроме JOSM, JOSM — это необъяснимое чудо).

Инновации стоят дорого. Такие, как iD. Такие, как новый API. Как Tasking Manager. Любой новый проект требует разработчиков, проектирования, управления, внедрения, и бюджет будет сопоставим с бюджетом всего OSMF. Целясь низко, OSMF не даёт себе возможности что-то запустить. У Фонда нет ни контроля, ни ресурсов, ни даже способа помочь людям, которые что-то зачинают. Если у тебя нет свободных денег или свободного времени, иди картируй. Если есть — будь готова, что благодарности не будет, а будут отказы от мейнтейнеров и претензии от мапперов. OpenStreetMap — это боль.

Так что 150 тысяч — это отличный подарок от Microsoft. Но то, что эти деньги не нужны Фонду ни на что, кроме поддержки обычных конференций и обычных операционных расходов, огорчает. Хочется светлого будущего.

Тропинки

Идёшь, значит, по лесу, смотришь ягоды по сторонам, гладишь случайного кота. Заглядываешь в Organic Maps и замечаешь, что тропинка не отмечена. Вечером открываешь JOSM, проклацываешь линию — и вспоминаешь, что когда в прошлый раз навесил на тропинку привычный тег highway=path, набежали другие мапперы и завязался спор. Как же правильно?

Довольно долго был консенсус: highway=footway — это пешеходная дорожка, за которой следят (улучшают покрытие, устанавливают освещение и т. п.), а highway=path — это случайная тропинка, типа как люди протаптывают на углах между footway или в лесу. Год назад это было отмечено и в русской вики. Разница казалась очевидной: по path не всегда проберёшься на велосипеде, а footway вполне подходит. Объединение этих тегов на картостиле OSM Carto стало той гранью, за которой некоторые участники разочаровались в его принципах. «Path и footway — совершенно разные объекты по OSM Wiki» — писал vvoovv. Откуда недопонимание?

Оказалось, англоязычное сообщество ещё в 2013 году поспорило на эту тему, почти ровно десять лет назад. Ричард пожаловался в дневничке, что path обозначает «всё вышеперечисленное»: и тропинки, и велопроезды, и грунтовки, с покрытием и без. Никто не знает, что там под path. Шон из Cyclestreets сдаётся: «чёрт его знает, что там». Швед Туре для своего картостиля пытается выжать максимум из дополнительных тегов, но что делать, если их нет? В нашей вики с 2009 года собирают мнения о path, и единственное, на чём сошлись, — четырёхколёсные транспортные средства туда либо не поместятся, либо запрещены.

Как же тегировать правильно? И почему у нас есть нормальный простой тег для пешеходных дорожек, но нет тега для тропинок, которых гораздо больше?

Триединые теги

Простой ответ — такой тег есть, и это highway=path, только указывайте surface и bicycle. Сложный требует понимания трёх уровней access: физического («тут можно проехать»), юридического («тут разрешено проехать») и онтологического («это тротуар»). Первые два из них отмечаются одним тегом (access/foot/bicycle/bus/motorcar/...). Хотя в вики юридический аспект выделен и несколько раз просят не использовать тег для физических ограничений, кто из нас не навешивал access=no на закрытые ворота, или motorcar=no, когда на проезжей части бетонный блок?

Онтологическое ограничение доступа выводится из других тегов и географического контекста — например, highway=footway. В России мы знаем, что по тротуару юридически нельзя ехать на велосипеде, но физически — вполне. Поэтому иногда переключаем планировщик маршрутов в режим пешехода, чтобы построить лучший веломаршрут. А тот, в свою очередь, подключает highway=path в болоте и делает маршрут интереснее.

У нас есть теги highway для всего. Path возникает, когда дорога проваливается сквозь классификации:

  1. Одновременно пешеходная и велосипедная дорожка, или ещё какие-то равнозначные категории. Можно, конечно, выбрать главную и сделать highway=cycleway + foot=designated (т. е. пешеходам знаками тоже разрешено). Но вики и JOSM советуют уравнять их через highway=path + нужное проставить в designated. В этом случае path — это шаблон для footway, cycleway, bridleway и прочих; highway=path + foot=designated = highway=footway.
  2. Дорога без назначения. Здесь ходят грибники или ездят квадроциклисты. Или пропахал осенью джип, тренируясь к заезду. Маршрутов для четырёхколёсных средств нет (иначе бы поставили highway=track или highway=service), но следы налицо. Иногда такие дороги облагораживают, от чего они не перестают быть path.
  3. Ничья дорога. То, что мы называем тропинками. Все остальные значения highway стоят на учёте, эта же возникла стихийно и не зарастает только потому, что там ходят или ездят люди. Покрытие натуральное. Отличие от 2 — тропинка может куда-то вести или быть важной частью велопешеходной сети. Там «не используется, чтобы куда-то добраться», здесь — «не стоит на балансе».

Все три пункта объединяет то, что мы не можем ничего сказать про проходимость path для кого-либо, кроме здоровых пешеходов. Ну, разве что тег bicycle=* поможет. Поэтому для highway=path обязателен хотя бы один дополнительный тег. Да, это surface. Он дополняет 29% path в мире, но 22% в России.

Path недостаточно

Помимо surface, для городских дорожек стоит указать тег юридического доступа (foot=designated) вместе с segregated=yes/no для велопешеходных дорожек. Как ни странно, мапперы ставят footway=sidewalk/crossing и на highway=path: звучит странно, но по первому пункту вверху разницы никакой. Впрочем, и вики, и тагинфо допускают path=crossing.

Загородные и парковые тропинки различаются по проходимости. Её нужно отметить чем-то из этого:

  • Тегом физического доступа bicycle=yes/no. Не совсем легально, но в некоторых случаях альтернативы нет. И гарантированно поможет планировщикам маршрутов.
  • smoothness, хотя он слишком заточен под автомобили (тропинки — very_bad и ниже). Я бы использовал surface:grade.
  • informal=yes для всех «ничьих» дорог, третий тип в списке выше.
  • trailblazed=yes, если по ходу тропинки на деревьях есть отметки.
  • sac_scale для горных троп, trail_visibility для ориентирования, mtb:scale для техничности прохода на велосипеде, wheelchair и width — кажется, уже перебор.

Но главное, что вытекает из первого пункта классификации выше, — тропинки можно отметить как highway=footway! Этот тег подразумевает foot=yes/designated, то есть:

  1. По footway гарантированно можно пройти, он создан, чтобы ходить. При этом для велосипеда разрешение не очевидно: тег bicycle за городом обязателен. В остальном же правила такие же, как для path: добавляйте surface и остальное.
  2. Можно напороться на аргумент, как для highway=cycleway в Петербурге: ставим тег только на тротуары и дорожки, обозначенные знаками 4.5.1-4.5.5. То есть, footway обозначает юридический статус дорожки. Всё остальное — игристый path.

Подытоживая, в OpenStreetMap всё сложно, и прочитав тридцать вкладок, я не стал понимать систему лучше — даже не нашёл никакой системы. Сейчас я бы картировал лесную тропинку с фотографии как highway=footway + surface=ground + bicycle=yes. Что поменялось — раньше я смотрел на тег highway=path и видел тропинку, на которую лучше не соваться на велосипеде. Теперь я вижу тег-заглушку, который не имеет смысла без пояснений. Чего и добивались авторы роутеров и картостилей.

Внезапная топо-карта

На глагне новый слой карт — впервые с января 2021 (когда туда добавили CyclOSM). Он называется Tracestrack Topo, выглядит контрастнее и чище на близких масштабах, но топорно на z11 и дальше, где протекают его истоки из OSM Carto и OpenTopoMap. Из всех стилей на osm.org этот приятнее для глаз и удобнее, если планируешь поход. И он очень быстрый: три сервера для рендеринга и ещё пять кэширующих!

Откуда он взялся — загадка. Для начала, не было ни предупреждений, ни объявлений. Он просто появился. Слоя нет в списке предложений на вики — автор добавлял его в декабре и сразу удалил, а с мая Пол Норман вообще очистил все предложения и попросил писать напрямую OWG. Которая не публикует протоколы совещаний с января. Совет OSMF здесь ничего не решал. Короче, процессы в OpenStreetMap понемногу закрываются, в основном из-за непрозрачного OWG.

Автор — Qing Cai из Нидерландов. Это примерно всё, что можно узнать о нём и его компании Tracestrack из одного человека. Публичная история примерно такая:

  • 2015—2019 — интересовался записью и отображением GPS-треков, о чём написал пару постов в Medium.
  • 2020 — пришёл в OpenStreetMap и начал картировать Китай и улучшать страницы по нему в OSM Wiki.
  • 2021 — создал картостиль для своего приложения на базе OSM Carto.
  • 2022 — зарегистрировал компанию Tracetrack для продажи тайлов и сфокусировался на ней.
  • 2023 — открыл исходники TracesMap, как сообщил WeeklyOSM, а теперь ещё и добавил свой слой на osm.org.

Это довольно вдохновляющая история — не каждая компания может позволить себе достаточно серверов, чтобы справиться с нагрузкой от глагне! И слой на osm.org — лишь вершина айсберга. Если всмотреться в демонстрационный сайт, он собран из нескольких растровых и векторных слоёв: заменяемой подложки и надписей (выбор из 21 языка), плюс дополнительные слои типа велотрасс или машрутов общественного транспорта. Похоже на то, с чем мы экспериментировали лет десять назад, но, как видно, работает!

OpenStreetMap атакуют

Скриншот сделал literan 25 августа

На этой неделе карта OSM подверглась «дефейсу»: на ней рисовали гадости, как когда-то на картах Google и яндекса. Казалось бы: ну да, вандалы у нас всегда водились. У нас есть средства отката правок и кнопка жалоб в рабочую группу по данным. Но на этот раз масштаб оказался беспрецедентен: более семи тысяч аккаунтов загрузили сотни тысяч правок, заменяя названия улиц и заведений в РФ оскорблениями.

Как и рассчитывал неизвестный вандал, названия попали на карты разных популярных систем, включая википедию, телеграм, guru maps; муниципальные системы типа умных остановок, парковок и прочих табло; частные веб-сайты и osmand live. Какие-то системы из-за этого закрыли «на переучёт». Одна из русских компаний вывесила на vc рекламу в духе TomTom, что осму доверять нельзя, и она переводит свои карты на 2gis. Последние четыре дня в чатиках все узнают, как обновить тайлы в браузере (Ctrl+F5 или ⌘⇧R), потому что хотя откатывают быстро, картинки остаются в кэше.

Что делать? Пожалуй, это тот случай, когда отдельные участники бессильны и нужен системный подход. То есть, усилия программистов, DWG и OWG (админов):

  • Камиль Монич написал инструмент для поиска вандальных пакетов правок и их отката. Тот работает день и ночь, неутомим, как и инструменты, создающие вандальные правки.
  • Энди Таунсенд и другие участники DWG банят аккаунты вандалов тысячами. Моральные силы на исходе, поэтому...
  • Том Хьюз из OWG ограничил скорость регистраций с одного IP и с одной почты. Да, вы думали, что один аккаунт — одна почта, но забыли про суффиксы после плюса (ilya+osmsuffix@gmail.com) и поддомены.
  • Роман Деев в русскоязычном чатике ведёт учёт и помогает пользователям (как и многие другие участники, приходите к нам).

Мы впервые столкнулись с массированной автоматизированной продолжительной атакой, и способы защиты придумываем по ходу дела. Индивидуальные откаты, пожалуй, только усложнят работу, поэтому увидев плохое название, сначала проверьте, что его не откатили (нажав кнопку «что здесь»). Найдя там объект, откройте профиль его автора, нажмите «сообщить об этом пользователе». И ждите.

Эта ситуация хуже художественного вандализма, когда рисуют вымышленные символы или города. Хуже добросердечного вандализма переводчиков, когда люди заливают сотни тысяч локализованных названий (недавно участились правки тегов name:ru и name:uk). Но вандализм неизбежен. Если вы используете OpenStreetMap в качестве подложки, рано или поздно вы обнаружите, что это открытый проект, отредактировать который может каждый. Нельзя иметь только плюсы без минусов. Без третьего измерения OSM хуже альтернатив, а с ним — сложнее.

Но модераторы в OpenStreetMap есть, и благодаря их работе вы замечаете вандализм только в закэшированных картинках, как свет давно умершей звезды в ночном небе. Сотни картографов на зарплате просматривают правки в компаниях типа Meta, Grab, Mapbox, TomTom. Единичные случаи откатывают энтузиасты на местах. И нельзя не упомянуть ежемесячные курированные слепки Daylight Map Distribution от фейсбука, которые, скорее всего, скоро станут частью Overture Maps.

Ранее Ctrl + ↓

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.