ШТОСМ

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.

Maxar уходил, но вернулся, как обещал

Хорошая новость: спутниковые слои Maxar снова доступны! Мы прожили без них два месяца, не смогли подобрать URL тайлов взамен отключенных, но в опубликованном вчера обновлении редактора iD слои вернулись. К сожалению, JOSM и другие редакторы пока официально не поддерживаются, но расшифрованная ссылка уже проникла в список подложек JOSM.

Если вы не следили за новостями, Maxar — это новое название DigitalGlobe и новый набор слоёв, который прошлым летом окончательно заменил старые слои DG. Снимки DigitalGlobe нам выдали отчасти благодаря фейсбуку в 2017 году. Они всем нравились, потому что часто были самыми свежими. Снимки Maxar немного другие, что огорчило картографов в некоторых странах, но всё равно лучше прочих. Поэтому когда Кевин Баллок неожиданно объявил об их отключении, люди выражали своё расстройство целый месяц в полусотне комментариев.

Слои убрали не из-за осмеров. Ссылки на них были открыты, что было удобно и для добавления их в общий реестр подложек, и для изучения на сторонних веб-сайтах. Подключить снимки Maxar в свою веб-карту было не сильно сложнее, чем тайлы OpenStreetMap. Как и в «SAS.Планету», чтобы выкачать тайлы для любого региона в любых масштабах. Последнее и сломало Maxar: неизвестные люди или организации начали качать слишком много тайлов и слишком часто, что перегрузило серверы и, вероятно, стало слишком затратно для компании.

***

«Данные — новая нефть», и геоданные в особенности. Сотни тысяч компаний зарабатывают деньги исключительно обработкой данных, услугами на их основе. Вы знаете примеры. Но в отличие от нефти, которую нужно покупать у добывающих компаний, все привыкли к открытым данным, которые достаются бесплатно и почти без условий. «Информация должна быть бесплатной», популярно было говорить десять лет назад. Я в докладах порицал компании, торгующие картами, и призывал открывать геоданные и зарабатывать не на ресурсах, а на услугах. Потому что оплачивать нужно работу, а не доступ к вентилю.

Amazon как нельзя нагляднее показал, почему этот принцип не работает в мире Open Source. Люди пишут серверы и базы данных, публикуют код под открытой лицензией в соответствии со своими принципами и предлагают платные услуги по настройке и поддержке. И тут приходит Amazon, берёт бесплатное и предлагает те же услуги, но в единой инфраструктуре и дешевле, за счёт масштаба. Авторы в шоке от уходящих в амазон клиентов и начинают сомневаться, что сделали правильный выбор в пользу открытых исходников.

Мы это прочувствовали на себе в 2016 году, когда любители Pokemon Go сделали несколько сайтов, где можно было найти ближайших редких покемонов на карте. Тайлами для этих карт они выбрали бесплатные и открытые тайлы OpenStreetMap. От миллионов игроков наши серверы немного слегли и пришлось ввести драконовские ограничения на загрузку тайлов, от которых мы страдаем до сих пор. В прошлом же месяце нам удивили сотни людей, одновременно скачивающих файл планеты OSM. «Зачем вообще качать планету больше одного раза», — начали огрызаться участники.

Оказалось, что предоставление бесплатных ресурсов — это неблагодарная работа, требующая времени и денег, иногда слишком большого количества денег. Не говоря о получении этих данных — картографии или выведении спутников на орбиту и обработке снимков с них. Мы привыкли отдавать, а бизнес привык получать бесплатно. «Где получить снимки Земли в качестве не хуже Google Maps для коммерческой деятельности, желательно бесплатные?» — спросили в чатике недавно. Смешно звучит, но ведь «информация должна быть свободной», что тут такого? Очередной виток трагедии общин, разворачивающийся уже второй год, грозит сломать нам open source, сломать публикацию данных и усложнить жизнь картографам в OpenStreetMap.

Попытка Maxar закрыть тайловый слой для всех, кроме осмеров, первая в истории. Вместо записи в реестре подложек, его добавили напрямую в редактор iD с помощью Брайана и Квинси.. Ссылка защищена шифрованием AES: вместо домена и пути — набор цифр. Так просто адреса тайлов не вытащишь — нужно собирать по исходникам ключи, проверять алгоритм, писать код. Или... открыть инспектор сети в браузере и увидеть там готовые ссылки с ключами. Что и сделал вчера некто Sosha, чтобы обновить ссылки в JOSM. Ничто не помешает нажать те же кнопки сотрудникам компаний, которые хотят бесплатных снимков, и всё начнётся по-новой.

Всероссийская перепись под угрозой

Российский OpenStreetMap ждёт огромное потрясение: DWG, рабочая группа по данным, прямо сейчас рассматривает правки шестисот участников самой массовой инициативы по уточнению карты. Сотрудники неизвестных организаций на протяжении полугода добавляли адреса, рисовали дома и подписывали улицы. Но на вопрос об источниках ответы ранжировались от никаких до прямо противоречащих условиям участия в проекте. Конец столь же предсказуем, как и печален: сотни тысяч адресов и прочие улучшения, внесённые в рамках этого загадочного проекта, будут удалены без возможности восстановления.

Спасибо Валерию Трубину и Arseniy из @ruosm за фотографии

Всё началось в июне прошлого года: Wowik, автор одного из трёх валидаторов адресов, заметил резкий скачок в количестве адресов в Волгограде. «В личке ответ, что [адреса] из публичной кадастровой карты России и КЛАДР. Ну и что теперь с этим знанием нам делать?» Участница начала добавлять адреса в мае 2019 года и прекратила в июне, сразу после беседы об источнике данных.

23 июля Parukhin заметил в Архангельске «какое-то нашествие девушек, которые выравнивают домики по снимку при нулевом смещении, не глядя удаляют новые здания, которых нет на бинге, тянут адреса и POI с яндекса». Wowik подсобрал статистики и оказалось, что таких людей больше, чем кажется: более двух десятков человек массово вносили адреса только в тот день. На следующий день тема «обсуждение массовых правок» перестала быть темой про планирование автозамен: длинные списки картографов, день за днём вносящих адреса, захватили её на полгода и десять страниц.

Условия участия в OpenStreetMap, с которыми нельзя не согласиться при регистрации, гласят: «добавленные вами данные не должны нарушать авторские права кого-то ещё». Открытая лицензия — это главное и определяющее свойство нашей карты. Из него вытекают все условия, всё сообщество, вся популярность OSM в коммерческих и любительских проектах. Публикуя данные в открытой базе данных, вы делаете их открытыми: что тут непонятного? Другими словами, вносить данные, защищённые авторским правом без разрешения автора — то же самое, что купить фильм и выложить его в торренты. Легко, полезно для тысяч пользователей и противозаконно.

Загадочные картографы копировали адреса отовсюду. Некоторые честно отвечали: «кадастровая карта, яндекс, 2гис и т. д.» Многие ограничивались только первым пунктом: никто не знает, можно ли брать данные из ПКК, учитывая, что на пару дней её всю опубликовали как открытые данные (подсказка: нельзя). Но чем дальше, тем больше людей усваивали правильные ответы: «я всю жизнь тут живу и знаю», «помогают родственники и друзья», «в декрете много гуляю по местности». Звучало это подозрительно: адреса содержали те же ошибки, что яндекс или ПКК, количества измерялись тысячами в месяц. Заказчика не выдал никто — но поиск имён по социальным сетям показывал одну и ту же организацию: Ростелеком.

Редактировать OpenStreetMap просто. Отменить правки — нет. В данных всё связано со всем: представьте, что википедия — это не миллион разных страниц, а одна большая страница, и каждое предложение связано с каким-то другим. Откатить правку, сделанную месяц назад, будет близко к невозможному. Кроме того, правки обычно откатывают по одному пакету и это небыстрая операция. Пользователей в списках же сотни, и у каждого по сотне пакетов правок. Чтобы отменить правки даже одного человека, нужны специальные программы и опыт, который поможет не сломать данные вокруг. Кроме того, при откате данные всё равно остаются в истории объектов и нарушают лицензию — нужно специальное сокрытие данных, которое вправе делать только участники DWG.

Далее, в сообществе не принято делать резких движений, потому что в картографии вопросы лицензий сложны и вместе со вредными правки люди вносят полезные. Например, ставят украденные адреса на аккуратно отрисованные по разрешённым спутниковым снимкам контуры домов. Некоторые люди действительно собирают адреса самостоятельно: хорошо бы уважить их труд и не рубить сплеча. Каждого нужно спросить про источники — но люди отвечают «я там живу» и приходится делать моральный выбор: сделать вид, что поверил, и оставить как есть, или проверить внимательнее, сравнить с яндексом и ПКК и понять, что ответ ложь. Это гнетёт, поэтому мы считали людей, смотрели на адреса и ничего не делали.

Надежда на помощь появилась в январе: сотрудница крупной американской компании попросила объяснить, что это за полторы сотни человек добавляют адреса, врут в ответ на вопрос про источники и при удалении их данных быстро возвращают обратно. Я повторил всё, что написано выше, внутренне радуясь: крупная компания, которая использует OSM в своих продуктах для аудитории в сотни миллионов человек, едва ли оставит вопрос лицензионной чистоты на самотёк. Люди на зарплате соберут всю информацию и привлекут DWG к проверке и откату всех до единой нелегальных правок. На прошлой неделе они это сделали: группа получила список из шестисот имён (поправка: двухсот, см. комментарий mavl). Кажется, наша фрустрация скоро закончится. Если только не заменится другой: что мы сломали нам перепись.

Мы не знаем заказчика, поэтому не можем доказать, что эти сотни человек наносят адреса специально ко Всероссийской переписи населения, которая пройдёт в октябре. Впервые перепись пройдёт «с планшетами, в которых будут загружены цифровые карты». В России не существует достаточно полной базы адресов с координатами, но есть множество разрозненных источников: коммерческих карт, адресных планов, кадастр. В сообществе OSM считают, что Ростелекому и нескольким другим организациям поставили задачу собрать все адресные данные в базе OpenStreetMap. Работу оплачивают сдельно, по количеству домов, поэтому редакторы комментируют пакеты правок в духе «Сингапай (32 дома) + 4 контура». Инструкции, фотографии которых попали в соцсети, не перечисляют разрешённые источники данных, ограничиваясь словом «свободный» — и с кадастровой картой в качестве примера.

Главное подтверждение внезапно пришло из Дагестана. Местный картограф прямо ответил на вопрос: «информацию добавляем в систему по поручении первого заместителя Председателя Правительства РД, (протокол заседания Комиссии по проведению Всероссийской переписи населения 2020 года в Республике Дагестан). Срок до 1 февраля 2020 года обеспечить наполнение картографического материала на сайте OSM-карты». Другой местный картограф привлёк внимание тем, что вместо адресов писал в теги зданий полные имена жителей. С одной стороны, это уголовная ответственность за нарушение закона о персональных данных: штраф до 300 тысяч или лишение свободы до четырёх лет. Мы всё стёрли, конечно. С другой, это свидетельствует, что источником была явно не публичная кадастровая карта: с точки зрения лицензии тут всё чисто.

В качестве последней попытки я составил письмо в Росреестр: «Пожалуйста, сформулируйте разрешение на использование адресных данных Публичной кадастровой карты в целях уточнения карты OpenStreetMap. Или сформулируйте однозначный запрет». Отправил его в форму обратной связи на сайте кадастровой карты и на почтовые адреса двух релевантных отделов Росреестра. Разрешение использовать адреса с ПКК очистило бы достаточно большую часть внесённых адресов, чтобы можно было оставить все их с чистой совестью. Разве что удалив тех, кто неосторожно упомянул Яндекс или 2ГИС. Увы, за три недели с отправки я не получил ни одного ответа, кроме загадочного «проводятся мероприятия по восстановлению работоспособности сервисов». Госорганы традиционно выбрали третий путь: отмолчаться — но в OSM отсутствие «да» означает «нет».

Что произойдёт дальше: правки почти всех пользователей будут откатываться. DWG будет проверять каждого и скрывать те правки, которые однозначно нарушают условия участия. Скорее всего, к лету они устанут и коврово жахнут по всем пользователям из списка. В Ростелекоме найдут виноватых среди картографов, а потом осознают, что произошло. Будут в мыле искать специалистов, которые смогут восстановить стёртое. (Советую НекстГИС: там толковые ребята. Ребята, заломите ценник!) Торг, депрессия, принятие. Свою ГИС они поднять и наполнить не успеют, поэтому OSM снова ждут приключения. Внезапно получим разрешение от Росреестра. Но всё равно будем жёстче следить и откатывать. Ста процентов адресного покрытия уже не будет.

Нам, участникам проекта, не жалко данных. Мы теряли и больше: например, во время перелицензирования робот «порвал в обрывки вермишели всё подряд, а тут всего 10-30% всех домиков по деревням», как ярко сформулировал Макс в чате. Сообщество тогда быстро подсобралось и восстановило большую часть данных за пару месяцев. Были случаи, когда участники, попавшись на копировании с коммерческих карт, сносили за собой целые города. Это не катастрофа: данные не главное, главное — люди, которые за ними следят. Проходит год или пять лет, белые пятна затягиваются, данные остаются открытыми. У OpenStreetMap нет дедлайнов, поэтому мы выберем подождать двадцать лет, пока деревню не отрисуют, чем быстро получить результат, но терпеть нарушение авторских прав.

Репутация карты среди больших организаций после этого манёвра несомненно пострадает. Накосячили все: организация, что не посоветовалась с сообществом; участники, что затянули реакцию и позволили людям делать бессмысленную работу; исполнители, которые не поинтересовались, что они вообще делают. OpenStreetMap всегда был небезопасным хранилищем геоданных. Нельзя гарантировать, что ваш вклад не удалят или не изменят. Это бесплатная распределённая база, но это не ваша база. OSM — это риск со всех сторон: карта может сломаться, лицензия может укусить юристов, модель данных может оказаться неподходящей слишком поздно. Мы не говорим, что OSM нельзя использовать: нужно, но ответственно.

Открытый проект требует открытого подхода. Чтобы крупный проект на базе OSM не провалился, обсудите его заранее хотя бы с одним активным участником проекта. Не шифруйтесь, потому что это верный признак какой-то фигни — как во взаимоотношениях с сообществом, так и в самой организации. Неужели участники не будут рады полной базе адресов по всей стране? Всего-то стоило прошлой весной зайти на форум, в телеграм, или написать в совет о проекте, и мы бы совместно придумали процесс, оформили инструкции и следили бы за ходом выполнения. Чтобы полноценно использовать карту OpenStreetMap, не важно знание модели данных или инструментов. Главное — уметь раскрыться в словах. Это страшно, потому что людям может не понравиться идея, и они пресекут её на старте. Но что лучше — сразу подумать об альтернативе или потерять всю работу вблизи финиша?

Открытость — не порок

Прошлая заметка расстроила главного адепта тепловых карт Strava в России. Павел Гаврилов сделал всё, чтобы они не прошли мимо: сделал вики-страницу лучше любого перевода, а в своём проекте «Трансграничье» подробно объяснил, чем этот набор треков лучше любых других, включая OSM. Собственно, если вы на велосипеде забрались в дебри Подмосковья и внезапно благодаря карте OpenStreetMap вырулили в соседний район — очень вероятно, что Павел вам помог, найдя перемычку в треках Strava. Он один из тех маперов, которые делают карту OSM безальтернативной, лучшей в мире.

Я был неправ, говоря, что слой треков никому не нужен. Мы видим, что нужен — для уточнения отдельных мест. Всегда найдётся человек, который придумает, как использовать очередной источник, и удивит нас системным подходом к делу. Но никакой системный подход не смасштабируется на мир без активного участия создателей слоя. Strava не только не работает над улучшением OSM по своим данным: другим компаниям она вообще обрубает доступ за активность. Наше картирование прокатывает, потому что мы проходим под радарами: не распространяем кэш тайлов, срисовываем какие-то крохи, вполне умещающиеся в Fair Use.

Но разрешения на использование тепловой карты Strava у нас всё равно нет. И, честно скажем, никогда не было. Всё, что было, — твит 2014 года от бывшего сотрудника, который, если читать до буквы, — разрешает использовать тайлы конкретно Гильёму Ришару для любой картографии, — и письмо 2019 года, в котором нынешний сотрудник Strava Metro поговорил с коллегами и не видит препятствий для обклацывания их тепловой карты. Оба этих сотрудника и те, кто их спросил, молодцы. Но мы эти препятствия видим. Потому что у нас нет явного согласия.

Каким должно быть разрешение, чтобы можно было использовать данные в OpenStreetMap? Начнём с того, что карты — это сложно. И определить, какая часть геопривязанных данных защищена авторским правом, а какая — нет, часто невозможно вне суда. Например, тайлы OSM Carto публикуются под CC-BY-SA, но если перерисовывать с них линии в отдельную карту, то мы нарушим условия ODbL, потому что начнём создавать зависимую (derived) базу данных. А если сделаем свой картостиль с теми же цветами, то нарушим авторское право на оформление, которое — какой сюрприз! — не покрывается объявленным CC-BY-SA. Вернее, нарушили бы, если бы в случае OSM Carto оно не было явно открыто под CC0.

Данные по типу использования в OSM можно разделить на четыре категории. Они более-менее точно определяют, какое разрешение требуется от правообладателя, но понять, в какую из них попадают данные, не всегда просто.

  • Общественное достояние или CC0: единственный вид данных, которые можно загружать в OpenStreetMap без вопросов и разрешений. В России мы считаем, что в общественное достояние попадают только тексты законов, а в Штатах это все данные, оплаченные налогами.
  • Аттрибуция, CC-BY: можно было бы загружать в OSM, если бы не требование указания автора. Придётся согласовать, что строчка на вики-странице Contributors, на которую ссылается osm.org/copyright, удовлетворит публикатора. Достаточно твита или ответа в соцсеточке — главное, чтобы от руководства.
  • Проприетарное и Share-Alike: лицензия или условия использования прямо говорят, что нельзя. Для загрузки в OSM требуется письменное разрешение (как у Bing) или специальная строчка в условиях использования (как у Mapillary).
  • Чёрт его знает: некоторые источники мы не копируем и не используем в тех смыслах, в которых их ограничивает лицензия. И тогда непонятно, нужно ли вообще разрешение. Сюда попадают фотографии и панорамы, словесные описания границ, и даже спутниковые снимки. Мы считаем, что запрещено всё, что явно не разрешено, поэтому здесь тоже нужно какое-то минимальное разрешение от правообладателя.

Последний пункт интересен тем, что вызывает больше всего споров. На простой вопрос — почему нельзя обклацывать снимки гугля? — никто не может дать внятного ответа, кроме «потому что так заведено». Кадастровая карта балансирует где-то между третьей и четвёртой категориями, постепенно двигаясь к полной закрытости. Являются ли адресные планы общественным достоянием? А чёрт его знает — но от безысходности мы решили приравнять их к текстам законов и пользоваться без ограничений.

У разрешения три обязательных условия:

  1. Оно даётся от имени правообладателя человеком, на это санкционированным. Например, официальным аккаунтом в социальных сетях, руководителем или юристом компании.
  2. Разрешение должно разрешать. Не «не видим ничего плохого», а твёрдое «да» или «разрешаем», на худой конец — «не против».
  3. Разрешение должно быть зафиксировано на бумаге или в электронном виде. Восемь лет мы использовали яндекс-панорамы на основании телефонного звонка, что неправильно, но ввиду категории «чёрт его знает» допустимо. Потому что для этой категории важно знать, что компания не пойдёт в суд. Только этим летом Владимир Кривоконь получил разрешение правильно, в письме.

Всему этому может удовлетворить одна бумажка. Валерий Трубин в русском сообществе поднаторел в написании писем в муниципальные департаменты, чтобы те давали правильные ответы. Попросите его помощи, если данных не хватает. Но бумажные ответы — это русская специфика, где без печати ответ недействителен. Американцы часто довольствуются твитом. Как понять, имеет твит юридическую силу или нет? С проприетарными данными лучше состорожничать и пинать правообладателя до тех пор, пока он в сердцах не швырнёт в лицо письменное разрешение.

Понятно, к чему я веду: у разрешения от Strava Metro, которым мы размахиваем, нарушены первые два условия. Ни в твите, ни в письме нет явного разрешения на обрисовку в OSM всем сообществом. И в первый раз разрешение давал Пол, в то время просто руководитель одной из команд внутри Strava Labs, но точно не ответственный за распространение данных. Во второй раз — руководитель проекта Strava Metro, что уже ближе: этот проект позволяет использовать собранные данные для планирования городов, так почему бы им не позволить использовать их для OSM. Но пока все три условия не выполнены, сделать ничего нельзя.

Slide!

Нам снова разрешили использовать тепловую карту точек Strava для улучшения карты. Участник PangoSE из Швеции воспользовался лучшим способом для открытия данных с непонятным статусом: написал письмо с вопросом. И старший менеджер продукта Strava Metro ответил: мол, да, не видим в этом ничего плохого. Но есть ощущение, что и разрешение не то, и данные как-то уже не нужны.

Strava — это соцсеточка для фитнеса: выдаёт задания и отслеживает маршруты и показатели, позволяя хвастаться ими нажатием кнопки. С 2014 года часть карт на их сайте и в мобильных приложениях перешли на OSM. В то время в компании работал Пол Мак, автор многих гео-библиотек на Go, велосипедист и осмер. На SotM US в Вашингтоне он показал Strava Slide: форк редактора iD, который добавлял подложкой тепловую карту точек из велосипедных треков Strava и позволял одной кнопкой оформлять их в дороги для OpenStreetMap. Через пару дней Пол твитом разрешил рисовать карту по этому слою. Подложку добавили в JOSM и iD и начали по ней уточнять велодорожки и тропы в лесах.

После того, как в январе 2018 года студент австралийского университета нашёл на их карте маршруты пробежек вокруг военных баз по всему миру, Strava начала закручивать гайки. Помимо прочего, тепловая карта потеряла в детальности: огромные квадратики уже не помогали в уточнении OSM. Редактор Slide перестал работать, его подложка расплылась. Картографы не хотели терять такой источник информации: в отличие от осма с его двумястами треками в день, на карту Strava загружают двести тысяч велопоездок в день. Поэтому мы писали в компанию — но безответно. Неразмытые тепловые карты убрали из публичного доступа, пусть их и можно было достать, подставив регистрационные токены. Но молчание вкупе с закрытием означало, что разрешения на обводку в OpenStreetMap у нас нет. Если книгу, которую раньше можно было взять в библиотеке, спрятали на заднем дворе под замком, то наличие отмычки не даёт права её копировать.

16 ноября пятилетнее молчание прервалось: Родриго ответил, что они там все очень любят OSM. Сквозь телеграм-чатики, вики и почтовые рассылки пронеслось радостное письмо PangoSE, вики недвусмысленно говорит: «OpenStreetMap users have permission to use the data». Русскую вики-страницу летом полностью переписал участник PG7: на ней не только красочная история взаимодействия сообщества и компании, но и перечисление способов, как детальную тепловую карту подключить в JOSM и iD. Последние методы сводятся к подключению прокси-подложек с сервера Макса Кожина, про которые тот рассказал на хабре.

Проблема очевидна: разрешение-то где? Слова «мы не против» — лишь слова, пока не подкреплены делом. У нас нет однозначного «да, мы разрешаем». И у нас нет способа получить эти тайлы, не взламывая систему доступа и не нарушая условия использования, которые всё так же не упоминают OSM. Продолжая метафору выше, старший библиотекарь не против, что вы взломаете дверь, за которой книга, но само действие всё ещё противоправно. Об этом легко забыть, читая статью в нашей вики, написанную с позиции «что не запрещено — разрешено». Но по части лицензий многие осмеры стараются блюсти осторожность, запрещая использование источников с сомнительными условиями, типа русской кадастровой карты или панорам гугля. Другие картографы, вкусившие картографической свободы, бесятся от таких нелогичных на первый взгляд ограничений. Принцип «Нет значит нет» принимают не во всех культурах, и в России особенно. Что уж говорить про «отсутствие „да“ тоже значит нет».

Если в ближайшие месяцы (или годы, учитывая скорость реакции) обе проблемы решат, то у нас появится легальная подложка велотреков Strava. И возникнет следующий вопрос: а зачем? Ну, то есть, интересно посмотреть, где катаются велосипедисты, какие маршруты чаще выбирают. Но вы посмотрите на окрестности городов: за эти пять лет велосипедисты уже отметили всё что только можно. Они теперь планируют маршрут по карте OpenStreetMap, а не карта OSM рисуется по маршрутам их покатушек. Найти важную неотмеченную велодорожку, пользуясь тепловой картой, о-очень нетривиально. Это как искать пропущенную улицу в Нью-Йорке, пользуясь треками машин Juno. Она там есть, но спрятана среди десяти тысяч других улиц.

Чтобы тепловая карта Strava приносила пользу, а не лежала, спрятанная в подпапке «другое» меню слоёв JOSM, нужна автоматизация. Да, OpenStreetMap уже на том этапе развития, когда обклацывать подложки руками почти так же лениво, как обрабатывать обходные листы с прогулок. Есть же умный компьютер с нейросеточками — пусть он и работает. Дороги на снимках ищет фейсбуковский RapiD, пропущенные дороги и запреты поворотов отслеживают валидаторы. Пользу от стравовских треков принесёт только векторизатор в паре со сравнивалкой с OpenStreetMap. Или, хотя бы, достаточно мощный API, чтобы подобные инструменты мог написать кто-то другой. Но в свете продолжающегося закручивания гаек во второй половине этого года, оба исхода одинаково маловероятны.

Шесть-восемь лет мы радовались каждому источнику. Считали области, покрытые кадастровой картой. Внимательно следили за картой покрытия детальными снимками Bing и праздновали соглашение между Mapbox и DigitalGlobe. Источников было мало, а карту хотелось рисовать в каждом посёлке, поэтому мы хотели больше. Спутниковые слои были будущим OpenStreetMap. Новый слой значил новые покрытые города, что означало, что наши данные в этих городах смогут состязаться с народной картой, чьи картографы нежились на горах яндексовских снимков.

Теперь же нам, в общем, пофиг. Открыл редактор — выбирай из шести спутниковых слоёв со всемирным покрытием и ещё из нескольких региональных. Есть слой треков, есть Mapillary и OpenStreetCam, есть OpenAerialMap. Источников гора — а обрисовывают всё равно только Bing, который редактор iD показывает по умолчанию. Нам нечего желать: от «что бы обрисовать» мы дошли до «кто бы отрисовал». Мы очень остро почувствовали нехватку участников в OSM, и справляемся с ней по-разному. Кто-то ушёл в отрицание: мол, опытный участник лучше дюжины новичков, и уж точно лучше автоматики. Гуманитарная команда и другие организации собирают залы проектами навроде Missing Maps. Потом считают, сколько процентов пришли во второй раз (очень мало). Третьи поворачиваются к открытым данным.

Открытые данные и есть источник будущего для OpenStreetMap. Их не нужно обклацывать, разве что быстренько прощёлкать для проверки (сейчас как раз смотрят на театры в России). Данных много: одних только адресов проект OpenAddresses собрал полмиллиарда. Они не сильно конкурируют с обычными картографами: десять человек могут обклацать снимки целого региона, а вот объехать и собрать информацию о всех заправках или гипермаркетах будет сложнее. Сюда же можно добавить сотни миллионов распознанных нейросеточками домов. И, конечно, дороги и «зелёнка», время от времени появляющиеся в разных странах Европы и Северной Америки. Использование не подложек, но данных со стороны, — это и есть неминуемое будущее создания открытой карты. Поздно ругаться: почти все крупные компании, подсевшие на OSM, делают импорты разных видов, и пора перестать делать вид, что их нет.

Именно этого я бы ждал от Strava, если их гео-команда действительно заинтересована в улучшении OpenStreetMap. Не растрового слоя, а данных. Проект Strava Metro уже векторизует линии поездок для оценки и планирования транспортных сетей. Дело за малым: посмотреть, как эти транспортные сети обозначаются в OSM, совместить данные, найти промежутки, которые стоит заполнить. А дальше уже получить пользу от совмещения данных: например, используя данные о городах и туристической инфраструктуре, одной кнопкой строить потенциальные коридоры для региональных веломаршрутов. Главное — понимать, чем OpenStreetMap может помочь бизнесу, и принять его особенности. Из этого может родиться взаимополезный обмен данными. А без понимания мы имеем только скрытый слой разноцветных точек и редкие невнятные реплики от компании.

Try rebooting your car

Месяц назад участник тесла-клуба Armee_1, недовольный тем, как его машина едет по парковке, замапил её в OpenStreetMap. Спустя некоторое время, он вызвал машину ко входу в гипермаркет, и — чудо из чудес — она поехала не в объезд, как раньше, а напрямую через парковку. Так обладатели Теслы узнали, что уточнять OSM полезно, а мы — что по нашим данным ездят автономные машины и не жалуются, что она не HD.

Водители не видят в Тесле OSM: на их приборной панели привычные карты от Google.
Это не изменилось с 2012 года, когда начались поставки Model S. Но внутри компания не раз меняла алгоритмы и данные. Тесла использует несколько карт: с июля 2017 года сервер, прокладывающий маршруты так, чтобы захватывать станции зарядки, работает на движке Valhalla от Mapbox. К апрелю 2018 года он научился учитывать пробки и, конечно, собирать треки автомобилей, чтобы эти пробки уточнять. Наконец, когда интернет недоступен, подключаются внутренние карты — которые до перехода на OSM скачивались целиком на всю страну, задерживая обновлением выезд из гаража.

Исследование автономности дало плоды покупателям Тесл: с конца сентября американцы могут нажать кнопку «призвать автомобиль», и он доедет от своего места на парковке до хозяина, прямо ко входу в магазин или фитнес-клуб. Кнопка работает только на парковках и только в радиусе семидесяти метров от машины. Не всегда маршруты были оптимальными, но главное — будущее для водителей наступило: в духе «Knight Rider», машина из куска железа стала подвижным помощником, подскакивающим по нажатию кнопки.

Над беспилотными автомобилями сейчас работают примерно все — включая Яндекс, Uber и Lyft. На хайпе выезжают картографы, во все свои сайты рекламируя «HD Maps»: суперточные карты, на которых размечен каждый булыжник в брусчатке и каждый люк, чтобы электронный водитель не столкнулся с сюрпризами. «Машина учтёт даже знак, закрытый снежной шапкой». Сантиметровая точность, каждая полоса отмечена. «Наши машины собирают лидаром данные в реальном времени, постоянно уточняя HD-карты». Дошло до того, что так назвали карты от Mapbox, после того, как компания анонсировала третью версию векторных тайлов, ныне забытую. Общий посыл — беспилотный автомобиль не работает без высокоточных карт.

И тут водители Тесл замечают: «о, я нарисовал линию в осме, и машина теперь едет по ней». Экспериментируя, Armee_1 отрисовал ещё несколько парковок — машина выбрала оптимальный маршрут уже на следующий день. Десятки водителей бросились изучать редактор iD, узнавая, что рисовать парковки в нём очень просто. Кто-то расстроился, что Тесла использует данные открытого проекта, подверженного вандализму. Кто-то ожидал, что компания сама разметит парковки по данным от автомобилей, а не будет ждать этого от водителей. Нашли на карте парковку у завода Теслы — разумеется, отрисованную в деталях. Эти детали — например, что машина объезжает отрисованные газоны — они использовали для улучшения своих парковок. В теме уже за двести сообщений, она полна счастливых людей, получивших больше контроля над своей машиной.

Получается, точность не нужна. Беспилотные машины становятся достаточно умны, чтобы ездить по километровке (картам масштаба 1 км в 1 см, для тех, кто не застал бумажные карты). Если знаешь азимут и видишь достаточно, чтобы найти себя на карте, то можешь добраться до финиша. Все эти полосы, светофоры, поребрики нужны только картоделам, чтобы занять картографов и делать перед другими вид, что они понимают, в чём будущее картографии. Сенсоры автомобилей уже достаточно развиты, чтобы строить HD-карту прямо в процессе движения и забывать через секунду. Качество карты не важно, важен контроль. И именно этого у OpenStreetMap в избытке. Не хватает только людей, которые популярно объяснят OSM людям, чтобы компании не скрывали источник данных, а открытия, подобные описанным, случались не внезапно.

Ранее Ctrl + ↓