Вчера на форуме в очередной раз высказали мнение, что будущее открытой картографии — за автоматическим распознаванием. Несколько компаний исследуют это направление уже много лет. Самая заметная из них — Mapillary, «народные панорамы». Дождавшись, когда база фотографий подрастёт до сотен миллионов, они начали выяснять, что же на них запечатлено. В январе 2015 года Mapillary показали слой с дорожными знаками и спустя несколько месяцев добавили его в JOSM и iD.

Две недели назад они анонсировали большое обновление набора дорожных знаков. За это время от машинного зрения они перешли к машинному обучению, прокатали через него на порядок больше снимков, а в октябре ещё и запустили «игру», в которой человеку нужно оценить точность распознавания.

Telenav с их конкурирующим проектом OpenStreetCam занимается примерно тем же — но с конкретной целью улучшить OSM, а не только собрать базу «на всякий случай». Филипп Кэндал, руководитель разработки, рассказал в 2016 году, что его команда пишет распознавалку знаков и указателей и уже уточнила двадцать тысяч ограничений на карте. За автоматикой, по его словам, будущее.

Для картографов OSM знаки в плагинах Telenav появились только в феврале этого года: всего полмиллиона и лишь в США и Канаде. Зато они сравнивают распознанные ограничения с данными OpenStreetMap, и картографов можно оповестить о необходимости уточнить карту. В апреле эту функциональность добавили в модуль для JOSM.

Наконец, в мае Telenav снова признался в верности открытому сообществу, опубликовав весь код распознавания знаков и натренированную модель под открытой лицензией Mozilla. Саму базу знаков тоже скоро откроют. Мартайн предлагает задействовать эту нейросеточку для распознавания новых типов объектов: скамеек, фонарных столбов, остановок. Чтобы это открытие не прошло незамеченным, Telenav объявил конкурс: сделайте свой проект до 17 августа и выиграйте 10 тысяч долларов — если он распознает более 94% объектов. Условия расплывчаты — вероятно, более опытные участники таких конкурсов поймут, что к чему.

А что Mapbox? Странным образом, они тоже участвуют в этом ажиотаже — но до недавнего времени только командой картографии. В 2016 году они собрали интерактивную карту, сопоставляющую знаки от Mapillary и данные OSM (что Telenav, напомним, делает автоматически) и улучшали нашу карту — только в США, конечно. 13 июня этой карте пришёл конец, хотя все исходники доступны на github. А на следующий день Вирджиния из команды машинного обучения Mapbox раскрыла, что они взяли у Bing снимки StreetSide на 23 американских города, прогнали их через нейросеточки и получили новую интерактивную карту со 184 тысячами распознанных ограничений движения. Их команда картографов медленно продирается через этот набор данных, но от помощи они не откажутся.

Все эти компании распознают знаки на фотографиях, но автоматизируют только это — и, иногда, сопоставление с ограничениями в OpenStreetMap. А внесение в базу геоданных — ни-ни. Отчасти потому, что знаки не соответствуют никаким объектам на карте, они лишь задают свойства для уже существующих дорог. Причём не всегда привязанные к координатам знаков. Сопоставлять знаки и карту непросто, тем более, если с целью карту улучшить.

Другая причина — сообщество OSM не разделяет мнение Филиппа, что автоматическое распознавание — будущее картографии. Лучше в сто раз медленнее, но руками, с тёплыми ламповыми ошибками и чувством удовлетворения от работы, неведомым алгоритму. Фейсбук уже несколько лет пытается переломить это заблуждение — на конференции SotM в Милане через месяц они снова расскажут, как взаимодействуют с сообществом в Таиланде, куда импортируют распознанные нейросетями дороги.

Месяц назад в репозитории редактора iD неожиданно появился пул-реквест от Джубала Харпстера. В описании он был лаконичен: «интегрирует снимки StreetSide в редактор. На здоровье. —Микрософт». «Но их же нельзя использовать», — сразу ответил Пол Норман.

Мало кто в восточном полушарии знает, что панорамы есть не только у Google, Яндекса и Baidu. Список подобных сервисов в википедии очень длинный, но в разделе всемирного покрытия пока только две компании с проприетарными панорамами. Вторая — это Microsoft Bing. Их StreetSide запущен в 2009 году и покрывает большую часть Соединённых Штатов и крупные города в Великобритании, Франции и Испании. Вы не увидите эти снимки: «Вид с улицы» доступен только жителям городов внутри области покрытия.

Смотрители проекта iD не так въедливы, как у сайта OSM. Брайан просмотрел на эти семь коммитов от Шоны Паради и Лорена Мюллера, нашёл несколько недочётов и то ли помог их исправить, то ли отредактировал код сам — интерфейс гитхаба не дал понять. Так или иначе, неделю назад запрос был принят, и 14 июня выпущена новая версия редактора с панелью StreetSide. Включается она там же, где Mapillary и OpenStreetCam: кнопкой данных карты, справа под кнопкой слоёв.

Что касается лицензии, Пол немного опоздал с заявлением. Как обнаружил Майкл Райхерт, ещё в апреле Микрософт обновил условия использования своих сервисов, явно разрешив подсматривать в StreetSide для уточнения данных. Немцам, впрочем, от этого мало пользы: их соотечественники успешно отразили все попытки Bing Maps отснять их территорию.

Разумеется, разрешение касается не только редактора iD. В том же пул-реквесте Джубал ответил на несколько вопросов насчёт лицензии, подтвердив, что панорамы можно использовать и в настольных редакторах. Несложно найти код модуля для JOSM, на которым последние несколько дней работает Рене Роудс. Полноценной поддержки придётся подождать в обоих редакторах: вон, в модуле для iD уже нашли ошибку при масштабировании снимка.

Как сотрудники Bing Maps напоминают в пресс-релизе, это не первый их подарок сообществу открытых карт. Каждый пользовался снимками Bing для обклацывания домиков и дорог. Из недавнего, год назад они предоставили OpenStreetMap десять миллионов геометрий зданий в 44 штатах Америки вместе с высотами, которые нарисовали самостоятельно по детальным снимкам и ЦМР. Приятно, что Микрософт уже много лет не отворачивается от открытых сообществ. Спасибо им.

Гарри Вуд поставил изображением недели карты всех двенадцати стадионов ЧМ 2018. В сравнении с яндексом — всё плохо, кроме Фишта и Лужников. Прилично выглядят ещё Спартак, Санкт-Петербург, Казань и с большой натяжкой Ростов. А остальные шесть — совсем никак.

Возникает вопрос, почему сообщество не бросилось отрисовывать стадионы. Мы же когда-то обклацали весь Саранск за два дня (без стадиона) и маленький городок Краснохолм лишь по просьбе одного человека. Почему нам не удалось поднять сообщество улучшить карты нескольких мест, которые помогут сотням тысяч туристов?

Для успешной «диванной картовстречи» нужны три условия: польза, источник, метрика. Первое понятно: спасаем жертв потопа, как в HOT, или делаем популярный сайт с нашей картой демонстрацией мощи сообщества, как в Саранске. Источником почти всегда являются детальные космоснимки, которыми, слава Bing, Mapbox и Esri, покрыта почти вся Россия. Иногда, как в случае Крымска, помогают адресные планы и репортажи с мест. А метрика повышает мотивацию: когда карта «готова на 75%», это побуждает поднажать и закончить, или, хотя бы, довести до 90%. Это не простые скриншоты, которые годятся только для прогулочных картовстреч, где главная метрика вообще нематериальна.

Главное условие, впрочем, находится над этими тремя: это воля организатора. Должен быть кто-то, кто опишет пользу, перечислит источники и составит и, возможно, запрограммирует метрику.

В случае стадионов не было такого организатора. Мы понимали, что хорошо бы их закартировать, но не оформили это в проект. Да и как, когда у нас до сих пор нет снимков? На сегодня, 100% инфраструктуры можно закартировать только у Лужников, Фишта и Казань-арены. Почти готовы на снимках ещё Спартак и стадион Санкт-Петербург. Остальные семь — либо на разных этапах строительства, либо вообще чистое поле, как в Калининграде. Luiswoo, картограф Ростова-на-Дону, — герой, что нарисовал хоть что-то поверх сплошной стройки.

Ну и без метрики рисовать неинтересно. Нужно создать, как минимум, «пирог» с разбивкой карты на удобные фрагменты, которые могут забрать для отрисовки участники. Нужно делать картинки «до» и «после». В идеале — посчитать численные изменения и каждый день, каждый час отслеживать состояние карты и подбадривать участников. На это не пошли даже коммьюнити-менеджеры яндекса, что уж говорить про нас, когда мы ничего не можем сделать с источниками.

Тем не менее, болельщики приехали и активно пользуются приложением-партнёром Ростуризма, которое совершенно случайно основывается на картах OpenStreetMap: MAPS.ME. Авторы выпустили официальные маршруты (наборы закладок) и специальную сборку карты, на которой подсвечены объекты, относящиеся к ЧМ. Иногда их пришлось добавлять поверх карты, поскольку нарисовано на наших картах не всё. OpenStreetMap снова победил — жаль, что на этот раз не качеством карт.

Pratik Yadav, сотрудник команды космосъёмки в Mapbox, вчера написал невзрачную, но очень важную заметку даже не в официальном блоге. Он подтвердил, что слоем снимков Mapbox можно пользоваться бесплатно не только для уточнения данных OpenStreetMap, но и в любых некоммерческих целях. Например, для студенческих проектов.

На недавнем хакатоне GeoHack сотрудник DigitalGlobe принёс капельку снимков, но школьники с проектами по классификации или нейросеточкам на основе космосъёмки всё равно ходили по менторам и спрашивали, где бы взять побольше. Мне нечего было им ответить — но теперь мы точно знаем, что такой слой есть. На любую территорию, сколь угодно большой площади, пусть иногда и чёрно-белый. Больше не нужно писать просьбы в DigitalGlobe или втихую качать Bing.

Далее автор перечисляет условия использования снимков, ссылаясь на сайт Mapbox. Оказалось, там это условие про некоммерческое использование было давно (п. 15), но касалось только обклацывания в вектор. Кроме того, там не указано ограничение на скорость скачивания: 100 тайлов в секунду, то есть, примерно два квадратных километра на максимальном 18-м масштабе.

В сравнении с «сырыми» снимками у слоя Mapbox есть несколько ограничений. Во-первых, его разрешение в России примерно 60 см/пк — можно попробовать качать на 19-м масштабе, но вчетверо медленнее. Затем, страшные артефакты сжатия в jpeg. Представлен только видимый спектр, никакого инфракрасного или иных каналов. И наконец, как напоминает Кристоф в комментариях, Mapbox до сих пор не предоставляет никаких метаданных на тайлы, в отличие от Bing и DigitalGlobe.

Диванные картографы могут воспользоваться пятью слоями спутниковых снимков субметрового разрешения для обклацывания в OpenStreetMap. Но что если их мало — если они слишком старые, или хочется точнее отметить люки и поребрики?

OpenAerialMap — каталог спутниковых и аэрофотоснимков на всю планету под открытыми лицензиями. Гуманитарная команда совместно с Development Seed запустили его в 2015 году с целью собрать источники для обрисовки в OpenStreetMap. Долгое время в России в этом каталоге ловить было нечего: только снимки из Landsat. Но не теперь: откройте карту и поищите свой город. Если вы картируете Москву, Петербург, Кисловодск, Вологду или Муром, то обнаружите снимок-другой в помощь.

Новой аэрофотосъёмкой мы обязаны пользователям современных квадрокоптеров, DJI Phantom и DJI Mavic. Стоят те недёшево и фотографируют хорошо, поэтому нам очень повезло, что их позволили себе несколько русских осмеров. Сергей из Петербурга, Кирилл и Артём из Москвы с конца июля активно пополняют базу OpenAerialMap — как деревнями и промзонами, не сильно изменяющимися за годы со спутниковых снимков, так и новостройками на окраинах.

Обсуждают съёмку, преимущественно, в телеграме. На форуме можно найти пару советов пользователям дронов от Сергея. Также Артём Светлов расскажет про получение ортофотоснимков из квадрокоптера на «Большой Схемотехнике» 16 сентября. Если вам такие советы бесполезны, а снимков разрешением в несколько сантиметров на пиксель хочется, добавляйте запросы на вики-страницу. Её ведут московские осмеры, так что едва ли вам повезёт, если вы из другого города.