ШТОСМ: заметки с тегом панорамы

Mapillary in 2020 will now have stories

Илья Зверев — Sat, 20 Jun 2020 19:21:06 +0400

Позавчера Mapillary неловко объявили, что их купил Facebook. Из размеров компаний уже понятно, что это большие новости: не зря они пролетели по всем технологическим блогам и телеграм-каналам про данные.

Хранить и обрабатывать миллионы фоточек для картографических нужд сложно. В 2009 году Джон Маккеррел сделал проект OpenStreetView, куда люди загружали снимки по одному через веб-интерфейс или пакетом через ftp. Модерировать их было скучно, законы на съёмку публичных пространств слишком ограничивали, а стоимость хранения данных не падала. Казалось, сделать открытую альтернативу Google Street View было технически невозможно.

Спустя пять лет шведский стартап Mapillary доказал обратное. Они не распространялись про источники финансирования, но кажется, среди коммерческих компаний был огромный запрос на хранение и обработку частных панорамных снимков. Для OpenStreetMap в компании за следующие шесть лет сделали очень много: собрали и опубликовали более миллиарда фотографий, встроили слои в iD и JOSM, автоматизировали распознавание дорожных знаков и прочих объектов. Mapillary ощущается такой же частью инфраструктуры открытых карт, как, например, Overpass API. Он полезен не только для OSM: муниципалитеты и министерства разных стран публикуют в нём снимки для отслеживания состояния улиц.

Для всех пользователей Mapillary эта покупка — отличная новость:

Источник финансирования стал понятен, и поэтому меньше опасений, что компания внезапно закроется.
Поддержка крупной компании — это дополнительное доверие со стороны других крупных компаний. То есть, больше снимков для нас и активнее разработка.
Разработчики перестанут отвлекаться на коммерческие задачи и сфокусируются на извлечении максимума картографических данных из фотографий.
Все снимки становятся бесплатны также и для коммерческого использования.

Последний пункт особенно удивляет, если не понимать, для чего фейсбуку Mapillary. Купили проект не за перспективную бизнес-модель: в сравнении с Facebook их прибыль ничтожна. Это не случай maps.me, когда после года бесплатного развития mail.ru потребовал от проекта прибыли. Технологические гиганты покупают стартап, если а) он решает какую-то проблему компании, б) у него исключительно талантливая команда. В последнем мы не сомневаемся.

Зарабатывать на Mapillary фейсбук не планирует, и конкуренции он тоже не боится. Полгода назад Grab купил OpenStreetCam — альтернативу Mapillary с 2016 года. Это был более гиковский проект, ориентированный только на снимки с автомобилей. Разработчики Telenav, владельца OSC, даже сделали интеграцию со сканерами OBD2: знание скорости и угла поворота машины помогает улучшать координаты с GPS. Увы, после покупки сервис долго не прожил: загрузка треков начала барахлить, ответственных не найти. Мы считаем, что OSC теперь решает внутренние задачи Grab, а для публики он умер.

OpenStreetCam создавали, потому что универсальный контракт с Mapillary был бы слишком дорогим, и перекупили его по той же причине. Сложно представить, что условный Uber сможет получить все фотографии от нынешнего владельца OpenStreetCam, их азиатского конкурента. Но Uber и Grab не конкуренты фейсбуку, а другие социальные сети едва ли могут получить преимущество от фотографий улиц. Поэтому открывая снимки Mapillary для коммерческого использования, Facebook ничем не рискует.

С покупкой Mapillary фейсбук получает миллиард фотографий и двадцать магистров и кандидатов наук с кучей опубликованных статей, патентов и алгоритмов. Зачем им? Ответ неожиданен и прост: пока мы не смотрели, Facebook превратился в главную технологическую компанию в OpenStreetMap, оставив окуклившийся Mapbox позади. Видимо, кто-то убедил Цукерберга, что на рынках Азии и Африки можно заработать больше, если в приложениях жители городов смогут найти свои улицы. А поскольку свою карту фейсбуку делать не резон, а готовые сложно подбирать и дорого покупать, то компания обратилась к OpenStreetMap.

Facebook известен в проекте тем, что с помощью нейросеточек находит на спутниковых снимках дороги, векторизует их, сравнивает с дорогами в OSM и помогает картографам быстро дорисовать недостающее. Первые их попытки добавлять дороги в Египте и Таиланде поссорили их с местными сообществами, но спустя три года все рады нажимать на кнопки в RapiD, вместо того, чтобы отрисовывать дороги руками. У фейсбука, разумеется, есть скрытая армия картографов, но главное в OpenStreetMap — одобрение сообщества.

А теперь представьте, что вдобавок к снимкам и данным OSM фейсбук получил фотографии Mapillary. Как тут развернутся их инженеры! Со спутника видна дорога, с камеры — её покрытие, разметка и знаки. Со спутника видим дом, с камеры — его высоту, материал, вывеску магазина. Берём заведения из OSM, сопоставляем с фотографиями, отмечаем вероятно устаревшие, передаём армии картографов. Считаем количество машин на фотографиях, выводим классификацию дорог. Несмотря на достижения команды Mapillary, они едва-едва вошли в океан способов использовать свои фотографии для улучшения карты. Взять тот же редактор Deriviste Ричарда Фейрхёрста: видишь скамейку на фото, кликаешь в неё, вводишь «скамейка», сохраняешь. Но в Mapillary уже умеют определять, что за объект на фото!

При всём этом ликовании некоторые осмеры в комментариях к новости настроены скептически, выкачивают свои снимки из Mapillary и закрывают аккаунты. Никто не любит фейсбук — и заслуженно. Я сам сократил посещение их сайта до пяти минут в день и не трогаю RapiD. Несмотря на заслуги Google и Microsoft, именно Facebook сегодня — технологическая корпорация зла. Проблема фейсбука не в технологиях, а в этике: едва ли Mapillary закроют или обвесят рекламой. Но кто знает, как именно компания воспользуется оригиналами фотографий со всего земного шара, чтобы пополнить свою базу данных о жителях (включая авторов снимков), их привычках, координатах и социальных связях?

Новые данные огорчат осмеров и новыми стычками с компанией. Facebook уже высказывал заинтересованность в импортах заведений и зданий. Усиленные распознанными фотографиями, коммерческие данные уверят сотрудников в том, что картографы-любители рядом не стояли с результатами работы их нейросеточек. Повторится Египет, только уже ближе к «первому миру». Компания извинится раз, извинится другой, а затем её инженеры найдут подход, чтобы убедить сообщество в том, что оно контролирует ситуацию. И в этот момент ещё часть контроля над данными уйдёт фейсбуку.

Уходить от Mapillary некуда: OpenStreetCam умер, остался... OpenTrailView 360 Ника Уайтлегга. Полностью открытый код, поддержка панорам, внимание на пешеходные маршруты. Достойное начинание — пока в проекте участвуют пара человек. Но стоит ему привлечь публику, как потребуется финансирование для хранения терабайтов фотографий и для разработки средств защиты личной информации, как то замыливания лиц и автомобильных номеров. Подобный проект может быть открытым в теории или в личном использовании, но масштабировать его можно только при поддержке крупной компании. Единственная альтернатива — каталог с геопривязанными фоточками на своём компьютере.

Facebook купил Mapillary, и это хорошая новость для фейсбука, для команды Mapillary, для жителей стран с плохими картами и для осмеров. Не терпится увидеть, как их разработчики придумают улучшать OpenStreetMap с новыми ресурсами и знаниями. Печально лишь то, что теперь, отправляя свежие снимки в Mapillary, нельзя не думать, что отправляешь свой маршрут и всё, что ты видел по пути, не в дружелюбную шведскую компанию, а в фейсбук.

Знаки

Илья Зверев — Sat, 30 Jun 2018 11:27:57 +0400

Вчера на форуме в очередной раз высказали мнение, что будущее открытой картографии — за автоматическим распознаванием. Несколько компаний исследуют это направление уже много лет. Самая заметная из них — Mapillary, «народные панорамы». Дождавшись, когда база фотографий подрастёт до сотен миллионов, они начали выяснять, что же на них запечатлено. В январе 2015 года Mapillary показали слой с дорожными знаками и спустя несколько месяцев добавили его в JOSM и iD.

Две недели назад они анонсировали большое обновление набора дорожных знаков. За это время от машинного зрения они перешли к машинному обучению, прокатали через него на порядок больше снимков, а в октябре ещё и запустили «игру», в которой человеку нужно оценить точность распознавания.

Telenav с их конкурирующим проектом OpenStreetCam занимается примерно тем же — но с конкретной целью улучшить OSM, а не только собрать базу «на всякий случай». Филипп Кэндал, руководитель разработки, рассказал в 2016 году, что его команда пишет распознавалку знаков и указателей и уже уточнила двадцать тысяч ограничений на карте. За автоматикой, по его словам, будущее.

Для картографов OSM знаки в плагинах Telenav появились только в феврале этого года: всего полмиллиона и лишь в США и Канаде. Зато они сравнивают распознанные ограничения с данными OpenStreetMap, и картографов можно оповестить о необходимости уточнить карту. В апреле эту функциональность добавили в модуль для JOSM.

Наконец, в мае Telenav снова признался в верности открытому сообществу, опубликовав весь код распознавания знаков и натренированную модель под открытой лицензией Mozilla. Саму базу знаков тоже скоро откроют. Мартайн предлагает задействовать эту нейросеточку для распознавания новых типов объектов: скамеек, фонарных столбов, остановок. Чтобы это открытие не прошло незамеченным, Telenav объявил конкурс: сделайте свой проект до 17 августа и выиграйте 10 тысяч долларов — если он распознает более 94% объектов. Условия расплывчаты — вероятно, более опытные участники таких конкурсов поймут, что к чему.

А что Mapbox? Странным образом, они тоже участвуют в этом ажиотаже — но до недавнего времени только командой картографии. В 2016 году они собрали интерактивную карту, сопоставляющую знаки от Mapillary и данные OSM (что Telenav, напомним, делает автоматически) и улучшали нашу карту — только в США, конечно. 13 июня этой карте пришёл конец, хотя все исходники доступны на github. А на следующий день Вирджиния из команды машинного обучения Mapbox раскрыла, что они взяли у Bing снимки StreetSide на 23 американских города, прогнали их через нейросеточки и получили новую интерактивную карту со 184 тысячами распознанных ограничений движения. Их команда картографов медленно продирается через этот набор данных, но от помощи они не откажутся.

Все эти компании распознают знаки на фотографиях, но автоматизируют только это — и, иногда, сопоставление с ограничениями в OpenStreetMap. А внесение в базу геоданных — ни-ни. Отчасти потому, что знаки не соответствуют никаким объектам на карте, они лишь задают свойства для уже существующих дорог. Причём не всегда привязанные к координатам знаков. Сопоставлять знаки и карту непросто, тем более, если с целью карту улучшить.

Другая причина — сообщество OSM не разделяет мнение Филиппа, что автоматическое распознавание — будущее картографии. Лучше в сто раз медленнее, но руками, с тёплыми ламповыми ошибками и чувством удовлетворения от работы, неведомым алгоритму. Фейсбук уже несколько лет пытается переломить это заблуждение — на конференции SotM в Милане через месяц они снова расскажут, как взаимодействуют с сообществом в Таиланде, куда импортируют распознанные нейросетями дороги.

Внезапные панорамы

Илья Зверев — Thu, 21 Jun 2018 01:21:10 +0400

Месяц назад в репозитории редактора iD неожиданно появился пул-реквест от Джубала Харпстера. В описании он был лаконичен: «интегрирует снимки StreetSide в редактор. На здоровье. —Микрософт». «Но их же нельзя использовать», — сразу ответил Пол Норман.

Мало кто в восточном полушарии знает, что панорамы есть не только у Google, Яндекса и Baidu. Список подобных сервисов в википедии очень длинный, но в разделе всемирного покрытия пока только две компании с проприетарными панорамами. Вторая — это Microsoft Bing. Их StreetSide запущен в 2009 году и покрывает большую часть Соединённых Штатов и крупные города в Великобритании, Франции и Испании. Вы не увидите эти снимки: «Вид с улицы» доступен только жителям городов внутри области покрытия.

Смотрители проекта iD не так въедливы, как у сайта OSM. Брайан просмотрел на эти семь коммитов от Шоны Паради и Лорена Мюллера, нашёл несколько недочётов и то ли помог их исправить, то ли отредактировал код сам — интерфейс гитхаба не дал понять. Так или иначе, неделю назад запрос был принят, и 14 июня выпущена новая версия редактора с панелью StreetSide. Включается она там же, где Mapillary и OpenStreetCam: кнопкой данных карты, справа под кнопкой слоёв.

Что касается лицензии, Пол немного опоздал с заявлением. Как обнаружил Майкл Райхерт, ещё в апреле Микрософт обновил условия использования своих сервисов, явно разрешив подсматривать в StreetSide для уточнения данных. Немцам, впрочем, от этого мало пользы: их соотечественники успешно отразили все попытки Bing Maps отснять их территорию.

Разумеется, разрешение касается не только редактора iD. В том же пул-реквесте Джубал ответил на несколько вопросов насчёт лицензии, подтвердив, что панорамы можно использовать и в настольных редакторах. Несложно найти код модуля для JOSM, на которым последние несколько дней работает Рене Роудс. Полноценной поддержки придётся подождать в обоих редакторах: вон, в модуле для iD уже нашли ошибку при масштабировании снимка.

Как сотрудники Bing Maps напоминают в пресс-релизе, это не первый их подарок сообществу открытых карт. Каждый пользовался снимками Bing для обклацывания домиков и дорог. Из недавнего, год назад они предоставили OpenStreetMap десять миллионов геометрий зданий в 44 штатах Америки вместе с высотами, которые нарисовали самостоятельно по детальным снимкам и ЦМР. Приятно, что Микрософт уже много лет не отворачивается от открытых сообществ. Спасибо им.

Народные панорамы

Илья Зверев — Mon, 03 Nov 2014 17:05:08 +0400

В октябре в редакторе iD появились снимки: пункт «наложение фотографий» в меню подложек. Они всплывут, если навести курсор на оранжевые маркеры. Откуда берутся эти картинки и куда их загружать?

Мысль централизованно хранить снимки, собранные на картопрогулках, воплотилась ещё в 2009 году в проекте OpenStreetView. Это просто архив геопривязанных через EXIF фотографий, отображаемый на карте OpenLayers. Долгое время он был заброшен, сейчас какое-то движение вокруг сайта заметно, но он безнадёжно устарел. Обычная кладовка снимков — неблагодарная затея: мапперы возвращаются с прогулок с сотнями, иногда тысячами фотографий, ценность которых падает до нуля после обработки. Гигабайты снимков будут лежать мёртвым грузом, потому что улицы рассматривать куда удобнее через гугло- или яндекс-панорамы (последние нам можно использовать, а вот Street View — нежелательно).

В 2013 году появилась альтернатива. Шведско-американская команда программистов сделала Mapillary: приложения для смартфонов, которые отправляют снимки на сервер, плюс веб-сайт для их домашнего просмотра. В отличие от проприетарных решений, здесь многое возложено на пользователей: не только съёмка, но и контроль размытия лиц и номеров, поворот и перенос точек съёмки, редактирование цепочек. Mapillary не требует панорам (хотя с сентября умеет их делать и отображать): можно загружать даже серийные фотографии с GoPro. Это Street View и Panoramio в одном.

Лицензионный вопрос решили весной: сначала снимки были под лицензией «только для некоммерческого использования». Это очень хитрое условие, потому что не перечисляет запрещённые операции явно. 5 марта немецкий суд постановил, что запрет на некоммерческое использование фактически разрешает только личное пользование. 29 апреля мы убедили авторов Mapillary, что NC не нужен, и теперь снимки публикуются под CC-BY-SA 4.0, плюс специальный пункт в условиях явно разрешает использовать данные (снимки и треки) в OpenStreetMap.

Levente Juhasz сделал карту сравнения покрытий Street View и Mapillary. Последнее отстаёт: в центре Петербурга, например, на равномерную голубую сетку гуглопанорам накладываются корявые ошмётки красных маршрутов Mapillary. Московские осмеры, в частности, Артём Светлов, активно наполняют базу: по сути, для себя работаем. Авторы сервиса подтвердили, что в него можно сгружать тонны фотографий с картопрогулок. Они с энтузиазмом отнеслись и к загрузке записей с видеорегистраторов, вот только привязать последние к трекам нетривиально. Есть инструкции для GoPro и скрипт геотегирования — в обоих случаях понадобится разрезать видео на фотографии (и достаточно одной в секунду). Замечу, что kastellano с русского форума когда-то экспериментировал с привязкой роликов YouTube к трекам — но для картирования это бесполезно.

Плагин для JOSM пока никто не написал, но есть другой способ загрузить фотографии в редактор. Откройте эту страницу, найдите нужный район и нажмите «Download GPX». Если повезёт, полученный файл в редакторе покажет все фотографии, открывающиеся по клику. У меня не сработало, ждём программистов: теперь есть, откуда списывать взаимодействие с API.