Самые комментируемые за месяц

Крадущийся Facebook, затаившийся DigitalGlobe

5 апреля, 2:09

На прошлом State of the Map US сотрудники Facebook рассказали о том, как они натравили алгоритмы машинного обучения на спутниковые снимки, чтобы найти на них дороги. Затем люди проверяют эти дороги и склеивают их с данными OpenStreetMap. Поразительно по двум причинам: Facebook дорисовывает OSM! И скоро никому не нужно будет обклацывать спутниковые снимки!

Правки сотрудников фейсбука начали появляться в Египте и Таиланде и их, конечно, быстро удалили. Как это обычно бывает с автоматическими массовыми правками: вместо улучшения геометрии удаляли нарисованное и заливали заново, причём с косяками (оставались узлы); качество было сомнительным, особенно на дефектах снимков, которые определялись как дороги; классы дорог очищали и тегировали всё как residential. Причём это началось ещё в мае, последующие попытки мы замечали в июле и августе. Откатили почти всё, фейсбук затаился.

В феврале тайские мапперы нашли страницу в вики, которая документирует процесс автоматического распознавания дорог фейсбуком. Неужели они решили соблюсти инструкцию по импорту и автоматическим правкам? Увы: на форуме быстро заметили, что сотрудники компании продолжают портить данные в Таиланде. Способы разнообразны и всегда печальны, тема читается как история неудач, «33 несчастья» по-осмерски. В субботу осмеры и фейсбуковцы в Таиланде встретились за чашкой чая и договорились об открытости процесса.

Иллюстрации из письма Facebook в рассылку imports@.

Главное, впрочем, в мелочах: немногие, кто возмущался новой попыткой фейсбука импортировать нам дороги, прочитали их вики-страницу до конца. Во-первых, фейсбук классифицирует снимки DigitalGlobe. Но не те обрезки, что доступны нам из Bing и Mapbox, а улучшенное покрытие +Vivid без облаков и стыков. А в конце они приводят разрешение DG на импорт производных от снимков данных в OSM и ссылки на тайлы с классифицированными дорогами, которые можно сравнить со спутниковой подложкой, где она есть.

Осмеры, конечно, спросили: а нельзя ли нам заодно и исходные спутниковые снимки? Вы знаете, как оно бывает: спросили, вместе посмеялись, вздохнули и разошлись. Но не в этот раз: Кевин Баллок из DigitalGlobe 16 марта ответил:

Рад сообщить, что мы приближаемся к отличному решению, которое позволит DG опубликовать спутниковый слой специально для трассировки в OpenStreetMap. Эту работу спонсируют несколько организаций, и она сделает слой +Vivid доступным для зарегистрированных редакторов OSM. Надеюсь, это позволит вам проверить импорт команды Facebook. Срок — примерно 4-8 недель. Объявим о результатах, пожалуй, в новой теме, а не в обсуждении импорта.

Так что ждём в мае третий глобальный слой спутниковых снимков для обрисовки, лучший из всех.

Платный яндекс

24 апреля, 0:34

Как пишет «Коммерсант», в этом году яндекс начнёт брать деньги за использование «Яндекс.Навигатора» в коммерческих целях. API их карт давно платен сверх лимитов, как и у Google. И, конечно, заплатив деньги, вы не получаете полного контроля: оформление неизменно, реклама будет всплывать в неожиданных местах. Конкуренты могут заплатить, и на схеме проезда вашего сайта пользователи увидят, до кого им ехать ближе. Наглядный пример — официальный Атлас Москвы, рекламирующий бургеры за 99 рублей из-за подложки 2ГИС.

Монетизацию «Навигатора», кажется, будут проводить жёстче: отслеживать частоту и условия использования и приходить с коммерческим предложением, если маршрутов пользователь прокладывает больше, чем дозволено. По словам источника газеты, эта система уже работает и тарифы оказались выше, чем у большинства конкурентов. Другие модели монетизации компания, видимо, пробовать не осмеливается: зачем, когда кто-то готов платить, в том числе и за покидающих сервис.

Евгений Лисовский в заметке для «Прайма» правильно пишет, что компании с проприетарными онлайн-картами загоняют себя в ловушку серверных ресурсов. Как бы они — и яндекс, и гугль, — ни хвалились возможностью скачать часть карты на телефон, поиск и построение маршрутов всё равно требуют серверных ресурсов. И, следовательно, денег, которые в картографии взять неоткуда. Поэтому обращаются к проверенным источникам: рекламодателям и корпоративным пользователям. Увы, первых немного (всех забрал 2ГИС), а вторые сделают крайними таксистов, которым с новыми яркими ценовыми политиками едва хватает на бензин.

Поэтому ждём новой миграции на бесплатные карты. Теперь нам не нужно показывать на корявый сайт osm.org: таксисты уже умеют пользоваться всякими «навителами» и «7 дорог», для которых Kostik делает регулярные бесплатные сборки карт. И они, наверняка, готовы установить MAPS.ME, в котором не нужно заморачиваться с копированием файлов и который умеет строить маршруты по пробкам. Всё готово — только поменять приложение. Есть ли у них такой выбор — непонятно: возможно, Яндекс им его не оставил, требуя от участников «Яндекс.Такси» прокладки маршрутов только через их приложение. То есть, с уходом таксистов с «Навигатора» мы вернёмся во время стапятисот таксомоторных компаний, каждая со своими приложением и телефоном.

В средних и малых городах таксисты и службы доставки давно используют OpenStreetMap. Мы это знаем, потому что поездив по нашей карте, таксисты регистрируются в проекте и начинают массово добавлять адреса. На обычный вопрос про дровишки отвечают, в лучшем случае, что у них есть внутренняя база, которую они сами составили по выездам, и они копируют адреса из неё. Расследовать не получается: на яндекс не похоже, а других источников у нас нет, — так что оставляем адреса и даём таксистам жить. Или не даём, как случилось в Челябинской области в 2011-12 годах. Там сначала копировали домики из 2ГИС, а затем обрисовывали малые города по проприетарным снимкам. Всё откатили, местные осмеры до сих пор ждут резкого челябинского возмездия.

Технически вопрос тоже несложен: помимо вышеупомянутого MAPS.ME, есть замечательный сервис GPS-мониторинга OsMo. Для частного использования бесплатный, разумеется. Автору сервиса известны таксомоторные компании, пользующиеся его сервисом для отслеживания автомобилей. Впрочем, с нынешними технологиями написание нового подобного сервиса «под ключ» потребует пары человек, а не крупной картографическо-программистской компании. Любое обдуманное решение окажется в перспективе дешевле оплаты лицензии «Яндексу».

Ждём новую волну #switch2osm, ждём картины, как приложение MAPS.ME обгоняет «Яндекс.Навигатор» по месячной аудитории, ждём неловких правок от новых служб такси и курьеров, которые либо сделают нашу карту актуальнее и точнее проприетарных аналогов, либо нарушат лицензионную чистоту и их придётся откатить. В OpenStreetMap умеют ждать: шаг за шагом, одно неудачное бизнес-решение за другим, поглощение за слиянием, и вот уже все, кому надоели реклама и выдумки продажников, выберут дешёвые и понятные сервисы на наших, открытых картах.

Пакет не нужен

27 апреля, 13:40

«Нельзя ли при отправке изменений из maps.me разделять объекты по континентам?» — в очередной раз спрашивают на форуме. А то bbox (ограничительный прямоугольник) слишком большой, неудобно. OpenStreetMap был зачат тысячу лет назад программистом, и это лезет изо всех щелей: удивительно, как самые бессмысленные атрибуты становятся мерилом качества.

Прямоугольник на карте — это миф. Минимальные и максимальные широта и долгота — так просто нарисовать фигуру в проекции меркатора, но на практике этих чисел не хватит даже чтобы нормально карту распечатать. Пакет правок, который покрывает полмира, мог добавить одну дорогу на Чукотке, но магия чисел и странных проекций заставит вздохнуть: опять эти импортёры делают ченджсеты на всю планету. От пакетов правок мы храним только bbox, поэтому нажмёшь в любом месте планеты на вкладку «история» и наблюдаешь всемирную историю, а не то, что ждал.

Но даже когда найдёшь нужный пакет правок, останется только бессильно смотреть на его bbox. И на стастраничный список точек, линий и отношений, каждая строчка которого по-своему бесполезна. Ченджсеты — это псевдоупорядочивание. Кажется, что они полезны присвоением метаданных группе объектов, своего рода над-отношения, но на самом деле — метки времени произвольны, их порядок не зависит от номера пакета, комментарии никто не пишет, источник часто врёт, географически, как видим, тоже никто не группирует. Остаётся один полезный атрибут: created_by. Всему остальному верить нельзя.

То есть, единственная польза от пакета правок — это посмотреть, каким редактором сделаны правки. Все остальные атрибуты: даты, bbox, список объектов — только отвлекают, создавая ложное впечатление группировки и упорядоченности. Которых нет, потому что техническое воплощение API не обещает порядка и не подразумевает удобства. Так, для правок maps.me я игнорирую пакеты и рассматриваю каждую правку отдельно. Правки на mmwatch — это поток объектов, у которых номер ченджсета лишь бесполезный атрибут. Увы, для сложных правок со взаимосвязанными изменениями (таких как сдвиг линии) такой подход не сработает.

Примерно об этом я говорил на схемотехнике год назад. О bbox нужно просто забыть: область применения этих прямоугольников ограничена и точно не касается ваших задач. А проблему пакетирования нужно как-то решать. Развязать топологические структуры, группировать по времени и географии, не давать пользователям и приложениям свободы в объединении правок. Это настоящая тема для какого-нибудь будущего API 0.8. А пока приходится работать с тем, что есть.

Следить за изменениями в регионе можно (нужно!) через WhoDidIt, искать их — в его более быстром форке. Пакет правок из интерфейса этого сайта можно открыть в Achavi, но иногда может не повезти. Если bbox окажется слишком велик, загрузки правок вы можете не дождаться. Потому что даже лучшие инструменты полагаются на bbox, который, повторюсь, плох примерно для всего.

Загружать геометрию ченджсетов часто приходится команде по работе с данными в Mapbox. Для этого они сделали и постоянно улучшают сайт OSM Changeset Analyzer, где есть фильтры по любому атрибуту, вплоть до причины для подозрений. Но самые подозрительные пакеты накрывают весь мир, Achavi тут бессилен. Поэтому в этом месяце они сделали то, что давно было пора: кэширование ченджсетов.

Каждую минуту скрипт скачивает свежие дополненные диффы и складывает их в хранилище Amazon S3. Затем он раздербанивает эти диффы на пакеты правок и результат тоже загружает туда же. И теперь сервис визуализации Changeset Map, встроенный в OSMCHA, загружает пакеты мгновенно. Обновите ваши букмарклеты: Changeset (перетащите в закладки).

Проблемы, конечно, есть, но с ними борются. Например, дополненные диффы не окончательны из-за чехарды с транзакциями в базе данных OSM. Их приходится обновлять и обновлять. То же касается и пакетов правок, которые возможно держать открытыми целые сутки, понемногу доливая в них новые объекты. Наконец, история там только новейшая: пакеты старее марта этого года можно не найти. Их загружают, но медленно. Проблему поиска по региону архив тоже не решает, как показывает опыт фильтрации на сайте OSMCHA. Поэтому пользуйтесь им для просмотра недавних правок, а историю ищите на WhoDidIt и Achavi. Неидеально — но пока мы не избавились от концепции пакетов правок, ничего лучше не сделать.