90 заметок с тегом

источники

Позднее Ctrl + ↑

Крадущийся Facebook, затаившийся DigitalGlobe

На прошлом State of the Map US сотрудники Facebook рассказали о том, как они натравили алгоритмы машинного обучения на спутниковые снимки, чтобы найти на них дороги. Затем люди проверяют эти дороги и склеивают их с данными OpenStreetMap. Поразительно по двум причинам: Facebook дорисовывает OSM! И скоро никому не нужно будет обклацывать спутниковые снимки!

Правки сотрудников фейсбука начали появляться в Египте и Таиланде и их, конечно, быстро удалили. Как это обычно бывает с автоматическими массовыми правками: вместо улучшения геометрии удаляли нарисованное и заливали заново, причём с косяками (оставались узлы); качество было сомнительным, особенно на дефектах снимков, которые определялись как дороги; классы дорог очищали и тегировали всё как residential. Причём это началось ещё в мае, последующие попытки мы замечали в июле и августе. Откатили почти всё, фейсбук затаился.

В феврале тайские мапперы нашли страницу в вики, которая документирует процесс автоматического распознавания дорог фейсбуком. Неужели они решили соблюсти инструкцию по импорту и автоматическим правкам? Увы: на форуме быстро заметили, что сотрудники компании продолжают портить данные в Таиланде. Способы разнообразны и всегда печальны, тема читается как история неудач, «33 несчастья» по-осмерски. В субботу осмеры и фейсбуковцы в Таиланде встретились за чашкой чая и договорились об открытости процесса.

Иллюстрации из письма Facebook в рассылку imports@.

Главное, впрочем, в мелочах: немногие, кто возмущался новой попыткой фейсбука импортировать нам дороги, прочитали их вики-страницу до конца. Во-первых, фейсбук классифицирует снимки DigitalGlobe. Но не те обрезки, что доступны нам из Bing и Mapbox, а улучшенное покрытие +Vivid без облаков и стыков. А в конце они приводят разрешение DG на импорт производных от снимков данных в OSM и ссылки на тайлы с классифицированными дорогами, которые можно сравнить со спутниковой подложкой, где она есть.

Осмеры, конечно, спросили: а нельзя ли нам заодно и исходные спутниковые снимки? Вы знаете, как оно бывает: спросили, вместе посмеялись, вздохнули и разошлись. Но не в этот раз: Кевин Баллок из DigitalGlobe 16 марта ответил:

Рад сообщить, что мы приближаемся к отличному решению, которое позволит DG опубликовать спутниковый слой специально для трассировки в OpenStreetMap. Эту работу спонсируют несколько организаций, и она сделает слой +Vivid доступным для зарегистрированных редакторов OSM. Надеюсь, это позволит вам проверить импорт команды Facebook. Срок — примерно 4-8 недель. Объявим о результатах, пожалуй, в новой теме, а не в обсуждении импорта.

Так что ждём в мае третий глобальный слой спутниковых снимков для обрисовки, лучший из всех.

2017   импорт   источники

Весь покрытый снимками

Это пустыня Симпсона в центре Австралии. Крупнейшая в мире песчано-дюнная пустыня с длиннейшими в мире дюнами. В ней нет городов, реки и озёра пересыхают, а летом туда даже запрещён въезд: нерадивые водители терялись. Нет ни единой причины покупать детальные космические снимки пустыни для публикации в интернете. Но Bing Maps купил. Можно обрисовывать дюны в редакторах OpenStreetMap.

Месяц назад Katpatuka посетовал в твитере на возраст снимков Bing. Прошло время, когда мы искали новые каждый квартал. Внезапно, ему ответил Рики Брандритт, старший менеджер Bing Maps: «мы обновляем наши снимки по всему миру, и через пару месяцев закончим».

Спустя пять дней в их блоге появилась заметка про 8,5 миллионов км² снимков для Бразилии. Если заглянуть в википедию, это ровно площадь страны. Второго февраля в новой заметке объявили об ещё 10 миллионах км²: свежими снимками покрыли всю площадь Австралии и Индии.

Как полагается большой компании, Bing Maps не раскрывает своих планов заранее. Но эти новости дают надежду каждому осмеру: вдруг их город или деревня попадут в следующее обновление? 17 миллионов км² России — неподъёмная площадь даже для российских заказчиков, но если Bing Maps хотят быть первым порталом с детальными снимками на всю площадь суши, им придётся её осилить. И лучше не думать о том, как часто они смогут всё это обновлять.

2017   источники

Англия ночью

Грант Слейтер вчера вечером добавил на свой сервер космоснимков кучу чёрных тайлов. Их предоставила организация UK Environment Agency, и ценность их в том, что местами — в Лондоне, Суиндоне, Бирмингеме, Питерборо — среди тьмы можно найти фонари и освещаемые ими дороги, здания, парковки и вокзалы. Можно оценить ночную загруженность дорог, можно замапить lit=yes/no с указанием цвета, а то и отметить каждый фонарь. Но прежде всего, это невероятно красиво.

Помимо поддержки серверов OpenStreetMap, Грант (известный вам как Firefishy) собирает карты и снимки больших территорий и добивается разрешения на их обклацывание. Он периодически обновляет тайлы открытых данных Ordnance Survey, а сейчас обговаривает условия открытия ортофотосъёмки Кейптауна разрешением 3-5 сантиметров на пиксель.

2016   источники

Открытая Москва

Московский департамент информационных технологий давно выкладывает открытые данные. Лицензия простая: CC-BY 3.0. Правда, даже она не совместима с нашими «условиями участия»: мы не можем заставить всех пользователей данных добавлять упоминание всех второстепенных источников. Поэтому нам нужно явное разрешение на использование в OpenStreetMap. Требование упоминания мы решаем через список всех источников данных в нашей вики.

По словам Кирилла Бестужева, первые запросы в департамент мы начали слать шесть лет назад. Максим Дубинин постоянно напоминает им про OSM, и поднял тему на последнем совете. Похоже, убедил: вчера в фейсбуке представитель ДИТ подтвердил (копия), что использовать их данные в OpenStreetMap разрешается (и даже приветствуется), и упоминания на странице источников достаточно.

У нашего вопроса был повод: публикация на портале открытых данных 147 тысяч контуров зданий Москвы с адресами. Это почти все дома, что видны на картографической подложке этого портала, но геометрии отличаются, и некоторые здания пропущены. Неточность геометрий и сомнительная актуальность (BushmanK пишет: «я нашёл здания, которые построены год назад, но также нашёл здания, которые снесены больше года назад») — обычная проблема геоданных на этом и других официальных порталах — не позволит импортировать недостающие здания в OpenStreetMap, но теперь мы можем расставить остаток адресов. Как только кто-нибудь напишет валидатор.

2015   источники

Пять лет грунтовок и ручьёв

В ноябре 2010 года в OpenStreetMap было 300 тысяч зарегистрированных пользователей, в восемь раз меньше, чем сейчас. Potlatch 2 заменил на главной первую версию редактора, и Geofabrik первым начал делать выгрузки в новом формате pbf. Стив Кост поступил на работу в Microsoft, и почти сразу нам сказали, что хватит терпеть устаревшие и редкие снимки Yahoo, готовьтесь к новому слою. Ровно пять лет назад нам официально разрешили обрисовывать снимки Bing.

Мы радовались и скролилли казавшиеся бесконечными поля снимков в редакторах. Мы обрисовывали границы снимков и собирали их в отношения. Сделали в вики огромную страницу со списков городов, где есть детальные снимки. Обнаружили смещения снимков, но со временем сделали их базу. Ещё обнаружили облака, много облаков. С 2012 года и эта проблема исчезла: начались ежеквартальные обновления. Сейчас слой бинга — главный источник геоданных в OSM и базовая подложка во всех редакторах. Мы полагаемся на него, как когда-то полагались на снимки Yahoo, и любое ухудшение покрытия воспринимается как удар по проекту.

Спасибо картографическому отделу Microsoft за такой подарок, и спасибо Стиву Косту, чьей несомненной — и, кажется, последней — заслугой стали переговоры об этих снимках. Хотел предложить отметить годовщину, обклацав что-нибудь по бингу, но вы и так делаете это каждый день.

2015   источники
Ранее Ctrl + ↓