18 заметок с тегом

ВНЕЗАПНО

Моря коричневых квадратиков

Вы, наверное, слышали об инициативах HOT, особенно о серии картовстреч Missing Maps. Добровольцев сажают за JOSM и учат обклацывать домики в Центральной Африке. Результатом становятся сотни тысяч контуров с building=yes, которые аналитики используют для планирования акций помощи.

Jean-Marc Liotier намедни задал вопрос, столько неожиданный, сколько и очевидный: а зачем это всё? Добровольцы оставляют жутко неточную карту, на которую опытный осмер без слёз не взглянет. Дороги недорисованы, POI отсутствуют, будущим африканским мапперам будет проще удалить это всё и начать с нуля.

Зачем вообще рисовать контуры? Для анализа населённости достаточно нарисовать полигон landuse=residential с атрибутом плотности. На крайняк — вместо контуров ставить в центре домиков точки со всеми нужными тегами. У аналитиков будет способ посчитать население, а карта не пострадает. Зачем тратить время и силы ценного человеческого ресурса на работу, которую осмеры захотят удалить?

Для зарождающегося африканского сообщества эти недокарты вообще мина: здесь не кривые линии дорог нужно выправлять, как после импорта TIGER американцам, здесь каждый домик нужно скрупулёзно передвигать на правильное место. Любой, кто этим занимался, схватится за голову.

В рассылках вопрос поддержали опытные осмеры, а члены HOT ответили, но как-то не по существу. Про пользу да про валидаторов, которых всегда не хватает, потому что это не так интересно. Нет вопроса о пользе карты для кого-то, кроме аналитиков HOT, в справочнике команды. Никто не подумал. Проблемы не белых людей.

Один из вариантов ответа: встречи Missing Maps — отличный способ завербовать далёких от картографии людей в OpenStreetMap. Научить их редактированию и показать осязаемую пользу от работы. Да, качество их домиков будет ниже плинтуса, но если мы берём за цель их участие в сообществе, то то, что они нарисуют, можно удалить. Главное, что человек завяз.

Работа гуманитарной команды поднимает сразу несколько вопросов. Например, чем сотни тысяч нарисованных добровольцами домиков лучше автоматического импорта домиков из сторонней базы (тут как раз Bing пожертвовал 125 миллионов)? Наши правила запрещают массовые правки без обсуждения, но здесь же живые люди обклацывают снимки. Да, качество так себе, да, придётся большую часть удалить. При этом, сообщество не приемлет автоматические правки и импорты. Главный аргумент — потому что данные из сторонних источников всегда уступают тёплым ламповым нарисованным вручную домикам.

Впрочем, организованное редактирование скоро тоже зарегулируют новым регламентом. Он гласит, что если вы собрались больше трёх, то посчитаем это импортом: косо посмотрим, сплюнем, спросим за район.

Почему появился этот регламент? Некоторые компании начали платить мапперам за улучшение карт густо населённых районов, и осмеры из этих районов возмутились. Импорты и организованное редактирование никого не волнуют, пока не нарушают главное правило: только не на моём участке. Стоит задеть территорию опытного осмера, как узнаешь про много разных правил и ограничений. Классы дорог не трожь, используй contact:website вместо website, каждый POI должен быть проверен на местности и подтверждён нотариально заверенной фотографией. Правило «Не на моём участке» в сообществе идёт первым, до лицензии и проверяемости. Гуманитарной команде позволяют работать в Африке только потому, что там нет увлечённых мапперов, которые от очередного набега придут в ужас.

Наконец, проблема сотен тысяч домиков поднимает через Жана-Марка тот же вопрос, какой должен задавать себе каждый из нас: зачем мы картируем? Чем мы руководствуемся при выборе тегов и объектов для картирования, и какой конечный результат покажет нам, что мы выполнили свою работу хорошо? Линия на стандартном картостиле? Слово «МакАвто» в результатах поиска на смартфоне? Размер файла с выгрузкой города? Числа в валидаторе? Какой бы ни была ваша метрика, не бойтесь поделиться ею на форуме или в чатике: вам не только помогут найти лучшие источники и модули редакторов для работы, но и объяснят, почему ваша работа не имеет смысла. Мы всегда рады помочь.

6 июля   hot   ВНЕЗАПНО

OpenStreetMap не ваш

На волне новостей от Google Том Чедвин напомнил о преимуществах открытого софта и закончил заметку словами: «теперь у вас есть железный аргумент для тех, кто спрашивает, почему бы просто не взять Google Maps».

А у меня титановый аргумент в пользу условных Google Maps: потому что у вашей открытой карты нет будущего, вот почему. На ней даже POI нет нормальных, не то, что у гугля, которому все эти точки несут владельцы добровольно. Потому что там не сотня хмурых амбалов, отворачивающих всех, кто несёт данные, а коврик постелен с «добро пожаловать».

Разумеется, это преувеличение. У нас замечательная, красивая карта, которой во многих областях нет не то, что равных, — нет альтернатив. Ниоткуда вы больше не возьмёте в меру корректный граф дорог. Ни по одной другой карте не прикинете плотность населения. Никто не даст вам данные, чтобы установить копию сервиса в закрытой сети.

Но нельзя не заметить, что OpenStreetMap загибается. Не потому, что у нас база данных вместо карты, или модераторов нет, или данные не разделены на слои, как придирался Серж. Для технически подкованного человека поверить в упадок OSM невозможно: это же децентрализованные данные, они по определению вечны. Кроме того, они бесплатны и наполняются миллионом редакторов по всему миру: почему их не использует каждый первый сайт?

А дело в том, что невозможно нас использовать. OSM проигрывает любой альтернативе по одной причине: нет контроля. Ни у кого. Ни над чем. OpenStreetMap примерно с 2012 года на автопилоте летит в бездну, и редкие попытки выправить курс наталкиваются на хмурых амбалов, защищающих ручки управления со словами «не позволим захватить власть» и «у нас саморегулирующийся проект». Сила проекта оказалась его слабостью — и, кажется, фатальной.

Над картой нет контроля. Хотите импортировать сеть своих магазинов? Фигушки, ваше качество данных не отвечает нашим критериям. Хотите порисовать свой посёлок? Познакомьтесь с местным вахтёром, который сначала поругает вас за выбор классов дорог, а затем пропадёт, потому что вы невыносимы. А вахтёрам, кстати, тоже несладко: четырнадцатый год проекту, а лучшее, что мы смогли сделать для контроля качества, — OSMCha. Пользователи которого до сих пор стонут от диаметров больших, но худых пакетов правок. Автора OWL мы успешно потеряли. Члены DWG до сих пор для работы пользуются скриптами на Perl из прошлого десятилетия.

Над сайтом нет контроля. Это прочувствовал каждый, кто делал пул-реквесты в любой элемент нашей основной инфраструктуры. Никогда вы не услышите спасибо, зато комментариев соберёте полное лукошко. Два человека на страже не пропускают никаких концептуальных изменений: будто посреди рушащегося мира нужно удержать хотя бы то, что есть. Не понять им, что они так крепко держат, что мир крошится в их руках.

Над моделью данных нет контроля. В последний раз для изменения API потребовались деньги и усилия целой компании Cloudmade, десятка осмеров, работавших за венчурные инвестиции несколько недель. Надежда на тип area или другие изменения тлела лет пять назад, но теперь об изменениях перестали думать даже самые оптимистичные осмеры. Единственное, что нас ждёт в API, — это огораживание личных данных для GDPR, да и то потому что штраф платить никто не хочет.

Над тегированием нет контроля. Главное отличие и достоинство OpenStreetMap — свободная атрибутивная модель — настолько разрослась, что никому, даже ветеранам проекта, не под силу выбрать правильные теги. Форумы полнятся шутками про вереск, лес и пространства имён. Пропозалы — смех: с одной стороны изобретают инопланетные схемы на полсотни килобайт, с другой изворачиваются в попытках потопить каждое предложение. Новички не офигевают только потому, что все редакторы, даже мобильные, заменили таблицы тегов заготовками.

Над картостилем нет контроля. Когда-то основной стиль был настолько сложен, что все боялись к нему притронуться. Потом его перевели на CartoCSS, навели порядок, и сразу потянулись участники, пошла работа. Несколько лет улучшали значки и цвета, поменяли структуру базы данных, причесали шрифты — карта стала выглядить прилично, как у людей. Такая же блёклая.

Но сейчас заметно, что никто не знает, куда двигаться дальше. Собственно, Пол Норман с этой темой уже два года выступает на конференциях. На конвульсии разработчиков особенно тяжело смотреть в этом году: они безуспешно пытаются изменить устоявшиеся схемы тегирования, потому что модель данных OSM несовместима с приличной картографией. Мы упёрлись в потолок стека, написанного пять лет назад. Единственным разумным выходом будет выкинуть всё и начать заново — что авторы и обсуждают.

Над разработчиками нет контроля. «Наш главный ресурс — это люди, которые тянут проект в светлое будущее». Ага, а присмотришься к разработчикам — там кто в лес, кто по дрова. Одни пилят двадцатый геокодер или десятый роутер, другие на две недели погружаются в жонглирование данными, чтобы на выходе получить невпечатляющий набор точек. «Мне удалось поднять тайл-сервер» — слышно из угла. Мои поздравления, блин. 2018 год, а у нас ни окружения для разработчиков или интеграторов, ни финансовой поддержки, ни стратегического плана. Только по одному волонтёру на ключевых элементах инфраструктуры сидят.

Над лицензией нет контроля. Картографы хотят защитить свой труд, это понятно. Отсюда растут все вирусные лицензии, которые когда-то ставили целью сделать мир лучше, открытее. Вот только у них обнаружилась проблема. Для успеха в этом мире нужно уметь договариваться. Взять у муниципалитета информацию по всем зданиям, а взамен предоставлять правки, уточняющие геометрию. Позволить сервису бронирования не раскрывать данные о гостиницах, которые они примешивают, чтобы получить полтора миллиона проверенных точек и иметь возможность исправлять ошибки позиционирования в сервисе, которым пользуются сотни миллионов. И так далее.

Наша лицензия запрещает всё это, от чего третьи стороны не особо страдают — у них уже есть достаточно данных. Страдаем мы, потому что не можем адекватно ни с кем договориться. Участники сообщества зорко следят, чтобы никто не проскочил. Даже с тривиальными случаями использования у нас проблема. Я только за этот год видел полдюжины вопросов насчёт использования карты в телепередачах, и каждый раз на одинаковые вопросы им выдавали разные ответы. Никто, даже юридическая рабочая группа, не понимает ODbL. Но это статус кво, в OpenStreetMap он тут власть.

Как вы знаете, в этом мире чтобы оставаться на месте, нужно быстро бежать. Я читаю новости 2ГИС, Яндекс.Карт, Google Maps и вижу, что они пробуют новые алгоритмы, новые точки зрения. Меняют интерфейсы, постоянно дополняют модели данных, учатся по-новому взаимодействовать с сообществом. Реагируют на проблемы структурными изменениями. В их возможностях всё поменять — или наоборот, причесать данные, сгладить углы, сделать удобно. Они могут купить и продать, чтобы сделать свою карту лучше.

Всё, что на сегодня способно сообщество OpenStreetMap, — сообща за выходные нарисовать домики ещё в одном городе. Поэтому главными применениями проекту остаются гуманитарные инициативы, да использование в качестве подложки, когда не хватило денег на нормальную карту. Вспомните, что у нас такого происходило за последний год, достойного заметок в главных технологических журналах? Новую версию JOSM выпустили с обрезанием пробелов в тегах?

Да, полагаться на проприетарную карту — значит, отдавать часть контроля корпорации. Но вы уверены, что хотите иметь контроль над каждой частью картографического стека? Вам точно хватит денег? Коммерческая компания может изменить условия и поставить вас в неловкое положение, но от OSM её отличает договороспособность. Там работают живые люди и у них есть все рычаги: можно позвонить и сторговать лимиты, или попросить помочь с картографическими данными. Для них вы — клиент; для OSM вы, если чего-то хотите от карты для бизнеса, хуже чем никто.

Поэтому OpenStreetMap не растёт. Если приглядеться, на графиках намечаются негативные тренды. Как викимапия около 2011 года, наш проект выбрал большую часть своих смыслов. С нынешним направлением у нас ещё лет десять, после которых мы будем выглядеть как викимапия сейчас: с кучей данных и без сообщества, разбежавшегося по альтернативным проектам. И тогда уже люди, выбравшие OSM как замену Google Maps, задумаются.

Именно сейчас, в ближайшие два года, нужно найти для проекта новые векторы развития. Риторика «а зато у нас бесплатно», неизменная на протяжении десяти лет, превратилась из прогрессивной в жалкую. Главный вопрос — зачем вам OpenStreetMap, когда есть много альтернативных картографических сервисов, каждый из которых в чём-то его превосходит (и не надо тут про качество отрисовки вашего двора)? Может, мы собираемся перевернуть обучение географии, или стать новой универсальной базовой картой, или заделаться фреймворком для экспериментов в новой картографии. Любой ответ хорош, если вы готовы подкрепить его делом.

А пока что для многих организаций проще взять Google Maps.

2018   ВНЕЗАПНО

Первопереоткрыватели

В конце января рабочая группа по данным получила уведомление от перуанской компании: «семь лет назад ваши картографы стащили у нас геоданные, удалите их». DWG расчехлила Redaction Bot (специальный скрипт, который не только удаляет объекты, но и вычищает их из истории) и оперативно убрала заимствования вместе с правками, которые семь лет накапливались поверх них. Сообщество в Перу подготовило «пирог» для картирования и за три месяца перерисовало потерянное, о чём отчитался karitotp.

Ничего такого, о чём стоило писать новость: данные импортировать нельзя, и срока давности нарушения не имеют. Об этом уже была длинная заметка, добавить нечего. Мы уже экстренно востанавливали страны: например, Польшу, пострадавшую от перелицензирования. Да и диванные картовстречи, когда за пару дней отрисовываем города и районы, для нас не в новинку: вспомнить тот же Саранск.

Такие инциденты показывают силу сообщества. Но и его ограниченность. Картографов-любителей привлекают белые пятна, они любят дорисовывать дворовые проезды и домики в промзонах. Сообщество невероятно быстро делает базовую подложку в любом регионе мира: дороги, населённые пункты, гидрографию. Радуется анимации с было-стало и пишет посты в блог. А затем уходит.

Позавчера Александр Истомин нашёл кладбище мусорных точек в Саранске. Почти год там копятся объекты, которых нет на местности. Незаметно — потому и не удаляют? Нет. 22 апреля провели первый тестовый матч на новом стадионе «Мордовия», построенном к чемпионату мира. Вчера прошёл второй матч. Стадион открыт, все горожане о нём знают. На OpenStreetMap прямо сейчас там строительная площадка. Картографов не волнует: обновлять уже нарисованное не так интересно. Даже если картой OSM конкретно в этом месте будут пользоваться сотни тысяч туристов через Maps.me.

Но если взять и вычистить город от данных, осмеры всей страной соберутся и за выходные снова отрисуют его идеально, по свежайшим данным.

2018   mapping party   ВНЕЗАПНО

Нет, карта

BushmanK в декабре длинно обосновал, почему новичкам лучше сразу говорить, что OpenStreetMap — это база данных, а не карта. В обсуждении заметки на радио я предположил, что каждый осмер проходит три стадии понимания.

Как новичка не убеждай, а он видит: словом OpenStreetMap подписывают растровые карты, которые подобно гуглю и яндексу появляются на разных сайтах, и венце их openstreetmap.org. Эти карты умеют находить адреса и прокладывать маршруты. Правда, пробок нет, и слоя снимков, поэтому OSM явно проигрывает своим конкурентам. Зато работает в навителе, есть кнопка «редактировать», да и, говорят, карма чистится, если править эту карту, а не народные. Хорошее дело народным не назовут.

Через пару месяцев бороздения форума и вики заматеревший осмер понимает: карта — это вообще не про OSM. Мы наполняем некую абстрактную базу геоданных, которая может быть представлена в любом виде и использована столькими способами, что не всегда и поймёшь, гео это или нет. Есть набор абстрактных тегов, есть сомнительная точность на всех этапах, есть целостности физическая, геометрическая и логическая (и печальное отсутствие средств их сохранения). Опытный участник умеет пользоваться редактором Level0 и видит, откуда пошли все правила участия в проекте. И, конечно, при объяснении сути проекта новичкам он идёт напрямик, ошарашивая пунктом первым: «OpenStreetMap — это база геоданных».

Третья стадия — это когда осмер понимает, что всё это время он рисовал карту! То есть, конечно, это всё ещё база данных. Но чтобы понять, что нужно добавлять в эту базу, нужно понимать, что продукт OSM — это, как ни странно, карта. Карта того, что есть в реальности, с уровнем детализации как у карты, с системой координат, слоями, подписями и т. п. То, что это карта, отвечает на многие странные вопросы, типа стоит ли добавлять контуры снимков или маршруты самолётов. В базу геоданных — да. На карту — нет. Понимание того, что OpenStreetMap — это, прежде всего, карта, упрощает решение вопросов и экономит время. А когда не мучает экзистенциальная тоска, наполнять базу геоданных становится веселее.

Разница между первой картой и последней в том, что вначале карта OpenStreetMap воспринимается как полуфизический объект: изображение на экране, распечатанный лист. А на третьей стадии осмер понимает карту как совокупность всех возможных карт, которые можно получить из данных OSM. Дороги всех цветов и размеров, населённые кварталы в виде домов, закрашенных прямоугольников и строк в таблице населённости, POI в поиске, в картинках, в записной книжке, в роутинге, в базах данных, в цифровом искусстве, в табличках на их прототипах. Рисуя и тегируя линию, опытный осмер видит все возможные применения для неё, и понимает ограничения среды, модели и здравого смысла. В двух словах это можно сократить до «рисуем карту».

Но понимая, что у каждого участника проекта разные взгляды на его продукт и терминологию, и ожидая толпы новичков с немного искажённым понятием карты (ох этот навител), осмер мгновенно поднимается на четвёртую стадию понимания проекта, которую подметил Эдуард «edward17»: OSM — это боль.

2016   ВНЕЗАПНО

Ничего

Мы всегда считали, что в точке 0;0 ничего нет. Приходили периодически и махом удаляли гору мусора. Ничего нам не указывало, что все объекты там — плод ошибки, но мы так считали. Недавно оказалось, что один физический объект (кроме пятикилометрового столба воды) там есть: это буй. Его цель — измерять температуру и ветер. Он дрейфует вокруг нуля, и на OpenStreetMap отплыл на сотню метров. И теперь, когда к нему будет прибиваться мусор со всей планеты, нужно не забыть его не удалить.

Это мне напомнило про вопрос обозначения отсутствия данных. Вот например, на конференции Костя «GaM» показал велосипедный трек от Кузьминки до Невской Дубровки: он проверял все отворотки в поисках сквозной дороги. Нашёл только один проезд, но как он обозначил тупики отвороток? Track просто обрывается, и непонятно: то ли анонимный объездчик (на навигаторе нет авторов карты) устал, то ли там поляна и тупик. Конечно, у нас есть тег noexit=yes и антоним к нему, fixme=continue, но никаких промежуточных вариантов. Что, если оканчивается проезжаемая дорога, но ещё до магистрали идёт пешеходная тропа? Что подразумевает continue: что там волки, что объездчик устал, что дорога стала сильно хуже?

Или случай из волховской картовстречи: на бинге обозначены два дома, в OSM — тоже, а на местности — две заросших бетонных площадки: дома спилили под ноль, хоть стоянку организуй. Нельзя дома удалить, потому что это не обозначит их отсутствие. Я поставил точку с описанием «здесь домов нет», потому что непонятно, как обозначать такие бетонные площадки. Но не сомневаюсь, что какой-нибудь домикоманьяк придёт, увидит точку и с возгласом «какие ваши доказательства» снесёт её и дорисует недостающее.

Всё это сводится к тому, чего на карте нет. Сейчас у карты два состояния: либо что-то нарисовано, либо неизвестность. Нужно придумать третье состояние: «точно чего-то нет». Нет буя. Нет дома. Нет дороги. Нет брода, можно проехать. Если на карте не отметили — это не значит, что объекта нет. Как обозначить отсутствие?

Причём, даже наличие объекта в данной точке не означает отсутствия всего остального. Если ткнуть в середину леса, нельзя быть уверенным, что в этой точке нет здания. Даже если там прошёл маппер и своими глазами видел, что на 10 км вокруг только черника растёт. Он же не может это наблюдение транслировать на карту. Возьми случайную точку ограды — точно ли в ней нет дырки? Насколько точно маппер нарисовал береговую линию: если туда прийти, окажешься на суше или в воде?

Не думаю, что этот вопрос решён хоть на одной альтернативной карте. Коммерческие картографы используют понятие качества и равномерности: вероятность отсутствия дороги одинакова на всей территории. Но это ещё хуже, потому что доверие к фрагментам, объезженным на автомобиле, равняется доверию к обрисованному по генштабу 60-х годов, и зачем тогда тратить деньги на объезд? Все карты отвечают только на вопрос «что здесь есть», и даже ответ «ничего» может быть ложью.

Вопрос, конечно, в доверии, а не в наличии-отсутствии. Насколько карте можно верить в этой конкретной точке. Поэтому можно заменить обозначение отсутствия слоем доверия. Непрерывным на весь земной шар, плюс на каждый сантиметр каждого объекта. И заставлять мапперов заполнять величину доверия. «Я здесь проехал и уверен». Правда, чихнул и не заметил круглосуточного магазина, но махом залил доверием всю трассу. Можно ли доверять мапперу, отметившему уровень доверия? И кто его будет заполнять — вон, smoothness заполняют лишь самые маньяки.

Но если этот вопрос решить, то OpenStreetMap — или его форк, развитие, альтернатива, — станет самой достоверной картой в мире, просто потому, что на карте будут места со 100% достоверностью. Где мы точно сможем сказать, что все люки расставлены так, как человек их увидел два месяца назад, и схема движения по полосам проверена только вчера. Где в точке 0;0 достоверен будет только буй, но не гора мусора, прибившаяся от неудачного импорта. И где очередную покатушку можно будет спланировать не только по пустотам на карте или плотности треков, но и по уровню достоверности: ведь мы же хотим, чтобы наша карта везде была самой точной.

Правда, тут всплывает понятие личной ответственности за карту. Кто нарисовал конкретную фичу и почему? Какой уровень доверия к пользователю? Означает ли выбор редактора JOSM более достоверные данные, чем iD? Влияет ли тег source на актуальность? Какая ответственность у участников мероприятий гуманитарной команды, которые пришли один раз, но, наверное, очень старательно обклацывали какое-нибудь Мали. Ценнее ли личное наблюдение обрисовки по спутниковому снимку? А если снимок — ортофотоплан, сделанный с квадрокоптера? Вопросов бездна, и вкупе они означают: достоверность карты не измерима, осму можно только верить.

Вот только каждый раз, видя окончание дороги, особенно грунтовки, на карте, я задаюсь вопросом: что там увидел маппер? Можно ли там проехать на велосипеде чуть дальше?

Использованы фотографии NOAA, Константина Мошкова и F4JA13.
2015   ВНЕЗАПНО
Ранее Ctrl + ↓