17 заметок с тегом

ВНЕЗАПНО

OpenStreetMap не ваш

На волне новостей от Google Том Чедвин напомнил о преимуществах открытого софта и закончил заметку словами: «теперь у вас есть железный аргумент для тех, кто спрашивает, почему бы просто не взять Google Maps».

А у меня титановый аргумент в пользу условных Google Maps: потому что у вашей открытой карты нет будущего, вот почему. На ней даже POI нет нормальных, не то, что у гугля, которому все эти точки несут владельцы добровольно. Потому что там не сотня хмурых амбалов, отворачивающих всех, кто несёт данные, а коврик постелен с «добро пожаловать».

Разумеется, это преувеличение. У нас замечательная, красивая карта, которой во многих областях нет не то, что равных, — нет альтернатив. Ниоткуда вы больше не возьмёте в меру корректный граф дорог. Ни по одной другой карте не прикинете плотность населения. Никто не даст вам данные, чтобы установить копию сервиса в закрытой сети.

Но нельзя не заметить, что OpenStreetMap загибается. Не потому, что у нас база данных вместо карты, или модераторов нет, или данные не разделены на слои, как придирался Серж. Для технически подкованного человека поверить в упадок OSM невозможно: это же децентрализованные данные, они по определению вечны. Кроме того, они бесплатны и наполняются миллионом редакторов по всему миру: почему их не использует каждый первый сайт?

А дело в том, что невозможно нас использовать. OSM проигрывает любой альтернативе по одной причине: нет контроля. Ни у кого. Ни над чем. OpenStreetMap примерно с 2012 года на автопилоте летит в бездну, и редкие попытки выправить курс наталкиваются на хмурых амбалов, защищающих ручки управления со словами «не позволим захватить власть» и «у нас саморегулирующийся проект». Сила проекта оказалась его слабостью — и, кажется, фатальной.

Над картой нет контроля. Хотите импортировать сеть своих магазинов? Фигушки, ваше качество данных не отвечает нашим критериям. Хотите порисовать свой посёлок? Познакомьтесь с местным вахтёром, который сначала поругает вас за выбор классов дорог, а затем пропадёт, потому что вы невыносимы. А вахтёрам, кстати, тоже несладко: четырнадцатый год проекту, а лучшее, что мы смогли сделать для контроля качества, — OSMCha. Пользователи которого до сих пор стонут от диаметров больших, но худых пакетов правок. Автора OWL мы успешно потеряли. Члены DWG до сих пор для работы пользуются скриптами на Perl из прошлого десятилетия.

Над сайтом нет контроля. Это прочувствовал каждый, кто делал пул-реквесты в любой элемент нашей основной инфраструктуры. Никогда вы не услышите спасибо, зато комментариев соберёте полное лукошко. Два человека на страже не пропускают никаких концептуальных изменений: будто посреди рушащегося мира нужно удержать хотя бы то, что есть. Не понять им, что они так крепко держат, что мир крошится в их руках.

Над моделью данных нет контроля. В последний раз для изменения API потребовались деньги и усилия целой компании Cloudmade, десятка осмеров, работавших за венчурные инвестиции несколько недель. Надежда на тип area или другие изменения тлела лет пять назад, но теперь об изменениях перестали думать даже самые оптимистичные осмеры. Единственное, что нас ждёт в API, — это огораживание личных данных для GDPR, да и то потому что штраф платить никто не хочет.

Над тегированием нет контроля. Главное отличие и достоинство OpenStreetMap — свободная атрибутивная модель — настолько разрослась, что никому, даже ветеранам проекта, не под силу выбрать правильные теги. Форумы полнятся шутками про вереск, лес и пространства имён. Пропозалы — смех: с одной стороны изобретают инопланетные схемы на полсотни килобайт, с другой изворачиваются в попытках потопить каждое предложение. Новички не офигевают только потому, что все редакторы, даже мобильные, заменили таблицы тегов заготовками.

Над картостилем нет контроля. Когда-то основной стиль был настолько сложен, что все боялись к нему притронуться. Потом его перевели на CartoCSS, навели порядок, и сразу потянулись участники, пошла работа. Несколько лет улучшали значки и цвета, поменяли структуру базы данных, причесали шрифты — карта стала выглядить прилично, как у людей. Такая же блёклая.

Но сейчас заметно, что никто не знает, куда двигаться дальше. Собственно, Пол Норман с этой темой уже два года выступает на конференциях. На конвульсии разработчиков особенно тяжело смотреть в этом году: они безуспешно пытаются изменить устоявшиеся схемы тегирования, потому что модель данных OSM несовместима с приличной картографией. Мы упёрлись в потолок стека, написанного пять лет назад. Единственным разумным выходом будет выкинуть всё и начать заново — что авторы и обсуждают.

Над разработчиками нет контроля. «Наш главный ресурс — это люди, которые тянут проект в светлое будущее». Ага, а присмотришься к разработчикам — там кто в лес, кто по дрова. Одни пилят двадцатый геокодер или десятый роутер, другие на две недели погружаются в жонглирование данными, чтобы на выходе получить невпечатляющий набор точек. «Мне удалось поднять тайл-сервер» — слышно из угла. Мои поздравления, блин. 2018 год, а у нас ни окружения для разработчиков или интеграторов, ни финансовой поддержки, ни стратегического плана. Только по одному волонтёру на ключевых элементах инфраструктуры сидят.

Над лицензией нет контроля. Картографы хотят защитить свой труд, это понятно. Отсюда растут все вирусные лицензии, которые когда-то ставили целью сделать мир лучше, открытее. Вот только у них обнаружилась проблема. Для успеха в этом мире нужно уметь договариваться. Взять у муниципалитета информацию по всем зданиям, а взамен предоставлять правки, уточняющие геометрию. Позволить сервису бронирования не раскрывать данные о гостиницах, которые они примешивают, чтобы получить полтора миллиона проверенных точек и иметь возможность исправлять ошибки позиционирования в сервисе, которым пользуются сотни миллионов. И так далее.

Наша лицензия запрещает всё это, от чего третьи стороны не особо страдают — у них уже есть достаточно данных. Страдаем мы, потому что не можем адекватно ни с кем договориться. Участники сообщества зорко следят, чтобы никто не проскочил. Даже с тривиальными случаями использования у нас проблема. Я только за этот год видел полдюжины вопросов насчёт использования карты в телепередачах, и каждый раз на одинаковые вопросы им выдавали разные ответы. Никто, даже юридическая рабочая группа, не понимает ODbL. Но это статус кво, в OpenStreetMap он тут власть.

Как вы знаете, в этом мире чтобы оставаться на месте, нужно быстро бежать. Я читаю новости 2ГИС, Яндекс.Карт, Google Maps и вижу, что они пробуют новые алгоритмы, новые точки зрения. Меняют интерфейсы, постоянно дополняют модели данных, учатся по-новому взаимодействовать с сообществом. Реагируют на проблемы структурными изменениями. В их возможностях всё поменять — или наоборот, причесать данные, сгладить углы, сделать удобно. Они могут купить и продать, чтобы сделать свою карту лучше.

Всё, что на сегодня способно сообщество OpenStreetMap, — сообща за выходные нарисовать домики ещё в одном городе. Поэтому главными применениями проекту остаются гуманитарные инициативы, да использование в качестве подложки, когда не хватило денег на нормальную карту. Вспомните, что у нас такого происходило за последний год, достойного заметок в главных технологических журналах? Новую версию JOSM выпустили с обрезанием пробелов в тегах?

Да, полагаться на проприетарную карту — значит, отдавать часть контроля корпорации. Но вы уверены, что хотите иметь контроль над каждой частью картографического стека? Вам точно хватит денег? Коммерческая компания может изменить условия и поставить вас в неловкое положение, но от OSM её отличает договороспособность. Там работают живые люди и у них есть все рычаги: можно позвонить и сторговать лимиты, или попросить помочь с картографическими данными. Для них вы — клиент; для OSM вы, если чего-то хотите от карты для бизнеса, хуже чем никто.

Поэтому OpenStreetMap не растёт. Если приглядеться, на графиках намечаются негативные тренды. Как викимапия около 2011 года, наш проект выбрал большую часть своих смыслов. С нынешним направлением у нас ещё лет десять, после которых мы будем выглядеть как викимапия сейчас: с кучей данных и без сообщества, разбежавшегося по альтернативным проектам. И тогда уже люди, выбравшие OSM как замену Google Maps, задумаются.

Именно сейчас, в ближайшие два года, нужно найти для проекта новые векторы развития. Риторика «а зато у нас бесплатно», неизменная на протяжении десяти лет, превратилась из прогрессивной в жалкую. Главный вопрос — зачем вам OpenStreetMap, когда есть много альтернативных картографических сервисов, каждый из которых в чём-то его превосходит (и не надо тут про качество отрисовки вашего двора)? Может, мы собираемся перевернуть обучение географии, или стать новой универсальной базовой картой, или заделаться фреймворком для экспериментов в новой картографии. Любой ответ хорош, если вы готовы подкрепить его делом.

А пока что для многих организаций проще взять Google Maps.

8 мая   ВНЕЗАПНО

Первопереоткрыватели

В конце января рабочая группа по данным получила уведомление от перуанской компании: «семь лет назад ваши картографы стащили у нас геоданные, удалите их». DWG расчехлила Redaction Bot (специальный скрипт, который не только удаляет объекты, но и вычищает их из истории) и оперативно убрала заимствования вместе с правками, которые семь лет накапливались поверх них. Сообщество в Перу подготовило «пирог» для картирования и за три месяца перерисовало потерянное, о чём отчитался karitotp.

Ничего такого, о чём стоило писать новость: данные импортировать нельзя, и срока давности нарушения не имеют. Об этом уже была длинная заметка, добавить нечего. Мы уже экстренно востанавливали страны: например, Польшу, пострадавшую от перелицензирования. Да и диванные картовстречи, когда за пару дней отрисовываем города и районы, для нас не в новинку: вспомнить тот же Саранск.

Такие инциденты показывают силу сообщества. Но и его ограниченность. Картографов-любителей привлекают белые пятна, они любят дорисовывать дворовые проезды и домики в промзонах. Сообщество невероятно быстро делает базовую подложку в любом регионе мира: дороги, населённые пункты, гидрографию. Радуется анимации с было-стало и пишет посты в блог. А затем уходит.

Позавчера Александр Истомин нашёл кладбище мусорных точек в Саранске. Почти год там копятся объекты, которых нет на местности. Незаметно — потому и не удаляют? Нет. 22 апреля провели первый тестовый матч на новом стадионе «Мордовия», построенном к чемпионату мира. Вчера прошёл второй матч. Стадион открыт, все горожане о нём знают. На OpenStreetMap прямо сейчас там строительная площадка. Картографов не волнует: обновлять уже нарисованное не так интересно. Даже если картой OSM конкретно в этом месте будут пользоваться сотни тысяч туристов через Maps.me.

Но если взять и вычистить город от данных, осмеры всей страной соберутся и за выходные снова отрисуют его идеально, по свежайшим данным.

5 мая   mapping party   ВНЕЗАПНО

Нет, карта

BushmanK в декабре длинно обосновал, почему новичкам лучше сразу говорить, что OpenStreetMap — это база данных, а не карта. В обсуждении заметки на радио я предположил, что каждый осмер проходит три стадии понимания.

Как новичка не убеждай, а он видит: словом OpenStreetMap подписывают растровые карты, которые подобно гуглю и яндексу появляются на разных сайтах, и венце их openstreetmap.org. Эти карты умеют находить адреса и прокладывать маршруты. Правда, пробок нет, и слоя снимков, поэтому OSM явно проигрывает своим конкурентам. Зато работает в навителе, есть кнопка «редактировать», да и, говорят, карма чистится, если править эту карту, а не народные. Хорошее дело народным не назовут.

Через пару месяцев бороздения форума и вики заматеревший осмер понимает: карта — это вообще не про OSM. Мы наполняем некую абстрактную базу геоданных, которая может быть представлена в любом виде и использована столькими способами, что не всегда и поймёшь, гео это или нет. Есть набор абстрактных тегов, есть сомнительная точность на всех этапах, есть целостности физическая, геометрическая и логическая (и печальное отсутствие средств их сохранения). Опытный участник умеет пользоваться редактором Level0 и видит, откуда пошли все правила участия в проекте. И, конечно, при объяснении сути проекта новичкам он идёт напрямик, ошарашивая пунктом первым: «OpenStreetMap — это база геоданных».

Третья стадия — это когда осмер понимает, что всё это время он рисовал карту! То есть, конечно, это всё ещё база данных. Но чтобы понять, что нужно добавлять в эту базу, нужно понимать, что продукт OSM — это, как ни странно, карта. Карта того, что есть в реальности, с уровнем детализации как у карты, с системой координат, слоями, подписями и т. п. То, что это карта, отвечает на многие странные вопросы, типа стоит ли добавлять контуры снимков или маршруты самолётов. В базу геоданных — да. На карту — нет. Понимание того, что OpenStreetMap — это, прежде всего, карта, упрощает решение вопросов и экономит время. А когда не мучает экзистенциальная тоска, наполнять базу геоданных становится веселее.

Разница между первой картой и последней в том, что вначале карта OpenStreetMap воспринимается как полуфизический объект: изображение на экране, распечатанный лист. А на третьей стадии осмер понимает карту как совокупность всех возможных карт, которые можно получить из данных OSM. Дороги всех цветов и размеров, населённые кварталы в виде домов, закрашенных прямоугольников и строк в таблице населённости, POI в поиске, в картинках, в записной книжке, в роутинге, в базах данных, в цифровом искусстве, в табличках на их прототипах. Рисуя и тегируя линию, опытный осмер видит все возможные применения для неё, и понимает ограничения среды, модели и здравого смысла. В двух словах это можно сократить до «рисуем карту».

Но понимая, что у каждого участника проекта разные взгляды на его продукт и терминологию, и ожидая толпы новичков с немного искажённым понятием карты (ох этот навител), осмер мгновенно поднимается на четвёртую стадию понимания проекта, которую подметил Эдуард «edward17»: OSM — это боль.

2016   ВНЕЗАПНО

Ничего

Мы всегда считали, что в точке 0;0 ничего нет. Приходили периодически и махом удаляли гору мусора. Ничего нам не указывало, что все объекты там — плод ошибки, но мы так считали. Недавно оказалось, что один физический объект (кроме пятикилометрового столба воды) там есть: это буй. Его цель — измерять температуру и ветер. Он дрейфует вокруг нуля, и на OpenStreetMap отплыл на сотню метров. И теперь, когда к нему будет прибиваться мусор со всей планеты, нужно не забыть его не удалить.

Это мне напомнило про вопрос обозначения отсутствия данных. Вот например, на конференции Костя «GaM» показал велосипедный трек от Кузьминки до Невской Дубровки: он проверял все отворотки в поисках сквозной дороги. Нашёл только один проезд, но как он обозначил тупики отвороток? Track просто обрывается, и непонятно: то ли анонимный объездчик (на навигаторе нет авторов карты) устал, то ли там поляна и тупик. Конечно, у нас есть тег noexit=yes и антоним к нему, fixme=continue, но никаких промежуточных вариантов. Что, если оканчивается проезжаемая дорога, но ещё до магистрали идёт пешеходная тропа? Что подразумевает continue: что там волки, что объездчик устал, что дорога стала сильно хуже?

Или случай из волховской картовстречи: на бинге обозначены два дома, в OSM — тоже, а на местности — две заросших бетонных площадки: дома спилили под ноль, хоть стоянку организуй. Нельзя дома удалить, потому что это не обозначит их отсутствие. Я поставил точку с описанием «здесь домов нет», потому что непонятно, как обозначать такие бетонные площадки. Но не сомневаюсь, что какой-нибудь домикоманьяк придёт, увидит точку и с возгласом «какие ваши доказательства» снесёт её и дорисует недостающее.

Всё это сводится к тому, чего на карте нет. Сейчас у карты два состояния: либо что-то нарисовано, либо неизвестность. Нужно придумать третье состояние: «точно чего-то нет». Нет буя. Нет дома. Нет дороги. Нет брода, можно проехать. Если на карте не отметили — это не значит, что объекта нет. Как обозначить отсутствие?

Причём, даже наличие объекта в данной точке не означает отсутствия всего остального. Если ткнуть в середину леса, нельзя быть уверенным, что в этой точке нет здания. Даже если там прошёл маппер и своими глазами видел, что на 10 км вокруг только черника растёт. Он же не может это наблюдение транслировать на карту. Возьми случайную точку ограды — точно ли в ней нет дырки? Насколько точно маппер нарисовал береговую линию: если туда прийти, окажешься на суше или в воде?

Не думаю, что этот вопрос решён хоть на одной альтернативной карте. Коммерческие картографы используют понятие качества и равномерности: вероятность отсутствия дороги одинакова на всей территории. Но это ещё хуже, потому что доверие к фрагментам, объезженным на автомобиле, равняется доверию к обрисованному по генштабу 60-х годов, и зачем тогда тратить деньги на объезд? Все карты отвечают только на вопрос «что здесь есть», и даже ответ «ничего» может быть ложью.

Вопрос, конечно, в доверии, а не в наличии-отсутствии. Насколько карте можно верить в этой конкретной точке. Поэтому можно заменить обозначение отсутствия слоем доверия. Непрерывным на весь земной шар, плюс на каждый сантиметр каждого объекта. И заставлять мапперов заполнять величину доверия. «Я здесь проехал и уверен». Правда, чихнул и не заметил круглосуточного магазина, но махом залил доверием всю трассу. Можно ли доверять мапперу, отметившему уровень доверия? И кто его будет заполнять — вон, smoothness заполняют лишь самые маньяки.

Но если этот вопрос решить, то OpenStreetMap — или его форк, развитие, альтернатива, — станет самой достоверной картой в мире, просто потому, что на карте будут места со 100% достоверностью. Где мы точно сможем сказать, что все люки расставлены так, как человек их увидел два месяца назад, и схема движения по полосам проверена только вчера. Где в точке 0;0 достоверен будет только буй, но не гора мусора, прибившаяся от неудачного импорта. И где очередную покатушку можно будет спланировать не только по пустотам на карте или плотности треков, но и по уровню достоверности: ведь мы же хотим, чтобы наша карта везде была самой точной.

Правда, тут всплывает понятие личной ответственности за карту. Кто нарисовал конкретную фичу и почему? Какой уровень доверия к пользователю? Означает ли выбор редактора JOSM более достоверные данные, чем iD? Влияет ли тег source на актуальность? Какая ответственность у участников мероприятий гуманитарной команды, которые пришли один раз, но, наверное, очень старательно обклацывали какое-нибудь Мали. Ценнее ли личное наблюдение обрисовки по спутниковому снимку? А если снимок — ортофотоплан, сделанный с квадрокоптера? Вопросов бездна, и вкупе они означают: достоверность карты не измерима, осму можно только верить.

Вот только каждый раз, видя окончание дороги, особенно грунтовки, на карте, я задаюсь вопросом: что там увидел маппер? Можно ли там проехать на велосипеде чуть дальше?

Использованы фотографии NOAA, Константина Мошкова и F4JA13.
2015   ВНЕЗАПНО

Московское время

Долгое время я уравновешивал кучу московских мапперов непомерной активностью петербуржских. Собирал их не реже раза в месяц. Считал, во сколько обойдётся проезд до очередной конференции. На вопрос о работе отвечал, что картами занимаюсь только в свободное время. Теперь, спустя почти пять лет участия в OpenStreetMap, всё поменялось: с этого понедельника я работаю в maps.me, ныне входящем в Mail.Ru Group, и живу в Москве.

Это означает, что приложение maps.me заинтересует не только миллионы нуждающихся в офлайн-картах, но и тысячи осмеров. Что направлениям Mail.Ru Group, которым понадобится карта для игры или социалки, теперь достаточно одного внутреннего звонка. Что обсуждения открытых геоданных и инициатив, касающихся открытых карт, не пройдут мимо сообщества. Что на мысль от ГИС-Лаба «а не организовать ли» последуют положительный ответ и помощь. Что удастся протолкнуть OpenStreetMap на новых площадках, напомнить москвичам, что карты — это не только Яндекс.

И самое главное, московское сообщество OSM перестанет быть диванным. Я не просто перенесу сюда всю петербуржскую движуху, коей завидовали осмеры со всей России, но смогу задействовать в ней все ресурсы Mail.Ru. Как программист и специалист по OpenStreetMap, я буду работать над удвоением крутости maps.me, но как осмер с возможностью уделять проекту часть рабочего времени, я планирую сделать OpenStreetMap самым громким и одним из самых эффективных краудсорсинговых проектов в России. Начнём, как обычно, с картовстреч — готовьтесь к апрелю, москвичи.

Команда maps.me растёт, мы будем рады программистам на C++ и другим специалистам. Пишите, будем строить большие планы и писать маленькие фичи вместе. В этом блоге, радиопередачах и на других сайтах я продолжаю говорить как осмер, а не как сотрудник maps.me: ничего из сказанного не является официальной позицией компании, если не заявлено обратное.

2015   maps.me   ВНЕЗАПНО   штосм
Ранее Ctrl + ↓