Мы поменяли лицензию, удалив миллионы объектов из базы. Долго спорили на этот счёт, но в итоге потерянное практически восстановили за считанные недели. Несколько сотен человек не приняли «правила игры», и их данные убрали: ничего страшного, всё логично. Но завершение перелицензирования не означает, что удалений больше не будет.

В начале июля Sadless74 обнаружил, что некоторые населённые пункты в Челябинской области отлично прорисованы — но ни в одном из доступных источников (т. е. в бинге) нет детальных снимков на их территории. Автор этих правок, Андрей Седойкин, работает в компании, занимающейся системами мониторинга транспорта в Свердловской и Челябинской областях, и использует OpenStreetMap как подложку для мониторинга. Спустя две недели он ответил, упомянув в числе своих источников спутниковые снимки Google и карты, купленные в книжном магазине.

Вы же знаете Первое И Главное Правило нашего проекта? Оно даже отражено в названии одной из прикреплённых на форуме тем. И написано везде, где только можно. Включая условия, с которыми вы должны согласиться для участия в проекте. Собственно, вот самое начало этих условий:

1. Мы уважаем авторские права других и нам необходимо иметь возможность реагировать на возражения держателей авторских прав. Это означает, что:

(a) Добавленные вами данные не должны нарушать авторские права кого-то еще. Если вы добавляете контент, вы заявляете, что насколько вам это известно, у вас есть право разрешить OSMF использовать и распространять контент в рамках действующей лицензии. Если у вас нет этого права, вы подвергате свои данные риску удаления (см. далее).

(b) Пожалуйста, обратите внимание, что OSMF не обязана включать добавленный вами контент в проект и может удалить ваши данные в любое время. Например, если мы имеем подозрения, что лицензия на добавленные вами данные несовместима (в том смысле, что мы далее не можем легально распространять их) с действующей лицензией вне зависимости от того, какая лицензия или лицензии используются в данный момент (смотри разделы 3 и 4), то тогда мы можем удалить ваши данные.

Говоря проще, не используйте снимки Google, Яндекс, бумажные карты или карты генштаба. Логично, что сразу после признания Андрея Sadless74 начал процедуру выявления правок, сделанных по Google, чтобы затем их удалить. О чём и известил их автора. Что, разумеется, повлекло бурю эмоций — как и у любого человека, которого «не оценили» после огромной проделанной работы. На заметку на форуме, напротив, не откликнулся никто.

Конечно, разом удалить 16 городов с карты непросто. Поэтому Sadless74 обратился к Совету с просьбой поддержать решение или найти иные выходы. После непродолжительного обсуждения Совет решил, что нет смысла искать обходные пути и делать исключения. Он посоветовал Sadless74 составить список правок, в которых использовались несанкционионированные источники. Затем этот список был отправлен в DWG, и в конце августа перелицензирующий робот удалил из базы все затронутые правками объекты.

Теперь участнику Sadless74 сложно позавидовать. Несколько тем на форуме с критикой действий робота (участники редко смотрят в корень) — ничто по сравнению с потоком угроз, посыпавшихся ему в почту, прежде всего, от Андрея Седойкина. Опасаясь за своё здоровье (Челябинская область же), он попросил у Совета помощи. Сейчас с Андреем общаются участники Совета. В конце-концов, именно последние санкционировали удаление данных, и вся ответственность за решение лежит на них.



Этот случай служит очередным напоминанием тем, кто каким-то образом узнал, как подключать подложку гугля в JOSM (это несложно), и решил, что пара обведённых домиков не повредит проекту. Или пытается оправдать заимствование из несовместимых источников сотнями организаций, с благодарностью пользующихся полученными данными. Нарушение условий участия и чужих авторских прав — худшее преступление в мире свободного ПО и свободных данных. Основа, на которой держится наш проект, — что ни один пользователь никогда не столкнётся с обоснованными претензиями к взятым у нас геоданным. Именно это отличает нас от викимапии, gmm, няк и прочих нарисуек: за каждую точку нашей карты мы несём ответственность. Не перекладывая её на пользователей или на хозяев проекта. Если вы не можете выдержать такую ответственность — пожалуйста, обратите внимание на другие картографические проекты. OpenStreetMap — сообщество самостоятельных людей, умеющих ответить за любые свои действия.

В OSM не рисуют карты для себя: наши участники выпустили десятки инструментов, чтобы любой мог поднять отдельный сервер и делать там что угодно. Мы не рисуем карты для других: мотивация нарисовать карту любой ценой у нас не приветствуется, и за этим лучше идти на тот же НЯК или в нарисуйки, региональные проекты по созданию конкурентоспособных карт для Navitel или Garmin. Наши карты — для тех, кому нужна не просто карта, а свободная карта, и из этого утверждения следуют все наши требования. Да, в итоге у нас местами меньше данных, чем на «обычных» картах, кому-то принадлежащих, но это дело времени.

Мне, как человеку с европейским складом ума, до невозможности сложно понять, в чём проблема не использовать какие-то данные. Не смотреть фильм, если не можешь купить билет или диск; читать отложенную в дальний угол классику, если не хватает денег на новые книги. Но многих участников испортила вседозволенность, правовой нигилизм, царивший в интернете последние двадцать лет. До сих пор значительно проще скачать карты, современные или советские, чем купить их в магазине. Соблазнительно подсмотреть адрес в атласе, чтобы не выходить из дома и не искать этот адрес самому: «но это же фактические данные, какая разница?» У Совета уже был опыт удаления адресных данных из OSM, автор которых посчитал, что числа на коммерческой карте ничем не отличаются от настоящих адресов. Никаких «но»: взрослым людям непозволительно оправдываться. Вы либо принимаете условия проекта, либо выбираете другой проект.



Не удивительно, что такая жёсткая политика пугает некоторых участников. Эцелоп спрашивает, как можно доказать, что он «не верблюд», не срисовывал с запрещённых источников? Прежде всего, использование снимков высокого разрешения заметно невооружённым взглядом. Так же как и не срисовывание с них. Провайдеры карт редко выкладывают одинаковые снимки, и по косвенным признакам, нередко — временным, можно вычислить источник.

Также, редко кто рисует целиком по памяти. После прогулок остаются треки, фотографии, заметки. Треки можно загрузить на сервер, а обходные листы и фотографии сохранить, как я и поступаю. Второе главное правило в OSM — «Truth on the ground»: если возникает спор по поводу того, что нарисовано на карте, прав тот, кто видел место своими глазами. Когда есть фотография таблички, никто не станет спорить, откуда стянуто название. Впрочем, наш опыт показывает, что человека, понимающего неправомерность своих действий, легко определить и без сложного расследования: на вопрос об источниках он впадает в истерику, сыпет угрозами и хлопает дверью — правда, чтобы вернуться через некоторое время и либо язвить на форуме, либо продолжать своё тёмное дело.

Завтра, 12 сентября, начнётся создание очередного файла планеты (если что-то сломается, отложат на неделю). Следовательно, с завтрашнего дня все данные, отдаваемые через API, официально станут отпускаться по лицензии ODbL. Обычных мапперов это никак не затронет. Примерно тридцать часов спустя выгрузка завершится, и всем потребителям данных потребуется очистить свои базы данных и заново импортировать дамп. Кроме того, изменится структура каталогов на planet.openstreetmap.org, поэтому нужно будет немного поправить скрипты.

Также пишут, что изменится формат обязательного упоминания OSM при использовании тайлов или данных: он сократится до «? OpenStreetMap contributors» со ссылкой на openstreetmap.org/copyright. Подробнее про изменения написано на этой вики-странице. Заодно там кратко перечислены новые свободы, которые предоставляет ODbL по сравнению с CC-BY-SA: например, что на свои тайлы можно устанавливать произвольную лицензию, покуда вы упоминаете, что данные для них распространяются под ODbL.

Когда в апреле админы выложили огромный файл с GPS-точками, я наивно понадеялся, что через месяц-другой кто-нибудь возьмёт и сгенерирует из этого файла тайловый слой, а заодно вырежет разные страны, чтобы мы обрабатывали не 15 гигабайт в архиве, а более приемлемые сотни мегабайт. Увы, у нас do-ocracy, а значит — «хочешь? сделай!». Короче, после недель программирования и нетерпеливого ожидания я рад анонсировать:

1. Тайловый слой со всеми точками GPS-треков: до 11 зума на всю планету и до 14 — на европейскую часть России, а также Минск и Киев (bbox).
2. Региональные выгрузки. Правда, для России я не стал вырезать каждую область, а ограничился федеральными округами.
3. Все скрипты на perl, которыми я делал тайлы и вырезал области. Вы можете взять и сделать z16-слой для свой области, например.
4. Плакат со всеми точками, статистикой и некоторыми интересными заметками. Спасибо AMDmi3 за его tiletool, с помощью которого была сделана эта картинка.

В очередной раз спасибо Рамблеру за предоставленные серверы, где всё это хранится.



И, кстати, это не только интересно, но и полезно. За эти дни я нашёл два применения тайловому слою:

1. Если вы собрались в путешествие, посмотрите на карту треков и подкорректируйте маршрут, чтобы собрать GPS-треки нехоженых дорог. Да, в Московской области это чревато грязькой, но только две недели назад мы загрузили первые треки для асфальтового secondary на Карельском перешейке.
2. Бот перелицензирования удалял не только линии целиком, но повыгрызал немало точек из дорог. Эти спрямления легко заметить, наложив карту GPS-точек на OpenStreetMap. Пока рассматривал свежесозданные тайлы, нашёл и поправил несколько таких мест на primary в Ленинградской области.

В общем, собирайте новые треки, чините карту — и будет здорово, если вы придумаете ещё применения этому огромному массиву данных.

Осталось, как сообщает счётчик на сайте конференции, 74 дня до «Открытых ГИС». Помните о такой? С этого момента официально открывается приём заявок на доклады в секцию OpenStreetMap. Которая, напомню, занимает целый поток целых два дня. Требования и рекомендации к докладам в нашей секции развёрнуто описаны вот здесь.

Регистрироваться нужно всем участникам — даже тем, кто думает насчёт просто сходить и посмотреть. Советую сделать это прямо сейчас. После регистрации можно будет добавить заявку на доклад (а то и две, для хардкора). Кроме названия там потребуется написать пару абзацев про содержание.

Разумеется, будет и секция коротких докладов, причём в этот раз, в надежде, что приедут много участников извне Москвы, отдельный поток будет посвящён рассказам про маппинг в регионах. Для доклада в секции достаточно записаться в вики.

К этому моменту у конференции появилось два спонсора: учебный центр «ГИСпроект» и незнакомая мне компания «data tile». Это великолепно — но недостаточно для такой большой конференции. Спросите у себя или своего начальника, может ли ваша организация стать спонсором?

Можно ли сейчас использовать проект OSM как полноценный и достоверный источник геопространственных и справочных данных? Напрямую — нет. Ни как достоверный, ни как полноценный. <...> Если нужны самые актуальные данные, то ни о какой достоверности уже речи не может идти. Сам по себе этот компромисс в проекте OSM смещён строго в сторону актуальности. Т. е. беря данные напрямую из проекта, вы всегда берёте самые актуальные данные со всем самым актуальным вандализмом, без какой либо претензии на адекватность данных.

Макс Васильев написал развёрнутый ответ на предыдущую заметку. Он обращает внимание на то, что проще обучить десяток школьников с нуля, чем заставить опытных участников проекта что-то делать правильно, и что валидаторы самим существованием форсируют ограничения, не всегда обоснованные или разумные. Конечно, решения этих задач быть не может, потому что они — следствие модели OSM.

Политика do-ocracy подразумевает, что властью в проекте обладают те, кто делают инструменты, в том числе валидаторы и рендереры. Поэтому больной вопрос тегирования под рендереры не исчезнет, и с ростом количества валидаторов уже набирает актуальность вопрос правок под них. Мы разрешаем эти вопросы советом «думать своей головой», но, будем честны, в проекте очень немного людей, способных на недоверие к своим инструментам, и большая часть — как раз новички и школьники, которые делают так, как их научили. По сути, в их случае do-ocracy подменяется «властью учителя»: куда проще вбить свои представления о качественных данных лично, чем вести за собой всё сообщество целиком. Но это не решает вопрос качества данных, а лишь усугубляет его.

К сожалению, качество OpenStreetMap — это оксюморон. У каждого из семисот тысяч участников проекта особенное мнение о том, как нужно рисовать карту, и главной площадкой для обсуждения до сих пор остаётся вики, которая, вообще-то, не место для дискуссий. Поэтому механизм пропозалов разваливается, как замечают многие опытные участники, и проект возвращается к тому, с чего начинался: глобальной геопомойке, в которую каждый волен писать то, что захочет. И Макс абсолютно прав, что без сложной обработки наши геоданные использовать нельзя. Но. Это не означает, что нужно махнуть рукой на OSM и заниматься своими предобработчиками. Напротив, нужно искать новые определения качества, совместно работать над инструментами обработки данных, открывать новые дискуссии не только внутри страны, но на мировых площадках. Почти завершилось перелицензирование, и время думать над API 0.7, с пониманием, что отсутствие типа area — наименьшая из проблем модели OpenStreetMap.