Торговые центры — досадные белые пятна на нашей карте: в них слишком много магазинов. Обычная практика — пройти мимо всех, сфотографировать и записать данные, а потом отрисовать, — для ТЦ не работает, потому что это не одно-два заведения на здание, а сотня-две. Целый день убить на один дом! Поэтому в городе может быть десять магазинов The Body Shop, но вы не найдёте в OpenStreetMap ни одного, потому что все они в торговых центрах, которые лень обходить.

Помня об этом, позавчера я посидел часик и отрисовал две трети магазинов в рижском ТЦ Spice, пользуясь буклетом со схемой, стащенной из этого центра. Порадовался, как удобно это в iD, и почувствовал, как приношу пользу будущим пользователям карты. Прямо захотелось ещё нагуглить схем торговых центров и щедро рассыпать POI по Риге и Минску. К чёрту схемы помещений, были бы сами магазины.

Меня остановил Павел Гаврилов:

Я правильно понимаю, что этот пакет изменений надо откатывать, потому что у нас нет ЯВНОГО разрешения использовать данные с этой коммерческой карты? Аргумент «я там ходил, поэтому имею право перерисовывать чужую карту» с Гуглом и Яндексом почему-то не принимается.

Я сначала разозлился и коротко ответил, что был там и помню все магазины (что правда для большей части внесённого). Потом задумался. Я не сканировал и не подкладывал схемы из буклета, чтобы нарисовать поэтажные планы. Только очень примерно расставил точки магазинов, взяв их название и тип. После того, как прошёл, глядя на карту, и убедился, что более-менее соответствует. Но в картировании пошёл дальше и добавил точки со второго этажа и из соседнего здания. Всем же лучше от этого: и посетителям, и магазину, и карте.

Чем эта аргументация отличается от срисовывания адресов с карты Яндекса, когда контуры зданий уже есть в OpenStreetMap? Проезжали деревню, видели несколько адресов, с яндексом совпадают. Технически это даже не копирование данных: смотрим числа, запоминаем, расставляем на карте уже по памяти.

В нашем проекте есть юридическое слепое пятно, о котором мы стараемся не задумываться: можно ли использовать рекламные и информационные стенды и буклеты для уточнения OpenStreetMap?

Очевидно, что такие материалы публикуются с целью достичь максимального количества читателей. План застройки квартала висит на крупном щите у тротуара. Схема садоводческого товарищества встречает на въезде, чтобы водители не шарахались по проездам, а сразу ехали куда надо. Компании посвящают отдельные страницы сайтов планам проезда: там и адрес, и координаты, и карта, а то и две. Они печатают свои адреса на визитках. В торговых центрах раздают буклеты, чтобы задержать покупателей: вокруг столько интересного!

Присутствовать на картах важно для всех. Поэтому магазины, компании, торговые комплексы сами идут к 2ГИС, яндексу или посредникам, чтобы их можно было найти. За четыре дня до меня в тот ТЦ зашла «рокетдата», добавив в случайные координаты внутри здания аптеку. Аптека заплатила компании, чтобы появиться в OpenStreetMap. Откажется ли ТЦ от того, чтобы кто-то бесплатно перенёс их план на карту, которую используют примерно все? Разве что из подозрительности: обычно это стоит больших денег; бесплатное картирование бывает только в мышеловке.

Сложно понять, где кончается ground truth и начинается копирование чужих данных. Отметить «пятёрочку» по фотографии, не зайдя внутрь и не убедившись, что это продуктовый магазин, нормально? А натолкнуться на дверь с двумя десятками плашек всяких адвокатов и турфирм, не открыть её и внести всё это в OSM? Нарушает ли это права владельца этого бизнес-центра? Прощёлкать панорамы улицы и добавить на карту все POI, что видны на фотографиях, нарушает авторское право фотографа? Можно ли, взяв визитку с адресами филиалов турфирмы, закартировать их?

Фотография © mapfool, Mapillary, CC-BY-SA

Общепринятое мнение опытных участников проекта — нет, без явного разрешения никакие источники использовать нельзя. Как бы все стороны ни хотели появления данных на карте, должен произойти акт разрешения. При этом часто простого согласия голосом недостаточно, и подписи секретаря тоже. Формально, хочешь срисовать план торгового центра — иди к директору и требуй бланк с печатью. Увидел на фотографии пятиэтажный дом и хочешь проставить тег этажности — спрашивай разрешения у фотографа. Подруга говорит, что за углом открылся ресторан, — убедись, что она разрешает использовать эти слова для уточнения карты.

Эти требования кажутся смешными, но обоснования ответов на них определяют будущее OpenStreetMap. Мы уже более-менее разобрались с рисованием геометрически протяжённых объектов: дорог, лесов, городов. С адресами всё тоже более-менее ясно. Есть крупные источники геоданных, которые чаще всего нельзя использовать, есть государственные и открытые данные, есть снимки. Одно разрешение открывает геоданные целого города или страны, поэтому мы продолжаем писать запросы. Ответили отрицательно — не беда, возьмём другие источники или снимки. У нас есть выбор.

Для заведений выбора нет. Никаких крупных баз, которые потенциально могут разрешить использование. Либо обходить ногами и записывать, либо просить миллион разрешений от миллиона источников, в каждом до сотни заведений. Что делать — выделить шкаф для складирования ответов? Или перечитать законы и пересмотреть условия использования информационных материалов?

POI не могут ждать. Дороги пролежат десятки лет и их названия не изменятся, деревни тоже дождутся заблудшего картографа. Рано или поздно мы нарисуем административные границы и все велодорожки, поэтому нет смысла спешить, подключать нейросети и тырить данные из крупных ГИС. Но в случае заведений политика ожидания не работает. Салоны красоты появляются и исчезают; приходит вирус — и торговые центры вычищаются; наносить магазин за углом бесполезно, когда весь квартал ходит в этот магазин уже десять лет.

Легко делать самую актуальную карту в контексте развязок и новостроек, сложнее следить за свежестью магазинов в ближайшем ТЦ. Муторно и трудно увидеть своими глазами и записать все заведения в своём районе, невозможно повторить такой обход во второй, в третий раз. Сообщество OSM с подозрением смотрит на импорты и не уверено, что можно использовать любые сторонние материалы, от списка адресов на сайте компании до плана эвакуации на стене. Даже приложения, которые позволяют добавлять заведения любому, кто проходит мимо, не устраивают многих осмеров. Может ли с такими ограничениями наш проект быть надёжной картой не только улиц, но и заведений?

Я бы хотел порисовать магазины в торговых центрах и сети закусочных по информации с сайтов и буклетов, но не уверен, что это можно. Поэтому я сделал тему на форуме: делитесь в ней мыслями про юридические ограничения и опытом массового рисования заведений. Давайте решим, где факты, а где авторское право на базу данных.

Российский OpenStreetMap ждёт огромное потрясение: DWG, рабочая группа по данным, прямо сейчас рассматривает правки шестисот участников самой массовой инициативы по уточнению карты. Сотрудники неизвестных организаций на протяжении полугода добавляли адреса, рисовали дома и подписывали улицы. Но на вопрос об источниках ответы ранжировались от никаких до прямо противоречащих условиям участия в проекте. Конец столь же предсказуем, как и печален: сотни тысяч адресов и прочие улучшения, внесённые в рамках этого загадочного проекта, будут удалены без возможности восстановления.

Спасибо Валерию Трубину и Arseniy из @ruosm за фотографии

Всё началось в июне прошлого года: Wowik, автор одного из трёх валидаторов адресов, заметил резкий скачок в количестве адресов в Волгограде. «В личке ответ, что [адреса] из публичной кадастровой карты России и КЛАДР. Ну и что теперь с этим знанием нам делать?» Участница начала добавлять адреса в мае 2019 года и прекратила в июне, сразу после беседы об источнике данных.

23 июля Parukhin заметил в Архангельске «какое-то нашествие девушек, которые выравнивают домики по снимку при нулевом смещении, не глядя удаляют новые здания, которых нет на бинге, тянут адреса и POI с яндекса». Wowik подсобрал статистики и оказалось, что таких людей больше, чем кажется: более двух десятков человек массово вносили адреса только в тот день. На следующий день тема «обсуждение массовых правок» перестала быть темой про планирование автозамен: длинные списки картографов, день за днём вносящих адреса, захватили её на полгода и десять страниц.

Условия участия в OpenStreetMap, с которыми нельзя не согласиться при регистрации, гласят: «добавленные вами данные не должны нарушать авторские права кого-то ещё». Открытая лицензия — это главное и определяющее свойство нашей карты. Из него вытекают все условия, всё сообщество, вся популярность OSM в коммерческих и любительских проектах. Публикуя данные в открытой базе данных, вы делаете их открытыми: что тут непонятного? Другими словами, вносить данные, защищённые авторским правом без разрешения автора — то же самое, что купить фильм и выложить его в торренты. Легко, полезно для тысяч пользователей и противозаконно.

Загадочные картографы копировали адреса отовсюду. Некоторые честно отвечали: «кадастровая карта, яндекс, 2гис и т. д.» Многие ограничивались только первым пунктом: никто не знает, можно ли брать данные из ПКК, учитывая, что на пару дней её всю опубликовали как открытые данные (подсказка: нельзя). Но чем дальше, тем больше людей усваивали правильные ответы: «я всю жизнь тут живу и знаю», «помогают родственники и друзья», «в декрете много гуляю по местности». Звучало это подозрительно: адреса содержали те же ошибки, что яндекс или ПКК, количества измерялись тысячами в месяц. Заказчика не выдал никто — но поиск имён по социальным сетям показывал одну и ту же организацию: Ростелеком.

Редактировать OpenStreetMap просто. Отменить правки — нет. В данных всё связано со всем: представьте, что википедия — это не миллион разных страниц, а одна большая страница, и каждое предложение связано с каким-то другим. Откатить правку, сделанную месяц назад, будет близко к невозможному. Кроме того, правки обычно откатывают по одному пакету и это небыстрая операция. Пользователей в списках же сотни, и у каждого по сотне пакетов правок. Чтобы отменить правки даже одного человека, нужны специальные программы и опыт, который поможет не сломать данные вокруг. Кроме того, при откате данные всё равно остаются в истории объектов и нарушают лицензию — нужно специальное сокрытие данных, которое вправе делать только участники DWG.

Далее, в сообществе не принято делать резких движений, потому что в картографии вопросы лицензий сложны и вместе со вредными правки люди вносят полезные. Например, ставят украденные адреса на аккуратно отрисованные по разрешённым спутниковым снимкам контуры домов. Некоторые люди действительно собирают адреса самостоятельно: хорошо бы уважить их труд и не рубить сплеча. Каждого нужно спросить про источники — но люди отвечают «я там живу» и приходится делать моральный выбор: сделать вид, что поверил, и оставить как есть, или проверить внимательнее, сравнить с яндексом и ПКК и понять, что ответ ложь. Это гнетёт, поэтому мы считали людей, смотрели на адреса и ничего не делали.

Надежда на помощь появилась в январе: сотрудница крупной американской компании попросила объяснить, что это за полторы сотни человек добавляют адреса, врут в ответ на вопрос про источники и при удалении их данных быстро возвращают обратно. Я повторил всё, что написано выше, внутренне радуясь: крупная компания, которая использует OSM в своих продуктах для аудитории в сотни миллионов человек, едва ли оставит вопрос лицензионной чистоты на самотёк. Люди на зарплате соберут всю информацию и привлекут DWG к проверке и откату всех до единой нелегальных правок. На прошлой неделе они это сделали: группа получила список из шестисот имён (поправка: двухсот, см. комментарий mavl). Кажется, наша фрустрация скоро закончится. Если только не заменится другой: что мы сломали нам перепись.

Мы не знаем заказчика, поэтому не можем доказать, что эти сотни человек наносят адреса специально ко Всероссийской переписи населения, которая пройдёт в октябре. Впервые перепись пройдёт «с планшетами, в которых будут загружены цифровые карты». В России не существует достаточно полной базы адресов с координатами, но есть множество разрозненных источников: коммерческих карт, адресных планов, кадастр. В сообществе OSM считают, что Ростелекому и нескольким другим организациям поставили задачу собрать все адресные данные в базе OpenStreetMap. Работу оплачивают сдельно, по количеству домов, поэтому редакторы комментируют пакеты правок в духе «Сингапай (32 дома) + 4 контура». Инструкции, фотографии которых попали в соцсети, не перечисляют разрешённые источники данных, ограничиваясь словом «свободный» — и с кадастровой картой в качестве примера.

Главное подтверждение внезапно пришло из Дагестана. Местный картограф прямо ответил на вопрос: «информацию добавляем в систему по поручении первого заместителя Председателя Правительства РД, (протокол заседания Комиссии по проведению Всероссийской переписи населения 2020 года в Республике Дагестан). Срок до 1 февраля 2020 года обеспечить наполнение картографического материала на сайте OSM-карты». Другой местный картограф привлёк внимание тем, что вместо адресов писал в теги зданий полные имена жителей. С одной стороны, это уголовная ответственность за нарушение закона о персональных данных: штраф до 300 тысяч или лишение свободы до четырёх лет. Мы всё стёрли, конечно. С другой, это свидетельствует, что источником была явно не публичная кадастровая карта: с точки зрения лицензии тут всё чисто.

В качестве последней попытки я составил письмо в Росреестр: «Пожалуйста, сформулируйте разрешение на использование адресных данных Публичной кадастровой карты в целях уточнения карты OpenStreetMap. Или сформулируйте однозначный запрет». Отправил его в форму обратной связи на сайте кадастровой карты и на почтовые адреса двух релевантных отделов Росреестра. Разрешение использовать адреса с ПКК очистило бы достаточно большую часть внесённых адресов, чтобы можно было оставить все их с чистой совестью. Разве что удалив тех, кто неосторожно упомянул Яндекс или 2ГИС. Увы, за три недели с отправки я не получил ни одного ответа, кроме загадочного «проводятся мероприятия по восстановлению работоспособности сервисов». Госорганы традиционно выбрали третий путь: отмолчаться — но в OSM отсутствие «да» означает «нет».

Что произойдёт дальше: правки почти всех пользователей будут откатываться. DWG будет проверять каждого и скрывать те правки, которые однозначно нарушают условия участия. Скорее всего, к лету они устанут и коврово жахнут по всем пользователям из списка. В Ростелекоме найдут виноватых среди картографов, а потом осознают, что произошло. Будут в мыле искать специалистов, которые смогут восстановить стёртое. (Советую НекстГИС: там толковые ребята. Ребята, заломите ценник!) Торг, депрессия, принятие. Свою ГИС они поднять и наполнить не успеют, поэтому OSM снова ждут приключения. Внезапно получим разрешение от Росреестра. Но всё равно будем жёстче следить и откатывать. Ста процентов адресного покрытия уже не будет.

Нам, участникам проекта, не жалко данных. Мы теряли и больше: например, во время перелицензирования робот «порвал в обрывки вермишели всё подряд, а тут всего 10-30% всех домиков по деревням», как ярко сформулировал Макс в чате. Сообщество тогда быстро подсобралось и восстановило большую часть данных за пару месяцев. Были случаи, когда участники, попавшись на копировании с коммерческих карт, сносили за собой целые города. Это не катастрофа: данные не главное, главное — люди, которые за ними следят. Проходит год или пять лет, белые пятна затягиваются, данные остаются открытыми. У OpenStreetMap нет дедлайнов, поэтому мы выберем подождать двадцать лет, пока деревню не отрисуют, чем быстро получить результат, но терпеть нарушение авторских прав.

Репутация карты среди больших организаций после этого манёвра несомненно пострадает. Накосячили все: организация, что не посоветовалась с сообществом; участники, что затянули реакцию и позволили людям делать бессмысленную работу; исполнители, которые не поинтересовались, что они вообще делают. OpenStreetMap всегда был небезопасным хранилищем геоданных. Нельзя гарантировать, что ваш вклад не удалят или не изменят. Это бесплатная распределённая база, но это не ваша база. OSM — это риск со всех сторон: карта может сломаться, лицензия может укусить юристов, модель данных может оказаться неподходящей слишком поздно. Мы не говорим, что OSM нельзя использовать: нужно, но ответственно.

Открытый проект требует открытого подхода. Чтобы крупный проект на базе OSM не провалился, обсудите его заранее хотя бы с одним активным участником проекта. Не шифруйтесь, потому что это верный признак какой-то фигни — как во взаимоотношениях с сообществом, так и в самой организации. Неужели участники не будут рады полной базе адресов по всей стране? Всего-то стоило прошлой весной зайти на форум, в телеграм, или написать в совет о проекте, и мы бы совместно придумали процесс, оформили инструкции и следили бы за ходом выполнения. Чтобы полноценно использовать карту OpenStreetMap, не важно знание модели данных или инструментов. Главное — уметь раскрыться в словах. Это страшно, потому что людям может не понравиться идея, и они пресекут её на старте. Но что лучше — сразу подумать об альтернативе или потерять всю работу вблизи финиша?