36 заметок с тегом

закон

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.

Всероссийская перепись под угрозой

Российский OpenStreetMap ждёт огромное потрясение: DWG, рабочая группа по данным, прямо сейчас рассматривает правки шестисот участников самой массовой инициативы по уточнению карты. Сотрудники неизвестных организаций на протяжении полугода добавляли адреса, рисовали дома и подписывали улицы. Но на вопрос об источниках ответы ранжировались от никаких до прямо противоречащих условиям участия в проекте. Конец столь же предсказуем, как и печален: сотни тысяч адресов и прочие улучшения, внесённые в рамках этого загадочного проекта, будут удалены без возможности восстановления.

Спасибо Валерию Трубину и Arseniy из @ruosm за фотографии

Всё началось в июне прошлого года: Wowik, автор одного из трёх валидаторов адресов, заметил резкий скачок в количестве адресов в Волгограде. «В личке ответ, что [адреса] из публичной кадастровой карты России и КЛАДР. Ну и что теперь с этим знанием нам делать?» Участница начала добавлять адреса в мае 2019 года и прекратила в июне, сразу после беседы об источнике данных.

23 июля Parukhin заметил в Архангельске «какое-то нашествие девушек, которые выравнивают домики по снимку при нулевом смещении, не глядя удаляют новые здания, которых нет на бинге, тянут адреса и POI с яндекса». Wowik подсобрал статистики и оказалось, что таких людей больше, чем кажется: более двух десятков человек массово вносили адреса только в тот день. На следующий день тема «обсуждение массовых правок» перестала быть темой про планирование автозамен: длинные списки картографов, день за днём вносящих адреса, захватили её на полгода и десять страниц.

Условия участия в OpenStreetMap, с которыми нельзя не согласиться при регистрации, гласят: «добавленные вами данные не должны нарушать авторские права кого-то ещё». Открытая лицензия — это главное и определяющее свойство нашей карты. Из него вытекают все условия, всё сообщество, вся популярность OSM в коммерческих и любительских проектах. Публикуя данные в открытой базе данных, вы делаете их открытыми: что тут непонятного? Другими словами, вносить данные, защищённые авторским правом без разрешения автора — то же самое, что купить фильм и выложить его в торренты. Легко, полезно для тысяч пользователей и противозаконно.

Загадочные картографы копировали адреса отовсюду. Некоторые честно отвечали: «кадастровая карта, яндекс, 2гис и т. д.» Многие ограничивались только первым пунктом: никто не знает, можно ли брать данные из ПКК, учитывая, что на пару дней её всю опубликовали как открытые данные (подсказка: нельзя). Но чем дальше, тем больше людей усваивали правильные ответы: «я всю жизнь тут живу и знаю», «помогают родственники и друзья», «в декрете много гуляю по местности». Звучало это подозрительно: адреса содержали те же ошибки, что яндекс или ПКК, количества измерялись тысячами в месяц. Заказчика не выдал никто — но поиск имён по социальным сетям показывал одну и ту же организацию: Ростелеком.

Редактировать OpenStreetMap просто. Отменить правки — нет. В данных всё связано со всем: представьте, что википедия — это не миллион разных страниц, а одна большая страница, и каждое предложение связано с каким-то другим. Откатить правку, сделанную месяц назад, будет близко к невозможному. Кроме того, правки обычно откатывают по одному пакету и это небыстрая операция. Пользователей в списках же сотни, и у каждого по сотне пакетов правок. Чтобы отменить правки даже одного человека, нужны специальные программы и опыт, который поможет не сломать данные вокруг. Кроме того, при откате данные всё равно остаются в истории объектов и нарушают лицензию — нужно специальное сокрытие данных, которое вправе делать только участники DWG.

Далее, в сообществе не принято делать резких движений, потому что в картографии вопросы лицензий сложны и вместе со вредными правки люди вносят полезные. Например, ставят украденные адреса на аккуратно отрисованные по разрешённым спутниковым снимкам контуры домов. Некоторые люди действительно собирают адреса самостоятельно: хорошо бы уважить их труд и не рубить сплеча. Каждого нужно спросить про источники — но люди отвечают «я там живу» и приходится делать моральный выбор: сделать вид, что поверил, и оставить как есть, или проверить внимательнее, сравнить с яндексом и ПКК и понять, что ответ ложь. Это гнетёт, поэтому мы считали людей, смотрели на адреса и ничего не делали.

Надежда на помощь появилась в январе: сотрудница крупной американской компании попросила объяснить, что это за полторы сотни человек добавляют адреса, врут в ответ на вопрос про источники и при удалении их данных быстро возвращают обратно. Я повторил всё, что написано выше, внутренне радуясь: крупная компания, которая использует OSM в своих продуктах для аудитории в сотни миллионов человек, едва ли оставит вопрос лицензионной чистоты на самотёк. Люди на зарплате соберут всю информацию и привлекут DWG к проверке и откату всех до единой нелегальных правок. На прошлой неделе они это сделали: группа получила список из шестисот имён (поправка: двухсот, см. комментарий mavl). Кажется, наша фрустрация скоро закончится. Если только не заменится другой: что мы сломали нам перепись.

Мы не знаем заказчика, поэтому не можем доказать, что эти сотни человек наносят адреса специально ко Всероссийской переписи населения, которая пройдёт в октябре. Впервые перепись пройдёт «с планшетами, в которых будут загружены цифровые карты». В России не существует достаточно полной базы адресов с координатами, но есть множество разрозненных источников: коммерческих карт, адресных планов, кадастр. В сообществе OSM считают, что Ростелекому и нескольким другим организациям поставили задачу собрать все адресные данные в базе OpenStreetMap. Работу оплачивают сдельно, по количеству домов, поэтому редакторы комментируют пакеты правок в духе «Сингапай (32 дома) + 4 контура». Инструкции, фотографии которых попали в соцсети, не перечисляют разрешённые источники данных, ограничиваясь словом «свободный» — и с кадастровой картой в качестве примера.

Главное подтверждение внезапно пришло из Дагестана. Местный картограф прямо ответил на вопрос: «информацию добавляем в систему по поручении первого заместителя Председателя Правительства РД, (протокол заседания Комиссии по проведению Всероссийской переписи населения 2020 года в Республике Дагестан). Срок до 1 февраля 2020 года обеспечить наполнение картографического материала на сайте OSM-карты». Другой местный картограф привлёк внимание тем, что вместо адресов писал в теги зданий полные имена жителей. С одной стороны, это уголовная ответственность за нарушение закона о персональных данных: штраф до 300 тысяч или лишение свободы до четырёх лет. Мы всё стёрли, конечно. С другой, это свидетельствует, что источником была явно не публичная кадастровая карта: с точки зрения лицензии тут всё чисто.

В качестве последней попытки я составил письмо в Росреестр: «Пожалуйста, сформулируйте разрешение на использование адресных данных Публичной кадастровой карты в целях уточнения карты OpenStreetMap. Или сформулируйте однозначный запрет». Отправил его в форму обратной связи на сайте кадастровой карты и на почтовые адреса двух релевантных отделов Росреестра. Разрешение использовать адреса с ПКК очистило бы достаточно большую часть внесённых адресов, чтобы можно было оставить все их с чистой совестью. Разве что удалив тех, кто неосторожно упомянул Яндекс или 2ГИС. Увы, за три недели с отправки я не получил ни одного ответа, кроме загадочного «проводятся мероприятия по восстановлению работоспособности сервисов». Госорганы традиционно выбрали третий путь: отмолчаться — но в OSM отсутствие «да» означает «нет».

Что произойдёт дальше: правки почти всех пользователей будут откатываться. DWG будет проверять каждого и скрывать те правки, которые однозначно нарушают условия участия. Скорее всего, к лету они устанут и коврово жахнут по всем пользователям из списка. В Ростелекоме найдут виноватых среди картографов, а потом осознают, что произошло. Будут в мыле искать специалистов, которые смогут восстановить стёртое. (Советую НекстГИС: там толковые ребята. Ребята, заломите ценник!) Торг, депрессия, принятие. Свою ГИС они поднять и наполнить не успеют, поэтому OSM снова ждут приключения. Внезапно получим разрешение от Росреестра. Но всё равно будем жёстче следить и откатывать. Ста процентов адресного покрытия уже не будет.

Нам, участникам проекта, не жалко данных. Мы теряли и больше: например, во время перелицензирования робот «порвал в обрывки вермишели всё подряд, а тут всего 10-30% всех домиков по деревням», как ярко сформулировал Макс в чате. Сообщество тогда быстро подсобралось и восстановило большую часть данных за пару месяцев. Были случаи, когда участники, попавшись на копировании с коммерческих карт, сносили за собой целые города. Это не катастрофа: данные не главное, главное — люди, которые за ними следят. Проходит год или пять лет, белые пятна затягиваются, данные остаются открытыми. У OpenStreetMap нет дедлайнов, поэтому мы выберем подождать двадцать лет, пока деревню не отрисуют, чем быстро получить результат, но терпеть нарушение авторских прав.

Репутация карты среди больших организаций после этого манёвра несомненно пострадает. Накосячили все: организация, что не посоветовалась с сообществом; участники, что затянули реакцию и позволили людям делать бессмысленную работу; исполнители, которые не поинтересовались, что они вообще делают. OpenStreetMap всегда был небезопасным хранилищем геоданных. Нельзя гарантировать, что ваш вклад не удалят или не изменят. Это бесплатная распределённая база, но это не ваша база. OSM — это риск со всех сторон: карта может сломаться, лицензия может укусить юристов, модель данных может оказаться неподходящей слишком поздно. Мы не говорим, что OSM нельзя использовать: нужно, но ответственно.

Открытый проект требует открытого подхода. Чтобы крупный проект на базе OSM не провалился, обсудите его заранее хотя бы с одним активным участником проекта. Не шифруйтесь, потому что это верный признак какой-то фигни — как во взаимоотношениях с сообществом, так и в самой организации. Неужели участники не будут рады полной базе адресов по всей стране? Всего-то стоило прошлой весной зайти на форум, в телеграм, или написать в совет о проекте, и мы бы совместно придумали процесс, оформили инструкции и следили бы за ходом выполнения. Чтобы полноценно использовать карту OpenStreetMap, не важно знание модели данных или инструментов. Главное — уметь раскрыться в словах. Это страшно, потому что людям может не понравиться идея, и они пресекут её на старте. Но что лучше — сразу подумать об альтернативе или потерять всю работу вблизи финиша?

5 февраля   закон

Открытость — не порок

Прошлая заметка расстроила главного адепта тепловых карт Strava в России. Павел Гаврилов сделал всё, чтобы они не прошли мимо: сделал вики-страницу лучше любого перевода, а в своём проекте «Трансграничье» подробно объяснил, чем этот набор треков лучше любых других, включая OSM. Собственно, если вы на велосипеде забрались в дебри Подмосковья и внезапно благодаря карте OpenStreetMap вырулили в соседний район — очень вероятно, что Павел вам помог, найдя перемычку в треках Strava. Он один из тех маперов, которые делают карту OSM безальтернативной, лучшей в мире.

Я был неправ, говоря, что слой треков никому не нужен. Мы видим, что нужен — для уточнения отдельных мест. Всегда найдётся человек, который придумает, как использовать очередной источник, и удивит нас системным подходом к делу. Но никакой системный подход не смасштабируется на мир без активного участия создателей слоя. Strava не только не работает над улучшением OSM по своим данным: другим компаниям она вообще обрубает доступ за активность. Наше картирование прокатывает, потому что мы проходим под радарами: не распространяем кэш тайлов, срисовываем какие-то крохи, вполне умещающиеся в Fair Use.

Но разрешения на использование тепловой карты Strava у нас всё равно нет. И, честно скажем, никогда не было. Всё, что было, — твит 2014 года от бывшего сотрудника, который, если читать до буквы, — разрешает использовать тайлы конкретно Гильёму Ришару для любой картографии, — и письмо 2019 года, в котором нынешний сотрудник Strava Metro поговорил с коллегами и не видит препятствий для обклацывания их тепловой карты. Оба этих сотрудника и те, кто их спросил, молодцы. Но мы эти препятствия видим. Потому что у нас нет явного согласия.

Каким должно быть разрешение, чтобы можно было использовать данные в OpenStreetMap? Начнём с того, что карты — это сложно. И определить, какая часть геопривязанных данных защищена авторским правом, а какая — нет, часто невозможно вне суда. Например, тайлы OSM Carto публикуются под CC-BY-SA, но если перерисовывать с них линии в отдельную карту, то мы нарушим условия ODbL, потому что начнём создавать зависимую (derived) базу данных. А если сделаем свой картостиль с теми же цветами, то нарушим авторское право на оформление, которое — какой сюрприз! — не покрывается объявленным CC-BY-SA. Вернее, нарушили бы, если бы в случае OSM Carto оно не было явно открыто под CC0.

Данные по типу использования в OSM можно разделить на четыре категории. Они более-менее точно определяют, какое разрешение требуется от правообладателя, но понять, в какую из них попадают данные, не всегда просто.

  • Общественное достояние или CC0: единственный вид данных, которые можно загружать в OpenStreetMap без вопросов и разрешений. В России мы считаем, что в общественное достояние попадают только тексты законов, а в Штатах это все данные, оплаченные налогами.
  • Аттрибуция, CC-BY: можно было бы загружать в OSM, если бы не требование указания автора. Придётся согласовать, что строчка на вики-странице Contributors, на которую ссылается osm.org/copyright, удовлетворит публикатора. Достаточно твита или ответа в соцсеточке — главное, чтобы от руководства.
  • Проприетарное и Share-Alike: лицензия или условия использования прямо говорят, что нельзя. Для загрузки в OSM требуется письменное разрешение (как у Bing) или специальная строчка в условиях использования (как у Mapillary).
  • Чёрт его знает: некоторые источники мы не копируем и не используем в тех смыслах, в которых их ограничивает лицензия. И тогда непонятно, нужно ли вообще разрешение. Сюда попадают фотографии и панорамы, словесные описания границ, и даже спутниковые снимки. Мы считаем, что запрещено всё, что явно не разрешено, поэтому здесь тоже нужно какое-то минимальное разрешение от правообладателя.

Последний пункт интересен тем, что вызывает больше всего споров. На простой вопрос — почему нельзя обклацывать снимки гугля? — никто не может дать внятного ответа, кроме «потому что так заведено». Кадастровая карта балансирует где-то между третьей и четвёртой категориями, постепенно двигаясь к полной закрытости. Являются ли адресные планы общественным достоянием? А чёрт его знает — но от безысходности мы решили приравнять их к текстам законов и пользоваться без ограничений.

У разрешения три обязательных условия:

  1. Оно даётся от имени правообладателя человеком, на это санкционированным. Например, официальным аккаунтом в социальных сетях, руководителем или юристом компании.
  2. Разрешение должно разрешать. Не «не видим ничего плохого», а твёрдое «да» или «разрешаем», на худой конец — «не против».
  3. Разрешение должно быть зафиксировано на бумаге или в электронном виде. Восемь лет мы использовали яндекс-панорамы на основании телефонного звонка, что неправильно, но ввиду категории «чёрт его знает» допустимо. Потому что для этой категории важно знать, что компания не пойдёт в суд. Только этим летом Владимир Кривоконь получил разрешение правильно, в письме.

Всему этому может удовлетворить одна бумажка. Валерий Трубин в русском сообществе поднаторел в написании писем в муниципальные департаменты, чтобы те давали правильные ответы. Попросите его помощи, если данных не хватает. Но бумажные ответы — это русская специфика, где без печати ответ недействителен. Американцы часто довольствуются твитом. Как понять, имеет твит юридическую силу или нет? С проприетарными данными лучше состорожничать и пинать правообладателя до тех пор, пока он в сердцах не швырнёт в лицо письменное разрешение.

Понятно, к чему я веду: у разрешения от Strava Metro, которым мы размахиваем, нарушены первые два условия. Ни в твите, ни в письме нет явного разрешения на обрисовку в OSM всем сообществом. И в первый раз разрешение давал Пол, в то время просто руководитель одной из команд внутри Strava Labs, но точно не ответственный за распространение данных. Во второй раз — руководитель проекта Strava Metro, что уже ближе: этот проект позволяет использовать собранные данные для планирования городов, так почему бы им не позволить использовать их для OSM. Но пока все три условия не выполнены, сделать ничего нельзя.

3 декабря   закон

От Upload Filters к Sanity Filter

Какое главное требование к любому сервису для коммерческого использования? Не скорость, не дешевизна, не качество результата. Надёжность. Если сервис надёжен, то есть, гарантирует, что запрос не обвалится и не выдаст неожиданный результат когда-нибудь в будущем или один раз из тысячи, то компании готовы платить за него миллионы долларов.

Пока американские картографы в Slack обсуждают, почему для Waze карту обновляют так много добровольцев (как и в России для Яндекса), немецкий картографический интернет тупо отключается, сервис за сервисом. На openstreetmap.de карта зияет чёрными тайлами. Overpass API отключен до 23:00 по Москве. Выгрузки Geofabrik тоже отключены. Вместо всей немецкой википедии — чёрная страница с горой длинных слов. Если вы использовали хоть один из этих сервисов, вы теперь знаете, что такое надёжность открытого проекта.

Да, тринадцатая статья, за которую во вторник будет голосовать Европарламент, сломает нам весь интернет. Контент-проектам типа OSM и Википедии придётся вводить сложные системы цензурирования контента, чтобы не платить штрафы за нарушение авторского права. Потому что отвечать за это будут не пользователи их данных, как сейчас, а сами проекты. Этот законопроект подобен таким же идиотским проектам русского правительства. Если бы я жил в Европе, я бы вышел 23 марта на улицу вместе со всеми. Но сейчас ни я, ни люди из США, Африки, Азии, России не могут пользоваться сервисами, и почему меня должны касаться проблемы белых людей?

Реакция на 13 статью подобна русским контрсанкциям: назло бабушке отморожу сервер. Парламентарии не заметят, а тысячи пользователей со всего мира поймут, что этим немцам (которые до сих пор рулят во всех направляющих дискуссиях в OpenStreetMap) доверять нельзя, какие-то они нервные и не думают о других. Лучше пойти на сервисы, которые обеспечивают надёжность, пусть и не такие дешёвые.

Проблема только в том, что адекватных платных сервисов на базе OpenStreetMap нет. Mapbox приближается к этой планке, но от вида их картостиля хочется биться головой о карту на столе, а качество геокодера заставляет лить слёзы. И мы не говорим о свежести данных ещё: известно же, что слепок OSM — это не OSM. И это всё: остальные не тянут объёма запросов и кастомизацию. Хороши только пользовательские продукты, отвязанные от корневых серверов: тот же Maps.Me или Cycle.Travel.

Вот и получается: почему обычные пользователи правят не OSM, а проприетарные карты? Потому что они с ними работают. Почему они работают не с открытой альтернативой? Потому что если бы компании, производящие продукт, её выбрали, то потом бы ежедневно обливались слезами. Открытым данным доверять нельзя — и не потому, что они открытые (это, как раз, хорошо), а потому что вокруг них вырастают ненадёжные, часто откровенно вредящие сервисы. Проще пожертвовать источником, чем пытаться их исправить.

2019   закон

Нет, подождите

Фотография © primechaniya.ru

Вчера вечером Совет OSMF отменил решение DWG по Крыму, восстановив в правах резолюцию 2014 года. Полуостров снова принадлежит двум странам.

Как замечают в чатике, это серьёзное попрание основного принципа OpenStreetMap: верифицируемости, truth on the ground. Не только в Крым нельзя въехать из Украины без визы, но и ничего украинского вы там не найдёте: ни почты, ни банков. Единственное, что объединяет страну и полуостров, — это слова. На нашей карте мы стараемся рисовать то, что местный житель может проверить и подтвердить. Какой житель Крыма может подтвердить, что полуостров управляется Украиной?

Более того, посколько OSM — это truth on the ground, украинские картографы своей победой показывают, что Крым в реальности украинский — а значит, никаких проблем с полуостровом у них нет, контроль восстановлен, можно расходиться. (сарказм)

Но есть и другая сторона. Административные границы — один из немногих элементов OpenStreetMap, которые не верифицируемы. Нет линии на земле, которую можно трассировать с GPS и внести в базу. У каждого государства, региона, города, владельца участка свои представления о правильной границе. Открытых точных данных по государственным границам, совместимых с «условиями участия», нет почти ни в одной стране. Поэтому в общем случае, закартировать административную границу правильно нельзя.

OpenStreetMap — не монархический проект, карта у нас принадлежит участникам, которые сами решают, как и что рисовать. Теги выбирают картографы, рисовать или не рисовать поребрики полигонами — тоже решение не рабочих групп, а картографов. Мы оказались в ситуации, когда одной небольшой группе участников оказалось очень важно, что одно из отношений состоит из строго определённых элементов, а всем остальным, в общем-то, без разницы. Неудобно, но за четыре года научились обходить.

Рабочая группа по данным, поменяв статус-кво, дала второй группе повод изменить это отношение, в то время как первая группа за это время осталась при своём мнении. Не важно, что это решение соответствует принципам OpenStreetMap и решению от 2013 года, которое за пять лет никто не опротестовал. Между корректностью и чувствами участников в нашем проекте всегда побеждают последние. Поэтому некоторые участники начали сомневаться в легитимности DWG: странно, что решением противоречий занимается группа, участники которой не до конца понимают свой проект.

Для всех, кроме десятка активных участников, в проекте как ничего не поменялось месяц назад, так ничего не произошло и сейчас. В OpenStreetMap по-прежнему беспрецендентно точная геометрия, но проблема с атрибутикой: брать из базы административные границы для стран чревато политическими недопониманиями. Выгрузки данных на популярных сайтах и панели скачивания в мобильных приложениях по-прежнему включают полуостров в обе страны. Местным жителям и туристам больше поможет рисование поребриков в их городах полигонами, чем споры за отношение границ.

2018   osmf   закон

Порядок с Крымом

Главное условие для добавления чего-то в OpenStreetMap — наличие этого на местности. Если другой человек может прийти и отметить то же самое, то всё правильно. Для административных границ этот принцип применить сложнее: часто линии проводят по карте, а не по полям и лесам. Однако для спорных территорий «truth on the ground» неожиданно подошёл в качестве инструмента разрешения противоречий: пункт 3 информационного листка, утверждённого DWG в 2013 году, гласит: кто территорию контролирует — того и тапки.

Это правило весело применять в отношении эмоциональных запросов от азербайджанских, китайских, индийских, турецких и других отдалённых пользователей. Вот бумажка, такова жизнь, до свидания. Сложнее — когда спорная территория стала твоей неизлечимой болячкой на протяжении многих лет. Кажется, в этом случае можно сделать исключение из правила: нормально же общались, зачем что-то менять?

14 ноября рабочая группа по данным обновила свою резолюцию по Крыму. Ничего не изменилось, кроме пункта 1: полуостров теперь должен входить только в административную границу России, но не Украины, покуда РФ сохраняет контроль над территорией.

Несмотря на постоянные напоминания, что эта резолюция не отражает политической повестки и лишь повторяет принятое в 2013 году соглашение, которое никто ни разу не оспаривал, сообщество отреагировало относительно шумно. Томас Страупис обвинил OSMF в ангажированности с Россией и апеллирует к репутации проекта в Европе. Елена в ответ заметила, что если мы отображаем Крым украинским, то это означает, что Украина получила над ним полный контроль и ситуация урегулирована — что едва ли хотят демонстрировать европейцы. Фредерик из DWG терпеливо напоминает про пограничный контроль, «на местности ≠ по закону», про историю вопроса и официальные запросы, которые OSM технически не может удовлетворить.

Русский форум не обсуждает новость — лишь замечает странные комментарии к пакетам правок, в которых участники следуют резолюции DWG, убирая Крым из Украины. Картографы из пострадавшей страны выступают эффектнее: они обвинили DWG в коллаборации с Россией и провоцировании войны, потребовали у десяти организаций и всего цивилизованного мира надавить на OSMF для отмены резолюции, Алексей на форуме поставил под сомнение легитимность DWG, а Kilkenni в блоге привёл ряд убедительных аргументов в пользу отображения Крыма как части Украины. Но только не в контексте OpenStreetMap, потому что у нас не политическая карта, как замечает Кристоф в комментариях.

Крымский вопрос, кажется, никогда не будет решён при нынешнем политическом строе, но решение DWG относительно картирования полуострова — это позитивная новость. Оно устраняет неоднозначность, которая мешала геокодерам, и поможет в главной задаче рабочей группы: борьбе с вандализмом. Потому что когда есть определённость, действия редакторов проще классифицировать.

2018   закон
Ранее Ctrl + ↓