34 заметки с тегом

закон

От Upload Filters к Sanity Filter

Какое главное требование к любому сервису для коммерческого использования? Не скорость, не дешевизна, не качество результата. Надёжность. Если сервис надёжен, то есть, гарантирует, что запрос не обвалится и не выдаст неожиданный результат когда-нибудь в будущем или один раз из тысячи, то компании готовы платить за него миллионы долларов.

Пока американские картографы в Slack обсуждают, почему для Waze карту обновляют так много добровольцев (как и в России для Яндекса), немецкий картографический интернет тупо отключается, сервис за сервисом. На openstreetmap.de карта зияет чёрными тайлами. Overpass API отключен до 23:00 по Москве. Выгрузки Geofabrik тоже отключены. Вместо всей немецкой википедии — чёрная страница с горой длинных слов. Если вы использовали хоть один из этих сервисов, вы теперь знаете, что такое надёжность открытого проекта.

Да, тринадцатая статья, за которую во вторник будет голосовать Европарламент, сломает нам весь интернет. Контент-проектам типа OSM и Википедии придётся вводить сложные системы цензурирования контента, чтобы не платить штрафы за нарушение авторского права. Потому что отвечать за это будут не пользователи их данных, как сейчас, а сами проекты. Этот законопроект подобен таким же идиотским проектам русского правительства. Если бы я жил в Европе, я бы вышел 23 марта на улицу вместе со всеми. Но сейчас ни я, ни люди из США, Африки, Азии, России не могут пользоваться сервисами, и почему меня должны касаться проблемы белых людей?

Реакция на 13 статью подобна русским контрсанкциям: назло бабушке отморожу сервер. Парламентарии не заметят, а тысячи пользователей со всего мира поймут, что этим немцам (которые до сих пор рулят во всех направляющих дискуссиях в OpenStreetMap) доверять нельзя, какие-то они нервные и не думают о других. Лучше пойти на сервисы, которые обеспечивают надёжность, пусть и не такие дешёвые.

Проблема только в том, что адекватных платных сервисов на базе OpenStreetMap нет. Mapbox приближается к этой планке, но от вида их картостиля хочется биться головой о карту на столе, а качество геокодера заставляет лить слёзы. И мы не говорим о свежести данных ещё: известно же, что слепок OSM — это не OSM. И это всё: остальные не тянут объёма запросов и кастомизацию. Хороши только пользовательские продукты, отвязанные от корневых серверов: тот же Maps.Me или Cycle.Travel.

Вот и получается: почему обычные пользователи правят не OSM, а проприетарные карты? Потому что они с ними работают. Почему они работают не с открытой альтернативой? Потому что если бы компании, производящие продукт, её выбрали, то потом бы ежедневно обливались слезами. Открытым данным доверять нельзя — и не потому, что они открытые (это, как раз, хорошо), а потому что вокруг них вырастают ненадёжные, часто откровенно вредящие сервисы. Проще пожертвовать источником, чем пытаться их исправить.

2019   закон

Нет, подождите

Фотография © primechaniya.ru

Вчера вечером Совет OSMF отменил решение DWG по Крыму, восстановив в правах резолюцию 2014 года. Полуостров снова принадлежит двум странам.

Как замечают в чатике, это серьёзное попрание основного принципа OpenStreetMap: верифицируемости, truth on the ground. Не только в Крым нельзя въехать из Украины без визы, но и ничего украинского вы там не найдёте: ни почты, ни банков. Единственное, что объединяет страну и полуостров, — это слова. На нашей карте мы стараемся рисовать то, что местный житель может проверить и подтвердить. Какой житель Крыма может подтвердить, что полуостров управляется Украиной?

Более того, посколько OSM — это truth on the ground, украинские картографы своей победой показывают, что Крым в реальности украинский — а значит, никаких проблем с полуостровом у них нет, контроль восстановлен, можно расходиться. (сарказм)

Но есть и другая сторона. Административные границы — один из немногих элементов OpenStreetMap, которые не верифицируемы. Нет линии на земле, которую можно трассировать с GPS и внести в базу. У каждого государства, региона, города, владельца участка свои представления о правильной границе. Открытых точных данных по государственным границам, совместимых с «условиями участия», нет почти ни в одной стране. Поэтому в общем случае, закартировать административную границу правильно нельзя.

OpenStreetMap — не монархический проект, карта у нас принадлежит участникам, которые сами решают, как и что рисовать. Теги выбирают картографы, рисовать или не рисовать поребрики полигонами — тоже решение не рабочих групп, а картографов. Мы оказались в ситуации, когда одной небольшой группе участников оказалось очень важно, что одно из отношений состоит из строго определённых элементов, а всем остальным, в общем-то, без разницы. Неудобно, но за четыре года научились обходить.

Рабочая группа по данным, поменяв статус-кво, дала второй группе повод изменить это отношение, в то время как первая группа за это время осталась при своём мнении. Не важно, что это решение соответствует принципам OpenStreetMap и решению от 2013 года, которое за пять лет никто не опротестовал. Между корректностью и чувствами участников в нашем проекте всегда побеждают последние. Поэтому некоторые участники начали сомневаться в легитимности DWG: странно, что решением противоречий занимается группа, участники которой не до конца понимают свой проект.

Для всех, кроме десятка активных участников, в проекте как ничего не поменялось месяц назад, так ничего не произошло и сейчас. В OpenStreetMap по-прежнему беспрецендентно точная геометрия, но проблема с атрибутикой: брать из базы административные границы для стран чревато политическими недопониманиями. Выгрузки данных на популярных сайтах и панели скачивания в мобильных приложениях по-прежнему включают полуостров в обе страны. Местным жителям и туристам больше поможет рисование поребриков в их городах полигонами, чем споры за отношение границ.

2018   osmf   закон

Порядок с Крымом

Главное условие для добавления чего-то в OpenStreetMap — наличие этого на местности. Если другой человек может прийти и отметить то же самое, то всё правильно. Для административных границ этот принцип применить сложнее: часто линии проводят по карте, а не по полям и лесам. Однако для спорных территорий «truth on the ground» неожиданно подошёл в качестве инструмента разрешения противоречий: пункт 3 информационного листка, утверждённого DWG в 2013 году, гласит: кто территорию контролирует — того и тапки.

Это правило весело применять в отношении эмоциональных запросов от азербайджанских, китайских, индийских, турецких и других отдалённых пользователей. Вот бумажка, такова жизнь, до свидания. Сложнее — когда спорная территория стала твоей неизлечимой болячкой на протяжении многих лет. Кажется, в этом случае можно сделать исключение из правила: нормально же общались, зачем что-то менять?

14 ноября рабочая группа по данным обновила свою резолюцию по Крыму. Ничего не изменилось, кроме пункта 1: полуостров теперь должен входить только в административную границу России, но не Украины, покуда РФ сохраняет контроль над территорией.

Несмотря на постоянные напоминания, что эта резолюция не отражает политической повестки и лишь повторяет принятое в 2013 году соглашение, которое никто ни разу не оспаривал, сообщество отреагировало относительно шумно. Томас Страупис обвинил OSMF в ангажированности с Россией и апеллирует к репутации проекта в Европе. Елена в ответ заметила, что если мы отображаем Крым украинским, то это означает, что Украина получила над ним полный контроль и ситуация урегулирована — что едва ли хотят демонстрировать европейцы. Фредерик из DWG терпеливо напоминает про пограничный контроль, «на местности ≠ по закону», про историю вопроса и официальные запросы, которые OSM технически не может удовлетворить.

Русский форум не обсуждает новость — лишь замечает странные комментарии к пакетам правок, в которых участники следуют резолюции DWG, убирая Крым из Украины. Картографы из пострадавшей страны выступают эффектнее: они обвинили DWG в коллаборации с Россией и провоцировании войны, потребовали у десяти организаций и всего цивилизованного мира надавить на OSMF для отмены резолюции, Алексей на форуме поставил под сомнение легитимность DWG, а Kilkenni в блоге привёл ряд убедительных аргументов в пользу отображения Крыма как части Украины. Но только не в контексте OpenStreetMap, потому что у нас не политическая карта, как замечает Кристоф в комментариях.

Крымский вопрос, кажется, никогда не будет решён при нынешнем политическом строе, но решение DWG относительно картирования полуострова — это позитивная новость. Оно устраняет неоднозначность, которая мешала геокодерам, и поможет в главной задаче рабочей группы: борьбе с вандализмом. Потому что когда есть определённость, действия редакторов проще классифицировать.

2018   закон

Этому дала, этому не дала

Стив Беннет в марте сделал замечательный интерактивный сайт, где можно окинуть взглядом предложения сервисов геокодирования и оценить потенциальные затраты на каждый. Посмотреть на нюансы бесплатных API и узнать, что миллион запросов в месяц (нормально для курьеров) обойдётся в миллион рублей, да и то — не каждый готов предоставить.

Карточки геокодеров занимательно аннотированы: например, по качеству («LocationIQ: ★☆☆ OpenStreetMap», «Google: ★★★ Top-notch») или по использованию с чужими подложками (почти все проприетарные сервисы запрещают). Встречаются комментарии типа «находятся в Белизе», «запрещают показывать пользователю координаты», «обязательно кэшируйте».

Меня заинтересовало яркое предупреждение «нельзя отображать на OSM или других открытых картах» у TomTom и я пошёл читать их условия использования. И боже мой, как там всё хорошо!

Условия начинаются с перечисления компаний, которым запрещено использовать Maps API (раздел 4). Среди них — Amazon, Google, GetTaxi (ныне Gett) и Lyft. Убера нет. Пункт 9.12 запрещает сравнивать карты TomTom с конкурентами, что нарушает BBBike.

А что с OpenStreetMap? Пункт 9.4 запрещает выводить результаты геокодирования на любой сторонней карте, а результаты обратного геокодирования (координаты → адрес) — можно, но только не на «Open Street Maps» или любой другой открытой карте.

Но почему? Может, TomTom затаили злобу на открытое сообщество после неудачной попытки FUD в 2012 году? Или считают наш стиль недостаточно прекрасным для их данных? Всё проще — и сложнее для нас. Причина в вирусности нашей лицензии, что они и поясняют в пункте 16.2.3: «не совмещайте данные из Maps API с открытыми программами или данными, если это может привести к требованию публикации данных под открытой и/или вирусной лицензией». Условия ODbL настолько туманны, что проще запретить даже приближаться к открытым картам.

2018   геокодирование   закон

GDPR и мы

Регламент по защите данных GDPR обязывает юрлица, владеющие интернет-сервисами, получать согласие на обработку персональных данных, выдавать собранные данные субъекту и удалять их по первому требованию, и следить, чтобы данные обрабатывались только в соответствии с целями, которые подтверждены пользователем. Всё это работает уже два года, но через три недели включат санкции за неисполнение. А это, на минуточку, 20 млн евро или 4% от годового оборота, смотря что больше. Именно поэтому вы в апреле получили тонну почтовых уведомлений от твитера, гугля, фейсбука и других популярных сервисов.

Бдительные немцы начали обсуждать применимость регламента к OpenStreetMap ещё в марте прошлого года. Тогда на немецкой конференции внезапно всплыла тема приватности в контексте сайта «How Did You Contribute» Паскаля Найса. Мол, все эти пакеты правок и даты в открытом доступе — хорошо, но если их анализировать, можно вытащить слишком многое. Например, сайт Паскаля довольно точно отображает ваш район, часы активности и интересы. Из-за этого автор даже получал угрозы с требованием удалить личные данные.

Результатом стало требование залогиниться для просмотра профилей HDYC. Последовавшие споры в почтовой рассылке talk@ разбились о твёрдость немцев. Но спустя полгода Паскаль, всё-таки, позволил открывать свои профили.

Наступил апрель

Две недели назад Саймон Пул опубликовал 24-страничную резолюцию LWG по GDPR, результат полугода работы активистов OSMF с привлечением внешних консультантов. Зная принципы работы Совета, рекомендации юридической рабочей группы, скорее всего, будут приняты без изменений. Вот что советуют в техническом плане:

  • убрать метаданные из выгрузок данных (планеты), диффов и вывода OSM API для незарегистрированных пользователей;
  • под метаданными понимаются логин и числовой идентификатор пользователя, номер и атрибуты пакетов правок, и вероятно — метки времени у объектов;
  • сделать кнопку для полного удаления профиля (без геоданных) и предоставлять список удалённых пользователей сторонним обработчикам данных;
  • обновить и заставить пользователей подписать условия использования, ограничивающие способы обработки данных;
  • авторы сервисов, анализирующих данные, должны будут подписать договор с OSMF, либо самостоятельно разбираться с еврокомиссией.

Фредерик Рамм подготовил список изменений для каждого метода OSM API. Как видно, незарегистрированные пользователи не смогут получать информацию о пакетах правок, пользователях, заметках, GPS-треках и блокировках. Кроме того, придётся прикрутить авторизацию к сайту planet.osm.org, чтобы разделить его на две части: публичную с обрезанными данными и приватную с полным содержимым.

Запрос /map к OSM API традиционно используется для получения данных в заданной области. В 2016 году этот и другие запросы стало можно делать, передавая заголовки аутентификации: в этом случае не применятся ограничения по частоте запросов. После внедрения вышеупомянутых изменений разница будет более существенной, так как данные начнут разниться в зависимости от наличия аутентификации. Один из авторов Overpass API заметил, что сайт OpenStreetMap не передаёт эти заголовки при экспорте данных. Очевидно, похожие задачи придётся решать и авторам других веб-приложений для работы с данными OSM. Редактор iD уже готов.

Как готовятся другие

Роланд, автор Overpass API, бунтует: в мае прошлого года он написал заметку с фразами, апеллирующими к «1984» и «451°F»: мол, переписывание истории — это подрыв доверия к данным. Он считает, что пользователей с данными связывают только идентификаторы и логины: так давайте не прятать метаданные пакетов правок, а защищать пользователей. То есть, позволять им плодить сколько угодно новых user id, вручную или автоматически, чтобы размыть свой след в базе. Хотя едва ли это поможет тем 99% пользователей, которые не задумываются о приватности.

Сервис Overpass API работает без регистрации, и многие картографы пользуются им для редактирования карты. В будущем релизе 0.7.55 нет ограничений на метаданные.

Компания Geofabrik разделила свой сервер с выгрузками на два: для получения полных данных нужно зарегистрироваться на «osm-internal» и качать файлы из браузера, а на старом сервере пропали исторические дампы (*.osh.pbf) и вырезаны метаданные из обычных выгрузок. Там нет логинов и идентификаторов пользователей и пакетов правок, но метки времени сохранены. От этого файлы pbf похудели примерно на 10%.

Выгрузки от BBBike не содержат никаких метаданных, даже меток времени. «Идите на osm.org или заплатите 99 евро в месяц». Остальные сервисы регулярных выгрузок, включая французский, швейцарский или наш гис-лаб, не вносили никаких изменений в процесс: метаданные как были, так и остались.

Сервисы для анализа правок и поведения пользователей OpenStreetMap, не считая HDYC, всё ещё не требуют входа через OSM и не планируют сделать его обязательным. Как я понимаю, частных лиц регламент GDPR не касается, поэтому сервисы типа Who’s That, явно нарушающие приватность пользователей, не пострадают. Разве что придётся их подкрутить, чтобы скачивать диффы с сервера OSM под логином автора.

2018   osm.org   osmf   закон
Ранее Ctrl + ↓