Регламент по защите данных GDPR обязывает юрлица, владеющие интернет-сервисами, получать согласие на обработку персональных данных, выдавать собранные данные субъекту и удалять их по первому требованию, и следить, чтобы данные обрабатывались только в соответствии с целями, которые подтверждены пользователем. Всё это работает уже два года, но через три недели включат санкции за неисполнение. А это, на минуточку, 20 млн евро или 4% от годового оборота, смотря что больше. Именно поэтому вы в апреле получили тонну почтовых уведомлений от твитера, гугля, фейсбука и других популярных сервисов.

Бдительные немцы начали обсуждать применимость регламента к OpenStreetMap ещё в марте прошлого года. Тогда на немецкой конференции внезапно всплыла тема приватности в контексте сайта «How Did You Contribute» Паскаля Найса. Мол, все эти пакеты правок и даты в открытом доступе — хорошо, но если их анализировать, можно вытащить слишком многое. Например, сайт Паскаля довольно точно отображает ваш район, часы активности и интересы. Из-за этого автор даже получал угрозы с требованием удалить личные данные.

Результатом стало требование залогиниться для просмотра профилей HDYC. Последовавшие споры в почтовой рассылке talk@ разбились о твёрдость немцев. Но спустя полгода Паскаль, всё-таки, позволил открывать свои профили.

Наступил апрель

Две недели назад Саймон Пул опубликовал 24-страничную резолюцию LWG по GDPR, результат полугода работы активистов OSMF с привлечением внешних консультантов. Зная принципы работы Совета, рекомендации юридической рабочей группы, скорее всего, будут приняты без изменений. Вот что советуют в техническом плане:

• убрать метаданные из выгрузок данных (планеты), диффов и вывода OSM API для незарегистрированных пользователей;
• под метаданными понимаются логин и числовой идентификатор пользователя, номер и атрибуты пакетов правок, и вероятно — метки времени у объектов;
• сделать кнопку для полного удаления профиля (без геоданных) и предоставлять список удалённых пользователей сторонним обработчикам данных;
• обновить и заставить пользователей подписать условия использования, ограничивающие способы обработки данных;
• авторы сервисов, анализирующих данные, должны будут подписать договор с OSMF, либо самостоятельно разбираться с еврокомиссией.

Фредерик Рамм подготовил список изменений для каждого метода OSM API. Как видно, незарегистрированные пользователи не смогут получать информацию о пакетах правок, пользователях, заметках, GPS-треках и блокировках. Кроме того, придётся прикрутить авторизацию к сайту planet.osm.org, чтобы разделить его на две части: публичную с обрезанными данными и приватную с полным содержимым.

Запрос /map к OSM API традиционно используется для получения данных в заданной области. В 2016 году этот и другие запросы стало можно делать, передавая заголовки аутентификации: в этом случае не применятся ограничения по частоте запросов. После внедрения вышеупомянутых изменений разница будет более существенной, так как данные начнут разниться в зависимости от наличия аутентификации. Один из авторов Overpass API заметил, что сайт OpenStreetMap не передаёт эти заголовки при экспорте данных. Очевидно, похожие задачи придётся решать и авторам других веб-приложений для работы с данными OSM. Редактор iD уже готов.

Как готовятся другие

Роланд, автор Overpass API, бунтует: в мае прошлого года он написал заметку с фразами, апеллирующими к «1984» и «451°F»: мол, переписывание истории — это подрыв доверия к данным. Он считает, что пользователей с данными связывают только идентификаторы и логины: так давайте не прятать метаданные пакетов правок, а защищать пользователей. То есть, позволять им плодить сколько угодно новых user id, вручную или автоматически, чтобы размыть свой след в базе. Хотя едва ли это поможет тем 99% пользователей, которые не задумываются о приватности.

Сервис Overpass API работает без регистрации, и многие картографы пользуются им для редактирования карты. В будущем релизе 0.7.55 нет ограничений на метаданные.

Компания Geofabrik разделила свой сервер с выгрузками на два: для получения полных данных нужно зарегистрироваться на «osm-internal» и качать файлы из браузера, а на старом сервере пропали исторические дампы (*.osh.pbf) и вырезаны метаданные из обычных выгрузок. Там нет логинов и идентификаторов пользователей и пакетов правок, но метки времени сохранены. От этого файлы pbf похудели примерно на 10%.

Выгрузки от BBBike не содержат никаких метаданных, даже меток времени. «Идите на osm.org или заплатите 99 евро в месяц». Остальные сервисы регулярных выгрузок, включая французский, швейцарский или наш гис-лаб, не вносили никаких изменений в процесс: метаданные как были, так и остались.

Сервисы для анализа правок и поведения пользователей OpenStreetMap, не считая HDYC, всё ещё не требуют входа через OSM и не планируют сделать его обязательным. Как я понимаю, частных лиц регламент GDPR не касается, поэтому сервисы типа Who’s That, явно нарушающие приватность пользователей, не пострадают. Разве что придётся их подкрутить, чтобы скачивать диффы с сервера OSM под логином автора.

Этой ночью Мартин Райфер научил Overpass Turbo сохранять запросы не только в локальное хранилище браузера, но и прямо в OSM API, после авторизации. Вы увидите свои запросы на всех компьютерах и на любой копии сервиса.

Кажется, это второй случай использования Preferences API популярным приложением. Первым был редактор Merkaartor, который задействовал эти функции, когда версия API была ещё 0.5, и наткнулся на ограничение в 150 тегов. Потому что теги и настройки обрабатывались одним и тем же кодом. Были предложения сохранять настройки в OSM и другим редакторам — JOSM и iD, но забылись за отсутствием интереса.

Кроме ста пятидесяти настроек за раз, у API есть ещё ограничение: не больше 255 символов на строку. Длинные запросы Overpass Turbo сохраняет в несколько ключей и склеивает их при загрузке.

Наконец, API не решает задачу публикации кода запроса. Пусть сервис сам по себе — библиотека запросов с удобным интерфейсом, было бы здорово отвязаться от неё и загружать код в GitHub Gist вместе с коротким примером использования в Leaflet. Ровно как это делает Geojson.io при нажатии кнопки «Share».

12 марта, в воскресенье, сервер базы данных OpenStreetMap отключат на час, с 14:00 до 15:00 по московскому времени. Возможно, управятся быстрее. В этот час лучше посмотреть свежую серию чего-нибудь на Netflix или в Амедиатеке, потому что на сайте останется работать разве что тайловый слой и поиск. Всё остальное — нет:

• В API нельзя будет ничего загрузить, даже скачивать нельзя.
• Войти на сайт не получится. Соответственно, на другие сайты, используя OAuth через OpenStreetMap, тоже. Это касается и форума.
• GPS-треки, дневнички, просмотр пакетов правок и элементов карты отключат.

Работать с картой в этот час можно двумя способами. Либо скачать нужную область в JOSM за десять минут до отключения и обклацывать домики, чтобы не напороться на конфликт правок при загрузке через час-полтора. Либо установить MAPS.ME и пойти на улицу, искать новые заведения и обновлять время работы у уже обозначенных.

На сайте openstreetmap.org новость: нажатие правой кнопки мыши на карте больше не выводит меню браузера. Теперь там меню сайта с традиционными для веб-карт пунктами: построить маршрут, посмотреть адрес, получить список объектов. Не нужно перетаскивать маркеры и не нужно целиться в кнопки со знаком вопроса или заметкой. Подсматривать адрес тайла и дёргать /dirty стало сложнее.

Все остальные веб-карты давно перехватывают нажатие правой кнопки. Google Maps его просто игнорирует, Яндекс.Карты тоже не откликаются (даже в редакторе, как ни странно), но двойное нажатие правой кнопки уменьшает масштаб, в противовес левой кнопке мыши. Так же ведёт себя новый сайт Карт Спутника.ру (в пятницу они обновили дизайн), но по одиночному клику показывает меню. Меню по правой кнопки мыши выпадает и у Bing Maps, самое красивое и полезное из всех: только в нём есть пункт «скопировать координаты».

Традиционно для нашего сайта, пул-реквест Дэна Стауэлла висел с августа 2015 года. Неделю назад Стефан Келлер нашёл его и написал, что ему часто жалуются на отсутствие всплывающего меню на osm.org. За шесть часов решили все проблемы и вчера Том, наконец, решительно нажал кнопку «Merge».

В этом году сайт развивается быстрее прежнего: недавно улучшили оформление писем и ограничили размер пакета правок. Четвёртого января неожиданно и неожиданно быстро, всего за семь часов, на сайт добавили слой GPS-треков. Тот самый, да. Наконец, на этой неделе все сервисы переводили на Let’s Encrypt: помимо прочих, SSL-сертификат появился у домена osm.org, так что короткие ссылки стали безопасными.

Уточнение: В Google Maps и Яндекс.Картах есть меню по правой кнопке мыши. Оно появляется не во всех браузерах. В комментариях к этой заметке есть иллюстрации. Так что OSM, действительно, последним пришёл к такому решению — а мы даже не заметили, что отстаём.

Вчера в код сайта приняли правку Hervé Saint-Amand, в которой он превращает почтовые уведомления OpenStreetMap из технического текста в приятно и понятно оформленные письма. Теперь сразу видно, откуда пришло письмо: название проекта упоминается не только в теме, но и крупно, вместе с логотипом в заголовке. Текст сообщения же не спрятан среди технической информации и знаков «=», а выделен цветом и шрифтом.

Новый формат писем требует от почтовых клиентов поддержки HTML. Увы, не все его отображают правильно: например, в Outlook съехало слово «OpenStreetMap». Автор просит проверить вид писем в разных приложениях и поместить отзыв и скриншоты в вики-таблицу. Сейчас там не хватает The Bat и веб-клиентов Яндекса и Mail.ru.