ШТОСМ: заметки с тегом закон

Пытайтесь покинуть Великобританию

Илья Зверев — Mon, 05 Jul 2021 10:52:25 +0400

Рабочая группа администраторов втихую работает:

Возобновили публикацию логов просмотра тайлов. Это текстовые файлы, где написано, какие тайлы сколько раз за день смотрели. Обновления сломались в декабре, когда закрыли проект Tile CDN, переведя кэш тайлов на провайдера Fastly. Да, того самого, что обвалился месяц назад. Под настойчивыми напоминаниями Дорофея, чей проект Disaster Ninja обрабатывает эти логи, Пол Норман переписал скрипт обработки, и первый новый файл сегодня появился на сайте.
Наконец-то сайт поддерживает авторизацию через OAuth2! Это тот же протокол, что используют Github, Strava, Twitter, Google и Вконтакте. Очень долго в приложения приходилось впиливать библиотеки для устаревшего OAuth 1.0a только для входа через OSM. Теперь всё проще, спасибо Тому Хьюзу и Mmd, разработчику CgiMap.
К двум дата-центрам в Лондоне и одному в Амстердаме потихоньку собирают четвёртый — в Дублине. Который всё ещё в Евросоюзе, в отличие от. Новому дата-центру закупают всё, что есть в других: серверы для базы API, планеты, рендерера, номинатима и даже новый сервер для разработки. Прошлому уже десять лет, на нём становится тесновато.

Совет OSMF тоже работает, и в этом месяце умудрился попасть на первую страницу The Guardian. Поводом стало письмо Гильёма Ришара в рассылку osmf-talk, в котором он поделился желанием Совета перенести регистрацию компании OpenStreetMap Foundation из Кембриджа в Великобритании куда-нибудь в Евросоюз.

Среди причин — новые (и старые) сложности с банковскими операциями и Paypal, больше авторитета в Евросоюзе, простота найма людей из ЕС (как Доротея), и шанс зарегистрироваться некоммерческой организацией и экономить на налогах. Кроме того, с 1 июля право на базы данных (как копирайт, но на базы) разделилось между ЕС и Великобританией, и они не признают права друг друга. Лицензия ODbL работает лучше, когда есть основа в виде прав на БД, и лучше иметь их на крупнейшем рынке.

Участники обсуждения накидали предложений: Эстонию, потому что э-государство, Данию, потому что там неплохо работала Мозилла, Германию, потому что там KDE и TDF (делают LibreOffice), Женеву, с отдельно стоящим зданием или без, и Ирландию, где прячутся от налогов Microsoft, Google и Amazon. Не все страны подходят под необычные требования OSMF, но они обсуждаемы. Тема на многие месяцы — вступайте в OSMF и присоединяйтесь к заполнению таблички по странам.

Напомню, что с прошлого августа можно стать членом Фонда OpenStreetMap совершенно бесплатно. Для этого нужно просто чаще править карту: 42 дней в год достаточно. Уточните своё количество на How Did You Contribute и заполните форму на сайте вступления в OSMF. Нам нужно больше русских участников: у нашей страны худшее соотношение количества картографов и количества членов OSMF.

Куда уходят деньги

Илья Зверев — Sun, 11 Oct 2020 18:19:12 +0400

Только вчера прочитал заметку «Коррупция и OpenStreetMap» Кристофа Хорманна, в которой он пеняет OSMF на неработающие регулирования конфликтов интересов и вновь растущую непрозрачность Совета. Непонятно, как эти проблемы решать, если в OSM всем управляет пара десятков человек, дружных между собой.

Вот, например, микрогранты. В июле комиссия выбрала 12 проектов, которые получили до пять тысяч евро. Среди них — картирование 15 новых городов в Уганде и деревень в Косово. Был ли тут конфликт интересов, или как его называли раньше, коррупция? Кто знает — тема вообще не всплывала в заметках с совещаний. Зато в рабочей группе мы видим человека из Уганды и пару участников, заинтересованных в картировании деревень Восточной Европы.

С технологическими проектами тоже не всё понятно. Грант получило только одно приложение: StreetComplete. Два, если считать календарь событий. Оба написаны немцами с именем на «Т». Неудивительно: большую часть инфраструктуры у нас пишут люди из Германии и Великобритании, какой смысл поддерживать кого-то извне? Неважно, насколько прорывным выглядит проект (посмотрите только на демку редактора от SviMik), главное — чтобы он уже был лидером в своей нише. StreetComplete — самое популярное среди пользователей некоммерческое мобильное приложение про OSM. Неделю назад его автор получил ещё один грант от немецкого фонда на шестимесячную разработку, легко затмевающий деньги от OSMF.

Ну с грантами понятно: написать заявку, которая понравится комитету на 83% из Западной Европы и США, проще всего человеку из тех же регионов — 6 из 12 принятых заявок оттуда. Первый блин всегда не без проблем. К следующему разу и условия объявят заранее, а не после прочтения списка, и команду выберут не из тех, кому не лениво (т. е. у кого есть свободное время, не нужно тратить его на зарабатывание денег, т. е. из Западной Европы и США), а кто реально сведущ. Всё будет хорошо.

Интересно, что произошло потом. В августе Совет вынес на обсуждение оплату разработки трёх инфраструктурных проектов, которым не перепало грантов: Nominatim, osm2pgsql и Potlatch 2. После непродолжительного обсуждения резолюцию приняли. Не важно, что потлатчем пользуются примерно столько же людей, сколько Go Map, несмотря на то, что его пиарят на главной osm.org, а мобильные редакторы — нет. Не важно, что для первых двух проектов даже не понятно, на что вообще пойдут деньги, как замечает Фредерик. Или что их пишут одни и те же люди. Главное — что все три проекта инфраструктурные. То есть, написаны людьми из Германии и Великобритании, лучше других по принципу первого (авторы знакомы со Стивом и пришли в проект в числе первых) и по принципу, что все три человека дружны между собой и с участниками Совета.

Впрочем, это небольшие деньги. Не важно, ведь главное — жест. Если OSMF начал поддерживать проекты от друзей, то в будущем, может, деньги перепадут и проектам из раздела «инновации» Премии OSM. В будущем, где члены Совета не 100% белые мужчины из Северной Америки и Западной Европы, деньги начнут идти людям, не разделяющим привилегированную культуру.

На фоне этой движухи Совет совершил одно действительно важное вложение: главный редактор OSM, iD, больше не в лапах Mapbox или неуправляемых разработчиков. В августе Совет единогласно согласился нанять Квинси Моргана, главного разработчика iD, на постоянную позицию за 130 тысяч долларов в год, из которых половину оплатят сторонние организации (HOT, OSM US, Mapbox).

Это круто, потому что в отличие от всех вышеперечисленных, Квинси знает, что делает. Он написал подробное обоснование с двумя дюжинами ссылок. У него есть план, включающий третью версию, поддержку всех устройств и развитие экосистемы. Редактор был предметом споров в сообществе, и с 11 сентября Квинси формально подотчётен OSMF. Наконец, iD — единственный редактор, который стоит поддерживать: его альтернативу JOSM совместно тянут десятки разработчиков, а остальные и не нужны.

Квинси — далеко не последний наёмный работник в OSMF. Совет летом принял принципы найма и хочет нанять ещё одного сотрудника: тот будет работать над серверной инфраструктурой, повышая её скорость и надёжность. На эту позицию планируют тратить до 130 тысяч в год. Тысяч фунтов стерлингов, которые в 1,3 раза дороже доллара. Требования к позиции жёсткие, даже Том с Грантом не пройдут. Но не спешите слать заявки: в августовском протоколе заседания пишут, что кого-то уже нашли, но кого — пока секрет. Непрозрачность и большие деньги нынче в Фонде OpenStreetMap.

Право на POI

Илья Зверев — Sun, 02 Aug 2020 13:44:07 +0400

Торговые центры — досадные белые пятна на нашей карте: в них слишком много магазинов. Обычная практика — пройти мимо всех, сфотографировать и записать данные, а потом отрисовать, — для ТЦ не работает, потому что это не одно-два заведения на здание, а сотня-две. Целый день убить на один дом! Поэтому в городе может быть десять магазинов The Body Shop, но вы не найдёте в OpenStreetMap ни одного, потому что все они в торговых центрах, которые лень обходить.

Помня об этом, позавчера я посидел часик и отрисовал две трети магазинов в рижском ТЦ Spice, пользуясь буклетом со схемой, стащенной из этого центра. Порадовался, как удобно это в iD, и почувствовал, как приношу пользу будущим пользователям карты. Прямо захотелось ещё нагуглить схем торговых центров и щедро рассыпать POI по Риге и Минску. К чёрту схемы помещений, были бы сами магазины.

Меня остановил Павел Гаврилов:

Я правильно понимаю, что этот пакет изменений надо откатывать, потому что у нас нет ЯВНОГО разрешения использовать данные с этой коммерческой карты? Аргумент «я там ходил, поэтому имею право перерисовывать чужую карту» с Гуглом и Яндексом почему-то не принимается.

Я сначала разозлился и коротко ответил, что был там и помню все магазины (что правда для большей части внесённого). Потом задумался. Я не сканировал и не подкладывал схемы из буклета, чтобы нарисовать поэтажные планы. Только очень примерно расставил точки магазинов, взяв их название и тип. После того, как прошёл, глядя на карту, и убедился, что более-менее соответствует. Но в картировании пошёл дальше и добавил точки со второго этажа и из соседнего здания. Всем же лучше от этого: и посетителям, и магазину, и карте.

Чем эта аргументация отличается от срисовывания адресов с карты Яндекса, когда контуры зданий уже есть в OpenStreetMap? Проезжали деревню, видели несколько адресов, с яндексом совпадают. Технически это даже не копирование данных: смотрим числа, запоминаем, расставляем на карте уже по памяти.

В нашем проекте есть юридическое слепое пятно, о котором мы стараемся не задумываться: можно ли использовать рекламные и информационные стенды и буклеты для уточнения OpenStreetMap?

Очевидно, что такие материалы публикуются с целью достичь максимального количества читателей. План застройки квартала висит на крупном щите у тротуара. Схема садоводческого товарищества встречает на въезде, чтобы водители не шарахались по проездам, а сразу ехали куда надо. Компании посвящают отдельные страницы сайтов планам проезда: там и адрес, и координаты, и карта, а то и две. Они печатают свои адреса на визитках. В торговых центрах раздают буклеты, чтобы задержать покупателей: вокруг столько интересного!

Присутствовать на картах важно для всех. Поэтому магазины, компании, торговые комплексы сами идут к 2ГИС, яндексу или посредникам, чтобы их можно было найти. За четыре дня до меня в тот ТЦ зашла «рокетдата», добавив в случайные координаты внутри здания аптеку. Аптека заплатила компании, чтобы появиться в OpenStreetMap. Откажется ли ТЦ от того, чтобы кто-то бесплатно перенёс их план на карту, которую используют примерно все? Разве что из подозрительности: обычно это стоит больших денег; бесплатное картирование бывает только в мышеловке.

Сложно понять, где кончается ground truth и начинается копирование чужих данных. Отметить «пятёрочку» по фотографии, не зайдя внутрь и не убедившись, что это продуктовый магазин, нормально? А натолкнуться на дверь с двумя десятками плашек всяких адвокатов и турфирм, не открыть её и внести всё это в OSM? Нарушает ли это права владельца этого бизнес-центра? Прощёлкать панорамы улицы и добавить на карту все POI, что видны на фотографиях, нарушает авторское право фотографа? Можно ли, взяв визитку с адресами филиалов турфирмы, закартировать их?

Фотография © mapfool, Mapillary, CC-BY-SA

Общепринятое мнение опытных участников проекта — нет, без явного разрешения никакие источники использовать нельзя. Как бы все стороны ни хотели появления данных на карте, должен произойти акт разрешения. При этом часто простого согласия голосом недостаточно, и подписи секретаря тоже. Формально, хочешь срисовать план торгового центра — иди к директору и требуй бланк с печатью. Увидел на фотографии пятиэтажный дом и хочешь проставить тег этажности — спрашивай разрешения у фотографа. Подруга говорит, что за углом открылся ресторан, — убедись, что она разрешает использовать эти слова для уточнения карты.

Эти требования кажутся смешными, но обоснования ответов на них определяют будущее OpenStreetMap. Мы уже более-менее разобрались с рисованием геометрически протяжённых объектов: дорог, лесов, городов. С адресами всё тоже более-менее ясно. Есть крупные источники геоданных, которые чаще всего нельзя использовать, есть государственные и открытые данные, есть снимки. Одно разрешение открывает геоданные целого города или страны, поэтому мы продолжаем писать запросы. Ответили отрицательно — не беда, возьмём другие источники или снимки. У нас есть выбор.

Для заведений выбора нет. Никаких крупных баз, которые потенциально могут разрешить использование. Либо обходить ногами и записывать, либо просить миллион разрешений от миллиона источников, в каждом до сотни заведений. Что делать — выделить шкаф для складирования ответов? Или перечитать законы и пересмотреть условия использования информационных материалов?

POI не могут ждать. Дороги пролежат десятки лет и их названия не изменятся, деревни тоже дождутся заблудшего картографа. Рано или поздно мы нарисуем административные границы и все велодорожки, поэтому нет смысла спешить, подключать нейросети и тырить данные из крупных ГИС. Но в случае заведений политика ожидания не работает. Салоны красоты появляются и исчезают; приходит вирус — и торговые центры вычищаются; наносить магазин за углом бесполезно, когда весь квартал ходит в этот магазин уже десять лет.

Легко делать самую актуальную карту в контексте развязок и новостроек, сложнее следить за свежестью магазинов в ближайшем ТЦ. Муторно и трудно увидеть своими глазами и записать все заведения в своём районе, невозможно повторить такой обход во второй, в третий раз. Сообщество OSM с подозрением смотрит на импорты и не уверено, что можно использовать любые сторонние материалы, от списка адресов на сайте компании до плана эвакуации на стене. Даже приложения, которые позволяют добавлять заведения любому, кто проходит мимо, не устраивают многих осмеров. Может ли с такими ограничениями наш проект быть надёжной картой не только улиц, но и заведений?

Я бы хотел порисовать магазины в торговых центрах и сети закусочных по информации с сайтов и буклетов, но не уверен, что это можно. Поэтому я сделал тему на форуме: делитесь в ней мыслями про юридические ограничения и опытом массового рисования заведений. Давайте решим, где факты, а где авторское право на базу данных.

Беззащитные тайлы

Илья Зверев — Fri, 26 Jun 2020 14:15:44 +0400

Саймон Пул от имени рабочей группы по лицензиям (LWG) объявил, что с 1 июля тайлы стандартного слоя OpenStreetMap поменяют свою лицензию. Уйдёт share alike: требование публиковать работы, использующие тайлы, под открытой лицензией. Оно мешало многим, в том числе научным журналам, которые относятся к лицензиям внимательнее обычных СМИ.

Долгое время (с 2006 года) тайлы публиковались под CC-BY-SA 2.0. В то время условия этой лицензии были понятны: указание авторства и копилефт, «вирусная» особенность заражения производных работ открытой лицензией. Данные OpenStreetMap распространялись под той же лицензией. Только через два года участники проекта задумались, что лицензия вообще не защищает базы данных (эта защита появилась в 4.0). А что касается тайлов — получается, книги, в которых есть изображения карты в стандартном стиле, нужно выкладывать в интернет бесплатно? Лицензии — это сложно, поэтому и пользователи, и осмеры предпочитали делать вид, что приставки -SA не существует.

Тем не менее, как пишет Саймон, предложение перейти на CC-BY 4.0 (без share-alike) год назад сообщество — вернее, Кристофф Хорманн, как обычно, — встретило в штыки. Так что LWG, не успев даже обсудить переход, бросила эту идею. Но с share-alike нужно было что-то делать — и теперь у нас решение в стиле брекзита: раз никакие лицензии не устраивают, лицензии на тайлы никакой и не будет.

Буквально: тайлы с 1 июля публикуются просто как «ODbL Produced Work» без каких-либо дополнительных условий. Все условия написаны до нас десять лет назад. Производные творения на основе данных OSM можно публиковать как угодно — хоть под CC0, хоть под коммерческой лицензией, рубль за тайлик. А можно без лицензии. Но это не значит, что эти картинки не обременены никакими условиями. Пункт 4.3 лицензии ODbL требует, чтобы производные работы сопровождались пометкой, что они сделаны на основе данных под лицензией ODbL.

Для пользователей тайлов ничего не поменяется: всё так же нужно будет писать на карте или рядом с ней «© участники OpenStreetMap». Мы и раньше не защищали условие share alike, а теперь официально снимем этот дамоклов меч с работ, использующих наши карты. Скоре всего, если вы добавляли после копирайта запятую и «CC-BY-SA 2.0», эти буквы нужно будет заменить на более короткое «ODbL».

Кажется, это первый раз, когда правообладатели производной работы от OSM не стали выбирать лицензию на эту работу, а целенаправленно оставили её без дополнительных условий использования, при этом отдавая себе отчёт и публично комментируя, что это всё равно накладывает на пользователей производной работы ограничения. Вирусные лицензии восхитительны в свете описания побочных и пограничных случаев, а картографические лицензии восхитительны вдвойне. «Это стихотворение придумано с использованием данных OSM под лицензией ODbL».

Всероссийская перепись под угрозой

Илья Зверев — Wed, 05 Feb 2020 14:00:21 +0400

Российский OpenStreetMap ждёт огромное потрясение: DWG, рабочая группа по данным, прямо сейчас рассматривает правки шестисот участников самой массовой инициативы по уточнению карты. Сотрудники неизвестных организаций на протяжении полугода добавляли адреса, рисовали дома и подписывали улицы. Но на вопрос об источниках ответы ранжировались от никаких до прямо противоречащих условиям участия в проекте. Конец столь же предсказуем, как и печален: сотни тысяч адресов и прочие улучшения, внесённые в рамках этого загадочного проекта, будут удалены без возможности восстановления.

Спасибо Валерию Трубину и Arseniy из @ruosm за фотографии

Всё началось в июне прошлого года: Wowik, автор одного из трёх валидаторов адресов, заметил резкий скачок в количестве адресов в Волгограде. «В личке ответ, что [адреса] из публичной кадастровой карты России и КЛАДР. Ну и что теперь с этим знанием нам делать?» Участница начала добавлять адреса в мае 2019 года и прекратила в июне, сразу после беседы об источнике данных.

23 июля Parukhin заметил в Архангельске «какое-то нашествие девушек, которые выравнивают домики по снимку при нулевом смещении, не глядя удаляют новые здания, которых нет на бинге, тянут адреса и POI с яндекса». Wowik подсобрал статистики и оказалось, что таких людей больше, чем кажется: более двух десятков человек массово вносили адреса только в тот день. На следующий день тема «обсуждение массовых правок» перестала быть темой про планирование автозамен: длинные списки картографов, день за днём вносящих адреса, захватили её на полгода и десять страниц.

Условия участия в OpenStreetMap, с которыми нельзя не согласиться при регистрации, гласят: «добавленные вами данные не должны нарушать авторские права кого-то ещё». Открытая лицензия — это главное и определяющее свойство нашей карты. Из него вытекают все условия, всё сообщество, вся популярность OSM в коммерческих и любительских проектах. Публикуя данные в открытой базе данных, вы делаете их открытыми: что тут непонятного? Другими словами, вносить данные, защищённые авторским правом без разрешения автора — то же самое, что купить фильм и выложить его в торренты. Легко, полезно для тысяч пользователей и противозаконно.

Загадочные картографы копировали адреса отовсюду. Некоторые честно отвечали: «кадастровая карта, яндекс, 2гис и т. д.» Многие ограничивались только первым пунктом: никто не знает, можно ли брать данные из ПКК, учитывая, что на пару дней её всю опубликовали как открытые данные (подсказка: нельзя). Но чем дальше, тем больше людей усваивали правильные ответы: «я всю жизнь тут живу и знаю», «помогают родственники и друзья», «в декрете много гуляю по местности». Звучало это подозрительно: адреса содержали те же ошибки, что яндекс или ПКК, количества измерялись тысячами в месяц. Заказчика не выдал никто — но поиск имён по социальным сетям показывал одну и ту же организацию: Ростелеком.

Редактировать OpenStreetMap просто. Отменить правки — нет. В данных всё связано со всем: представьте, что википедия — это не миллион разных страниц, а одна большая страница, и каждое предложение связано с каким-то другим. Откатить правку, сделанную месяц назад, будет близко к невозможному. Кроме того, правки обычно откатывают по одному пакету и это небыстрая операция. Пользователей в списках же сотни, и у каждого по сотне пакетов правок. Чтобы отменить правки даже одного человека, нужны специальные программы и опыт, который поможет не сломать данные вокруг. Кроме того, при откате данные всё равно остаются в истории объектов и нарушают лицензию — нужно специальное сокрытие данных, которое вправе делать только участники DWG.

Далее, в сообществе не принято делать резких движений, потому что в картографии вопросы лицензий сложны и вместе со вредными правки люди вносят полезные. Например, ставят украденные адреса на аккуратно отрисованные по разрешённым спутниковым снимкам контуры домов. Некоторые люди действительно собирают адреса самостоятельно: хорошо бы уважить их труд и не рубить сплеча. Каждого нужно спросить про источники — но люди отвечают «я там живу» и приходится делать моральный выбор: сделать вид, что поверил, и оставить как есть, или проверить внимательнее, сравнить с яндексом и ПКК и понять, что ответ ложь. Это гнетёт, поэтому мы считали людей, смотрели на адреса и ничего не делали.

Надежда на помощь появилась в январе: сотрудница крупной американской компании попросила объяснить, что это за полторы сотни человек добавляют адреса, врут в ответ на вопрос про источники и при удалении их данных быстро возвращают обратно. Я повторил всё, что написано выше, внутренне радуясь: крупная компания, которая использует OSM в своих продуктах для аудитории в сотни миллионов человек, едва ли оставит вопрос лицензионной чистоты на самотёк. Люди на зарплате соберут всю информацию и привлекут DWG к проверке и откату всех до единой нелегальных правок. На прошлой неделе они это сделали: группа получила список из шестисот имён (поправка: двухсот, см. комментарий mavl). Кажется, наша фрустрация скоро закончится. Если только не заменится другой: что мы сломали нам перепись.

Мы не знаем заказчика, поэтому не можем доказать, что эти сотни человек наносят адреса специально ко Всероссийской переписи населения, которая пройдёт в октябре. Впервые перепись пройдёт «с планшетами, в которых будут загружены цифровые карты». В России не существует достаточно полной базы адресов с координатами, но есть множество разрозненных источников: коммерческих карт, адресных планов, кадастр. В сообществе OSM считают, что Ростелекому и нескольким другим организациям поставили задачу собрать все адресные данные в базе OpenStreetMap. Работу оплачивают сдельно, по количеству домов, поэтому редакторы комментируют пакеты правок в духе «Сингапай (32 дома) + 4 контура». Инструкции, фотографии которых попали в соцсети, не перечисляют разрешённые источники данных, ограничиваясь словом «свободный» — и с кадастровой картой в качестве примера.

Главное подтверждение внезапно пришло из Дагестана. Местный картограф прямо ответил на вопрос: «информацию добавляем в систему по поручении первого заместителя Председателя Правительства РД, (протокол заседания Комиссии по проведению Всероссийской переписи населения 2020 года в Республике Дагестан). Срок до 1 февраля 2020 года обеспечить наполнение картографического материала на сайте OSM-карты». Другой местный картограф привлёк внимание тем, что вместо адресов писал в теги зданий полные имена жителей. С одной стороны, это уголовная ответственность за нарушение закона о персональных данных: штраф до 300 тысяч или лишение свободы до четырёх лет. Мы всё стёрли, конечно. С другой, это свидетельствует, что источником была явно не публичная кадастровая карта: с точки зрения лицензии тут всё чисто.

В качестве последней попытки я составил письмо в Росреестр: «Пожалуйста, сформулируйте разрешение на использование адресных данных Публичной кадастровой карты в целях уточнения карты OpenStreetMap. Или сформулируйте однозначный запрет». Отправил его в форму обратной связи на сайте кадастровой карты и на почтовые адреса двух релевантных отделов Росреестра. Разрешение использовать адреса с ПКК очистило бы достаточно большую часть внесённых адресов, чтобы можно было оставить все их с чистой совестью. Разве что удалив тех, кто неосторожно упомянул Яндекс или 2ГИС. Увы, за три недели с отправки я не получил ни одного ответа, кроме загадочного «проводятся мероприятия по восстановлению работоспособности сервисов». Госорганы традиционно выбрали третий путь: отмолчаться — но в OSM отсутствие «да» означает «нет».

Что произойдёт дальше: правки почти всех пользователей будут откатываться. DWG будет проверять каждого и скрывать те правки, которые однозначно нарушают условия участия. Скорее всего, к лету они устанут и коврово жахнут по всем пользователям из списка. В Ростелекоме найдут виноватых среди картографов, а потом осознают, что произошло. Будут в мыле искать специалистов, которые смогут восстановить стёртое. (Советую НекстГИС: там толковые ребята. Ребята, заломите ценник!) Торг, депрессия, принятие. Свою ГИС они поднять и наполнить не успеют, поэтому OSM снова ждут приключения. Внезапно получим разрешение от Росреестра. Но всё равно будем жёстче следить и откатывать. Ста процентов адресного покрытия уже не будет.

Нам, участникам проекта, не жалко данных. Мы теряли и больше: например, во время перелицензирования робот «порвал в обрывки вермишели всё подряд, а тут всего 10-30% всех домиков по деревням», как ярко сформулировал Макс в чате. Сообщество тогда быстро подсобралось и восстановило большую часть данных за пару месяцев. Были случаи, когда участники, попавшись на копировании с коммерческих карт, сносили за собой целые города. Это не катастрофа: данные не главное, главное — люди, которые за ними следят. Проходит год или пять лет, белые пятна затягиваются, данные остаются открытыми. У OpenStreetMap нет дедлайнов, поэтому мы выберем подождать двадцать лет, пока деревню не отрисуют, чем быстро получить результат, но терпеть нарушение авторских прав.

Репутация карты среди больших организаций после этого манёвра несомненно пострадает. Накосячили все: организация, что не посоветовалась с сообществом; участники, что затянули реакцию и позволили людям делать бессмысленную работу; исполнители, которые не поинтересовались, что они вообще делают. OpenStreetMap всегда был небезопасным хранилищем геоданных. Нельзя гарантировать, что ваш вклад не удалят или не изменят. Это бесплатная распределённая база, но это не ваша база. OSM — это риск со всех сторон: карта может сломаться, лицензия может укусить юристов, модель данных может оказаться неподходящей слишком поздно. Мы не говорим, что OSM нельзя использовать: нужно, но ответственно.

Открытый проект требует открытого подхода. Чтобы крупный проект на базе OSM не провалился, обсудите его заранее хотя бы с одним активным участником проекта. Не шифруйтесь, потому что это верный признак какой-то фигни — как во взаимоотношениях с сообществом, так и в самой организации. Неужели участники не будут рады полной базе адресов по всей стране? Всего-то стоило прошлой весной зайти на форум, в телеграм, или написать в совет о проекте, и мы бы совместно придумали процесс, оформили инструкции и следили бы за ходом выполнения. Чтобы полноценно использовать карту OpenStreetMap, не важно знание модели данных или инструментов. Главное — уметь раскрыться в словах. Это страшно, потому что людям может не понравиться идея, и они пресекут её на старте. Но что лучше — сразу подумать об альтернативе или потерять всю работу вблизи финиша?

Открытость — не порок

Илья Зверев — Tue, 03 Dec 2019 10:44:31 +0400

Прошлая заметка расстроила главного адепта тепловых карт Strava в России. Павел Гаврилов сделал всё, чтобы они не прошли мимо: сделал вики-страницу лучше любого перевода, а в своём проекте «Трансграничье» подробно объяснил, чем этот набор треков лучше любых других, включая OSM. Собственно, если вы на велосипеде забрались в дебри Подмосковья и внезапно благодаря карте OpenStreetMap вырулили в соседний район — очень вероятно, что Павел вам помог, найдя перемычку в треках Strava. Он один из тех маперов, которые делают карту OSM безальтернативной, лучшей в мире.

Я был неправ, говоря, что слой треков никому не нужен. Мы видим, что нужен — для уточнения отдельных мест. Всегда найдётся человек, который придумает, как использовать очередной источник, и удивит нас системным подходом к делу. Но никакой системный подход не смасштабируется на мир без активного участия создателей слоя. Strava не только не работает над улучшением OSM по своим данным: другим компаниям она вообще обрубает доступ за активность. Наше картирование прокатывает, потому что мы проходим под радарами: не распространяем кэш тайлов, срисовываем какие-то крохи, вполне умещающиеся в Fair Use.

Но разрешения на использование тепловой карты Strava у нас всё равно нет. И, честно скажем, никогда не было. Всё, что было, — твит 2014 года от бывшего сотрудника, который, если читать до буквы, — разрешает использовать тайлы конкретно Гильёму Ришару для любой картографии, — и письмо 2019 года, в котором нынешний сотрудник Strava Metro поговорил с коллегами и не видит препятствий для обклацывания их тепловой карты. Оба этих сотрудника и те, кто их спросил, молодцы. Но мы эти препятствия видим. Потому что у нас нет явного согласия.

Каким должно быть разрешение, чтобы можно было использовать данные в OpenStreetMap? Начнём с того, что карты — это сложно. И определить, какая часть геопривязанных данных защищена авторским правом, а какая — нет, часто невозможно вне суда. Например, тайлы OSM Carto публикуются под CC-BY-SA, но если перерисовывать с них линии в отдельную карту, то мы нарушим условия ODbL, потому что начнём создавать зависимую (derived) базу данных. А если сделаем свой картостиль с теми же цветами, то нарушим авторское право на оформление, которое — какой сюрприз! — не покрывается объявленным CC-BY-SA. Вернее, нарушили бы, если бы в случае OSM Carto оно не было явно открыто под CC0.

Данные по типу использования в OSM можно разделить на четыре категории. Они более-менее точно определяют, какое разрешение требуется от правообладателя, но понять, в какую из них попадают данные, не всегда просто.

Общественное достояние или CC0: единственный вид данных, которые можно загружать в OpenStreetMap без вопросов и разрешений. В России мы считаем, что в общественное достояние попадают только тексты законов, а в Штатах это все данные, оплаченные налогами.
Аттрибуция, CC-BY: можно было бы загружать в OSM, если бы не требование указания автора. Придётся согласовать, что строчка на вики-странице Contributors, на которую ссылается osm.org/copyright, удовлетворит публикатора. Достаточно твита или ответа в соцсеточке — главное, чтобы от руководства.
Проприетарное и Share-Alike: лицензия или условия использования прямо говорят, что нельзя. Для загрузки в OSM требуется письменное разрешение (как у Bing) или специальная строчка в условиях использования (как у Mapillary).
Чёрт его знает: некоторые источники мы не копируем и не используем в тех смыслах, в которых их ограничивает лицензия. И тогда непонятно, нужно ли вообще разрешение. Сюда попадают фотографии и панорамы, словесные описания границ, и даже спутниковые снимки. Мы считаем, что запрещено всё, что явно не разрешено, поэтому здесь тоже нужно какое-то минимальное разрешение от правообладателя.

Последний пункт интересен тем, что вызывает больше всего споров. На простой вопрос — почему нельзя обклацывать снимки гугля? — никто не может дать внятного ответа, кроме «потому что так заведено». Кадастровая карта балансирует где-то между третьей и четвёртой категориями, постепенно двигаясь к полной закрытости. Являются ли адресные планы общественным достоянием? А чёрт его знает — но от безысходности мы решили приравнять их к текстам законов и пользоваться без ограничений.

У разрешения три обязательных условия:

Оно даётся от имени правообладателя человеком, на это санкционированным. Например, официальным аккаунтом в социальных сетях, руководителем или юристом компании.
Разрешение должно разрешать. Не «не видим ничего плохого», а твёрдое «да» или «разрешаем», на худой конец — «не против».
Разрешение должно быть зафиксировано на бумаге или в электронном виде. Восемь лет мы использовали яндекс-панорамы на основании телефонного звонка, что неправильно, но ввиду категории «чёрт его знает» допустимо. Потому что для этой категории важно знать, что компания не пойдёт в суд. Только этим летом Владимир Кривоконь получил разрешение правильно, в письме.

Всему этому может удовлетворить одна бумажка. Валерий Трубин в русском сообществе поднаторел в написании писем в муниципальные департаменты, чтобы те давали правильные ответы. Попросите его помощи, если данных не хватает. Но бумажные ответы — это русская специфика, где без печати ответ недействителен. Американцы часто довольствуются твитом. Как понять, имеет твит юридическую силу или нет? С проприетарными данными лучше состорожничать и пинать правообладателя до тех пор, пока он в сердцах не швырнёт в лицо письменное разрешение.

Понятно, к чему я веду: у разрешения от Strava Metro, которым мы размахиваем, нарушены первые два условия. Ни в твите, ни в письме нет явного разрешения на обрисовку в OSM всем сообществом. И в первый раз разрешение давал Пол, в то время просто руководитель одной из команд внутри Strava Labs, но точно не ответственный за распространение данных. Во второй раз — руководитель проекта Strava Metro, что уже ближе: этот проект позволяет использовать собранные данные для планирования городов, так почему бы им не позволить использовать их для OSM. Но пока все три условия не выполнены, сделать ничего нельзя.

От Upload Filters к Sanity Filter

Илья Зверев — Thu, 21 Mar 2019 18:00:34 +0400

Какое главное требование к любому сервису для коммерческого использования? Не скорость, не дешевизна, не качество результата. Надёжность. Если сервис надёжен, то есть, гарантирует, что запрос не обвалится и не выдаст неожиданный результат когда-нибудь в будущем или один раз из тысячи, то компании готовы платить за него миллионы долларов.

Пока американские картографы в Slack обсуждают, почему для Waze карту обновляют так много добровольцев (как и в России для Яндекса), немецкий картографический интернет тупо отключается, сервис за сервисом. На openstreetmap.de карта зияет чёрными тайлами. Overpass API отключен до 23:00 по Москве. Выгрузки Geofabrik тоже отключены. Вместо всей немецкой википедии — чёрная страница с горой длинных слов. Если вы использовали хоть один из этих сервисов, вы теперь знаете, что такое надёжность открытого проекта.

Да, тринадцатая статья, за которую во вторник будет голосовать Европарламент, сломает нам весь интернет. Контент-проектам типа OSM и Википедии придётся вводить сложные системы цензурирования контента, чтобы не платить штрафы за нарушение авторского права. Потому что отвечать за это будут не пользователи их данных, как сейчас, а сами проекты. Этот законопроект подобен таким же идиотским проектам русского правительства. Если бы я жил в Европе, я бы вышел 23 марта на улицу вместе со всеми. Но сейчас ни я, ни люди из США, Африки, Азии, России не могут пользоваться сервисами, и почему меня должны касаться проблемы белых людей?

Реакция на 13 статью подобна русским контрсанкциям: назло бабушке отморожу сервер. Парламентарии не заметят, а тысячи пользователей со всего мира поймут, что этим немцам (которые до сих пор рулят во всех направляющих дискуссиях в OpenStreetMap) доверять нельзя, какие-то они нервные и не думают о других. Лучше пойти на сервисы, которые обеспечивают надёжность, пусть и не такие дешёвые.

Проблема только в том, что адекватных платных сервисов на базе OpenStreetMap нет. Mapbox приближается к этой планке, но от вида их картостиля хочется биться головой о карту на столе, а качество геокодера заставляет лить слёзы. И мы не говорим о свежести данных ещё: известно же, что слепок OSM — это не OSM. И это всё: остальные не тянут объёма запросов и кастомизацию. Хороши только пользовательские продукты, отвязанные от корневых серверов: тот же Maps.Me или Cycle.Travel.

Вот и получается: почему обычные пользователи правят не OSM, а проприетарные карты? Потому что они с ними работают. Почему они работают не с открытой альтернативой? Потому что если бы компании, производящие продукт, её выбрали, то потом бы ежедневно обливались слезами. Открытым данным доверять нельзя — и не потому, что они открытые (это, как раз, хорошо), а потому что вокруг них вырастают ненадёжные, часто откровенно вредящие сервисы. Проще пожертвовать источником, чем пытаться их исправить.

Нет, подождите

Илья Зверев — Tue, 11 Dec 2018 11:52:18 +0400

Фотография © primechaniya.ru

Вчера вечером Совет OSMF отменил решение DWG по Крыму, восстановив в правах резолюцию 2014 года. Полуостров снова принадлежит двум странам.

Как замечают в чатике, это серьёзное попрание основного принципа OpenStreetMap: верифицируемости, truth on the ground. Не только в Крым нельзя въехать из Украины без визы, но и ничего украинского вы там не найдёте: ни почты, ни банков. Единственное, что объединяет страну и полуостров, — это слова. На нашей карте мы стараемся рисовать то, что местный житель может проверить и подтвердить. Какой житель Крыма может подтвердить, что полуостров управляется Украиной?

Более того, посколько OSM — это truth on the ground, украинские картографы своей победой показывают, что Крым в реальности украинский — а значит, никаких проблем с полуостровом у них нет, контроль восстановлен, можно расходиться. (сарказм)

Но есть и другая сторона. Административные границы — один из немногих элементов OpenStreetMap, которые не верифицируемы. Нет линии на земле, которую можно трассировать с GPS и внести в базу. У каждого государства, региона, города, владельца участка свои представления о правильной границе. Открытых точных данных по государственным границам, совместимых с «условиями участия», нет почти ни в одной стране. Поэтому в общем случае, закартировать административную границу правильно нельзя.

OpenStreetMap — не монархический проект, карта у нас принадлежит участникам, которые сами решают, как и что рисовать. Теги выбирают картографы, рисовать или не рисовать поребрики полигонами — тоже решение не рабочих групп, а картографов. Мы оказались в ситуации, когда одной небольшой группе участников оказалось очень важно, что одно из отношений состоит из строго определённых элементов, а всем остальным, в общем-то, без разницы. Неудобно, но за четыре года научились обходить.

Рабочая группа по данным, поменяв статус-кво, дала второй группе повод изменить это отношение, в то время как первая группа за это время осталась при своём мнении. Не важно, что это решение соответствует принципам OpenStreetMap и решению от 2013 года, которое за пять лет никто не опротестовал. Между корректностью и чувствами участников в нашем проекте всегда побеждают последние. Поэтому некоторые участники начали сомневаться в легитимности DWG: странно, что решением противоречий занимается группа, участники которой не до конца понимают свой проект.

Для всех, кроме десятка активных участников, в проекте как ничего не поменялось месяц назад, так ничего не произошло и сейчас. В OpenStreetMap по-прежнему беспрецендентно точная геометрия, но проблема с атрибутикой: брать из базы административные границы для стран чревато политическими недопониманиями. Выгрузки данных на популярных сайтах и панели скачивания в мобильных приложениях по-прежнему включают полуостров в обе страны. Местным жителям и туристам больше поможет рисование поребриков в их городах полигонами, чем споры за отношение границ.

Порядок с Крымом

Илья Зверев — Tue, 20 Nov 2018 16:33:26 +0400

Главное условие для добавления чего-то в OpenStreetMap — наличие этого на местности. Если другой человек может прийти и отметить то же самое, то всё правильно. Для административных границ этот принцип применить сложнее: часто линии проводят по карте, а не по полям и лесам. Однако для спорных территорий «truth on the ground» неожиданно подошёл в качестве инструмента разрешения противоречий: пункт 3 информационного листка, утверждённого DWG в 2013 году, гласит: кто территорию контролирует — того и тапки.

Это правило весело применять в отношении эмоциональных запросов от азербайджанских, китайских, индийских, турецких и других отдалённых пользователей. Вот бумажка, такова жизнь, до свидания. Сложнее — когда спорная территория стала твоей неизлечимой болячкой на протяжении многих лет. Кажется, в этом случае можно сделать исключение из правила: нормально же общались, зачем что-то менять?

14 ноября рабочая группа по данным обновила свою резолюцию по Крыму. Ничего не изменилось, кроме пункта 1: полуостров теперь должен входить только в административную границу России, но не Украины, покуда РФ сохраняет контроль над территорией.

Несмотря на постоянные напоминания, что эта резолюция не отражает политической повестки и лишь повторяет принятое в 2013 году соглашение, которое никто ни разу не оспаривал, сообщество отреагировало относительно шумно. Томас Страупис обвинил OSMF в ангажированности с Россией и апеллирует к репутации проекта в Европе. Елена в ответ заметила, что если мы отображаем Крым украинским, то это означает, что Украина получила над ним полный контроль и ситуация урегулирована — что едва ли хотят демонстрировать европейцы. Фредерик из DWG терпеливо напоминает про пограничный контроль, «на местности ≠ по закону», про историю вопроса и официальные запросы, которые OSM технически не может удовлетворить.

Русский форум не обсуждает новость — лишь замечает странные комментарии к пакетам правок, в которых участники следуют резолюции DWG, убирая Крым из Украины. Картографы из пострадавшей страны выступают эффектнее: они обвинили DWG в коллаборации с Россией и провоцировании войны, потребовали у десяти организаций и всего цивилизованного мира надавить на OSMF для отмены резолюции, Алексей на форуме поставил под сомнение легитимность DWG, а Kilkenni в блоге привёл ряд убедительных аргументов в пользу отображения Крыма как части Украины. Но только не в контексте OpenStreetMap, потому что у нас не политическая карта, как замечает Кристоф в комментариях.

Крымский вопрос, кажется, никогда не будет решён при нынешнем политическом строе, но решение DWG относительно картирования полуострова — это позитивная новость. Оно устраняет неоднозначность, которая мешала геокодерам, и поможет в главной задаче рабочей группы: борьбе с вандализмом. Потому что когда есть определённость, действия редакторов проще классифицировать.

Этому дала, этому не дала

Илья Зверев — Wed, 16 May 2018 18:14:48 +0400

Стив Беннет в марте сделал замечательный интерактивный сайт, где можно окинуть взглядом предложения сервисов геокодирования и оценить потенциальные затраты на каждый. Посмотреть на нюансы бесплатных API и узнать, что миллион запросов в месяц (нормально для курьеров) обойдётся в миллион рублей, да и то — не каждый готов предоставить.

Карточки геокодеров занимательно аннотированы: например, по качеству («LocationIQ: ★☆☆ OpenStreetMap», «Google: ★★★ Top-notch») или по использованию с чужими подложками (почти все проприетарные сервисы запрещают). Встречаются комментарии типа «находятся в Белизе», «запрещают показывать пользователю координаты», «обязательно кэшируйте».

Меня заинтересовало яркое предупреждение «нельзя отображать на OSM или других открытых картах» у TomTom и я пошёл читать их условия использования. И боже мой, как там всё хорошо!

Условия начинаются с перечисления компаний, которым запрещено использовать Maps API (раздел 4). Среди них — Amazon, Google, GetTaxi (ныне Gett) и Lyft. Убера нет. Пункт 9.12 запрещает сравнивать карты TomTom с конкурентами, что нарушает BBBike.

А что с OpenStreetMap? Пункт 9.4 запрещает выводить результаты геокодирования на любой сторонней карте, а результаты обратного геокодирования (координаты → адрес) — можно, но только не на «Open Street Maps» или любой другой открытой карте.

Но почему? Может, TomTom затаили злобу на открытое сообщество после неудачной попытки FUD в 2012 году? Или считают наш стиль недостаточно прекрасным для их данных? Всё проще — и сложнее для нас. Причина в вирусности нашей лицензии, что они и поясняют в пункте 16.2.3: «не совмещайте данные из Maps API с открытыми программами или данными, если это может привести к требованию публикации данных под открытой и/или вирусной лицензией». Условия ODbL настолько туманны, что проще запретить даже приближаться к открытым картам.

GDPR и мы

Илья Зверев — Fri, 04 May 2018 19:27:50 +0400

Регламент по защите данных GDPR обязывает юрлица, владеющие интернет-сервисами, получать согласие на обработку персональных данных, выдавать собранные данные субъекту и удалять их по первому требованию, и следить, чтобы данные обрабатывались только в соответствии с целями, которые подтверждены пользователем. Всё это работает уже два года, но через три недели включат санкции за неисполнение. А это, на минуточку, 20 млн евро или 4% от годового оборота, смотря что больше. Именно поэтому вы в апреле получили тонну почтовых уведомлений от твитера, гугля, фейсбука и других популярных сервисов.

Бдительные немцы начали обсуждать применимость регламента к OpenStreetMap ещё в марте прошлого года. Тогда на немецкой конференции внезапно всплыла тема приватности в контексте сайта «How Did You Contribute» Паскаля Найса. Мол, все эти пакеты правок и даты в открытом доступе — хорошо, но если их анализировать, можно вытащить слишком многое. Например, сайт Паскаля довольно точно отображает ваш район, часы активности и интересы. Из-за этого автор даже получал угрозы с требованием удалить личные данные.

Результатом стало требование залогиниться для просмотра профилей HDYC. Последовавшие споры в почтовой рассылке talk@ разбились о твёрдость немцев. Но спустя полгода Паскаль, всё-таки, позволил открывать свои профили.

Наступил апрель

Две недели назад Саймон Пул опубликовал 24-страничную резолюцию LWG по GDPR, результат полугода работы активистов OSMF с привлечением внешних консультантов. Зная принципы работы Совета, рекомендации юридической рабочей группы, скорее всего, будут приняты без изменений. Вот что советуют в техническом плане:

убрать метаданные из выгрузок данных (планеты), диффов и вывода OSM API для незарегистрированных пользователей;
под метаданными понимаются логин и числовой идентификатор пользователя, номер и атрибуты пакетов правок, и вероятно — метки времени у объектов;
сделать кнопку для полного удаления профиля (без геоданных) и предоставлять список удалённых пользователей сторонним обработчикам данных;
обновить и заставить пользователей подписать условия использования, ограничивающие способы обработки данных;
авторы сервисов, анализирующих данные, должны будут подписать договор с OSMF, либо самостоятельно разбираться с еврокомиссией.

Фредерик Рамм подготовил список изменений для каждого метода OSM API. Как видно, незарегистрированные пользователи не смогут получать информацию о пакетах правок, пользователях, заметках, GPS-треках и блокировках. Кроме того, придётся прикрутить авторизацию к сайту planet.osm.org, чтобы разделить его на две части: публичную с обрезанными данными и приватную с полным содержимым.

Запрос /map к OSM API традиционно используется для получения данных в заданной области. В 2016 году этот и другие запросы стало можно делать, передавая заголовки аутентификации: в этом случае не применятся ограничения по частоте запросов. После внедрения вышеупомянутых изменений разница будет более существенной, так как данные начнут разниться в зависимости от наличия аутентификации. Один из авторов Overpass API заметил, что сайт OpenStreetMap не передаёт эти заголовки при экспорте данных. Очевидно, похожие задачи придётся решать и авторам других веб-приложений для работы с данными OSM. Редактор iD уже готов.

Как готовятся другие

Роланд, автор Overpass API, бунтует: в мае прошлого года он написал заметку с фразами, апеллирующими к «1984» и «451°F»: мол, переписывание истории — это подрыв доверия к данным. Он считает, что пользователей с данными связывают только идентификаторы и логины: так давайте не прятать метаданные пакетов правок, а защищать пользователей. То есть, позволять им плодить сколько угодно новых user id, вручную или автоматически, чтобы размыть свой след в базе. Хотя едва ли это поможет тем 99% пользователей, которые не задумываются о приватности.

Сервис Overpass API работает без регистрации, и многие картографы пользуются им для редактирования карты. В будущем релизе 0.7.55 нет ограничений на метаданные.

Компания Geofabrik разделила свой сервер с выгрузками на два: для получения полных данных нужно зарегистрироваться на «osm-internal» и качать файлы из браузера, а на старом сервере пропали исторические дампы (*.osh.pbf) и вырезаны метаданные из обычных выгрузок. Там нет логинов и идентификаторов пользователей и пакетов правок, но метки времени сохранены. От этого файлы pbf похудели примерно на 10%.

Выгрузки от BBBike не содержат никаких метаданных, даже меток времени. «Идите на osm.org или заплатите 99 евро в месяц». Остальные сервисы регулярных выгрузок, включая французский, швейцарский или наш гис-лаб, не вносили никаких изменений в процесс: метаданные как были, так и остались.

Сервисы для анализа правок и поведения пользователей OpenStreetMap, не считая HDYC, всё ещё не требуют входа через OSM и не планируют сделать его обязательным. Как я понимаю, частных лиц регламент GDPR не касается, поэтому сервисы типа Who’s That, явно нарушающие приватность пользователей, не пострадают. Разве что придётся их подкрутить, чтобы скачивать диффы с сервера OSM под логином автора.

Народные панорамы

Илья Зверев — Mon, 03 Nov 2014 17:05:08 +0400

В октябре в редакторе iD появились снимки: пункт «наложение фотографий» в меню подложек. Они всплывут, если навести курсор на оранжевые маркеры. Откуда берутся эти картинки и куда их загружать?

Мысль централизованно хранить снимки, собранные на картопрогулках, воплотилась ещё в 2009 году в проекте OpenStreetView. Это просто архив геопривязанных через EXIF фотографий, отображаемый на карте OpenLayers. Долгое время он был заброшен, сейчас какое-то движение вокруг сайта заметно, но он безнадёжно устарел. Обычная кладовка снимков — неблагодарная затея: мапперы возвращаются с прогулок с сотнями, иногда тысячами фотографий, ценность которых падает до нуля после обработки. Гигабайты снимков будут лежать мёртвым грузом, потому что улицы рассматривать куда удобнее через гугло- или яндекс-панорамы (последние нам можно использовать, а вот Street View — нежелательно).

В 2013 году появилась альтернатива. Шведско-американская команда программистов сделала Mapillary: приложения для смартфонов, которые отправляют снимки на сервер, плюс веб-сайт для их домашнего просмотра. В отличие от проприетарных решений, здесь многое возложено на пользователей: не только съёмка, но и контроль размытия лиц и номеров, поворот и перенос точек съёмки, редактирование цепочек. Mapillary не требует панорам (хотя с сентября умеет их делать и отображать): можно загружать даже серийные фотографии с GoPro. Это Street View и Panoramio в одном.

Лицензионный вопрос решили весной: сначала снимки были под лицензией «только для некоммерческого использования». Это очень хитрое условие, потому что не перечисляет запрещённые операции явно. 5 марта немецкий суд постановил, что запрет на некоммерческое использование фактически разрешает только личное пользование. 29 апреля мы убедили авторов Mapillary, что NC не нужен, и теперь снимки публикуются под CC-BY-SA 4.0, плюс специальный пункт в условиях явно разрешает использовать данные (снимки и треки) в OpenStreetMap.

Levente Juhasz сделал карту сравнения покрытий Street View и Mapillary. Последнее отстаёт: в центре Петербурга, например, на равномерную голубую сетку гуглопанорам накладываются корявые ошмётки красных маршрутов Mapillary. Московские осмеры, в частности, Артём Светлов, активно наполняют базу: по сути, для себя работаем. Авторы сервиса подтвердили, что в него можно сгружать тонны фотографий с картопрогулок. Они с энтузиазмом отнеслись и к загрузке записей с видеорегистраторов, вот только привязать последние к трекам нетривиально. Есть инструкции для GoPro и скрипт геотегирования — в обоих случаях понадобится разрезать видео на фотографии (и достаточно одной в секунду). Замечу, что kastellano с русского форума когда-то экспериментировал с привязкой роликов YouTube к трекам — но для картирования это бесполезно.

Плагин для JOSM пока никто не написал, но есть другой способ загрузить фотографии в редактор. Откройте эту страницу, найдите нужный район и нажмите «Download GPX». Если повезёт, полученный файл в редакторе покажет все фотографии, открывающиеся по клику. У меня не сработало, ждём программистов: теперь есть, откуда списывать взаимодействие с API.

В стиле кубизма

Илья Зверев — Tue, 27 May 2014 09:41:00 +0400

Инициативы нашего правительства уже давно вызывают удивление пополам с горечью, как недавняя угроза «отключить станции GPS», которые на поверку оказались даже не наземными станциями коррекции (которых в России нет), а научными станциями IGS, для обработки сигнала с которых требуются дорогие специализированные устройства.

Вчерашняя новость от «Известий» порадует тех, кто безуспешно пытался объяснить новичкам, почему нельзя обрисовывать космоснимки гуглояндексов:

Легальным продавцам фотографий участков Земли из космоса будет проще защитить свой бизнес от пиратов. Минэкономразвития подготовило законопроект, признающий такие изображения охраняемым результатом интеллектуальной деятельности.

<...> Чтобы распространить [институт исключительного права] на данные ДЗЗ и производные материалы, необходимо их отнести к охраняемым результатам интеллектуальной деятельности. Такой подход соответствует общемировой практике и сложившимся традициям делового оборота.

— Если данные дистанционного зондирования Земли будут включены в Гражданский кодекс как объекты интеллектуальной собственности, их нельзя будет использовать без согласия собственника, — отмечает юрисконсульт ЗАО «Геоцентр Консалтинг» Екатерина Алешина.

— В процессе создания интеллектуальной собственности вы должны проявить творчество. Здесь же вы не имеете права его проявить — у вас есть четкие критерии, по которым производится съемка, — считает президент Ассоциации содействия развитию рынка геоинформационных технологий и услуг Сергей Миллер.

— Элемент творчества присутствует в выборе режимов, моментов и территорий съемки, — возражает соучредитель ИТЦ «СканЭкс» Владимир Гершензон. Доказывая, что сделанный автоматом снимок может быть творческим, он приводит пример всемирного конкурса Wildlife Photographer. В 2009 году первое место на конкурсе фотографий природы занял ночной снимок волка, сделанный автоматически, по срабатыванию инфракрасного датчика.

Алекс Антонов в фейсбуке комментирует: «так и до творческого союза недалеко. Союз геоинформатиков и дистанционных фотографов». А наши спутники ДЗЗ, получится, не отстают от американских, а просто развивают отдельное направление изобразительного искусства.

(i)

Илья Зверев — Fri, 23 May 2014 17:18:25 +0400

Derick: «I don’t see the OSM attribution?» — chippy: «Derick, you have to click the tiny mystery meat fuck-you-osm-community „i“ button»:

MapBox очень долго пытались сократить текст упоминания авторства OpenStreetMap, им противостояли участники сообщества, и в начале этого года они просто запихнули копирайт под маленький значок «i», на который нужно нажимать. Мы были недовольны уже тогда, но когда 6 мая AngiG88 показал, что в новой версии библиотеки Mapbox.js название компании значительно превосходит размерами даже этот кружочек, участники OSM рассердились и призвали MapBox к ответу. Некоторые — нецензурно.

Отсутствие упоминания OpenStreetMap — обычная для нас проблема. В отличие от карт Google и Яндекс, которые не только требуют обязательного, безальтернативного упоминания источника при использовании их карт (в условиях использования, которые никто не читает), но и запрещают пользоваться чужими картографическими библиотеками, мы выдаём тайлы, не обременённые какими-либо запретами. И их очень легко вставить в свой сайт или программу. Единственное требование — написать «Карта © OpenStreetMap» — забывается, или «забывается». Это непросто понять: неужели так сложно, пользуясь плодом безвозмездной работы сотни тысяч человек, отблагодарить их выводом на экран двух слов? Тем не менее, тема «Они используют OSM» каждый день полнится ссылками с двойственным эффектом: вроде, и здорово, что нас выбрали, но где же название проекта?

И нет, прятать «OpenStreetMap» под интерактивную кнопку или на отдельную страницу нельзя. Особенно когда в итоге карта получается под копирайтом кого-то другого. Мы даже не требуем ставить большой логотип, как Google, или длинную строку всех-всех участников, как ESRI. Конечно, многие нарушают условия по незнанию, и после письма исправляют ошибку. MapBox убрали сокрытие копирайтов через два дня после бури претензий. Их библиотеку использует новая версия набирающего популярность поисковика DuckDuckGo, и при поиске карты сразу заметна строка «© OpenStreetMap».

А с теми, кто считает упоминание авторов используемых данных недостойным уважаемой компании, Стив Кост предлагает взаимодействовать публично: после месяца ожидания ответа в личной переписке публиковать списки, связываться с новостными лентами. Подождём и мы.

Политическая карта

Илья Зверев — Tue, 25 Mar 2014 11:46:56 +0400

Если вы не только смотрите телевизор, но и читаете интернет, то знаете, что статус Крыма всё ещё неясен, и никто, кроме России и нескольких африканских стран, не признал его отделение от Украины. Значит, он представляет головную боль для картографов: цветом какой страны его ни закрасишь, найдутся сотни миллионов недовольных. Хуже всего русским картопровайдерам: есть заказ сверху, и не выполнить нельзя.

Первыми подсуетились карты Mail.ru: полуостров отделён от Украины линией государственной границы, по стилю отличающейся от прочих границ, и при клике всплывает надпись «Крым, Россия». Википедия отображает Крым как спорную территорию, хотя война правок идёт третий день. Американские издатели карт не перекрасят полуостров в цвета России, хотя National Geographic может пойти на лёгкую уступку, затенив его территорию как спорную. В прошлую среду редактор NG добавил, что после ратификации договора Думой Крым обозначат как русскую территорию, не снимая затенения. На сайте NG все карты отражают состояние до 15 марта, а издатель НатГеоУкраина передаёт, что уступок не будет и в печатных картах. Яндекс опубликовал пресс-релиз, где под видом заботы о соответствии карт окружающей действительности пользователей объявил о разделении карт на русские и украинские, где Крым отмечен в составе разных стран.

Ввиду моратория на изменение границ, многие русскоязычные мапперы и пользователи карт OpenStreetMap негодуют. Кто-то втихую переводит названия отдельных городов на русский, кто-то неумело пытается поменять отношения границ или входящие в их состав линии. Больше не нужно этого делать: из данных OSM получается отличная политическая карта с названиями на правильном языке: osmz.ru/political. Никаких двух почти одинаковых сайтов, никаких спорных территорий. Делитесь этой ссылкой с недовольными, и приглашайте их картировать то, что действительно важно: улицы, дома, магазины и кафе, школы и больницы.

Что с Крымом

Илья Зверев — Tue, 18 Mar 2014 18:59:05 +0400

Новости полны ликованием (или наоборот) по поводу присоединения Крыма к России, но в реальности ситуация, конечно, сложнее. Никто, кроме России и Крыма, не считает последний вышедшим из состава Украины. Также непонятна ситуация с государственным языком и административным делением. Без сомнения, в ближайшие недели ничего не разрешится. Поэтому сообщество OSM в лице DWG и участников из России и Украины решило:

До 31 мая включительно (0:01 1 июня по московскому времени) объявляется мораторий на правку линий и отношений административных границ на территории Автономной Республики Крым и Севастополя, а также значений тега name. Остаются обязательны теги name:ru и name:uk, в свете последних новостей предлагаем также заполнять name:crh.

Для Крыма как новой административной единицы создано отношение с admin_level=3, что является обычной практикой для непризнанных или частично признанных республик. Название у неё на русском языке. Необходимость этого отношения неясна (как частично признанная республика, она как бы входит в состав Российской Федерации), но до 31 мая удалять его нежелательно.

Историю обсуждения читайте на форуме. Вопросы, претензии, предложения и ссылки на нарушителей отправляйте либо в соответствующие темы форума, либо в комментарии к этой заметке.

Geocode(tm)

Илья Зверев — Fri, 01 Feb 2013 22:36:09 +0400

Совет OSMF получил письмо от некой компании, зарегистрировавшей слово «Geocode» как товарный знак, с требованием удалить те его упоминания с сайта OpenStreetMap, где слово связывается с сервисами Google. Поиск выдаёт соответствующую заявку от американской компании Geocode, Inc., но дальше слово обнаруживается в длинном списке товарных знаков компании Symantec, между «carbon copy» и «ghost».

Обсудив это письмо, Совет решил обезопасить проект, удалив немногие употребления этого слова из вики и предупредив участников. Как водится, многие сразу поднялись на смертный бой, «да как они смеют запрещать английские слова» и «давайте им покажем». На что другие призвали первых успокоиться, понять, что у проекта нет лишних денег на юридические баталии, и предоставить самому Google защищать право называть свои сервисы геокодинга сервисами геокодинга. В последнем письме в talk@ запретный термин предлагают заменить немецким его переводом, «geokode».

Этот случай напомнил Совету о необходимости зарегистрировать как товарные знаки название и логотип нашего проекта, чем они и занимаются. Причём, не только в Соединённых Штатах, но и в других ключевых для проекта странах, вроде России. В Евросоюзе товарный знак уже зарегистрирован, но там тоже не всё просто: владельцем записан Стив Кост, а не OSMF.

Принуждение к миру

Илья Зверев — Tue, 22 Jan 2013 10:58:10 +0400

Svavar Kjarrval искал на сайте правительства какие-нибудь постановления касательно открытия данных о природоохранных зон, но вместо этого натолкнулся на страшное:

В парламент Исландии направлен законопроект, связанный с охраной природы, который меня обеспокоил. В нём говорится, что Национальная земельная служба Исландии будет обязана создать базу данных дорог и грунтовок и сделать её бесплатной и доступной. Эта часть мне нравится, потому что свободные данные — это великолепно.

Дальше законопроект постановляет, что все карты, распространяемые в Исландии, должны соответствовать вышеупомянутой базе данных, иначе Министерство по охране окружающей среды может наложить ежедневный штраф на любого распространителя базы данных, не соответствующей стандарту. Это требование накладывается на каждого, не только на тех, кто получил копию упомянутой базы. По определению, невозможно гарантировать соответствие данных OpenStreetMap этому стандарту в каждый момент времени, поскольку эти данные свободно редактируемы. Это также ограничит людей в Исландии, кто захочет легально распространять карты и геоданные OSM, поскольку им потребуется уделять массу времени на проверку соответствия свой копии базы данных.

В ответ участники OSMF предложили составить официальное заявление в парламент от имени организации (обсуждение продлится до 8 февраля), а Svavar думает дождаться перевыборов в марте и попробовать взять в союзники Пиратскую партию, набирающую всё больше голосов. Он теоретизирует насчёт причин такого странного законопроекта:

Что же касается правительства, или чиновников, написавших такой закон, они, видимо, считают, что открытые данные — это возможность для каждого гражданина получить данные от правительства, вот только без свободы использовать их любыми способами. Они постоянно пытаются ограничивать: «Данные открыты, но...»

Также прочитайте комментарий BushmanK про экологию как причину.

Китайские координаты

Илья Зверев — Fri, 14 Dec 2012 19:01:17 +0400

Марат «javascript» на хабре обнаружил нелинейное смещение всех китайских карт относительно настоящих (т. е. от google). Более того, координаты GPS тоже не попадают на гуглокарты. Из чего он сделал логичный вывод: все карты китайских производителей намеренно искажены, а сигнал GPS-спутников на территории страны последовательно изменяется, чтобы координаты попадали на искажённые карты. Китайским навигаторам доверия нет: внутри у них секретные алгоритмы. И лишь американцы с американскими GPS-навигаторами видят всю правду.

Более того, карты OpenStreetMap тоже не ложатся на Google Maps: ещё одна причина подозревать искажение сигнала со спутников. Похоже, все снимки там сдвинуты, но осмеры пододвигали их по трекам. В какой стране были произведены навигаторы, которыми собрали эти треки, неизвестно.

Автор на прямой вопрос отвечает загадочно: «моя статья основана на фактах из различных источников и, что важнее, из личного рабочего опыта в компании, чьи карты допустили на китайский рынок с известным большинству сотрудников условием». Как вы знаете, с картографией в Китае всё сложно. В комментариях строят предположения одно другого страньше, вспоминают одурачивание американского беспилотника и подозревают, что в России тоже не всё чисто.

Позже: подтверждение от Лёши.

Два способа схитрить

Илья Зверев — Fri, 14 Dec 2012 16:23:50 +0400

Эта цитата из отчёта ГИС-Ассоциации о выступлении А. И. Ивакина, чиновника из МЭР РФ, даёт надежду на открытые государственные геоданные и тут же забирает её у тех, кто разбирается в открытых лицензиях, показывая, как долго нам ещё идти к настоящей открытости.

Продолжая тему открытости, Андрей Иванович сказал: «В отношении набора сведений которые содержатся на государственных картах, хотелось бы уйти от авторских прав. Налогоплательщики заплатили за то, чтобы создать пространственные данные. Соответственно они должны быть всем доступны, открыты, без всяких штрафов. Понятно, что бывают платные автомобильные дороги, бывают бесплатные. Так вот государственные пространственные данные должны быть бесплатные». Но пока Гражданский кодекс предусматривает платность, и единственная возможность повысить их доступность — сделать тарифы символическими. Кроме того, будет реализован механизм продажи данных через Интернет.

Обсуждая пути решения проблемы, участники конференции придумали два способа «схитрить»: 1) покупать не карты, а наборы данных, визуализация которых — проблема покупателя; 2) пользоваться информацией с публичной кадастровой карты, представленной на Web-сервисе.