53 заметки с тегом

odbl РСС

Срок годности

5 ноября 2015, 1:43

Стив Кост в своём блоге постоянно пробует новые идеи: открытые компании, стеклянные визитки, мир без водителей. Он отошёл от OpenStreetMap, и я считаю его нерелевантным проекту, но месяц назад он выдал неожиданно отличную мысль — про открытые лицензии.

Исток задумки — в авторском праве: как мы знаем, сначала автор зарабатывает на материале, затем на нём зарабатывают дети и внуки, и через 70 лет материал переходит в общественное достояние. Открытые лицензии в этом плане удобнее: не нужно спрашивать автора или искать его выживших внуков. Вот только, как показывает пример ODbL, многим «условные» открытые лицензии неудобны. Даже банальное требование указания автора (как в CC-BY), например, не подходит для использования геоданных в OSM.

Стив предлагает ввести «распадающуюся» лицензию: в его примере, в первый год (или два, или пять лет) она CC-BY-NC-SA, во второй теряет -SA, и дальше каждый год теряет по приставке, пока не оказывается под CC0. Но, конечно, испробовать такую лицензию он предлагает на той интеллектуальной собственности, что у нас есть: базе OpenStreetMap.

Спор между адептами Public Domain и Share-Alike в проекте начался лет 7 назад, и до сих пор стороны не успокоились, каждый год вытаскивая новые аргументы. Год назад громче всего за PD высказывался Алекс Барт из Mapbox, чем только укрепил позиции противника: даже я, в результате, перешёл в лагерь SA. А Стив, внезапно, предлагает компромиссное решение, которое потенциально может удовлетворить обе стороны: давайте просто публиковать дампы планеты старше трёх лет под PD?

Ведь какой главный аргумент сторонников SA? «Придёт НЯК и заберёт все данные, а сообщество там на порядок больше нашего: проиграем гонку». Но мы и остаёмся SA. А аргумент за PD — «мы делаем карту, чтобы ей пользовались абсолютно все, и если для тотального распространения нужно пожертвовать авторским правом, мы готовы». В итоге глобально распространяется немного устаревшая планета, но все редакторы знают, что рано или поздно его/её правки доберутся до каждого пользователя карт. Все рады, OSM становится универсальной базовой подложкой.

Единственная проблема — снова придётся позвать бота и выжечь огнём половину базы, потому что многие импортёры путают ODbL и «условия участия», и вносят неперелицензируемые данные.

Complementary to «Skybox for Evil»

6 ноября 2014, 14:42

Год назад компания Skybox запустила в космос свой первый спутник ДЗЗ, SkySat-1. И почти сразу начала приём снимков разрешением около 0,9 м/пк. С компанией поначалу сотрудничала Mapbox, в блоге которой мы видели немало впечатляющих снимков, в том числе космические видеоролики. Первого августа компанию купила Google, и новости от Mapbox иссякли: казалось, всё, этот потенциальный источник снимков закрыт.

23 октября обе компании объявили о программе «Skybox for Good»: по запросам гуманитарных организаций они готовы делать актуальные снимки и публиковать их под лицензией CC-BY-SA 4.0. На карту уже добавлены около 20 снимков со ссылками на скачивание их в формате GeoTIFF. Несколько десятков запросов приняты в работу, включая снимки нефтяных платформ «Приразломная» в Печорском море и «West Alpha» в Карском.

Простой вопрос — можно ли обрисовывать эти снимки для OpenStreetMap — влечёт отрицательный ответ: с нашими условиями участия совместима только CC0, остальные лицензии требуют невыполнимого. Например, упоминание автора для CC-BY и производных не получится сделать для каждого использования карты OSM. Поэтому Mikel Maron, президент HOT, обратился напрямую к сотрудникам Google, и те уточнили: обклацывать снимки можно, при этом обязательно упомянуть Skybox в комментариях к пакетам правок или в теге source нарисованных объектов. Также в Google попросили подумать над механизмом динамической аттрибуции, когда в регионах появляются дополнительные копирайты, как на картах Google и Яндекса. И, кажется, предложили команде HOT запрашивать у Skybox снимки для своей работы.

Просьба сохранять спокойствие

11 сентября 2012, 21:25

Завтра, 12 сентября, начнётся создание очередного файла планеты (если что-то сломается, отложат на неделю). Следовательно, с завтрашнего дня все данные, отдаваемые через API, официально станут отпускаться по лицензии ODbL. Обычных мапперов это никак не затронет. Примерно тридцать часов спустя выгрузка завершится, и всем потребителям данных потребуется очистить свои базы данных и заново импортировать дамп. Кроме того, изменится структура каталогов на planet.openstreetmap.org, поэтому нужно будет немного поправить скрипты.

Также пишут, что изменится формат обязательного упоминания OSM при использовании тайлов или данных: он сократится до «© OpenStreetMap contributors» со ссылкой на openstreetmap.org/copyright. Подробнее про изменения написано на этой вики-странице. Заодно там кратко перечислены новые свободы, которые предоставляет ODbL по сравнению с CC-BY-SA: например, что на свои тайлы можно устанавливать произвольную лицензию, покуда вы упоминаете, что данные для них распространяются под ODbL.

Конец эпопеи

6 сентября 2012, 10:13

Стив Кост в своём выступлении позвал руководителя LWG Майкла Коллинсона, и тот, наконец, объявил: следующая планета выйдет под лицензией ODbL. Так завершится пятый, и последний, этап перелицензирования. Тайлы, разумеются, останутся под CC-BY-SA. Конкретную строчку для подписывания карт опубликуют чуть позже.

В dev@ обсуждают изменение структуры каталогов на сайте планеты. Пол Норман предложил более опрятный вариант без захламления корневой папки, и все с ним соглашаются. Напомню, что после выпуска ODbL-планеты пользователям потребуется начисто перезалить базу, и этот момент как нельзя лучше подходит для приведения инфраструктуры в порядок.

Жизнь после бота

27 июля 2012, 15:34

Выпиливание данных, несовместимых с новой лицензией, завершено. Некоторые регионы (на самом деле, большинство из них) почти не задело, а Петербург с Москвой, Карельский перешеек и города у границы Тверской и Ярославской областей изрядно потрепало, иногда до полного стирания города (как в Кашине — но loir и Igor_blg его немного подрисовали). Релевантные темы форума, к сожалению, вновь кишат несогласными и неразумными, от чего участники, готовые восстанавливать страну, находятся в многодневном смятении.


(на картинке — кадр из игры X-Plane с данными OSM)

Прежде всего, каждому стоит понять и принять аксиому: перелицензирования нельзя было избежать. Можно было отсрочить или ускорить, можно было улучшить алгоритм бота, можно было активнее искать пропавших мапперов. Можно было многое, но давайте жить сегодняшним днём и оперировать реальными фактами: часть данных была нарисована людьми, не принявшими — и никогда не планировавшими принимать — условия работы в собществе, и от того эти данные были потеряны не вчера, и не неделю назад, но изначально. Теперь, с новыми условиями участия и с новой лицензией мы, как сообщество, можем распоряжаться своими данными, и это самый важный шаг в развитии OSM со времени открытия снимков Bing.

Задача на ближайшие месяцы (некоторые считают, недели): восстановление стёртых данных. Как и прежде, самое важное — основные дороги, затем границы, населённые пункты, менее важные дороги и прочее. Почти всё восстановимо по спутниковым снимкам, хотя некоторые теги на удалённых объектах можно восстановить, только съездив и посмотрев. В помощь картографам Фредерик приделал к своему OSM Inspector визуализатор потерь. Красным цветом там обозначены удалённые объекты, и в них можно тыкнуть, чтобы подсмотреть теги. Например, данные по освещённости федеральных трасс северо-запада собирал я, и теги lit с пропавших участков можно переносить без угрызений совести. Оранжевым на карте отмечены объекты, съехавшие или потерявшие часть тегов, а жёлтым — они же, но кем-то поправленные.

Osmisto собрал ссылки на русские валидаторы и пытается организовать конструктивный ремаппинг. С конкретными вопросами по технике рекомендую обращаться в ту тему.

Наш форум полон региональными сообществами, по теме на область. Заметно, что в этих темах общается не один участник сам с собой. Потеря данных и необходимость восстановления — отличный повод собраться вместе за общей целью, пусть не вживую (хотя съездить за данными в поле никогда не лишне), но в онлайне, в десятках картовстреч по всей стране. На этот раз цель для маппинга — не один выбранный инициативным участником город, а вся страна. Полтора года мы тренировались работать сообща над местами, которые мало волновали нас в обычной жизни. Сейчас и карта не пустая, и местность знакомая, и опыт накоплен: если мы не можем восстановить карту, стоило ли браться?

Тьма накрыла карту России

20 июля 2012, 11:21

Карающий робот достиг западной границы страны и медленно продвигается вглубь. Удаление Москвы не поможет. У робота двадцать голов, и каждая из них хищна, хитра и быстра. Поздно что-то исправлять: сегодня и на выходных всем советую (а OSMF даже настаивает) ничего не загружать на сервер, вместо этого погулять по двору, собрать свежие POI. Не послушавшись совета, вы с огромной вероятностью напоретесь на конфликты с аккаунтом «OSMF Redaction Bot», и у вас не будет выбора в способе их разрешения: не давать ему дорогу — значит нарушить условия участия в проекте.



За десять дней работы обработан весь мир к западу от России, плюс Австралия. На потом оставлены Гаити, Польша и оба полюса. Но с такой скоростью и их обработают до конца следующей недели. Статистика показывает всего несколько десятков «непрожёванных» клеточек 1×1 градус, но большинство из них — лишь из-за таймаутов, и скоро, уже через неделю, мы напишем во всех строках копирайта заветную аббревиатуру ODbL.

Где же ты, где

13 июля 2012, 18:48

Робот уже обработал Ирландию и в ближайшие дни перелицензирует Великобританию. Harry Wood сделал простой сайт, где вы можете узнать местоположение робота и оценить скорость его работы. Каждый одноградусный «квадрат» обозначен одним из трёх цветов или их суперпозицией: зелёный — квадрат обработан, жёлтый — обрабатывается прямо сейчас, красный — обработан, но случился косяк, и изменения не загружены. Иногда встречается светло-жёлтый цвет, означающий, что ошибка случилась, но большая часть ченджсетов загружена на сервер. Детали произошедшего можно посмотреть в логе, ссылка на который выводится во всплывающих подсказках.



14 июля расцветку поправили, остались три оттенка на все ситуации: зелёный (успешно с первой или последующих попыток), красный (провалилось полностью или частично) и жёлтый (обрабатывается).

Ошибки, чаще всего, несерьёзные: так, французские ченджсеты не загрузились на сервер из-за неэкранированных символов в XML. Также, код бота развивается до сих пор: за сегодня были написаны тесты и код для игнорирования незначительных сдвигов точек, которые вносят редакторы без видимых причин. Сейчас Энди пытается ускорить бота: с нынешней скоростью он закончит работу только в следующем году.

Споткнулись на старте

12 июля 2012, 13:51

Робота перелицензирования вчера вечером приостановили. Оказалось, что минутные диффы, на которых держится вся инфраструктура OSM — региональные выгрузки, рендеринг карт, валидаторы и статистика — слегка изменили формат, и Osmosis, которым их обрабатывают, от такого изменения немножко вылетает. Как заметил Toby Murray и объяснил Simon Poole, всего нашли три проблемы:
  • Загрузка отношений, созданных в API 0.5. При их переносе в 0.6 накосячили с нумерацией членов, и робот не мог их правильно обработать. Уже исправили.
  • Информация об удалённых узлах больше не содержит координат. Физически, т. е. в возвращаемом XML нет атрибутов lat и lon. Это почти наверняка сломает функции отката правок. Также станет невозможным отслеживание удалений объектов в заданном районе. Что с этим делать, обсуждают в #osm-dev до сих пор.
  • Сломанная репликация. Когда бот выставлял старым версиям объектов флаг «redacted», в диффы попадали эти версии в разделе <modify>, и osmosis пытался залить их в базу данных как есть, на что получал отлуп: «такая версия уже есть». Способы решения этой проблемы тоже пока обсуждаются.
На этот момент единственный надёжный способ получить актуальные данные — прямой запрос к API. То есть, редактирование карты — единственное, что не сломалось. В связи с этим, кстати, предупреждают, что когда бот пойдёт вычищать ваш район, неизбежны конфликты при загрузке ченджсетов, поэтому нужно за ним следить. Способы для этого тоже сейчас придумывают.

В 16:00 репликацию перезапустили. Если вы настроили минутное обновление на своём сервере, сделайте следующее: 1) остановите osmosis; 2) wget http://planet.openstreetmap.org/redaction-period/minute-replicate/000/141/272.state.txt -O state.txt (обновите сломанный state.txt, если он досчитал до 272); 3) запустите osmosis.

Спасибо за помощь

10 июля 2012, 20:26

Сегодня я узнал, что некоторые участники лучше бы не возвращались. Будучи идеалистом, не мог ожидать, что кто-нибудь будет «исправлять» лицензионную совместимость данных автоматически и массово. Wowik пишет:
Забавно порой у нас народ чистоту данных блюдёт в целях odbl.

Некоторые просто подвинули ноды, кто-то просто на ноль сантиметров. Таким образом у wowik как бы больше нет точек. http://textual.ru/odbl/RU-MOW.html
А ведь было 162 тысячи. Никто ведь не поверит, что каждую перерисовали ручками! ;-)

С веями заметают под ковёр по-другому. Создают такой же, но по старым точкам. Неужели и впрямь верят, что это и есть помощь проекту в деле лицензионной чистоты?
Как оказалось, Medoff четырьмя большими пакетами сместил около 85 тысяч точек, созданных wowik-ом. При этом в комментариях он пишет: «подвинул по Bing и трекам». Хорошо, что пока бот не запущен, решить эту проблему очень просто: достаточно добавить эти ченджсеты и идентификатор пользователя в чёрный список. Если вам известны другие случаи подобных правок, напишите о них в комментарии или на форум.

17 июля: продолжение истории

Началось

10 июля 2012, 15:07

То, о чём так долго говорили в OSMF, свершилось. Завтра перелицензирование запустят на рабочей базе. Самые «запятнанные» несовместимыми с ODbL данными территории — Австралию, восточную Европу и Азию — обработают последними, поэтому у нас есть ещё пара недель на переделывание таких данных. API отключать не будут, но просят воздержаться от слишком больших ченджсетов. Похоже, уже нынешнее поколение осмеров будет жить при ODbL. Ура.
Ctrl +  Ранее