53 заметки с тегом

odbl

Ctrl + ↑ Позднее

Тьма накрыла карту России

Карающий робот достиг западной границы страны и медленно продвигается вглубь. Удаление Москвы не поможет. У робота двадцать голов, и каждая из них хищна, хитра и быстра. Поздно что-то исправлять: сегодня и на выходных всем советую (а OSMF даже настаивает) ничего не загружать на сервер, вместо этого погулять по двору, собрать свежие POI. Не послушавшись совета, вы с огромной вероятностью напоретесь на конфликты с аккаунтом «OSMF Redaction Bot», и у вас не будет выбора в способе их разрешения: не давать ему дорогу — значит нарушить условия участия в проекте.



За десять дней работы обработан весь мир к западу от России, плюс Австралия. На потом оставлены Гаити, Польша и оба полюса. Но с такой скоростью и их обработают до конца следующей недели. Статистика показывает всего несколько десятков «непрожёванных» клеточек 1×1 градус, но большинство из них — лишь из-за таймаутов, и скоро, уже через неделю, мы напишем во всех строках копирайта заветную аббревиатуру ODbL.
2012   odbl

Где же ты, где

Робот уже обработал Ирландию и в ближайшие дни перелицензирует Великобританию. Harry Wood сделал простой сайт, где вы можете узнать местоположение робота и оценить скорость его работы. Каждый одноградусный «квадрат» обозначен одним из трёх цветов или их суперпозицией: зелёный — квадрат обработан, жёлтый — обрабатывается прямо сейчас, красный — обработан, но случился косяк, и изменения не загружены. Иногда встречается светло-жёлтый цвет, означающий, что ошибка случилась, но большая часть ченджсетов загружена на сервер. Детали произошедшего можно посмотреть в логе, ссылка на который выводится во всплывающих подсказках.



14 июля расцветку поправили, остались три оттенка на все ситуации: зелёный (успешно с первой или последующих попыток), красный (провалилось полностью или частично) и жёлтый (обрабатывается).

Ошибки, чаще всего, несерьёзные: так, французские ченджсеты не загрузились на сервер из-за неэкранированных символов в XML. Также, код бота развивается до сих пор: за сегодня были написаны тесты и код для игнорирования незначительных сдвигов точек, которые вносят редакторы без видимых причин. Сейчас Энди пытается ускорить бота: с нынешней скоростью он закончит работу только в следующем году.
2012   odbl

Споткнулись на старте

Робота перелицензирования вчера вечером приостановили. Оказалось, что минутные диффы, на которых держится вся инфраструктура OSM — региональные выгрузки, рендеринг карт, валидаторы и статистика — слегка изменили формат, и Osmosis, которым их обрабатывают, от такого изменения немножко вылетает. Как заметил Toby Murray и объяснил Simon Poole, всего нашли три проблемы:
  • Загрузка отношений, созданных в API 0.5. При их переносе в 0.6 накосячили с нумерацией членов, и робот не мог их правильно обработать. Уже исправили.
  • Информация об удалённых узлах больше не содержит координат. Физически, т. е. в возвращаемом XML нет атрибутов lat и lon. Это почти наверняка сломает функции отката правок. Также станет невозможным отслеживание удалений объектов в заданном районе. Что с этим делать, обсуждают в #osm-dev до сих пор.
  • Сломанная репликация. Когда бот выставлял старым версиям объектов флаг «redacted», в диффы попадали эти версии в разделе <modify>, и osmosis пытался залить их в базу данных как есть, на что получал отлуп: «такая версия уже есть». Способы решения этой проблемы тоже пока обсуждаются.
На этот момент единственный надёжный способ получить актуальные данные — прямой запрос к API. То есть, редактирование карты — единственное, что не сломалось. В связи с этим, кстати, предупреждают, что когда бот пойдёт вычищать ваш район, неизбежны конфликты при загрузке ченджсетов, поэтому нужно за ним следить. Способы для этого тоже сейчас придумывают.

В 16:00 репликацию перезапустили. Если вы настроили минутное обновление на своём сервере, сделайте следующее: 1) остановите osmosis; 2) wget http://planet.openstreetmap.org/redaction-period/minute-replicate/000/141/272.state.txt -O state.txt (обновите сломанный state.txt, если он досчитал до 272); 3) запустите osmosis.
2012   odbl   osm.org

Спасибо за помощь

Сегодня я узнал, что некоторые участники лучше бы не возвращались. Будучи идеалистом, не мог ожидать, что кто-нибудь будет «исправлять» лицензионную совместимость данных автоматически и массово. Wowik пишет:
Забавно порой у нас народ чистоту данных блюдёт в целях odbl.

Некоторые просто подвинули ноды, кто-то просто на ноль сантиметров. Таким образом у wowik как бы больше нет точек. http://textual.ru/odbl/RU-MOW.html
А ведь было 162 тысячи. Никто ведь не поверит, что каждую перерисовали ручками! ;-)

С веями заметают под ковёр по-другому. Создают такой же, но по старым точкам. Неужели и впрямь верят, что это и есть помощь проекту в деле лицензионной чистоты?
Как оказалось, Medoff четырьмя большими пакетами сместил около 85 тысяч точек, созданных wowik-ом. При этом в комментариях он пишет: «подвинул по Bing и трекам». Хорошо, что пока бот не запущен, решить эту проблему очень просто: достаточно добавить эти ченджсеты и идентификатор пользователя в чёрный список. Если вам известны другие случаи подобных правок, напишите о них в комментарии или на форум.

17 июля: продолжение истории
2012   odbl   как школьник

Началось

То, о чём так долго говорили в OSMF, свершилось. Завтра перелицензирование запустят на рабочей базе. Самые «запятнанные» несовместимыми с ODbL данными территории — Австралию, восточную Европу и Азию — обработают последними, поэтому у нас есть ещё пара недель на переделывание таких данных. API отключать не будут, но просят воздержаться от слишком больших ченджсетов. Похоже, уже нынешнее поколение осмеров будет жить при ODbL. Ура.
2012   odbl
Ctrl + ↓ Ранее