Робота перелицензирования вчера вечером приостановили. Оказалось, что минутные диффы, на которых держится вся инфраструктура OSM — региональные выгрузки, рендеринг карт, валидаторы и статистика — слегка изменили формат, и Osmosis, которым их обрабатывают, от такого изменения немножко вылетает. Как заметил Toby Murray и объяснил Simon Poole, всего нашли три проблемы:

• Загрузка отношений, созданных в API 0.5. При их переносе в 0.6 накосячили с нумерацией членов, и робот не мог их правильно обработать. Уже исправили.
• Информация об удалённых узлах больше не содержит координат. Физически, т. е. в возвращаемом XML нет атрибутов lat и lon. Это почти наверняка сломает функции отката правок. Также станет невозможным отслеживание удалений объектов в заданном районе. Что с этим делать, обсуждают в #osm-dev до сих пор.
• Сломанная репликация. Когда бот выставлял старым версиям объектов флаг «redacted», в диффы попадали эти версии в разделе <modify>, и osmosis пытался залить их в базу данных как есть, на что получал отлуп: «такая версия уже есть». Способы решения этой проблемы тоже пока обсуждаются.

На этот момент единственный надёжный способ получить актуальные данные — прямой запрос к API. То есть, редактирование карты — единственное, что не сломалось. В связи с этим, кстати, предупреждают, что когда бот пойдёт вычищать ваш район, неизбежны конфликты при загрузке ченджсетов, поэтому нужно за ним следить. Способы для этого тоже сейчас придумывают.

В 16:00 репликацию перезапустили. Если вы настроили минутное обновление на своём сервере, сделайте следующее: 1) остановите osmosis; 2) wget http://planet.openstreetmap.org/redaction-period/minute-replicate/000/141/272.state.txt -O state.txt (обновите сломанный state.txt, если он досчитал до 272); 3) запустите osmosis.

Сегодня я узнал, что некоторые участники лучше бы не возвращались. Будучи идеалистом, не мог ожидать, что кто-нибудь будет «исправлять» лицензионную совместимость данных автоматически и массово. Wowik пишет:

Забавно порой у нас народ чистоту данных блюдёт в целях odbl.

Некоторые просто подвинули ноды, кто-то просто на ноль сантиметров. Таким образом у wowik как бы больше нет точек. http://textual.ru/odbl/RU-MOW.html
А ведь было 162 тысячи. Никто ведь не поверит, что каждую перерисовали ручками! ;-)

С веями заметают под ковёр по-другому. Создают такой же, но по старым точкам. Неужели и впрямь верят, что это и есть помощь проекту в деле лицензионной чистоты?

Как оказалось, Medoff четырьмя большими пакетами сместил около 85 тысяч точек, созданных wowik-ом. При этом в комментариях он пишет: «подвинул по Bing и трекам». Хорошо, что пока бот не запущен, решить эту проблему очень просто: достаточно добавить эти ченджсеты и идентификатор пользователя в чёрный список. Если вам известны другие случаи подобных правок, напишите о них в комментарии или на форум.

17 июля: продолжение истории

Энди Аллан тестирует перелицензирующего робота на последнем, самом большом наборе данных: Ирландии. Его собственная машина такой объём уже не тянет, поэтому работа идёт на сервере OSM, и мы можем подсматривать (также, логи). Так, в истории точек, помимо записи с роботом, появляются пропуски со ссылкой на «Redaction 1». Не всё в результатах работы очевидно, где-то всплывают баги (как и должно быть), но прогресс виден, а значит, осмоапокалипсис неотвратим.

В рассылке talk@ все благодарят Павла Мельникова за простой фильтр RSS ченджсетов, который убирает ботоправки, покрывающие полмира. Вводите туда адрес страницы истории, задаёте ограничение в несколько градусов — и мониторинг карты готов. Простая и эффективная замена OWL, отключенному на время перелицензирования.

Последнее, как всегда, вот-вот наступит: разработчики побороли 90% тестов и бьются с оставшимися двумя. Также их программа теперь выдаёт osmChange, который смотреть удобнее, чем внутренний формат. И самое замечательное, тон обсуждения в rebuild@ сменился на «бот уже достаточно умный, давайте остальные хитрые случаи потом поправим руками», так что прогнозы о конце месяца, похоже, сбудутся.