54 заметки с тегом

odbl

Позднее Ctrl + ↑

Жизнь после бота

Выпиливание данных, несовместимых с новой лицензией, завершено. Некоторые регионы (на самом деле, большинство из них) почти не задело, а Петербург с Москвой, Карельский перешеек и города у границы Тверской и Ярославской областей изрядно потрепало, иногда до полного стирания города (как в Кашине — но loir и Igor_blg его немного подрисовали). Релевантные темы форума, к сожалению, вновь кишат несогласными и неразумными, от чего участники, готовые восстанавливать страну, находятся в многодневном смятении.


(на картинке — кадр из игры X-Plane с данными OSM)

Прежде всего, каждому стоит понять и принять аксиому: перелицензирования нельзя было избежать. Можно было отсрочить или ускорить, можно было улучшить алгоритм бота, можно было активнее искать пропавших мапперов. Можно было многое, но давайте жить сегодняшним днём и оперировать реальными фактами: часть данных была нарисована людьми, не принявшими — и никогда не планировавшими принимать — условия работы в собществе, и от того эти данные были потеряны не вчера, и не неделю назад, но изначально. Теперь, с новыми условиями участия и с новой лицензией мы, как сообщество, можем распоряжаться своими данными, и это самый важный шаг в развитии OSM со времени открытия снимков Bing.

Задача на ближайшие месяцы (некоторые считают, недели): восстановление стёртых данных. Как и прежде, самое важное — основные дороги, затем границы, населённые пункты, менее важные дороги и прочее. Почти всё восстановимо по спутниковым снимкам, хотя некоторые теги на удалённых объектах можно восстановить, только съездив и посмотрев. В помощь картографам Фредерик приделал к своему OSM Inspector визуализатор потерь. Красным цветом там обозначены удалённые объекты, и в них можно тыкнуть, чтобы подсмотреть теги. Например, данные по освещённости федеральных трасс северо-запада собирал я, и теги lit с пропавших участков можно переносить без угрызений совести. Оранжевым на карте отмечены объекты, съехавшие или потерявшие часть тегов, а жёлтым — они же, но кем-то поправленные.

Osmisto собрал ссылки на русские валидаторы и пытается организовать конструктивный ремаппинг. С конкретными вопросами по технике рекомендую обращаться в ту тему.

Наш форум полон региональными сообществами, по теме на область. Заметно, что в этих темах общается не один участник сам с собой. Потеря данных и необходимость восстановления — отличный повод собраться вместе за общей целью, пусть не вживую (хотя съездить за данными в поле никогда не лишне), но в онлайне, в десятках картовстреч по всей стране. На этот раз цель для маппинга — не один выбранный инициативным участником город, а вся страна. Полтора года мы тренировались работать сообща над местами, которые мало волновали нас в обычной жизни. Сейчас и карта не пустая, и местность знакомая, и опыт накоплен: если мы не можем восстановить карту, стоило ли браться?
2012   mapping party   odbl

Тьма накрыла карту России

Карающий робот достиг западной границы страны и медленно продвигается вглубь. Удаление Москвы не поможет. У робота двадцать голов, и каждая из них хищна, хитра и быстра. Поздно что-то исправлять: сегодня и на выходных всем советую (а OSMF даже настаивает) ничего не загружать на сервер, вместо этого погулять по двору, собрать свежие POI. Не послушавшись совета, вы с огромной вероятностью напоретесь на конфликты с аккаунтом «OSMF Redaction Bot», и у вас не будет выбора в способе их разрешения: не давать ему дорогу — значит нарушить условия участия в проекте.



За десять дней работы обработан весь мир к западу от России, плюс Австралия. На потом оставлены Гаити, Польша и оба полюса. Но с такой скоростью и их обработают до конца следующей недели. Статистика показывает всего несколько десятков «непрожёванных» клеточек 1×1 градус, но большинство из них — лишь из-за таймаутов, и скоро, уже через неделю, мы напишем во всех строках копирайта заветную аббревиатуру ODbL.
2012   odbl

Где же ты, где

Робот уже обработал Ирландию и в ближайшие дни перелицензирует Великобританию. Harry Wood сделал простой сайт, где вы можете узнать местоположение робота и оценить скорость его работы. Каждый одноградусный «квадрат» обозначен одним из трёх цветов или их суперпозицией: зелёный — квадрат обработан, жёлтый — обрабатывается прямо сейчас, красный — обработан, но случился косяк, и изменения не загружены. Иногда встречается светло-жёлтый цвет, означающий, что ошибка случилась, но большая часть ченджсетов загружена на сервер. Детали произошедшего можно посмотреть в логе, ссылка на который выводится во всплывающих подсказках.



14 июля расцветку поправили, остались три оттенка на все ситуации: зелёный (успешно с первой или последующих попыток), красный (провалилось полностью или частично) и жёлтый (обрабатывается).

Ошибки, чаще всего, несерьёзные: так, французские ченджсеты не загрузились на сервер из-за неэкранированных символов в XML. Также, код бота развивается до сих пор: за сегодня были написаны тесты и код для игнорирования незначительных сдвигов точек, которые вносят редакторы без видимых причин. Сейчас Энди пытается ускорить бота: с нынешней скоростью он закончит работу только в следующем году.
2012   odbl

Споткнулись на старте

Робота перелицензирования вчера вечером приостановили. Оказалось, что минутные диффы, на которых держится вся инфраструктура OSM — региональные выгрузки, рендеринг карт, валидаторы и статистика — слегка изменили формат, и Osmosis, которым их обрабатывают, от такого изменения немножко вылетает. Как заметил Toby Murray и объяснил Simon Poole, всего нашли три проблемы:
  • Загрузка отношений, созданных в API 0.5. При их переносе в 0.6 накосячили с нумерацией членов, и робот не мог их правильно обработать. Уже исправили.
  • Информация об удалённых узлах больше не содержит координат. Физически, т. е. в возвращаемом XML нет атрибутов lat и lon. Это почти наверняка сломает функции отката правок. Также станет невозможным отслеживание удалений объектов в заданном районе. Что с этим делать, обсуждают в #osm-dev до сих пор.
  • Сломанная репликация. Когда бот выставлял старым версиям объектов флаг «redacted», в диффы попадали эти версии в разделе <modify>, и osmosis пытался залить их в базу данных как есть, на что получал отлуп: «такая версия уже есть». Способы решения этой проблемы тоже пока обсуждаются.
На этот момент единственный надёжный способ получить актуальные данные — прямой запрос к API. То есть, редактирование карты — единственное, что не сломалось. В связи с этим, кстати, предупреждают, что когда бот пойдёт вычищать ваш район, неизбежны конфликты при загрузке ченджсетов, поэтому нужно за ним следить. Способы для этого тоже сейчас придумывают.

В 16:00 репликацию перезапустили. Если вы настроили минутное обновление на своём сервере, сделайте следующее: 1) остановите osmosis; 2) wget http://planet.openstreetmap.org/redaction-period/minute-replicate/000/141/272.state.txt -O state.txt (обновите сломанный state.txt, если он досчитал до 272); 3) запустите osmosis.
2012   odbl   osm.org

Спасибо за помощь

Сегодня я узнал, что некоторые участники лучше бы не возвращались. Будучи идеалистом, не мог ожидать, что кто-нибудь будет «исправлять» лицензионную совместимость данных автоматически и массово. Wowik пишет:
Забавно порой у нас народ чистоту данных блюдёт в целях odbl.

Некоторые просто подвинули ноды, кто-то просто на ноль сантиметров. Таким образом у wowik как бы больше нет точек. http://textual.ru/odbl/RU-MOW.html
А ведь было 162 тысячи. Никто ведь не поверит, что каждую перерисовали ручками! ;-)

С веями заметают под ковёр по-другому. Создают такой же, но по старым точкам. Неужели и впрямь верят, что это и есть помощь проекту в деле лицензионной чистоты?
Как оказалось, Medoff четырьмя большими пакетами сместил около 85 тысяч точек, созданных wowik-ом. При этом в комментариях он пишет: «подвинул по Bing и трекам». Хорошо, что пока бот не запущен, решить эту проблему очень просто: достаточно добавить эти ченджсеты и идентификатор пользователя в чёрный список. Если вам известны другие случаи подобных правок, напишите о них в комментарии или на форум.

17 июля: продолжение истории
2012   odbl   как школьник
Ранее Ctrl + ↓