OpenStreetMap на дне

Можно ли сейчас использовать проект OSM как полноценный и достоверный источник геопространственных и справочных данных? Напрямую — нет. Ни как достоверный, ни как полноценный. <...> Если нужны самые актуальные данные, то ни о какой достоверности уже речи не может идти. Сам по себе этот компромисс в проекте OSM смещён строго в сторону актуальности. Т. е. беря данные напрямую из проекта, вы всегда берёте самые актуальные данные со всем самым актуальным вандализмом, без какой либо претензии на адекватность данных.
Макс Васильев написал развёрнутый ответ на предыдущую заметку. Он обращает внимание на то, что проще обучить десяток школьников с нуля, чем заставить опытных участников проекта что-то делать правильно, и что валидаторы самим существованием форсируют ограничения, не всегда обоснованные или разумные. Конечно, решения этих задач быть не может, потому что они — следствие модели OSM.

Политика do-ocracy подразумевает, что властью в проекте обладают те, кто делают инструменты, в том числе валидаторы и рендереры. Поэтому больной вопрос тегирования под рендереры не исчезнет, и с ростом количества валидаторов уже набирает актуальность вопрос правок под них. Мы разрешаем эти вопросы советом «думать своей головой», но, будем честны, в проекте очень немного людей, способных на недоверие к своим инструментам, и большая часть — как раз новички и школьники, которые делают так, как их научили. По сути, в их случае do-ocracy подменяется «властью учителя»: куда проще вбить свои представления о качественных данных лично, чем вести за собой всё сообщество целиком. Но это не решает вопрос качества данных, а лишь усугубляет его.

К сожалению, качество OpenStreetMap — это оксюморон. У каждого из семисот тысяч участников проекта особенное мнение о том, как нужно рисовать карту, и главной площадкой для обсуждения до сих пор остаётся вики, которая, вообще-то, не место для дискуссий. Поэтому механизм пропозалов разваливается, как замечают многие опытные участники, и проект возвращается к тому, с чего начинался: глобальной геопомойке, в которую каждый волен писать то, что захочет. И Макс абсолютно прав, что без сложной обработки наши геоданные использовать нельзя. Но. Это не означает, что нужно махнуть рукой на OSM и заниматься своими предобработчиками. Напротив, нужно искать новые определения качества, совместно работать над инструментами обработки данных, открывать новые дискуссии не только внутри страны, но на мировых площадках. Почти завершилось перелицензирование, и время думать над API 0.7, с пониманием, что отсутствие типа area — наименьшая из проблем модели OpenStreetMap.
Поделиться
Отправить
2012   блоги

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.

18 комментариев
Zulu 2012
OSM не первое коммунити, делающее что-либо. Стоит посмотреть, как эта проблема успешно решена в разработке Linux (сопоставимый по масштабам проект) или множестве других, меньших.
liosha 2012
В совместной разработке linux (да и вообще софта) всё держится на системах контроля версий. А ОСМ пока не доразвился даже до того, чтобы в нём можно было выделить вменяемые объекты для версионирования.

И да, на фоне имеющихся проблем считать проблемой «отсутствие типа area» — вообще смешно :)
osmisto 2012
В linux проблема качества решается кучей систем тестирования и автоматической проверки кода.

Вообще в сложных проектах роль опытного ревьювера — сказать, правильно ли был выбран путь решения, а не правильно ли решили.
fserges 2012
Я даже не могу защитить от правок новичка тщательно прорисованный участок! Регулярно восстанавливаю то что было случайно или неслучайно убито, при этом обычно это дело рук пользователя зарегистрированного 2 часа назад».

Ну а объекты — это верх мечтаний :) Вот недавно хотел обозначить магазины одной сети. Казалось бы — общие параметры наследуются из объекта-родителя а остальное (часы работы, точное название) нужно проставить на конкретном объекте. В результате — куча независимых объектов которые выглядят как бог на душу положит.
Zkir 2012
*нужно искать новые определения качества, совместно работать над инструментами обработки данных, открывать новые дискуссии не только внутри страны, но на мировых площадках.*

Вот именно. С тем, кто понимает какие ему нужны критерии качества и способен их сформулировать — можно и нужно разговаривать. С тем же кто кидает обзывалки — нельзя и  невозможно
Zkir 2012
*валидаторы самим существованием форсируют ограничения, не всегда обоснованные или разумные*

Ну что значит «не обоснованные и не разумные». Эти ограничения продиктованы тем, что данные должны быть пригодны к некому конкретному использованию. Никто ведь не спорит, что данные должны быть пригодны к использованию, а не только к  удовольствию от процеса и самовыражению?

Разумеется любой тест, какой бы он ни был, может дать ложное срабатывание, из за ограниченной реализации или ошибок. Но алгоритмы совершенствуются.
Илья Зверев 2012
Ну да, в черновике это предложение оканчивалось «...с точки зрения части пользователей». Но суть в том, что валидаторы вводят ограничения. Ещё сильнее, чем рендереры. И не может быть такого, чтобы все были довольны этими ограничениями, потому что, как я написал, критерии качества в целом похожи, но в деталях у каждого свои.
Zkir 2012
Никакая совместная деятельность без ограничений не возможна. Если каждый будет мапить «по-своему» не получится общая база геоданных.

Что можно сделать, это выяснить, _почему_ часть пользователей недовольна этими ограничениями, и что сделать, что бы учесть их интересы. Главным образом интересы как пользователей данных.
Zkir 2012
* критерии качества в целом похожи, но в деталях у каждого свои *
Вот и надо договариваться (как ты и написал :) ), чтобы стали одинаковые. А то похоже у некоторых они отличаются не в деталях, а концептуально :)
Komяpa 2012
Из предложений под API0.7 мне больше всего понравилось то, которое позволяет к nd дописывать lat/lon в веях, резко упрощает обработку.
gryphon 2012
Чтой-то OSM погрузился с головой в депрессию, что в блогах, что на форуме. Верните няшных котиков!
osmisto 2012
Это Зверик наводит сумрак.

По эпохе возрождения, первому этапу, весь восток и почти весь юг пофиксен. Пирог зелёный процентов на 70%. Договорились улучшать и разгребать osb. Мапкрафт тоже скоро будет вообще румяный :)

А самое главное, ОСМ теперь один целостный проект от тысяч авторов, а не тысячи частных проектиков переплетённых в плотный клубок. Что не может не радовать :)
osmisto 2012
А если говорить о качестве выходного продукта, то, по-моему, надо строить QA фильтр, состоящий из валидаторов:

- ежедневно выкачивается дамп страны и режется на куски (по boundary=4)
- куски скармливаются валидаторам.
- те отмечают количество критических ошибок, и общее количество для куска
- если есть критические ошибки, или заметно ухудшение по общему количеству, то кусок помечается плохим
- хорошие куски перемещаются в отдельное место и оттуда их забирают всякие конверторы под навигаторы.

Возможно это прибавит ещё один день в задержку, на автоматический QA, но и навигаторы уже будут защищены от шлака.
osmisto 2012
Предыдущий пост выглядит немного не в тему, но QA фильтр без валидаторов не построить вообще. Это к вопросу полезны ли они.
Виктор Щерб 2012
Сколько собак съедено, но кажется, воз и ныне там. Ну неужели нельзя сделать ступенчатую систему комитов?
Неужели нельзя прикрутить валидацию комитов на сервере? Чтобы все комиты валидировались через все редакторы?

Ведь это практически просто. Каждый комит изолирован от другого в зависимости от того, какие-теги участвуют, включаются различные валидаторы. Если участвует много точек или объектов, то возможно этот комит должен быть просмотрен другим участником!

Есть база данных pending commits... Очередь и все они потихоньку обрабатываются, некоторые могут неделю ждать!

Без контроля качества и доступом всем к production счастья не будет!!! И откатывания комитов стоит в 10 раз дороже, чем предупреждение комитов. Дорожите существующим, а не возможностью внести пару точек.

И валидаторы должны быть глобальными! Это только поможет другим сообществам не изобретать велосипедов по проверке границ, coastline, различных типов дорог и т. п....

(Блин кому бы пропозал этот написать...)
bopoh13 2012
Чтобы проект мог перейти в стадию конечного продукта необходимо создать структуру (в тех частях, где её еще нет) и её поддерживать. Это первоочередная задача.
В техническом языке всегда есть структура, не позволяющая месту быть любым разночтениям. Не стоит гоняться за сроками (Ай, ну когда же обновиться рендер...). «Лучше день или неделю потрать на проверку, чем потом искать и исправлять ошибки».
lenux 2012
Как можно просто в одну команду получить текстовый файл вида: lat,lon,«type»,«Name»? Из осм файла.
dkiselev 2012
Виктор Щерб, что вы будете делать с зависимыми коммитами ? Какую версию вы будете отдавать в ответ на запрос?

Уж я скорее в систему с кармой поверю, не смотря на то что с нею можно химичить, чем в глобальный гитхаб масштабов карты всей планеты.
liosha 2012
С «глобальным гитхабом» ровно та же проблема: на текущую нодовейную схему данных его повесить невозможно.
И автомодератор с ней тоже не сделать, потому что на текущей схеме даже примитивная валидация топологии мультиполигона — это уже пятиэтажный запрос в базу, а проверять-то надо изменение каждой точки. От такого моментально сляжет любой сервер.
Популярное