43 заметки с тегом

няк

Народные картографы берут лупу

У карты OpenStreetMap нет масштаба. Другими словами, одна и та же база геоданных используется для обзорки всей планеты и для схемы прохода между сараем и туалетом. Когда мы рисуем залив или люк на дороге, мы не задумываемся, на каких масштабах и как их будут отображать. Дело редакторов — внести максимум данных, до уровня, когда не приходит в голову мысль остановиться. Дай осмерам волю — они лес замапят как набор деревьев, с грибами и ягодами между ними.

Отсутствие рамок неудобно пользователям данных. Оно означает, что OpenStreetMap категорически нельзя использовать без предварительной обработки. Для любой цели — поиска, прокладки маршрутов, отображения, — данные нужно отфильтровать: например, убрать слишком мелкие здания и боковые пути железных дорог. Затем нужно упрощать геометрию: лес в парках и мелкие реки часто обклацаны с сантиметровой точностью. Чтобы сделать карту, на которую не больно смотреть, без подсказок опытного осмера не обойтись.

Карта Яндекса не такая. В неё нельзя всматриваться бесконечно: рано или поздно пустоты затмевают детали. У этой карты есть расчётный масштаб: примерно 250 метров в сантиметре (если вы помните детализацию карт Генштаба). Для всех целей Яндексу этого достаточно. Именно поэтому народные картографы должны были страдать. Правилами и модераторами им били по рукам, когда они рисовали слишком мелкие детали.

© Юрий Дегтярев, mosday.ru

Вся история изменений правил — это история понижения масштаба. 2016: у домов появились подъезды. 2017: разрешили рисовать гаражи-ракушки и дороги в два ребра. 2018: можно рисовать трёхмерные модели зданий, указать плохое состояние дороги и доступность проезда для велосипедистов. 2019: разрешили соединять графы пешеходных дорог, рисовать парковочные карманы и схемы помещений. 2020: площадки отдыха вдоль дорог и сезонные заведения и дороги.

Нынешний год пускает всю диктатуру масштаба яндекс-карт под откос. Народные картографы одновременно ликуют и не понимают, где им остановиться. Сначала в марте на подъездах разрешили расставлять номера квартир. Казалось бы, осмеры делали это первыми. Но, во-первых, у редактора яндекса форма ввода удобнее, и сразу предлагает заполнить квартиры по этажам. А во-вторых, всего за две недели их редакторы ввели в России столько же подъездов с квартирами, сколько в OSM — за всё время.

Теперь пришли сразу две поправки, разрешающие рисовать скамейки и «декоративные» заборы. Это невиданная степень свободы для народных картографов. В полутора сотнях комментариев они пробуют стены детализации на прочность: «отбойники можно?», «а заборы между участками в частном секторе?», «скамейки со спинкой или без?», «а скамейки в торговых центрах?», «урны скоро будем?», «а каждая скамейка считается за отдельную правку?» Сотрудники яндекса едва успевают отвечать отказами — но волна новых микромапперов рискует смыть их критерии полезности и порядок на картах.

Возможность нарисовать что угодно отличает OpenStreetMap от всех остальных карт. Мы слышали про истории успеха с пожарными гидрантами, отдельностоящими деревьями и знаками на магистралях. Этой карте нет альтернатив по скорости обновления и глубине детализации. Она была первой в этом роде, и поэтому все, кому важны данные, а не просто посмотреть, взяли OSM в оборот.

Но когда твой проект обгоняет все другие геоинформационные системы на двадцать лет, это не значит, что все другие отомрут. Как мы видим на примере яндекс-карт, это лишь означает, что через двадцать лет тебя догонят и обгонят. Преимущества открытого проекта тают с каждым годом. Остаётся только эта самая открытость — но и она приносит больше проблем, чем пользы. Что нужно сделать для OpenStreetMap, чтобы на вопрос, где регистрироваться, не отвечать «ну эээ...»?

 3 комментария   2021   няк

Агентам справочника вход воспрещён

Анна из «народной карты» расписала в их блоге, откуда берутся заведения на картах яндекса. В компании ведут два набора данных: «справочник» и «народная карта». Копирование данных налажено пока только из карты, скоро будет и обратное. И этот поток автоматических правок будет куда сильнее: ведь доля пользовательских данных в наполнении справочника очень мала.

Здесь всплывают две темы: постепенное замещение картографов-любителей роботами на «народных картах» под безграничное терпение первых и приоритеты в картографировании заведений. Обе темы подчёркивают радикальное отличие и «народных карт», и просто карт Яндекса от OpenStreetMap во всех своих ипостасях.

Приоритеты

В заметке перечислены восемь источников данных о заведениях, которые склеиваются и доступны из поиска на карте: правки народных картографов, сообщения из разных видов обратной связи, информация от организаций и от оплачиваемых сборщиков данных. Сколько из них есть в OSM? Только два: правки осмеров и заметки на сайте. Хотя, честно говоря, заметками владельцы заведений не пользуются, потому что их почти невозможно найти.

Где всё остальное? Ладно, у нас нет службы поддержки и сотрудников, обзванивающих организации. Но многие компании специально платят, чтобы их филиалы наносили на карты — и мы осознанно сопротивляемся этим «импортам». Что хорошо для всех популярных карт, оказывается плохо для OpenStreetMap. Как же так?

Дело в целевой аудитории. Кто адресат нашей карты, для кого мы рисуем? На сайте и в вики про это ни слова. «OSM предоставляет данные тысячам сайтов» — ничего не значащее утверждение, этот блог тоже предоставляет. А если OSMF и администраторы сайта отказываются ограничить ЦА карты, за них это сделают сами картографы. Самым очевидным способом.

OpenStreetMap — это карта для картографов под открытой лицензией. Два тезиса, которые определяют все решения в проекте. Открытая лицензия регулирует отношения со внешним миром: запрет на нелегальные данные и обклацывание гугля, публикацию планеты под ODbL, экосистему открытого кода. А первый тезис, что целевая аудитория — это картографы, регулирует все вопросы внутри сообщества. Прежде всего, конечно, тегирование, требования к редакторам и выбор допустимых слоёв для импортирования.

Самое неочевидное, что следует из ориентированности на редакторов карты, — это ограничение на размер данных. Когда их становится слишком много (например, после массового импорта «зелёнки»), сообщество бунтует и заводит reverter. OSM состоит из одного слоя, который непросто разделить по типам объектов, поэтому один перегруженный слой затрудняет редактирование остальных. Нарисовали схему помещений — контур здания теперь не улучшить. Импортировали Corine — проще закрыть редактор, чем обозначить вырубку. Обозначили каждый лоток на рынке — никто не будет обновлять информацию, да и проходы трогать побоятся.

Поэтому участники неодобрительно смотрят на импорты заведений. С одной стороны, пользователям карты хорошо: можно найти в любимом Maps.Me или OsmAnd заправку по пути и кафе у гостиницы. С другой, мы рисуем OSM не для пользователей: сотни тысяч, если не миллионы, импортируемых точек нужно проверять, поддерживать, обновлять. Никто этим не будет заниматься, а потому они не должны быть частью карты. Карта — для того, что интересно рисовать и несложно поддерживать.

Роботы

Задачу поддержки заведений из сторонних источников решить несложно: периодически проверять и импортировать заново. От картографов ничего не понадобится, только верить и не мешать. Разумеется, правки импортированных данных сохранятся после обновления — или нет, смотря сколько времени прошло. В перспективе это можно распространить на «зелёнку» и адреса.

Получится, что за существенную часть данных OpenStreetMap — сотни миллионов объектов — будут отвечать роботы, пусть и курируемые людьми. Медленно процесс поддержки данных OSM будет мигрировать к модели википедии, когда в истории правок любой статьи минимум 10% правок идут от роботов, следящих за порядком. Потому что если можно импортировать, то почему нельзя автоматически amenity=sauna заменять на leisure=sauna? Логично же это поручить роботу и спать спокойно, зная, что база консистентна?

В народных картах Яндекса это само собой разумеется. Там автоматизировано всё: импортирование данных в новых странах, сдвиг объектов при обновлении снимков, обновление данных из справочника. Роботам помогают сотрудники на зарплате и участники «Толоки», которых всё больше. Когда нужна актуальная и полная карта, полагаться на добровольных картографов-любителей недостаточно — это очевидно примерно всем. Поэтому народная карта мигрирует влево по шкале свободы картографии, усиливая контроль над содержимым карты.

Активным участникам сообщества НЯК это, конечно, не нравится. Данные от людей на зарплате предсказуемо хуже работы любителей — по всем показателям, кроме тех, что входят в ТЗ. «Теперь я не слежу за порядком. Спасибо яндексу за это», — хлопают дверью модераторы. Да и под заметкой про интеграцию справочника немало недоумённых комментариев. Это всё люди, которые не успели перестроиться три года назад и не поняли, что «народная карта» больше не самостоятельная песочница, где можно в одиночку нарисовать и поддерживать город, а инструмент обратной связи к картам Яндекса. Народные картографы теперь не столько правят карту, сколько корректируют импортированное и нарисованное профессионалами.

Очевидно, что автоматические правки противоречат целям сообщества OpenStreetMap: иметь карту, которую весело редактировать. Картограф с опытом всегда найдёт, какую претензию предъявить оператору любого скрипта. Данные плохо привязаны. Теги неправильные, но замена неравнозначна. Формат телефонного номера не тот. Это дискриминация против малого бизнеса. Хорошо, но проверяй каждый объект вручную. Этим атрибутам не место в OSM. Посмотрите на TIGER, хотите повторения? Любой импорт или автоматическая правка должны пройти через болото уныния, и редкий энтузиаст доползёт до его середины.

Мы говорим «карту может поправить каждый», но мы же и говорим «карта для любителей, а не корпораций». Мы ратуем за карту без дискриминации, но в то же время рисуем таблички про вход воспрещён. Открытый проект, но пожалуйста, не надо. Решить это противоречие может сильная структура, наделённая правом окончательного голоса. Но в нынешней парадигме «Совет + рабочие группы» такая структура невозможна. Тут либо делать альтернативный проект, либо повторить то, что Стив Кост сделал четырнадцать лет назад: выкручиваться малыми силами, находя новые смыслы в существующих структурах. И не сказать, что это невозможно. Продолжение.

2010—2015

Вчера Народным картам Яндекса исполнилось пять лет. В честь праздника сотрудники компании радикально поменяли интерфейс и удалили большую часть правок пользователей.

Бета-версию нового интерфейса карт Яндекс показал осенью 2013 года. Она непривычная, но современная и неожиданно простая в изучении. Всё как у других: вместо боковой панели — россыпь кнопок и полей по периметру карты во весь экран. Вчера бета-версия стала основной. Николай «petrovnn» обратил внимание на аналогичную смену дизайна НЯК, а Евгений «Hind» положительно сравнил скорость его работы с iD. Отличный подарок, ура. Но почему в блоге яндекса пишут «сама Народная карта превращается в редактор Яндекс.Карт», и почему пользователи воют? Дело в новой модели данных и в глобальном импорте.

Новая модель данных выглядит серьёзно. Во-первых, в ней ничего лишнего: никаких дополнительных полей, вроде звёзд для гостиниц, минимум типов. И интерфейс не предусматривает излишеств. Интересно решена проблема множественных адресов: теперь только адресные точки. Во-вторых, фокус сместился на геометрию. Тут получилось очень круто, и тем способом, который я постоянно советую сделать для OSM: всё в отношениях. То есть, редактор Яндекса с аудиторией в десятки миллионов делает то, чего боятся все до единого наши редакторы: удобная правка отношений на всём. Все полигоны — мультиполигоны, и все линии — мультилинии. Например, улицы. Виртуальные характеристики, вроде названий, на отношении, кусочки с покрытиями и статусами — на геометрии. Про редактирование мультиполигонов отлично написал Павел Гущин. Это гениально, и было реально сделать в осме сто лет назад, но мы же гики и боимся отношений.

Редактором, кстати, невыносимое наслаждение пользоваться. Он быстр так, как не снилось никому в мапбоксе, все элементы достаточно крупные (кроме POI на карте, но это, наверное, починят), точки ставятся и двигаются, как будто в DOM кроме них ничего нет, анимированные панельки выпадают, сервисные кнопки, вроде отключения лишних слоёв, делают вид, что их нет, и всё внимание на редактировании карты. Конечно, новые источники данных, как треки, не появились, со смещениям снимков тот же бардак, но всё, что было в старом НЯКе, стало в тысячу раз удобнее и понятнее.

Новый редактор — больше не народные карты. Это редактор карт Яндекса. Как в гугле. На основных картах теперь рисуются именно эти данные. Модерация, понятно, стала жёстче: никакого автоподтверждения за три дня, проверяют каждую правку. То есть, как и в гугле, это теперь не редактор, а продвинутая система сообщения о неточностях — с той разницей, что там наёмные индусы, а в Яндексе — накопленная за пять лет армия преданных модераторов, умеющая разобраться даже в сложных правках. Проникновение полное: и прокладка маршрута (есть редактор запретов поворотов), и даже пробки. То есть, задача, к которой в осме все боятся подступиться — пробки по ежедневно редактируемому графу — здесь решена так, что никто даже не успел удивиться.

Так вот, старый НЯК. Иван «luiswoo» на форуме правильно замечает, что это нужно было сделать с самого начала. Но за пять лет проект накопил адовое количество данных: там 380 тысяч пользователей, это как в OSM во всём мире. Конечно, без офлайна объектов они ввели поменьше, но это ж НЯК. Помните, как у нас фигачат странные люди, которые при вопросе об источниках бесятся и хлопают дверью? Так вот, у Яндекса все такие увлечённые. Только несовершенство редактора не позволяет им покрыть планету данными ровным слоем. И вот, новый НЯК — это совсем другой проект с другой базой данных. В него сливаются данные как из народной, так и из основной карты, и приоритет, конечно, у последней. В новой базе нет привязки объектов к фотографиям и нет ни одного комментария к старым объектам. Дополнительных атрибутов и описаний тоже нет. Но основное-то сохранилось?

Короткое изучение пары районов обнаружило, что зачастую — например, в Москве — данные НЯК просто не попали. Все пешеходные дорожки в парках — ёк. Кропотливо прорисованные контуры домов пропали. Плавные линии дорог на перекрёстках теперь под 90°. Аккуратные острова в речках смялись и съехали. Если включить слой старых карт в редакторе и сравнить, руки опускаются. Именно поэтому пользователи в комментариях блога хватаются за голову и уходят из проекта навсегда. Задача слияния данных непроста, и сотрудники Яндекса взялись за неё так же, как за всё остальное: втихаря. Никто не знал, например, что правки с января 2015 года имеют реальный шанс не попасть на новую карту. Никто не смог обвести и выслать компании свои регионы, где поправлены адреса и проходимость дорог. В ближайшие пару месяцев всё общение в клубе будет состоять из «вон тут ещё забыли импортировать». А потом будет поздно: «сервис [старых народных карт] будет доступен минимум несколько месяцев, а дальше будем смотреть по обстоятельствам».

Новые карты Яндекса очень затруднят привлечение новых участников к редактированию OpenStreetMap. Если бы не известный пункт в их соглашении, про использование данных только через API Яндекса, объяснить целесообразность участия в нашем проекте было бы невозможно. Да и сейчас — ну кому какая разница, чьими становятся данные, если яндексом пользуются все, а осмом — только три хромых программиста и доктор Айболит? От глобального доминирования народные карты отделяют только перевод интерфейса на все языки (а инфраструктура для мультиязычных названий уже есть) и отсутствие мобильного редактора. Когда это будет — проект победит карты гугля и станет головной болью уже всего осмерского сообщества, а не только русскоязычной его части. При нынешней модели управления OSM мы не можем ни улучшить модель данных, ни сделать качественный редактор. Единственное, в чём мы великолепны, — это сообщество. Яндекс раз за разом проваливает работу с сообществом, по-русски считая, что уйдут эти — придут другие. К сожалению, этот подход работает. Но как иногда хочется, чтобы OpenStreetMap показал своё превосходство не потенциально через пятьдесят лет, а прямо сейчас.

См. также: запись OSM радио с сотрудниками и участником НЯК

 21 комментарий   2015   няк

Закат народных яндекс-карт

Народные карты — проприетарный продукт, на который могут повлиять только сотрудники Яндекса. Поэтому все записи в клубе проекта делятся на два типа: просьбы с вопросами и заявления. Подписавшись на ленту клуба, даже без вникания в тексты можно получить впечатление о скорости развития проекта: когда несколько месяцев читаешь одни только вопросы про категории (от просьб участников НЯК отучили давным-давно), становится грустно. Послезавтра у проекта четвёртый день рождения, и я задался целью посчитать, как давно сотрудники Яндекса баловали участников. Для этого я прочитал почти две тысячи сообщений, выделил из них заявления сотрудников, рассортировал их и построил такую диаграмму (увеличивается по клику):

7-8 апреля 2010 года в клубе опубликовали 11 организационных сообщений, включая FAQ и копилки баг- и фичреквестов. В течение полутора лет сотрудники появлялись в клубе, чтобы сообщить о новых возможностях: так, 16 декабря появились точечные объекты, а в большом обновлении 26 апреля 2011 года 11 типов расширили в 152 категории объектов. Следующее большое обновление, 15 декабря, коснулось картостилей и интерфейса. Последнюю значительную новость опубликовали 5 марта 2012 года, больше двух лет назад: тогда слой НЯК добавили в Яндекс.Карты, сделав «автопроваливание» в местах, где покрытия собственных карт не хватало.

Разумеется, сотрудники не отмалчиваются в промежутках, а комментируют почти каждое сообщение — конечно, в рамках полномочий. Другими словами, в отсутствие программистов с 2012 года, конструктивно получается отвечать только на вопросы по рисованию и категориям, остальное — «мы работаем над этим». Для поддержки духа сообщества сотрудники придумывают не связанные с кодом занятия: постоянно улучшают текст помощи и правил рисования, выкладывают статистику, собирают ссылки из СМИ и других блогов НЯК. Часть этих сообщений помогает Народным картам как проекту: например, те же правила рисования, от отсутствия которых в сообществе OpenStreetMap царит анархия. Увы, с 2013 года таких новостей было всего две: недавно, в феврале, уточнили правила рисования дорог, да выложили четыре обучающих ролика 24 мая прошлого года.

Видимость жизни обеспечивается регулярными сообщениями двух типов: пополнением покрытия спутниковыми снимками (раз в две недели, в отличие от наших трёх месяцев) и, с 9 апреля 2013 года, новыми печатными картами небольших городов. Две недели работы программиста и дизайнера, или несколько лет — коммьюнити-менеджера, плюс ощущение жизни в сообществе: выбор очевиден. У участников появилась цель: нарисовать свои города на «отлично», чтобы сотрудники поблагодарили их склеенными тайлами, подписанными именами картографов.

Честным было бы (при невозможности назначить хотя бы пару программистов) со словами «да гори оно всё огнём» закрыть проект. Но при 300 тысяч пользователей, 10 тысяч из которых общаются в клубе, это непросто: Яндекс об имидже пока заботится больше Google. Другие варианты развлечения сообщества четвёртый год подсказывают сами участники: конкурсы, подарки, встречи, пиар. Полагаю, всё это требует невозможных в компании согласований. Что произойдёт с сообществом, если сотрудники продолжат бездействовать? Ничего: люди приходят в проект не потому, что он живой, а потому что это Яндекс. Как и с Google Map Maker, причастность к великому, к картам, которыми пользуется каждый, перевешивает и закрытую лицензию, и чересчур рьяных модераторов, и депрессивное сообщество.

В клубе дважды нанимали на должность коммьюнити-менеджера НЯК: человека, который для участников будет «лицом проекта». С 2 ноября 2010 года эту роль блистательно выполняет Сергей «akbars». Первый наём был 27 апреля — а в мае я открыл для себя OpenStreetMap, скачав велокарту Финляндии. Кто знает, услышь я о НЯК тогда, не сложилось ли бы всё иначе?

 9 комментариев   2014   няк

2013

Год назад я предсказывал год редактора карты. К сожалению, это сбылось наполовину: 2013-й был щедр на инструменты для редактора-новичка. Например, красивый iD, удобный Go Map и обновлённый osm.org. Футуристичный новый OWL застыл, как множество других хороших проектов, в отсутствие автора. Сервер смещений упомянули в гениальном учебнике LearnOSM, так и не переведённом на русский, но до сих пор не включили в iD. И да, прошлый год ознаменовался почти тотальным контролем компании MapBox над всем основным инструментарием, кроме JOSM и всякой мелочи. Когда-то мы радовались этому: наконец-то дизайнеры, программисты, вот эти все, — но сейчас оно выглядит не очень хорошо. MapBox показал, что в нашем проекте настолько не хватает всего вообще, что любая компания может прийти и возглавить OSM, хотят участники того или нет.

Количество пользователей увеличилось в полтора раза, мапперов — на треть. Качество дискуссий осталось на прежнем уровне, если не упало. Ни одного нового учебника за год, ни одной русскоязычной конференции, даже встреча в Псковской области, назревавшая полтора года, сорвалась. Мы ни с кем не общаемся. Зато карту используют все. Где она только не всплывала — в теленовостях и сериалах, в газетах и журналах, на инфостендах, в рекламе дорогих машин, на сотнях сайтов, включая вконтакте и всякие министерства. И на форумах, конечно, хотя массовый их захват ещё впереди.

Подумать только — два года назад мы завидовали НЯК, которых напечатали в телефонном справочнике небольшого города.

Тем временем, другие люди начали понимать, что открытые данные — это хорошо и полезно, и начали открывать свои залежи. Все министерства, муниципалитеты, советы обязали сделать странички на сайтах с такими данными. Получилось полезно, пусть иногда и смешно. Энтузиасты понемногу разгребают горы мусора и приводят данные в порядок: особенно активны ГИС-Лаб (например, ОД Москвы) и НП «Информационная культура» (их хаб открытых данных).

Темой 2014 года в OpenStreetMap будет порядок в данных. За прошедшие пару лет даже давние и опытные участники сообщества смирились с мыслью, что база данных превратилась в помойку с мусорными тегами и непонятным статусом. Пора это исправить. Программисты в этом году будут работать над инструментами обработки этого большого массива геоданных: анализом и откатом пакетов правок, классификацией тегов, валидацией. Мапперы, надеюсь, больше времени посвятят документированию. Не всегда добровольно: тренд по автоматической замене и удалению «бессмысленных» тегов популярными редакторами и ботами заставит их защищать свой выбор. Порицаемой многими процедуре пропозалов в вики пора найти альтернативу. И, конечно, уроки. В этом году, определённо, появится множество новых учебников и уроков по OSM, в том числе на русском языке. Возможно, мы, наконец, придём в школы и институты.

Этот блог же перестал выполнять свою миссию ежедневного источника новостей. Но он живёт, небольшими заметками раз-два в неделю. Жаль, не нашлось человека, способного поддержать новостной поток. Мы придумаем другой способ: вероятно, в форме подкаста с обсуждением новостей за неделю, или обычными для других стран еженедельными списками ссылок (тарзан-стайл, если кто помнит). Как я нередко говорю, если спустя три года в проекте ты занимаешься тем же, что и в начале — это ненормально.

Удачного года. Мапим дальше.

Ранее Ctrl + ↓

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.