ШТОСМ: заметки с тегом статистика

Миллиард

Илья Зверев — Sun, 07 Nov 2021 15:59:13 +0400

Аманда обратила внимание, что в субботу американский картограф залил в базу линию с круглым номером — 1 000 000 000.

Практического смысла в таких событиях нет, зато это повод отметить рост OpenStreetMap. Как в феврале можно было отпраздновать стамиллионный пакет правок, в апреле — точку 2³³, а скоро мы увидим десятимиллиардную точку.

Таких ошибок, как восемь лет назад, когда номера точек перевалили за 32-битный лимит, и многие приложения сломались, мы уже не допускаем. Или..? Что произойдёт через пару лет, когда номера линий тоже выйдут за 2³², требуя другого типа данных для их хранения? Когда чинили типы для точек, все ли попутно увеличили лимит для линий?

Некоторые готовятся уже сегодня. Например, Overpass API. В нём есть отдельный тип данных, area (области). Его идентификаторы генерируются из идентификатора линий или отношений, добавлением фиксированного очень большого числа. Но что выглядело большим десять лет назад, теперь пугающе близко к настоящим номерам. Для линий выделено окошко всего в 1,2 миллиарда значений. В следующем году нумерация area на замкнутых линиях в Overpass API начнёт пересекаться с областями на отношениях.

В версии 0.7.57 Overpass API, вышедшей в октябре, такая нумерация областей больше не поддерживается. Автор переписал обработку замкнутых линий, и теперь нужно пользоваться либо запросами на поиск области по названию и местоположению, либо кодом way(1234567); map_to_area;.

Хитрости с числами рано или поздно выходят боком. Вспомним проблему 2000 или даты в GPS. Хочется сказать: не делайте так. Но такие оптимизации помогают сделать алгоритмы быстрее и уменьшить их требования к памяти. Аккуратное отношение к типам данных помогло, например, когда-то запихнуть движок OSRM внутрь мобильного приложения MAPS.ME.

Так что решение — не мешок побольше, а постоянная поддержка. Заходить раз в пару лет в репозиторий и проверять, что предположения, сделанные годы назад, ещё верны. Жаль, что в мире открытых исходников популярность не означает денег на поддержку, и некоторые инструменты устаревают просто потому, что некому поменять несколько букв в исходном коде.

Тротуары Лондона недостаточно широки для твоей мамы

Илья Зверев — Thu, 04 Jun 2020 10:23:38 +0400

Увидел очередную заметку на тему ширины тротуаров и социального дистанцирования, и немного вскипел. Сколько можно делать этот бессмысленный арт, отвлекая внимание от остальных каналов телеграма?!

Собрать данные о тротуарах в масштабе подобных карт — сложнейшая задача, недоступная непрофессионалам. «Урбика» собирала их для Москвы в 2015 году, и получилось совсем чуть-чуть. Мили Харви для карты Нью-Йорка совершила вычислительное чудо в GeoPandas. На картах ширин тротуаров мы видим многолетнюю работу специалистов, десятки тысяч километров промеренных дорог, сложные гео-вычисления — это нельзя не уважать.

Но связывать эти карты с коронавирусом и урбанистикой стыдно.

Социальное дистанцирование, которое нужно соблюдать, — не то же самое, что физическое. В первом случае вы избегаете контактов с людьми: не ходите в гости и на мероприятия, откладываете покупки и поездки. Физическое дистанцирование — это рекомендованные 2 метра друг от друга. С 18 марта ВОЗ говорит только о физическом дистанцировании — не потому, что зараза научилась прыгать с человека на человека, аки блоха. А потому что в понятие социального дистанцирования входят и виртуальные связи, которые сейчас нужно укреплять, а не обрывать. Лучше пусть встречаются, но не близко.
При движении круг опасности заражения вокруг вас сужается и вытягивается назад. Даже если бы заражение было мгновенным от одной частички вируса, достаточно было бы обходить других за один метр, но держать расстояния в три метра от следующего. Для бегунов и велосипедистов «хвост» вируса может вытягиваться до 20 метров. Поэтому два метра — это слишком.

Из препринта исследования Берта Блокена сотоварищи

Вероятность заболеть также пропорциональна количеству частиц вируса, которые вы соберёте. Для заражения нужно взаимодействовать с больным на очень близком расстоянии, либо долгое время, 10-15 минут. Пройти мимо больного на улице практически безопасно. Если вы остановились поговорить со знакомым на десять минут и стоите не вдоль, а поперёк тротуара, то да, вам может понадобиться два метра.
Карты ширин тротуаров лукавят. Два метра ширины они кладут в «красный» сектор, потому что от 60% до 90% тротуаров уже достаточно широки. Авторы агитируют за тротуары от трёх, и то и пяти метров, как на карте Нью-Йорка. Если представить, что все тротуары сделали шириной пять метров, то мы получим условный Минск. Несоразмерные человеку площади, гигантские бесполезные пространства. Разумный город захочет их сузить: поставить торговые палатки и скамейки, посадить кусты. Эффективная ширина тротуаров вернётся к двум метрам. Вирус довольно потирает метафорические ручки.

Даже картография тут расстраивает. Нынешняя эпидемия вируса осыпала нас гигантским количеством карт. Распределение заражений по странам, свойства городов, перелёты, закрытые границы. Каждая из этих карт по-своему чудовищна. Что немного предсказуемо: вирус не знает про границы, статистика не сохраняет индивидуальные случаи, а карты не умеют показать то, у чего нет координат. Когда кто-то пытается собрать эти координаты в достаточном количестве, они напарываются на этическую проблему с тотальной слежкой. Проблема неразрешима, если мы всё ещё думаем о людях, а не о карте и вычислениях на ней.

Мир захватили инженеры. Им свойственно считать, что знание инструментов и алгоритмов заменяют любую экспертизу. Нет проблем, есть технические задачи. Во время самоизоляции есть куча времени, чтобы покопаться в форматах, установить библиотеку, поиграть со слоями. Ощущить свою полезность через код и пиксели. Не нужно быть картографом, чтобы сделать карту. Как и в остальном информационном дизайне, инфографика теперь не для объяснения чисел, а их разукрашивания. Написать «Россия 12000» некомильфо, нужно нарисовать кружок в Красноярском крае. Самые продвинутые качают GeoJSON регионов и раскрашивают их в картограмму. Снова техническая задача. Снова простое, но неправильное решение.

Это гугль, но у яндекса то же самое. Хорошо, что это пятно до Москвы доберётся нескоро

И вот у нас есть карта ширин тротуаров. Какое её полезное действие? Если расширить тротуары — то где анализ, можно или нельзя, пешеходные потоки и почему это надо? Если привлечь внимание к дистанцированию — то почему три метра, а не два? Если поразвлекать — то почему эти карты невозможно читать? Нужно масштабировать, но непонятно, зачем. Я вглядываюсь в полоски — чтобы что? Понять, где можно говорить со случайными знакомыми, встав поперёк тротуара, а где нет?

Несоответствие труда и выхлопа огорчает. Сочетание никакой цели и огромных средств — самоизоляция, как видно, высвободила огромные ресурсы, люди могли бы приносить пользу, как когда-то Джон Сноу, но вместо этого тратят время на фигню.

Польза от всех этих вирусных карт, с тротуарами, кружочками, стрелочками, есть. Но нужно понимать, что она только для одного человека: автора. Он или она прокачали свои навыки работы с данными, визуализации, кодирования. Пополнили портфолио. А для других людей это лишь очередной мемчик: посмотрели, хмыкнули, перешли к следующей картинке.

Вот что меня и выбесило — пока я смотрю мемчики, люди рисуют карты, пусть бессмысленные, и прокачивают навыки. Хватит, третий месяц пандемии завершается, пора. Пора закрыть ленту и открыть метафорический QGIS. Раскопать проект, заброшенный пять лет назад, и довести до ума. Придумать собственный мем. Написать в штосм. Или, хотя бы, порисовать деревни.

Одни автопортреты

Илья Зверев — Sun, 26 Mar 2017 13:10:25 +0400

Недавно картинкой недели в вики выбрали скриншот коллекции OSMvis, где собраны визуализации данных OpenStreetMap и нашей вики. Все их создал Франц-Бенджамин Мокник, постдок на той же кафедре гейдельбергского университета, откуда вышли MapSurfer и OpenRouteService.

Этот сайт напомнил мне про See, also: тоже коллекцию визуализаций, но по данным википедии. Как и полагается более старому и более популярному проекту, в этой коллекции на порядок больше ссылок, но и авторы разные. Если посмотреть на темы работ в обеих коллекциях, налицо одно важное отличие.

Предметом визуализаций по OpenStreetMap почти всегда является OSM. А то и не почти. Распределение тегов, распределение правок, плотность данных, белые пятна, реки, «как мы хорошо помапили Африку». Все популярные в сообществе визуализации — а это и ResultMaps Паскаля, и видеоистории правок, и ITO Map, — сделаны только для осмеров. В See, also часто визуализируют не саму википедию, а содержание статей. Например, популярность музыкальных жанров в разные годы или распределение некрологов по полам.

Встречаются красивые картинки на основе OSM: Sorted Cities, Interchange Choreography, Roads to Rome, Smelly Maps. Почти все они сделаны дизайнерами «со стороны», упомянуты в одном твите или картинке в OSM и забыты. «Прикольно, но не про нас».

Города, заканчивающиеся на -ск* (темнее — больше доля): визуализация Places!

Мы много говорим о пользе OpenStreetMap и постоянно чувствуем тягу к картам. Хотя не каждый сможет описать, чем так хорошо рисование или просмотр карт. Это же не только поиск маршрута к магазину и не только обклацывание домиков для координации гуманитарной помощи. Хорошая карта не только точно отражает состояние местности. Но и даёт лучше понять окружающий мир, показывает неожиданные закономерности в сетке улиц или парков вокруг твоего дома. Карта может быть книгой, вчитываясь в которую узнаёшь об истории, геометрии, градостроительстве, дизайне, лингвистике, о привычках и обычаях жителей. Можешь увидеть схожесть и различия в жизни своего города и европейского, и даже между своим и соседним кварталами.

Картографические визуализации — такое же непаханое поле, как инструменты для работы с OpenStreetMap. Статьи в википедии двумерны, но OSM трёхмерен, и потому хороших визуализаций должно быть не пять и не сорок пять, а сотни и тысячи. И лучшие из них должны быть собраны на красивом информативном сайте. Для этого нужно, чтобы мы перестали относиться к карте как к «открытой базе геоданных всей планеты» и увидели мир за набором точек, линий и отношений.

Дело о нотариусах

Илья Зверев — Tue, 07 Feb 2017 20:58:05 +0400

(Фотография с пикабу)

Если кто-то хочет ввести в вики OpenStreetMap новый тег, нужно создать для него пропозал: страницу, объясняющую суть, модель тегирования и чем тег поможет. Процесс древний и хорошо документированный. Создав страницу, начните обсуждение в рассылку tagging@, через пару недель запускайте голосование, и его результаты покажут, насколько тег интересен другим мапперам. Правда, в рассылке живут около ста человек, голосуют 15-20, причём редко те же люди, которые тег потом будут использовать.

Пользователь Math1985 полгода назад проследил, как пропозалы, устаревания, картостиль и пресеты (заготовки) редакторов влияют на популярность тегов. Он воспользовался гениальной страницей Мартина Райфера, которая строит график популярности для любого количества тегов. Исследование Math1985 показало, что картостиль не влияет никак, вики влияет лишь поверхностно, а вот пресеты побеждают всё. Наиболее показателен случай shop=seafood против shop=fishmonger: в 2010 году первый победил второй в вики-голосовании, но благодаря Potlatch 2 и iD значений fishmonger было больше до 2014 года, когда пресеты в iD поправили.

Месяц назад один человек обозначил офис нотариуса как office=lawyer, а другой заметил это и вместо того, чтобы добавить уточняющий тег lawyer=notary, перетегировал в office=notary. Я про такой вариант не знал, на вопрос мне ответили, что этот тег указан в пресетах JOSM. Два тега для обозначения одного и того же — ненормально, поэтому углубляемся в историю.

В мае 2010 года в вики создали страницу для ключа office и 12 его популярных значений, включая office=lawyer. На странице для последнего сразу указали три возможных уточняющих тега, среди них — lawyer=notary. В тот месяц в рассылку tagging@ написали полтысячи писем, включая обсуждение shop=fishmonger, но не про office. Тем не менее, сразу после описания в вики на карте начали появляться офисы нотариусов, обозначенные задокументированной парой тегов.

Спустя четыре года, в марте 2014, пользователь CMartin отредактировал таблицу значений тега office, добавив туда пять строк, включая office=notary. На личное письмо он ответил, что обсуждения не было, он лишь внёс заметные значения из таблицы Taginfo. Через полгода строчку в таблице заметили и в её описании сослались на устоявшийся способ тегирования: office=lawyer. В таком виде список провисел до ноября 2016 года, когда Math1985 заменил его на автогенерируемый из Taginfo.

В ноябре 2015 года Klumumbus вытащил список значений office в заготовки JOSM. К этому моменту в базе было примерно 240 тегов office=notary против 860 lawyer=notary. Разумеется, после выхода новой версии JOSM первый график рванул вверх, а второй замедлился. На этот момент первый ещё не вырвался вперёд: у нас 925 office и 1020 lawyer. Росту способствовала и короткая вики-страница тега, которую, не разобравшись, создал Math1985. Он даже не упомянул альтернативный тег.

Ошибка налицо, в январе этого года я решил её исправить, создав тикет в JOSM на замену тега в заготовках. Увы, это непросто: подошёл человек из Бразилии и рассказал, что там нотариусы не являются юристами. Klumbumbus подхватил его мысль, предложив, если что-то не нравится, пройти в рассылку tagging@. Железный аргумент, фиг оспоришь. А остановки — не дороги, почему они в highway? Или почему аптеки — amenity, когда там торгуют?

Другими словами, название тега и значение тега — разные вещи. BushmanK целый год по-всякому объясняет это в своём дневнике. Проблема здесь не в обозначении, а в двух тегах для одного и того же. Благодаря бездумному копированию из таблиц, оба набора тегов теперь используются примерно одинаковое количество раз. Именно это я хочу исправить: давайте выберем один и будем его придерживаться. И у office=notary нет никаких преимуществ, кроме присутствия в заготовках JOSM.

Борьба продолжается: я только что написал в рассылку tagging@ и не ожидаю, что все её читатели легко согласятся. Впереди, наверное, и пропозалы, и голосования. Тем временем, влияние JOSM на статистику должно ослабнуть. Не потому, что началась дискуссия. А потому что в редакторе iD в субботу тоже добавили пресет для нотариуса. С правильными тегами.

Вожделенная галочка

Илья Зверев — Wed, 18 Jan 2017 17:59:47 +0400

Два сайта статистики пользователей должен знать каждый русскоязычный маппер: stat.latlon.org с рейтингом по правкам и HDYC с россыпью чисел. Весной прошлого года на последнем у некоторых участников появились галочки « ✓ подтверждённый». Как добавить такую в свой профиль? Паскаль Найс объяснил по шагам:

У вас должно быть не менее 100 пакетов правок.
Зарегистрируйтесь на форуме, на сайте помощи (подойдут логин и пароль с osm.org) и в вики.
Перечислите ссылки на все свои аккаунты в профиле на сайте OpenStreetMap.

Пример заполнения есть в блоге malenki. Спустя сутки зелёная галочка появится в вашей странице HDYC. На сегодня сайт собирает статистику из восьми источников, полный список смотрите, например, в моём профиле.

Календарь активности а-ля гитхаб Паскаль добавил в августе, и он привлекает внимание сильнее чисел. В теме «ни дня без OpenStreetMap» мы нашли людей, кто в прошлом году правил карту каждый день: их шесть человек. И ещё двое, как видно на диаграмме freeExec, продержались до осени.

Статистика по редакторам

Илья Зверев — Thu, 12 Jan 2017 12:49:42 +0400

Страницу Editor usage stats в нашей вики до 2015 года время обновлял немецкий маппер Oli-Wan. Он не только заполнял рейтинги редакторов по правкам и пользователям, но и рисовал графики и анализировал изменения. Прошлым летом, интересуясь успехами MAPS.ME, я написал скрипт для подготовки таблиц, и на этой неделе обновил их: теперь данные за 2016 год полны.

Первая и бесполезная таблица — рейтинг по количеству пакетов правок — доносит не количественную, а качественную информацию. Например, что Redaction Bot (скрипт для сокрытия правок после нарушений условий участия) в этом году сделал 450 правок, а 2014 и 2015 — по 250. Или что нашёлся человек, который зачем-то загрузил пакет правок через редактор iLOE, который давно убран из аппстора и не поддерживается с 2011 года.

Теория, что пользователи iD делают больше пакетов правок, чем пользователи JOSM, числами не подтверждается: в среднем 28,5 ченджсетов на пользователя в iD против 143,8 в JOSM. Конечно, причина этого в более низком показателе удержания пользователей у веб-редакторов: многие уходят после первой правки. Если заглянуть в третью таблицу, в JOSM пользователи делают в среднем 195 правок на пакет, а в iD — только 45. Интересен редактор Pushpin, у которого в 15187 пакетов разложена 15091 правка.

Пользователи

Рейтинг по пользователям говорит, что пользователи есть у всех. У редактора ArcGIS их в этом году рекордно много после затяжного падения с 2011 года, хотя до RawEdit он не дотянул. Обошёл его новичок GNOME Maps: в прошлом году в это приложение добавили редактирование заведений, но, кажется, заметили эту функцию немногие. Мобильный редактор Pushpin неожиданно упал в числе пользователей: вероятно, красоту и удобство затмила дата последнего обновления — 2012 год. Его также неожиданно обогнал сайт OsmHydrant, непрерывно привлекающий новых редакторов последние три года.

Интересна борьба Merkaartor с Potlatch 1. Несмотря на то, что развитие второго остановилось в 2010 году, а первый недавно вернулся к жизни силами Ладислава, число их пользователей примерно одинаково последние четыре года. И если поклонники быстрого и необычного редактора не соберутся поведать о нём миру, скоро его по числу пользователей обгонит даже Level0.

На фоне постоянного количества пользователей JOSM (~23 тысячи последние пять лет) и медленного роста iD, едва покрывающего падение Potlatch, заметен резкий старт MAPS.ME: почти сто тысяч пользователей за девять месяцев. К сожалению, он не вышел на первое место, но 37% от общего числа редакторов — заметная доля. Рост доли мобильных редакторов подтверждает и OsmAnd, в прошлом году c 3,5 тысячами пользователей окончательно оторвавшийся от Vespucci и обогнавший даже WheelMap.

Тренд заметить несложно. Из девяти редакторов с долей выше полупроцента (и тысячами пользователей) пять мобильные. Гуманитарная команда, сильнее других привлекающая новых пользователей в OpenStreetMap, постепенно переходит на мобильные приложения: OpenMapKit и MAPS.ME. Поэтому в этом году вероятно не только отсутствие роста, но даже падение количества пользователей редактора iD. Если OsmAnd перетащит редактор из подключаемого модуля в основное приложение, у него есть шанс обойти Potlatch 2.

Правки

Можно понять bulk_upload.py в шестой строчке таблицы рейтинга по количеству правок: им пользуются десять человек из DWG для массовых откатов. Можно понять 146 тысяч правок в Level0: он удобен для пакетной замены тегов. Но откуда у RawEdit 22 тысячи правок? Он же в базовом варианте не позволяет загружать больше одного объекта. Через редактор Mapzen, который нужно собирать из исходников, в прошлом году четыре человека поправили семь объектов. Видимо, не понравился.

Сумма правок через первые три настольных редактора не изменяется уже три года: около 850 млн объектов в год. Те 23 тысячи пользователей JOSM сдают: правок у них всё меньше и меньше. А вот 400 пользователей Merkaartor продолжают держать его на пятом месте по правкам.

Мобильные редакторы не могут сравниться с настольными по количеству правок, не в последнюю очередь из-за импортов. Но если сравнивать в категориях, где править с телефона удобнее, то есть, в правке заведений и адресов, то мобильные редакторы показывают себя достойно. Редакторы под iOS теряют в правках, а под Android показывают заметный рост. Поздравляем OsmAnd, наконец обошедший ArcGIS и Potlatch 1.

Что нам говорит отсутствие роста правок в последние три года? Точно не о застое в проекте: количество пользователей за год увеличилось на треть. Скорее о том, что состояние дорожной сети и домиков в большинстве регионов с активными картографами уже удовлетворительно, и всё меньше европейцев набегают на города с желанием обрисовать всё-всё. Мапперы переключаются на задачи, не плодящие большого количества правок: прежде всего, адресацию, атрибуты дорог и добавление POI. В дневничках постоянно проходят заметки про добавленные этажность зданий, полосы на дорогах, названия съездов на магистралях. Вместо визуальной полноты мы теперь занимаемся важными для практических задач атрибутами — и OpenStreetMap всё быстрее движется к статусу самой полезной карты.

Насорили и ушли

Илья Зверев — Fri, 06 Mar 2015 11:46:03 +0400

Jochen Topf снова обновил Taginfo. На странице каждого ключа появилась вкладка «Similar» («Похожие») со списком ключей, которые похожи на выбранный, но с опечатками, префиксами и суффиксами. Оттуда можно узнать, например, о 153 ключах _amenity_, 14 тысячах buildingpart, 1155 nature. Новый отчёт сопоставляет самые популярные ключи с самыми редкими вариантами их написания.

Также автор сделал временные графики с зависимостями количества ключей, тегов (пар ключ=значение) и типов отношений от времени. Первый и последний графики понятны: чем дальше, тем шире воображение у мапперов, — а во втором, где счёт на десятки миллионов, неожиданные скачки. Так, в декабре пропали несколько миллионов тегов, а в апреле-мае скорость добавления новых тегов была раза в три выше обычной, увеличив их количество на десять миллионов.

Jochen призывает не закрывать отчёты, а пойти и поправить опечатки в тегах. В Taginfo это просто: на странице ключей есть кнопки JOSM и Level0, в которых легко переименовать ключ на всех объектах, загрузить правку в базу и перейти к следующей строке отчёта.

Пара парней-дизайнеров удалилась

Илья Зверев — Mon, 08 Sep 2014 00:00:07 +0400

Закрыв OSMRanking, группа altogetherlost нашла, куда пристроить свой более популярный сервис статистики OSMStats. Теперь им заведует Паскаль Найс, известный своими тематическими картами. Разумеется, он не преминул покопаться внутри сервиса, добавив выбор даты, статистику по ченджсетам и графики за год для стран и активных участников. Работа недизайнера заметна с первого взгляда: пропали градиенты и тени, а дату выбирать, мягко говоря, неудобно.

Заглянуть в planet.osm

Илья Зверев — Fri, 27 Jun 2014 17:24:33 +0400

Главное в визуализации плотности данных — выбрать правильные цвета. Мартин Райфер снова посчитал плотность точек на тайл 13 масштаба для всего мира, опубликовав не только две картинки, но и интерактивную карту. Смотреть её нужно исключительно на предельном зуме, исследуя завораживающие текстуры горящей Германии, теряясь в паутине Сибири, утопая в черноте Атлантического океана и домысливая картинку за гранью импортированных квадратов в Канаде. Эта карта, почти, но не совсем, непохожая на спутниковый снимок, как будто что-то говорит нам об OpenStreetMap и её участниках, — но нет, показалось.

Воскресенье потерь

Илья Зверев — Thu, 26 Jun 2014 21:37:27 +0400

Главный блог OpenStreetMap (заголовки переводов которого выведены в левую панель штосма) выглядел живым преимущественно из-за еженедельных сводок Паскаля Найса и Денниса Зилстры. Уже нет: в воскресенье опубликован последний выпуск, редакторы устали и уходят. Как подтверждение, что новости никто не читает, сожаление в комментариях выразили лишь трое человек. Других заметок в блоге за этот год опубликовано шесть, если не считать новогоднего поздравления, все — зимой. Последним новостным блогом с регулярными обновлениями остался немецкий, который ведёт толпа из десяти человек. Месяц назад он отпраздновал двухсотую заметку статьёй про ведение блога. Его твитер, увы, тоже сдулся: хоть и выглядит живым, но лишь анонсирует заметки в блоге и ретвитит фигню.

Неуловимая команда дизайнеров AltogetherLost в то же воскресенье объявила, что закроет сервис OSMRanking. Люди сразу возмутились: как же так, хороший сервис, всё время там статистику смотрим. Никто не упоминал названия, но дизайнеры почувствовали непонимание и пояснили: остановят кривоватый OSMRanking, а всеми любимый OSMStats продолжит работу.

Утром 16 июня GaM огорчил велосипедистов, пользовавшихся его модификацией гарминосборки всей России: перейдя на андроид, он потерял к ней интерес и забросил. Несмотря на панегирики пользователей, он отказался открыть исходники стиля, хотя автор исходной сборки, от которой форкнул свою GaM, считает, что по лицензии должен был. Пользователи ушли в тему сборки Макса Васильева, где помогают улучшить её отображение на мелких экранах навигаторов.

Сегодня я обнаружил, что двумя воскресеньями ранее Роберт Лайп, автор GPSBabel, поправил, наконец, номер версии формата OpenStreetMap в своей программе (был 0.5, хотя формат не отличался от современного; новый релиз ещё не выпустили). Я иногда пользовался ею для преобразования из GPX в OSM: JOSM зачем-то разделяет трек и вейпоинты, и не даёт сделать слой OSM из последних. Комментарий к правке кода обескураживает: «поскольку этот формат почти не используют, видимо, поддержку OSM мы прекратим».

Есть и хорошая новость, одна: Алексей Илларионов оживил Mapzen POI Collector для андроида, поправив несколько ошибок, русский перевод и панель действий. Он обещает продолжить работу, если программа кому-нибудь пригодится.

#нозачем

Илья Зверев — Thu, 16 Jan 2014 10:39:21 +0400

Каждый раз, когда я рассказываю про OpenStreetMap, собеседник спрашивает: «а почему бы просто не открыть карту Google?» С практической точки зрения это логичный вопрос, но здесь важна не только практичность, но и то общество, которое мы приближаем своим выбором.

Serge Wroclawski в начале месяца сочинил заметку «Зачем миру нужен OpenStreetMap»: по сути, список причин, почему гугль плохой, а OSM хороший. Самые азы, любой участник нашего проекта расскажет не хуже, хотя с написанием текстов у русских швах. Обычно такие заметки, нередко пробегающие в блогах участников и в официальном блоге, остаются незамеченными. Но не в этот раз: Serge обнаружил боле 120 тысяч уникальных посещений статьи, ошеломительные числа ретвитов, шеров, лайков, голосов и упоминаний, публикацию на Gizmodo и, позавчера утром, свою статью на сайте популярной английской газеты The Guardian со смешными иллюстрациями.

Популярность заметки показала не только заинтересованность людей в OSM, но и то, что проект до сих пор неизвестен. Будучи активным участником уже четвёртый год, я считаю моветоном рассказывать об основах OpenStreetMap на широкую публику: мол, это как википедия, но про карты (в чатике #osm обсуждали наивный, но резонный вопрос из комментариев к статьям: а как же викимапия тогда?). Сколько можно? Проект растёт каждый год, Саймон Пул, наш новый лидер, в новогоднем поздравлении поделился ощущением, что использование OSM гигантами вроде Bosch, Garmin, Mercedes уже не воспринимается как потрясение, а просто встаёт в ряд хороших новостей. «Мы должны постоянно напоминать себе, что мы, участники маленького открытого проекта, удивительным образом проникаем в ниши, доселе открытые лишь для государственных предприятий и гигантских корпораций».

И тут — «вы не властны над составом карты Google, и компания скопила подозрительно много информации, того и гляди сотрут вас с карты: пользуйтесь OpenStreetMap, картой, которую может править каждый!» Удивительно простодушная заметка, которую я собрался было перевести для хабра, чтобы провести эксперимент с измерением её популярности в России, но не смог из-за зияющих логических дыр, которые обнажились бы при переводе (или из-за недостаточного знания языка). Но заметка-то популярна! Какая разница, кто чуть не монополизировал время в XIX веке, если текст трогает сотни тысяч читателей, процент которых комментирует не формулировки, а суть заметки, всё теми же знакомыми каждому фразами «ничего не знаю, мой дом есть на Google Maps» и «мне очень понравился OSM в моей прошлой велопоездке». Активисты OpenStreetMap окучивают комментаторов, убеждая их поправить карту, и количество регистраций из Великобритании и США едва ли не впервые превысило этот показатель для Германии. Статьи про способы использования карты и анализ геоданных не работают, потому что адресованы редким читателям. Срыв покровов и долбёжка очевидностей про открытость и свободу «выстреливают», сколько ни повторяй. Это и хорошо — не надо напрягаться — и плохо: Стив Кост давно ушёл, а проект до сих пор выглядит как детский сад, инновации и нанотехнологии, даже для жителей развитых стран. Пора бы вырасти, но с ростом можно окончательно скатиться в маргинальность.

Тем временем, правительство США открыло сайт Map Give, посвящённый OpenStreetMap, Humanitarian OSM Team и диванной картографии. На примерах Гаити, Киберы и Филиппин видеоролики и статьи убеждают зарегистрироваться в нашем проекте и обклацывать домики в странах третьего мира, руководствуясь списком задач HOT. Прямее некуда, и инициатива от правительства: выше тоже некуда. Сайт убеждает по сотне человек в день, OpenStreetMap прирастает участниками.

Россия в рейтинге регистраций на шестом месте, за Францией и Италией. В новостях и в журналах нас упоминают пару раз в год. Нужно повышать узнаваемость бренда. Переведите, что ли, какие-нибудь важные статьи — например, про прошлогодний тайфун на Филиппинах, полностью проигнорированный этим блогом. Или как OpenStreetMap позволяет редактировать карту буквально каждому.

Русский тагинфо

Илья Зверев — Sat, 25 May 2013 13:32:15 +0400

AMDmi3 и akks подняли на серверах Рамблера статистику тегов Taginfo для России и некоторых соседей. Теперь импорты (которых у нас не так много, как за рубежом) не будут портить таблицы. Отчёты сервиса показывают национальные особенности тегирования:

Россия: кладротеги висят на двухстах тысячах объектов (включая 30 тысяч точек, зачем-то); residential=rural вчетверо больше urban; префикс «ru:» в official_status не приживается; широко распространён загадочный тег utilization: похоже, его расставляет плагин для копирования адресов из кадастровой карты. Кому-то в Ростове-на-Дону удалось добавить тег с пустым ключом. Три самых популярных значения name, которые не названия улиц: «Сбербанк», «Продукты» и «Магнит».
Украина: половина тегов name продублирована на русском и английском языках; отношений street и associatedStreet втрое больше, чем в России, а addr:street непопулярен; много зданий и дорог импортированы из nadoloni.com; двум третям населённых пунктов проставлен код КОАТУУ, при этом village в 11 раз больше hamlet. Три популярных name: «Тополь», «Липа» и «Стохід» (это странно обрисованная речка).
Беларусь: две трети названий переведены на русский; 17% дорог имеют тег surface (это рекорд; в России — только 12%); place=hamlet встречается чаще, чем любое значение тега highway, и почти у всех населённых пунктов есть контур. Три популярных name: «Беларусбанк», «д.№» (?), «Шиномонтаж».
Эстония: семь самых популярных ключей связаны с недавним импортом домиков; вообще очень много следов разных импортов (адреса, некоторые города, корина), второе место среди тегов занимает загадочный «Type=0x13» (да, с заглавной буквы). Популярные недорожные name не установить, поскольку в стране не принято писать статусные части улиц: «Kooli» может означать как школу, так и школьную улицу.

В планах — перевести все адреса на поддомен taginfo.openstreetmap.ru, улучшить обрезку стран, сделать крупные обзорные карты и подкрутить разные константы: taginfo, явно, писался с прицелом на всю планету, и при загрузке небольшой её части вылезли недостатки.

Толстый и тонкий

Илья Зверев — Fri, 15 Mar 2013 22:18:49 +0400

В начале марта Иван Мельников спросил в твитере: «это правда, что самое большое и маленькое здания в OSM — ошибки?» Давайте выясним.

Тег building — самый популярный в базе, если не считать бессмысленного source: 77 миллионов линий, 45% от всех линий OSM. Osmosis отфильтровал 80% планеты, оставив 3,8 гигабайта, которые osm2pgsql за два дня развернул в базу в 25 раз толще. То есть вся планета потребовала бы полтерабайта. Попутно я узнал, что в среднем на 10 зданий приходится 53 узла, без учёта общих точек (по отдельности получится около 60-61 узла, как пишет статистика гис-лаба). 1/4,4 всех точек в базе принадлежит зданиям, и лишь у 37 идентификаторы меньше миллиона.

Я обрабатывал отдельно отношения и линии. Первых оказалось совсем немного, 85 тысяч. Из трёх самых больших мультиполигонов зданий два — автозаводы близ Торонто: General Motors (563 тыс. м²) и Toyota (284 тыс. м²). Второе по размеру «здание» — крепостная стена Сианя, древней столицы Китая: 322 тыс. м². Все эти мультиполигоны правильные, хотя в Канаде одним контуром обведены по три здания, а стоит ли стену обозначать как building — непонятно.

На этой фотографии заснято самое большое по площади основания здание: фабрика Boeing в Эверетте, США. Официально 398 тыс. м², в OSM — 385, в пределах погрешности. Однако у нас оно не входит даже в первую сотню. Топ-5 на 14 февраля таков:

национальный парк, 36,6 км²
«helping junior learn to edit more better», 8,6 км²
озеро и здание L.94, 6,2 км²
квадрат в Botto Penno, 4,2 км²
территория бывшей военной части, 2,5 км²

Как видно, эта часть теории подтверждается. Теперь обратимся к другому концу рейтинга. Главная проблема с мелкими полигонами — что площадь некорректных геометрий (с самопересечениями, дубликатами рёбер и т. п.) вычисляется как очень малая, но не нулевая. Если верить сортировке по столбцу площади, то да, самые маленькие <любые типы объектов> — ошибки. Но интереснее найти настоящие здания. Таким среди мультиполигонов будет ромбовидное здание, созданное Komяpой: 0,026 м². После него идут два правильных, но очень маленьких мультиполигона в Жироне, Испания, площадью 0,48 и 0,55 м², и дом в Калифорнии с двухсантиметровым стенами (0,68 м²): его контур inner едва меньше outer.

Познакомьтесь с самым маленьким (на 14 февраля) зданием в OpenStreetMap: домик в Словакии площадью 0,023 мм². На карте он выглядит бледной точкой. Даже используя буферизацию, не удалось избавиться от всех кривых геометрий, но второе и третье места по площади занимают дома в Сан-Франциско: 1.8 и 3,2 мм². Остальные здания рекордных размеров вы можете поискать самостоятельно.

В итоге, как резюмируют на MythBusters, CONFIRMED: сколько ни исправляй ошибки, самые большое и маленькое здания в OpenStreetMap не соответствуют зданиям на местности.

Нас обогнали

Илья Зверев — Wed, 13 Feb 2013 09:41:15 +0400

Когда два месяца назад Brian King поздравил народные яндекс.карты с двухсоттысячным участником, я заметил, что а) это количество тех людей, кто сделал хотя бы одну правку; б) оно очень похоже на другое число из статистики OSM. И да. Сегодня количество пользователей НЯК (215160) превысило количество участников OpenStreetMap, оставивших свой след в 26-гигабайтном файле планеты (215029).

Понятно, что общее число участников с правками у нас чуть за 300 тысяч, но если взять Россию, где работает Яндекс, то останется вдесятеро меньше. Так что это явный намёк на то, что пора перестать хвастаться зарегистрированными пользователями и прочими бессмысленными цифрами: это не наша сильная сторона. Но свободной лицензией размахивать тоже как-то не пристало в приличном обществе: не поймут. Чего же у нас остаётся хорошего?

Первый на деревне

Илья Зверев — Mon, 04 Feb 2013 20:02:07 +0400

Кто-то любит рисовать домики. Бездумная, монотонная работа с немедленной отдачей. Сегодня нарисовал — завтра кто-то распечатал, вышел на улицу и расставил адреса, пользуясь контурами как подсказкой. После выходных наедине с building_tools тянет открыть статистику и увидеть себя на две-три ступеньки выше. Вот только в мировом масштабе ты — букашка, потому что некоторые люди обклацывают домики даже во сне, судя по числам. Поэтому нужно как-то ограничить территорию, даже не страной — городом.

Проект Тима Саттона из Linfiniti.com именно про это: выбираешь область, жмёшь «обновить» и радуешься своему имени в первой строчке рейтинга. Благодаря открытым исходникам на странице недавно появились графики по дням (правда, там явно не full history dump) и можно включить тепловую карту правок. Но все дополнительные критерии открывают неудобную правду, разделяя участников на тех, кто поддерживал город на протяжении нескольких лет, и кто только на выходные зашёл бинг пообклацывать. Чего стоит первое место, когда на втором и последующих — настоящие, верные городу местные мапперы?

Статистика отношений

Илья Зверев — Sun, 20 Jan 2013 00:50:35 +0400

Taginfo — сервис, который считает статистику тегов, ключей и их значений. Это определение было верным несколько часов назад, до того, как Jochen Topf анонсировал поддержку отношений. Теперь на сайте появился третий раздел, где можно увидеть, какие объекты в каких ролях чаще всего используются в отношениях разных типов. Например, в мультиполигонах количество outer всего на 0,9% больше inner, а в отношениях запретов поворотов линий в роли from на 0,2% больше, чем в to.

Предыдущее обновление сайта было всего десять дней назад, когда Йохен сменил javascript-фреймворк на D3, что позволило сделать красивое облако тегов на главной, полностью задокументировал API и сделал отображение картинок из вики во всплывающих подсказках к тегам. Вероятно, такая активность спровоцирована использованием Taginfo в новом редакторе iD: он прикручен не только для вывода описаний тегов, но и для автодополнения.

Лучше год потерять

Илья Зверев — Thu, 17 Jan 2013 13:54:33 +0400

Вот эти две вспышки, жёлтая и зелёная, — главное и единственное, что произошло в глобальном OpenStreetMap в прошлом году. В России стоит упоминания только конференция «Открытые ГИС».

Из менее важных событий:

значительно, качественно выросло покрытие Bing, новые снимки стабильно прибывают каждые два-три месяца;
новые старые снимки: OrbView-3 (середина 2000-х) и Corona (60-е);
обрисовали Абакан, окрестности Вытегры для поисков ребёнка, Крымский район после наводнения, сейчас обклацываем Алексин для наблюдателей;
ночевали онлайн в нескольких городах одновременно во время «ночи оживших карт»;
открылся switch2osm.org, множество сайтов, включая foursquare и gpsies, перешли на OSM (но не русский геокэшинг);
ещё наши данные двухлетней давности обнаружились в составе карт Apple;
появились доступные наборы для аэрофотосъёмки с воздушного шара, опробовали в Вышнем Волочке;
Osmarender (Tiles@Home), наконец, умер;
также умер OWL, его место пока занял WhoDidIt;
рисование домиков в JOSM перенесли на кнопку B;
приняли жуткий пропозал по разметке полос движения;
появился и до сих пор работает Совет Российского OSM;
открылся OSRM, самый быстрый роутер по нашей карте;
Stamen опубликовали акварельную карту;
MapBox получили грант на улучшение всех аспектов OpenStreetMap, и пока не разочаровывают;
Osm.org перешёл на Leaflet;
выложили дамп GPS-точек;
прошла очень уютная микроконференция мапперов в Москве;
также мы зажигали на разных нерелевантных конференциях, вроде ГИС-Форума и SocialCamp;
Стив Кост ушёл с поста председателя Совета OSMF, его место занял Саймон Пул;
повальная геймификация валидаторов: MapRoulette, «недоступное ребро», дороги для геокэшеров, домики в Эстонии;
Яндекс поднял прокси-сервер для тайлов;
что у НЯК: их карты напечатали во многих городах, наши — пока нигде, также НЯК встроили в Яндекс.Карты и провели вебинар, где наобещали с три короба и до сих пор не выполнили;
кликабельные POI на openstreetmap.ru — впервые на сайте общего назначения;
по данным ныне сломанного валидатора границ, +8% от общего числа к границам поселений (до 27,9%) и +6% к их центрам, 10 тысяч новых деревень (против 45 тысяч в 2011 году), ошибок стало на треть меньше, а городов без населения осталось около сотни;
я начал публиковать большую часть новостей в твитере, а для поиска сделал архив.

Чуть больше, чем ничего.

Не знаю, где вы, но вот ваши соседи

Илья Зверев — Mon, 14 Jan 2013 10:02:38 +0400

Или вот ещё одна карта от Паскаля Найса: кто здесь? На ней автор визуализировал для каждого пользователя центр всех его ченджсетов, и считает, что он должен быть не слишком далеко от места обитания этого пользователя, или, по крайней мере, места наивысшей его активности. Так ли это? На территории Санкт-Петербурга я нашёл нескольких известных мапперов. И парочку знакомых во Пскове, хотя далеко не всех, кто участвовал в его нанесении. Но, конечно, этот алгоритм даже не пытается, например, найти родной квартал маппера: все активные пользователи попадают в центр своего города, поскольку заботятся обо всех его углах. Лишь новички рассредоточены равномерно, а себя, например, я вообще не смог найти.

В этом смысле более точным оказывается алгоритм вычисления «расчётного положения» Hind-а, используемый на сайте статистики. Идеально точным местоположением будет точка, которую пользователи ставят в своём профиле, но едва ли кто хочет распространять такие личные данные. Области активности же лучше визуализированы на другой карте Паскаля — вот только поди отличи там место обитания от города картовстречи.

Америка даёт добро

Илья Зверев — Fri, 11 Jan 2013 10:09:32 +0400

Опыт американцев и французов ничему не научил? Такие «подарки» мало того что хренового качества, так ещё и убивают сообщество, уничтожая мотивацию потом их чинить, да и вообще что-то делать. Получится просто помойка а не карта.

— пишет Сергей Астахов в ответ на обсуждение гипотетического источника всех нужных нам геоданных. Тем временем Michal Migurski публикует статью, где говорит, по сути, следующее: «вот вам разметка. Где тёмненькое — там не трогайте, в остальных местах карта никого не волнует. Отныне США — полигон для импортов». Вы же понимаете, цитирует он Тоби Мюррея, что Америка очень протяжённая и пустынна. На область размером с Германию получается не 44 тысячи мапперов, а в лучшем случае 700. Так что давайте прислушаемся к Стиву Косту и не будем ждать годы, а импортируем хотя бы адреса.

Миллион к Новому году

Илья Зверев — Tue, 27 Nov 2012 20:16:47 +0400

В контексте восхищения бессмысленными круглыми числами приближается день, когда в проекте зарегистрируется миллионный пользователь. Да, в июле темпы регистрации возросли, и аккаунтов у нас почти вдвое больше, чем год назад (а число активных пользователей возросло лишь процентов на двадцать; темпы роста базы не изменились). Паскаль Найс сделал специальную страницу с предсказанием эпохальной даты линейной экстраполяцией, и она в зависимости от базового периода даёт три разных даты, от 27 декабря до 3 января. Как знать, может, этот сомнительный юбилей выпадет на один из боёв курантов в новогодние сутки.