Шейпы по триста

17 января, 18:47

Для работы с данными OpenStreetMap в серьёзных ГИС нужно получить их в формате шейп-файлов. В России их делает компания NextGIS и публикует на сайте ГИС-Лаб. Выгрузки были ежедневными, но после ряда перебоев окончились в апреле 2016 года, причём последние опубликованные файлы оказались бракованными.

Сегодня регулярные выгрузки возобновились: с того же сайта (или из списка регионов) можно скачать данные от 17 января за 300 рублей/файл. После оплаты пейпалом лучше написать на info@nextgis.com, чтобы оттуда быстрее пришла ссылка на скачивание. Туда же нужно писать, чтобы договориться о пакетных, регулярных или нетрадиционных выгрузках. Покупателям приходит счёт, что удобно для отчётности.

Бесплатные шейп-файлы остались: рядом с кнопкой покупки есть кнопка скачивания старого архива. Сейчас там сборка от ноября, но в будущем планируют публиковать версии месячной давности.

Альтернативные бесплатные сборки продолжает делать Geofabrik. Россия у них разделена на девять федеральных округов. Летом их шейпы лишились главного недостатка, обретя мультиполигоны. Но Geofabrik не предоставляет стилей для QGIS и атрибутивные поля у них не так удобны для человека, ориентирующегося в тегах OSM.

Статистика по редакторам

12 января, 12:49

Страницу Editor usage stats в нашей вики до 2015 года время обновлял немецкий маппер Oli-Wan. Он не только заполнял рейтинги редакторов по правкам и пользователям, но и рисовал графики и анализировал изменения. Прошлым летом, интересуясь успехами MAPS.ME, я написал скрипт для подготовки таблиц, и на этой неделе обновил их: теперь данные за 2016 год полны.

Первая и бесполезная таблица — рейтинг по количеству пакетов правок — доносит не количественную, а качественную информацию. Например, что Redaction Bot (скрипт для сокрытия правок после нарушений условий участия) в этом году сделал 450 правок, а 2014 и 2015 — по 250. Или что нашёлся человек, который зачем-то загрузил пакет правок через редактор iLOE, который давно убран из аппстора и не поддерживается с 2011 года.

Теория, что пользователи iD делают больше пакетов правок, чем пользователи JOSM, числами не подтверждается: в среднем 28,5 ченджсетов на пользователя в iD против 143,8 в JOSM. Конечно, причина этого в более низком показателе удержания пользователей у веб-редакторов: многие уходят после первой правки. Если заглянуть в третью таблицу, в JOSM пользователи делают в среднем 195 правок на пакет, а в iD — только 45. Интересен редактор Pushpin, у которого в 15187 пакетов разложена 15091 правка.

Пользователи

Рейтинг по пользователям говорит, что пользователи есть у всех. У редактора ArcGIS их в этом году рекордно много после затяжного падения с 2011 года, хотя до RawEdit он не дотянул. Обошёл его новичок GNOME Maps: в прошлом году в это приложение добавили редактирование заведений, но, кажется, заметили эту функцию немногие. Мобильный редактор Pushpin неожиданно упал в числе пользователей: вероятно, красоту и удобство затмила дата последнего обновления — 2012 год. Его также неожиданно обогнал сайт OsmHydrant, непрерывно привлекающий новых редакторов последние три года.

Интересна борьба Merkaartor с Potlatch 1. Несмотря на то, что развитие второго остановилось в 2010 году, а первый недавно вернулся к жизни силами Ладислава, число их пользователей примерно одинаково последние четыре года. И если поклонники быстрого и необычного редактора не соберутся поведать о нём миру, скоро его по числу пользователей обгонит даже Level0.

На фоне постоянного количества пользователей JOSM (~23 тысячи последние пять лет) и медленного роста iD, едва покрывающего падение Potlatch, заметен резкий старт MAPS.ME: почти сто тысяч пользователей за девять месяцев. К сожалению, он не вышел на первое место, но 37% от общего числа редакторов — заметная доля. Рост доли мобильных редакторов подтверждает и OsmAnd, в прошлом году c 3,5 тысячами пользователей окончательно оторвавшийся от Vespucci и обогнавший даже WheelMap.

Тренд заметить несложно. Из девяти редакторов с долей выше полупроцента (и тысячами пользователей) пять мобильные. Гуманитарная команда, сильнее других привлекающая новых пользователей в OpenStreetMap, постепенно переходит на мобильные приложения: OpenMapKit и MAPS.ME. Поэтому в этом году вероятно не только отсутствие роста, но даже падение количества пользователей редактора iD. Если OsmAnd перетащит редактор из подключаемого модуля в основное приложение, у него есть шанс обойти Potlatch 2.

Правки

Можно понять bulk_upload.py в шестой строчке таблицы рейтинга по количеству правок: им пользуются десять человек из DWG для массовых откатов. Можно понять 146 тысяч правок в Level0: он удобен для пакетной замены тегов. Но откуда у RawEdit 22 тысячи правок? Он же в базовом варианте не позволяет загружать больше одного объекта. Через редактор Mapzen, который нужно собирать из исходников, в прошлом году четыре человека поправили семь объектов. Видимо, не понравился.

Сумма правок через первые три настольных редактора не изменяется уже три года: около 850 млн объектов в год. Те 23 тысячи пользователей JOSM сдают: правок у них всё меньше и меньше. А вот 400 пользователей Merkaartor продолжают держать его на пятом месте по правкам.

Мобильные редакторы не могут сравниться с настольными по количеству правок, не в последнюю очередь из-за импортов. Но если сравнивать в категориях, где править с телефона удобнее, то есть, в правке заведений и адресов, то мобильные редакторы показывают себя достойно. Редакторы под iOS теряют в правках, а под Android показывают заметный рост. Поздравляем OsmAnd, наконец обошедший ArcGIS и Potlatch 1.

Что нам говорит отсутствие роста правок в последние три года? Точно не о застое в проекте: количество пользователей за год увеличилось на треть. Скорее о том, что состояние дорожной сети и домиков в большинстве регионов с активными картографами уже удовлетворительно, и всё меньше европейцев набегают на города с желанием обрисовать всё-всё. Мапперы переключаются на задачи, не плодящие большого количества правок: прежде всего, адресацию, атрибуты дорог и добавление POI. В дневничках постоянно проходят заметки про добавленные этажность зданий, полосы на дорогах, названия съездов на магистралях. Вместо визуальной полноты мы теперь занимаемся важными для практических задач атрибутами — и OpenStreetMap всё быстрее движется к статусу самой полезной карты.

День без форума

7 декабря, 1:03

Завтра, 7 декабря, примерно с 11 утра по Москве часть серверов заберут из лондонского университета UCL и повезут в новый дата-центр. В это время перестанут работать:

  • форум и официальный блог;
  • сайты OSMF, сбора пожертвований и switch2osm;
  • GPS-тайлы;
  • графики munin.

Всё остальное, включая API, вики и сайт osm.org, продолжит работать. Неизвестно, когда админы закончат работу: отключение, 40 км дороги и подключение займут часа четыре. Во время переезда они, наверняка, будут постить фоточки и новости в свой твитер, а после в таблице серверов появится новый раздел.

Томас «malenki»

29 ноября, 17:13

27 ноября по всем осмерским каналам прошла просьба помочь в розысках участника, известного под ником malenki. Каждое лето он уходит в поход по горам, предупреждая в своём профиле, что будет недоступен. На этот раз его маршрут лежал через Испанию, где с ним не смогли связаться даже его родные. Через неделю тишины начались поиски — и почти сразу закончились. Вчера, 28 ноября, испанские СМИ объявили о найденном теле одинокого туриста, сорвавшегося со скалы. Это был Томас.

Фотография из дневника malenki

Под теперь уже вечной надписью «Now I am taking a break from everything» в профиле malenki перечислен огромный вклад в проект. Один из самых продуктивных картографов в Германии, он отправлял правки до 19 ноября, когда отключился его телефон. Он переводил JOSM, Maps.me и osm.org на немецкий, он помог двумястами отчётами об ошибках разработчикам JOSM, загрузил 225 тысяч фотографий в Mapillary и почти триста треков в OSM. Записи в его дневнике длинные, но полезные для тех, кто любит гулять, собирая треки и фотографии. Десять тысяч евро в Фонде OpenStreetMap появились благодаря партнёрской программе Amazon, которую Томас настроил.

Мы не можем ничего сказать родным и друзьям Томаса, не можем прийти на его похороны и не можем никому помочь деньгами. Но после объявления о смерти хочется как-то почтить его память, сделать хотя бы какую-нибудь мелочь в его честь. Спасибо испанскому сообществу: они открыли задачу по картированию региона, откуда пришла новость. Возьмите квадратик, закартируйте его изо всех сил и оставьте своё имя в списке. Или просто вспомните, как встречали его имя в переписке, на карте или в новостях.

Всем привет

27 ноября, 1:05

В русском сообществе появилась новая забава. Теперь мы приветствуем каждого новичка шаблонным сообщением со ссылками на вики, форум, телеграм и всё остальное. Спасибо бельгийцам, написавшим веб-сайт для координации, новички получают только по одному письму, причём с учётом их языка и редактора. Ленту получаем от Паскаля, остальное — из API.

Список обновляется каждое утро. Увидели человека со словом «no» в колонке «welcomed» — жмите на него, и затем на кнопку «Welcome now». Там при нажатии Ctrl+C текст копируется в буфер обмена и открывается страница отправки сообщения с osm.org. Возможно, понадобится разрешить всплывающие окна в браузере. Вставляете текст в поле сообщения, при желании вырезаете строки со звёздочками из конца. Вторую строку, «добро пожаловать в OpenStreetMap», переносите в заголовок. И, возможно, убираете фамилию из приветствия, оставляя только имя. Всё, посылайте, закрывайте вкладку и жмите кнопку «I have sent this message» внизу страницы. Следующий!

Для эксперимента я отправил приветствие примерно тридцати мапперам, кто появился в пятницу. Планирую продолжить каждым утром будущей недели. Интересно, насколько это повысит вовлечённость пользователей maps.me или мою фрустрацию от странных вопросов новичков. Если новичок ответил — не забудьте записать это в его карточку на сайте. Также там есть кнопки для комментария («портит названия») и описания правок («добавил POI через maps.me»). Если кому-то не лень заполнить хотя бы описание, можно получить картину вклада новичков.

Без нулей и единичек

17 октября 2016, 12:53

Это новый логотип OpenStreetMap, как его предложил Elio Qoshi, дизайнер из Албании. Обсуждение в тикете гитхаба закрыли, оно продолжается в рассылке talk@. Участникам нравится его чистота и масштабируемость, но едва ли логотип заменит нынешний: рановато.

Октябрь, месяц вечерних встреч

13 октября 2016, 14:50

Вчера ударно прошла «Схемотехника 06», на которую пришли почти тридцать человек. Видеозаписи вы увидите в течение недели по ссылкам с официального сайта, как и объявление о седьмой встрече в ноябре.

Прямо послезавтра, 15 октября, Эдуард Казаков приглашает в Петербург на встречу ГИС-Лаба. Целый день выбирали время начала в дудле, остановились на 15 часах.

27 октября в Минске белорусы впервые устраивают встречу энтузиастов ГИС и открытых карт: byGIS Meetup. Пока что в докладчиках двое сотрудников Juno, хорошо бы их разбавить.

А в следующий четверг, 20 октября, «Теплица социальных технологий» проведёт ежегодный «вечер оживших карт», на этот раз не только в Москве, а одновременно в нескольких городах: в Ульяновске, в Самаре, в Иркутске, в Перми, в Нижнем Новгороде, в Казани и, на день позже, в Новосибирске. Это большое и гостеприимное мероприятие для новичков, которые про OpenStreetMap узнали только из анонса, и для опытных осмеров, которые хотят посмотреть на этих новичков, научить их чему-нибудь или тихо помапить в углу.

Организаторы (и я) ищем помощников для этих мероприятий. В идеале нужно будет рассказать что-нибудь на тему OSM: про редактирование из iD или JOSM, про обработку данных, про интересные и полезные сайты и приложения, про тегирование и Overpass Turbo. Любая тема подойдёт, главное — чтобы суть и польза были понятны людям с улицы. Свободен вечер четверга? Регистрируйтесь по ссылке для вашего города и приходите. Сейчас эти мероприятия — кажется, самый эффективный способ продвижения OpenStreetMap в России.

(Фотография Алексея Ницы)

Leaflet 1.0

29 сентября 2016, 13:51

Мы уже не чаяли: 27 сентября, наконец, опубликован релиз библиотеки Leaflet 1.0.0. Спустя целых три года после выхода 0.7 и всего год после объявления «мы на финишной прямой к релизу».

Основным изменением, как всегда, стала скорость: многие функции переписали чуть ли не с нуля. Особенно заметна скорость отрисовки векторных слоёв. Появилась функция flyTo(), анимированными гифками которой когда-то рекламировали эту версию, и дробные уровни масштаба. Плагин Leaflet.label больше не нужен: вместо него в ядро добавили класс L.Tooltip. Ну и взаимодействие между кучей слоёв разных типов теперь должно быть предсказуемее.

В будущем авторы, уставшие от этого марафона, обещают релизы раз в две-четыре недели. Особых планов на следующие версии нет: только документация, рефакторинг, валидация плагинов.

Премия OpenStreetMap

7 сентября 2016, 1:08

Вы не поверите, но премия, об идее которой я рассказывал в июле, жива! Мы долго обсуждали список категорий, по которым распределить номинантов, и с великой болью его ужали с двадцати до всего шести пунктов. Затем месяц собирали номинантов в эти категории, и собрали более сотни. Где-то очевидных, вроде WeeklyOSM в категорию блогов или наших администраторов в категорию инфраструктуры, где-то — совершенно незнакомых людей (из которых, например, целиком состоит категория «за картирование»). Целую неделю группа добровольцев из OSMF спорила, кого выбрать и кого выкинуть из шортлиста, и в итоге выбрала по неидеальной, но лучшей среди возможных пятёрке номинантов в каждой категории. И начался финальный этап премии.

Зайдите на сайт премии OpenStreetMap и выберите человека или команду, наиболее достойную награды в этом году. Всего-то шесть раз выбрать одного (или одну) из пяти: кажется, просто.

Пока не начнёшь читать описания и тыкать в ссылки. Тридцать лучших участников OpenStreetMap, показавших, как надо, сделавших карту чуть лучше, а жизни как простых людей, так и мапперов, — чуть легче. Когда воспринимаешь это не как «кому дать», а «каким четырём людям не дать», выбрать самых лучших становится почти невозможно. Но на церемонии мы, конечно, с уважением упомянем всех, и разница между призёром и остальными номинантами будет невелика. Это первая премия, и впереди будут ещё десятки таких же: получат все. Выберите кого-нибудь, и в следующем году записывайте имена, чтобы внести их в следующий список номинантов.

Голосование закроется 22 сентября, до того времени можно менять выбор. Церемония награждения пройдёт на брюссельской конференции State of the Map 2016 в воскресенье, 25 сентября.

Для кого тайлы?

18 августа 2016, 16:51

Сейчас в чатике продолжился спор про расширение мощностей тайл-серверов OSMF в контексте недавнего блокирования сайта про покемоны. Если не слышали, то, во-первых, подписывайтесь на твитер и телеграм, во-вторых, 9 августа очередной сайт с покемонами на карте подключил подложку с osm.org и увеличил нам тайловый трафик на 13%. Серверы упёрлись в производительность дисков, и скачивание тайлов замедлилось у всех. Распределённое кэширование (Tile CDN) не помогло, так как пользователи требовали новых, ещё не отрендеренных тайлов близких масштабов. Сайт заблокировали, а затем из-за махинаций его владельца притормозили выдачу тайлов при отсутствующем заголовке «Referer».

У многих возник вопрос: почему бы не закупить новые диски и новые серверы, чтобы справиться с нагрузкой? Это ж всего 13%, а с апреля трафик увеличился на целых 66%. То есть, до конца года мы с такими темпами роста не доживём. Поставить SSD — один из способов решения: сейчас тайлы хранятся на HDD, а проблема возникла именно из-за скорости отдачи. Это дорого (500$ в месяц, которые предлагает автор покемоносайта, не помогут) и лишь отсрочит затык. Участники рабочей группы OWG сейчас обсуждают другие способы: например, добавить третий тайловый сервер. С прошлогоднего сбора осталось немного денег, которые пойдут и на эту задачу. Также они заметили дублирование метатайлов на двух серверах: Мэтт Эймос посчитал, пересечение оказалось всего 17%, так что едва ли поможет, но всё равно попробуют устранить. Ещё 25-50% ускорения можно получить от перекластеризации базы данных: по сути, физического упорядочивания строк в таблицах.

Сайт fastpokemap временно перешёл на тайлы ESRI

Но надо ли бежать исправлять? Энди Аллан в рассылке dev@ объяснил, что нынешних ресурсов хватит ещё на много лет, если использовать их по назначению: для мапперов. Именно так: все сервисы, что работают на серверах Фонда OpenStreetMap, предназначены для редакторов карты, включая API и картостиль. Исключение — файлы, хранящиеся на planet.osm.org: они для всех. Главной задачей OSMF является их постоянная доступность под открытой лицензией.

То есть, если вам нужны тайлы, Фонд не обязан их предоставлять и обеспечивать доступность. Если, конечно, вы не разработчик осмерского редактора или сайта osm.org. Да, мы долгое время позволяли использовать наши тайлы всем, за редким исключением приложений для пакетного скачивания. Но даже страница с условиями использования тайлов отмечает: «данные OSM бесплатны и открыты для всех. А тайлы — нет». Рано или поздно админам надоест, что основными пользователями тайлов стали разработчики, которым неохота платить другим компаниям, и они начнут закручивать вентиль. Никакие взносы в 500, 1000 или 5000 долларов в месяц не помогут: мы рады новым корпоративным членам OSMF, но платных услуг не предоставляем.

Последний безлимитный провайдер тайлов на основе OpenStreetMap, MapQuest, прикрыл сервис 11 июля. Все остальные — Mapbox, Stamen, CartoDB, Thunderforest и многие другие — имеют ограничения и ценник. Кто-то готов обсудить enterprise-план, кто-то — настроить рендерер на ваших серверах или в облаке. Стоит это недёшево, но вы же не думали, что к бесплатной открытой карте, созданной добровольцами на энтузиазме, прилагаются бесплатные сервисы и поддержка.

Ctrl +  Ранее