12 марта, в воскресенье, сервер базы данных OpenStreetMap отключат на час, с 14:00 до 15:00 по московскому времени. Возможно, управятся быстрее. В этот час лучше посмотреть свежую серию чего-нибудь на Netflix или в Амедиатеке, потому что на сайте останется работать разве что тайловый слой и поиск. Всё остальное — нет:

• В API нельзя будет ничего загрузить, даже скачивать нельзя.
• Войти на сайт не получится. Соответственно, на другие сайты, используя OAuth через OpenStreetMap, тоже. Это касается и форума.
• GPS-треки, дневнички, просмотр пакетов правок и элементов карты отключат.

Работать с картой в этот час можно двумя способами. Либо скачать нужную область в JOSM за десять минут до отключения и обклацывать домики, чтобы не напороться на конфликт правок при загрузке через час-полтора. Либо установить MAPS.ME и пойти на улицу, искать новые заведения и обновлять время работы у уже обозначенных.

В эту субботу, уже почти послезавтра, в Минске пройдёт первая большая ГИС-конференция byGIS conference. Это будет день открытых данных, и хотелось упомянуть открытость в анонсе или внести конференцию в список тематических конференций этого дня, но не судьба: осмеров в Беларуси не так много, чтобы заполнить день, а остальные докладчики пришли с более серьёзными аббревиатурами. Начало в 11:00 четвёртого марта, вход платный — 40 белорусских рублей, это примерно 1200 русских.

15 марта пройдёт первая в году «схемотехника». Та самая объединённая мини-конференция ГИС-Лаба и OpenStreetMap. Снова в офисе Mail.Ru у метро «Аэропорт», в среду вечером, в 19:00. С прошлой встречи прошли три зимних месяца, там что есть надежда, что многим будет что рассказать. Заходите послушать и, главное, заходите выступить: как обычно, в формате «все свои», что у вас произошло, что сотворили, что узнали. Пишите темы на ilya@zverev.info и обязательно регистрируйтесь.

Одиннадцатая всемирная конференция State of the Map пройдёт 18-20 августа в городе Аидзувакамацу, это 260 км на север от Токио. Осмеры уже покупают билеты на самолёт: рейсы туда дорогие, лучше взять заранее. До 2 апреля продлится приём заявок на доклады. Как обычно, понадобятся заголовок и краткое описание.

Если участие обойдётся слишком дорого, подайте до 22 марта заявку на спонсирование поездки. Оргкомитет выберет участников, чей прилёт будет полезен и им, и осмерам, и покроет от трети до полной стоимости перелёта и проживания. Рабочая группа SOTMWG попробовала такой формат в прошлом году, и все — и организаторы, и участники программы — были довольны результатом.

К сожалению, европейской конференции State of the Map пока никто не анонсировал. Если не считать State of the Map France в Авиньоне 2-4 июля: французы проводят великолепные ежегодные конференции с одним лишь недостатком, из-за которого нам неудобно участвовать. Немцы уже приготовились выступать на FOSSGIS в Пассау 22-25 марта, но у этой конференции тот же недостаток.

Жители других, далёких континентов уже объявили свои региональные конференции: State of the Map Africa в Уганде 1-3 июля и State of the Map Latam в Перу с 29 ноября по 2 декабря. Как показал опыт, тем, интересных для жителей северного полушария, там немного.

Это оставляет нам европейскую версию главной ГИС-конференции планеты, FOSS4G Europe. Она пройдёт 18-22 июля, по словам организаторов, на полпути между Парижем и парижским дисней-лендом. Заявки на доклады они принимают до 17 марта — почти как на основной FOSS4G, который пройдёт в Бостоне, США 14-19 апреля.

На сайте openstreetmap.org новость: нажатие правой кнопки мыши на карте больше не выводит меню браузера. Теперь там меню сайта с традиционными для веб-карт пунктами: построить маршрут, посмотреть адрес, получить список объектов. Не нужно перетаскивать маркеры и не нужно целиться в кнопки со знаком вопроса или заметкой. Подсматривать адрес тайла и дёргать /dirty стало сложнее.

Все остальные веб-карты давно перехватывают нажатие правой кнопки. Google Maps его просто игнорирует, Яндекс.Карты тоже не откликаются (даже в редакторе, как ни странно), но двойное нажатие правой кнопки уменьшает масштаб, в противовес левой кнопке мыши. Так же ведёт себя новый сайт Карт Спутника.ру (в пятницу они обновили дизайн), но по одиночному клику показывает меню. Меню по правой кнопки мыши выпадает и у Bing Maps, самое красивое и полезное из всех: только в нём есть пункт «скопировать координаты».

Традиционно для нашего сайта, пул-реквест Дэна Стауэлла висел с августа 2015 года. Неделю назад Стефан Келлер нашёл его и написал, что ему часто жалуются на отсутствие всплывающего меню на osm.org. За шесть часов решили все проблемы и вчера Том, наконец, решительно нажал кнопку «Merge».

В этом году сайт развивается быстрее прежнего: недавно улучшили оформление писем и ограничили размер пакета правок. Четвёртого января неожиданно и неожиданно быстро, всего за семь часов, на сайт добавили слой GPS-треков. Тот самый, да. Наконец, на этой неделе все сервисы переводили на Let’s Encrypt: помимо прочих, SSL-сертификат появился у домена osm.org, так что короткие ссылки стали безопасными.

Уточнение: В Google Maps и Яндекс.Картах есть меню по правой кнопке мыши. Оно появляется не во всех браузерах. В комментариях к этой заметке есть иллюстрации. Так что OSM, действительно, последним пришёл к такому решению — а мы даже не заметили, что отстаём.

Пару недель назад Йохен Топф рассказал про новую функцию osmium-tool: режим extract для вырезания областей. Диаграммы в заметке показывают, что osmium вырезает в два-три раза быстрее, чем osmconvert. То есть, как когда-то osmconvert заменил osmosis, потому что был не в пример быстрее, так теперь osmium, кажется, может заменить его.

Я решил сравнить утилиты чуть тщательнее и взял файл планеты в pfb от 30 января. Сделал его копию в o5m — формат стал популярен именно из-за osmconvert, который обрабатывает его чуть быстрее других. И поскольку osmuim не умеет писать в o5m, а только читает, сравнил скорость преобразования обратно в pbf:

33 минуты против 86! Серьёзная заявка на победу. Причина проста: osmium многопоточный. Пока osmconvert вяло крутит 70% одного ядра процессора, его конкурент задействует 265%, то есть, около трёх ядер. Отсюда и разница в 2,6 раза.

Для проверки вырезания регионов я взял Мюнхен, который в pbf займёт примерно 200 мегабайт. Вырезал по прямоугольнику и по полигону из 1200 точек. У обоих утилит есть настройка полноты вырезанных данных: простой режим сохраняет только те точки, что попали в область обрезки. Сложный «complete ways» досыпает точек за пределами области, которые принадлежат линиям изнутри её. То есть, в итоговом файле не будет неполных линий. Режим «complex ways» («smart» в osmium) дополнительно сохраняет целостность мультиполигонов.

Как видно, при работе с pbf osmium в полтора-два раза быстрее osmconvert. Разумеется, за счёт многопоточности. Но с o5m работать в несколько потоков не получается, поэтому столбцы красного оттенка отличаются несильно. Как видно, нет такого режима выгрузки, в котором osmium не превзошёл бы osmconvert.

Превосходство будет ещё заметнее, если не читать файл планеты для каждого региона отдельно, а вырезать несколько регионов за раз. Да, osmium это умеет. Правда, требует очень много памяти: Йохен советует сначала вырезать континенты, затем группы стран и так далее. Понадобится написать файл конфигурации, как описано в документации. В январе на многопоточное одновременное вырезание регионов перешли в Geofabrik, ускорив подготовку выгрузок с 10 до 4 часов.

А теперь непонятная диаграмма, дополняющая предыдущую:

Утилита time, которой я замерял время работы, выдаёт «real time», время от запуска до остановки, и «user time»: время процессора, затраченное исключительно на приложение. И если я правильно понимаю, osmium оказался менее оптимизированным, чем osmconvert, но он эффективнее использует ресурсы компьютера.

Итак, osmium может заменить osmconvert, и почти всегда окажется быстрее. Кроме того, он позволит снять зависимость от формата o5m, который хоть и поддерживается osm2pgsql и другими программами, основанными на libosmium, но требует больше места и дополнительной конвертации. Что с другими приложениями из комплекта osmctools?

Osmupdate удобен простым обновлением выгрузки или файла планеты. Достаточно указать в параметрах имя существующего и нового файла, и получим данные из OpenStreetMap на минуту запуска. Умеет ли подобное osmium-tool? Нет, к сожалению. Но osmupdate — лишь надстройка над wget и osmconvert, скачивающая файлы репликации и передающая в osmconvert для объединения и применения к исходному файлу. Osmium-tool может делать всё, что умеет osmconvert, и возможно слегка переписать osmupdate, чтобы он запускал его вместо osmconvert (и заодно curl вместо wget). Или встроить подобную функциональность в osmium — увы, пока этого никто не сделал.

Но в плане сравнения производительности можно посмотреть на время обновления файла планеты диффом за одни сутки:

Как и обещала справка osmconvert, файлы в формате o5m он обрабатывает быстрее. Как показали прошлые замеры, osmium работает быстрее независимо от формата.

Заменой для osmfilter должен стать osmium-filter. Мне удалось его скомпилировать, но я так и не разобрался в его формате запросов. Инструкция из readme не помогла. Поэтому сравнивать пока нечего. Увы, именно osmfilter требует формата o5m, поэтому если в ваш процесс обработки данных входит, например, фильтрация береговой линии, полностью снять зависимость от o5m не получится.

И ещё одно может стать препятствием: пакет osmctool очень редко обновляется, и потому он достаточно свеж во всех дистрибутивах Linux. А режим extract в osmium-tool появился только в версии 1.5, которая на этот момент загружена только в репозитории Debian (jessie-backports) и, конечно, AUR для Arch Linux. В Fedora устанавливается версия 1.4.0, а в Ubuntu — вообще 1.3.1. Для этих систем придётся собирать osmium-tool из исходников.

Тестирование проводилось на среднем по характеристикам ноутбуке Asus с четырёхъядерным i7-4700 @ 2,4 ГГц с гипертредингом, 12 гигабайтами памяти и каким-то HDD.

Знаете, бывает иногда: договорились с какой-нибудь «Пятёрочкой», что они откроют данные для загрузки в OpenStreetMap, месяц пробирались сквозь бюрократию, получили заветный файл в формате CSV... И что? Допустим, сделали из него OSM XML и открыли в JOSM. Там восемь тысяч точек, которые нельзя просто взять и загрузить: в OpenStreetMap половина уже отмечена, часть — полигонами или отношениями, ещё минимум тысяча не подписана. Перелопачивать весь массив долго, монотонно и уныло. А на подходе уже «Магнит», который прознал про нашу лучшую в мире карту и готовит свои девять тысяч точек. И через месяц — обновление.

Пока в MAPS.ME обращались небольшие компании с сотней-другой точек, мы махали рукой и просили либо разобраться в OSM самостоятельно, либо подождать, пока кто-нибудь напишет скрипт. Но вы знаете основной принцип открытого проекта, так что теперь такой инструмент есть. Задачу из первого абзаца легко решит OSM Conflator.

Это скрипт на Python 3, который принимает профиль с настройками импорта и функцией подготовки данных. Он скачивает свежий набор, запрашивает у Overpass API подходящие объекты из OpenStreetMap и сопоставляет точки из обоих наборов. Геометрия из OSM считается эталонной, как и все теги, кроме заранее определённого набора (например, времени работы, которое поставщику данных лучше знать). Существующим объектам скрипт досыпает тегов, добавляет новые точки туда, где в OSM ничего нет, и выдаёт файл osmChange.

Дальше его можно напрямую загрузить в OpenStreetMap, но это нехорошо, противоречит руководству по импортам. Правильнее будет открыть файл в JOSM, проверить глазами, что ничего не сломалось и теги правильные, а затем выдать профиль и файл на обсуждение сообществу. Именно это я проделал со списоком паркоматов Москвы, полученных с портала открытых данных: до пятницы можно поискать ошибки в файле osc и профиле, после чего паркоматов в OSM станет на 765 больше.

Если не хочется импортировать, или владелец данных не дал явного разрешения, можно обойтись валидатором CupIvan. Он примерно так же сравнивает данные OSM и официального источника, но вместо загрузки выводит таблицу, где видны неправильные значения тегов, лишние и отсутствующие объекты. Исправлять приходится по одному объекту за раз, зато нет головной боли с обсуждением импорта в сообществе. Иван давно не обновляет валидатор, эстафету за последние три года перехватывали dndred, KoolRu и Avlaak. Последние два даже обновляют данные.