9 заметок с тегом

overpass

Свой Overpass

Сегодня у сайта osm.org появился свой выделенный сервер для запросов к Overpass API. Он не публичный (и пожалуйста, не надо добавлять его себе в зеркала) и предназначен только для одного: поиска объектов вокруг заданной точки. Когда вы выбираете на сайте инструмент «Что здесь?» со стрелочкой и знаком вопроса и тыкаете в карту, сайт запрашивает список у Overpass API (потому что OSM API этого не умеет). Раньше это был сторонний сервер overpass-api.de, теперь — свой.

Эта новость порадует всех, кто пользуется инструментом «что здесь». Как узнать, что стало лучше? Тыкните в любое место три раза подряд. Из-за драконовских ограничений сервера раньше вы гарантированно получили бы ошибку: слишком много запросов. Теперь и на десятый клик сайт стабильно показывает объекты рядом и полигоны, содержащие заданное место. Видеть, как Overpass API работает без сбоев, умилительно: будто вернулся на пять лет назад.

Кажется, это была единственная часть сайта, которая работала нестабильно. После перехода с тайлового CDN (тридцать серверов которого так и стоят без дела) на Fastly ушли проблемы с медленными тайлами. Удивительно, но когда платишь людям за работу, эта работа оказывается сделанной хорошо. Построение маршрутов обеспечивают немецкий сервер OSRM (оплачен FOSSGIS) и немецкий же GraphHopper (витрина их бизнеса), оба стабильные. Чужие тайловые слои работают как часы, включая добавленные за пандемию французский велосипедный и немецкий общественного транспорта.

Но этот переход напоминает, что на самом деле стабильность стоит очень больших денег. Восьмиядерные серверы со ста гигабайтами памяти и терабайтом диска для Overpass API на дороге не валяются. Прокладка маршрута будет вам стоить от 50$ в месяц. Чуть меньше, если поднимете сервер на амазоне сами. Геокодирование платное. Тайлы платные. Кэширующий CDN тоже дорогой. А если хочется бесплатно и по-быстрому, то ограничения делают открытые сервисы бесполезными для публичных проектов.

OpenStreetMap — это открытые и бесплатные карты для каждого. Для каждого человека. Но когда нашими сервисами начинают пользоваться компании, оказывается, что стоимость этого пользования слишком велика. Раньше мы могли банить проблемных пользователей по-одиночке, но теперь их слишком много. Карты нужны всем. И либо ты строишь забор, который мешает и тем, кто растит в саду яблони, либо каждый день будешь видеть длинную очередь людей в костюмах и с пустыми мешками.

2021   osm.org   overpass

Заверните всё, пожалуйста

Overpass API версии 0.7.54 вышел больше года назад и в нём было так много нового, что Роланд завёл блог проекта, чтобы похвастаться полезными применениями. Язык запросов был и так сложен, но там появились выражения: если, например, добавить (if:count_tags() == 0), то получите объекты без тегов. А чтобы выбрать дороги с повышенной скоростью, пригодится (if:number(t[maxspeed])>110). Наконец, появился важный селектор отбора по идентификатору (id:123,456,...).

Со дня на день выйдет следующая версия API. Роланд уже неделю обновляет описание языка запросов в вики. Там, разумеется, много непонятной дичи вроде операторов цикла и условия, а также «цикла до тех пор, пока результат не стабилизируется». Добавили новые операторы для (if:...): is_closed() и length() для линий, count_by_role(...) для отношений.

Есть и штука, которая будет немедленно полезна каждому, кто когда-либо делал запросы: фильтр nwr, который объединяет в себе node, way и rel. Больше не нужно перечислять все три типа в запросах по тегу: достаточно nwr[shop=pet] — и получите все зоомагазины, каков бы ни был их тип. И самое главное — фильтр уже работает на основном сервере!

В списке запросов для тестирования новой версии можно найти пример, который ещё лучше сократит ваши запросы:

nwr[amenity=recycling](if: t["recycling:glass"] || t["recycling:paper"] || t["recycling:clothes"]);
 1 комментарий   2018   overpass

Обходные листы в QGIS

Шесть лет назад я написал инструкцию, как печатать обходные листы с использованием современного (на тот год) открытого софта и активно разрабатываемого (на тот год) рендерера Maperitive. Вечером перед тульской картовстречей я посмотрел на каталог этого рендерера и понял, что хватит это терпеть. Но что открыть взамен? В mapnik непросто повернуть карту (а это критично), с эзотерическими рендерерами, типа alaCarte и smrender, долго разбираться. Я уже много лет советую всем QGIS для печати карт — так возьму его сам.

Это одновременно статья про то, как непросто и одновременно несложно было разобраться в инструментах и получить файл pdf с обходными листами, и инструкция. Печатайте больше обходных листов и выводите картографов на улицы. Вам не обязательно загружать собранные объекты именно в OpenStreetMap, но мы были бы рады. А вот данные для печати, кроме как из OSM, взять неоткуда. Начнём с их подготовки.

(Если вы делаете обходные листы, не дочитав заметку до конца, советую заглянуть в главу «волшебство»).

Подготовка данных

Прежде всего, вам понадобятся QGIS версии не ниже 2.14, GDAL не ниже 2.0 и JOSM.

  1. Откройте JOSM, включите «режим эксперта», если ещё не.
  2. В меню «Файл» выберите «Загрузить с Overpass API» и введите туда запрос: (node({{bbox}});<;>);out meta;
  3. Выберите район картовстречи и качайте. А затем сохраните в файл .osm и закрывайте редактор.
  4. Теперь нужен GDAL, чтобы сделать файл для QGIS. Для сохранения тегов типа addr:housenumber нужно настроить ogr2ogr. Если коротко, берите этот osmconf.ini и положите к данным. Возможно, вы захотите добавить тегов в поля attributes разделов [lines] и [multipolygons].
  5. Выполните из командной строки:
ogr2ogr --config OSM_CONFIG_FILE osmconf.ini -t_srs EPSG:3857 -f GPKG party.gpkg party.osm

Здесь мы используем все достижения последних трёх лет: простое скачивание данных из Overpass API, хорошую поддержку формата OSM библиотекой GDAL и формат GeoPackage. Последний опубликован только три года назад и удобен для хранения данных из OSM: в отличие от шейпов, файл получается всего один и при этом непустой.

Файл osmconf.ini в комплекте GDAL разочаровывает на каждом шагу: очень мало тегов, даже адресов нет. И нет полигональных водоёмов. То ли дело файл style, приложенный к osm2pgsql. Воспользовался бы последним, но тогда цепочка получилась бы слишком сложной: osm → osm2pgsql → postgresql → ogr2ogr → gpkg. Два шага в этой цепочке выглядят лишними.

Оформление карты в QGIS

Было бы здорово сказать: «просто используйте этот стиль на ваш файл», как обычно с мапником или маперитивом, но в мире высоких ГИС не всё так просто. Нужно открывать свойства каждого слоя, кликать на цвета, делать дубликаты, фильтровать. Любое ваше действие QGIS запишет в файл проекта, поэтому я не дам свой: кто знает, какую порнографию вы откопаете в tula.qgs. Так что — пошаговая инструкция.

  1. Откройте в QGIS файл GeoPackage и добавьте слои lines и multipolygons. В первом лежат дороги, ручьи и заборы, во втором — здания, парки и водоёмы.
  2. Справа внизу кликните на «EPSG:4326», включите перепроецирование на лету и выберите проекцию EPSG:3857, привычную по растровым картам.
  3. Отфильтруем дороги. Кликните правой кнопкой на слое линий, там — «Фильтр». Выделим улицы: highway in (’trunk’, ’primary’, ’secondary’, ’tertiary’, ’residential’, ’unclassified’, ’pedestrian’)
  4. Теперь оформим: двойной клик на слое, во вкладке стиля цвет #777777 и толщину 0,3 мм.
  5. Во вкладке «Подписи» окна свойств сверху выберите «показывать подписи» и ниже поле «name». Цвет #666666 и размер шрифта 10.
  6. А что с пешеходными дорожками? Правую кнопку на слое, «Дублировать». Правите теги в фильтре на (’footway’, ’path’) и в свойствах: «простая линия», стиль линии ставите в «штриховая».
  7. Аналогично для всех остальных слоёв: линии highway=service, railway=rail, waterway NOT NULL и полигоны воды, парков и зданий building NOT NULL.
  8. Для зданий нужно указать подписи не только с номером дома, но и с этажностью. Справа от выбора поля подписи жмите на кнопку «ε» и введите формулу: addr_housenumber || ’/’ || building_levels

На этапе фильтрации данных в слое я понял, что импорт файлов OSM напрямую — это шляпа: на любой чих QGIS мне мерзко отвечал: «какая-то проблема в вашем SQL». Поэтому нужен GeoPackage. Можно справиться и с более старым Spatialite, но зачем.

После танцев с бубном в Maperitive (да, я помню их спустя шесть лет!) оформление карты в QGIS — праздник предсказуемости и удовольствие конфигурируемости. Не программирование, а интерактивный выбор из списков. Никаких подписей поверх линий, работает их вытеснение, а линии не меняют толщину и цвет в непонятной зависимости от масштаба. Да и вообще не нужно думать о масштабе. Первые десять минут не верил, что всё так просто, но да: быстро переписал все размеры и цвета из стиля для Maperitive и увидел красивую карту.

Пирог

  1. Добавьте новый векторный слой типа Polygon. В нём нужны поля name (строка) и rotation (целое число).
  2. В его свойствах отключите заливку, добавьте жирный контур и подпись из name.
  3. Включите редактирование и обводите листы для печати, один за другим. Левый клик — добавить точку, правый — завершить. Рисовать лучше прямо по улицам. Поле fid, если есть, заполнять не нужно. Называйте полигоны в формате «14-запад»: номер куска в пироге и указание на его часть.

Опять же, видя прямоугольники листов на карте, ощутил наступление будущего: не нужно терпеть ме-е-едленный поворот всей карты в Inkscape, элементарно переставить или подвинуть куски. Единственное, чего не хватает, — автоматического вычисления поворота, чтобы каждый кусок печатать в максимально возможном масштабе. Поле rotation придётся заполнять самостоятельно.

Печать атласа

  1. «Проекты» → «Создать макет», там во вкладке «Атлас» включите его, выберите слой, скройте его и щёлкните на «создать многостраничный документ».
  2. Добавьте карту и во вкладке «Свойства элемента» отрегулируйте положение и размер. Включите «используется для атласа» с полем 0%, выше свяжите вращение карты с полем rotation.
  3. Добавьте в угол текстовую метку с содержимым [% «name» %] и настройте её вид.

Это всё — если не нужно поворачивать карту на отдельных листах. Но, конечно, поворачивать надо. Поэтому:

  1. Включите предпросмотр атласа.
  2. В окне QGIS откройте таблицу атрибутов слоя пирога и включите редактирование.
  3. Для каждого листа оцените поворот в градусах (положительные значения — по часовой стрелке) и впишите в нужную строку. После этого в окне макета нажмите «Обновить» и проверьте угол. Поправьте, если не попали.
  4. «Следующий объект» — и так далее до последней страницы. Муторно, но всё проще и быстрее, чем в Inkscape.

Теперь точно всё. Из меню «Атлас» сразу печатайте или сохраните в PDF. Если нужно проверить оформление, напечатайте одну страничку из меню «Макет».

Нет, не всё

Боже, двадцать два шага. Пирог «наполеон» готовить проще, чем пирог к очередной картовстрече. Даже с учётом современных технологий получилось длинно и сложно. Клики правой кнопкой мыши, клики левой. Нам нужно проще. Поэтому я начал смотреть, как оптимизировать отдельные этапы. Главное — подбор углов поворота. Глазами получается неточно, а в модуле processing есть интересная функция «oriented minimum bounding box», которая делает ровно то, что нужно: находит повёрнутый прямоугольник минимальной площади, в который вписывается каждый объект слоя.

Открыл питонскую консоль, набросал короткий скрипт — и действительно, поверх слоя домиков в своём районе увидел россыпь повёрнутых прямоугольников вокруг них. А в атрибутах — размеры и углы. Сохранил скрипт, довольный. Через пару минут дошло: плагины же тоже на питоне пишутся. Если делать не только для себя — нужен плагин. А если делать плагин, то нужно идти до конца, чтобы получилось...

Волшебство

Именно по этой причине эта заметка задержалась на три недели. Забудьте все шаги выше. Забудьте Overpass, забудьте ogr2ogr, забудьте свойства слоёв и составление атласов. Теперь подготовка пирога так же проста, как его обход:

  1. Установите модуль «Walking Papers».
  2. Найдите кнопку с синими прямоугольничками и после нажатия выберите «Скачать данные OSM».
  3. На новом слое нарисуйте (слева вверху карандашик и какая-то область) полигон вокруг области картовстречи. Затем снова жмите «Скачать».
  4. Ура, есть карта! В слое «Pie Overview» наметьте широкими линиями границы кусков пирога.
  5. В слое «Pie Sheets» обведите кварталы, которые войдут на каждый лист. Обычно это два-три листа на кусок пирога. Давайте им названия в виде «4-запад», с номером куска и ориентиром внутри него.
  6. Снова под той же синей кнопкой «Подготовить к печати». Всё, просмотрите листы и экспортируйте в PDF.
Картинка со старой версией модуля, где был лишний шаг

Невероятно! Шесть шагов, из которых только два требуют осмысленной работы, чесания головы, пристального взгляда на спутниковые снимки, ворошения прошлых пирогов, захлопывания крышки ноутбука с возгласом «да ну его, завтра нарисую!» Печать качественных обходных листов больше не удел гиков, которые «на ты» с таким осмерским софтом, который вы бы не захотели встретить в тёмной подворотне. Жду не дождусь августа, чтобы воспользоваться модулем по назначению.

Внутри QGIS

Осталась одна ма-аленькая проблемка. Если повернуть страницу атласа, то её масштаб станет мельче, чтобы вместить все данные с неповёрнутой страницы. А если карта управляется объектами с отдельного слоя, то на вычисление масштаба размеры этих объектов не влияют (посмотрите на отступ до дороги сверху на правом листе на фотографии в начале статьи). Вот незадача: хотели повернуть кварталы вдоль листа, чтобы приблизить их до упора и не мельчить при обходе, а получилось наоборот. Из-за этого поворот карты становится бесполезным. Что же делать?

Как известно, открытый софт развивается через боль. Если вас что-то не устраивает в QGIS, вы либо идёте жаловаться в телеграм, либо оплачиваете разработку в NextGIS, либо делаете git clone и открываете Qt Designer сами. Будучи ленивым, я пропустил первые два шага, нашёл в исходниках вычисление размеров объекта и всунул в нужное место geometry.rotate(). Пул-реквест отправился в ветку будущего релиза QGIS 3.0.

А дальше я начал узнавать, чем гостеприимный опенсорс отличается от пассивно-агрессивного, как принято в OSM. «Офигенное решение проблемы, спасибо!» — поприветствовал меня один из разработчиков QGIS. И сразу такое тёплое чувство внутри: меня ждали, мне рады, я не зря изучал исходники. «Только допиши тест на питоне, пожалуйста» — и окрылённый, я пошёл изучать систему тестирования QGIS и писать нужную функцию.

В процессе наткнулся на неудобство API прямоугольников и дописал функции их сдвига. Так я узнал про SIP bindings и зачем нужен скрипт prepare_commit.sh, который нужно запускать до git commit. На каждом этапе я мог кинуть клавиатуру в окно от очередного «сделай ещё тут кое-что», но благодаря вежливости и доброжелательности участников проекта я был рад делать ещё и ещё. Только метафорической линейкой по пальцам удержало меня от новых правок и улучшений в коде QGIS. Зачем оставаться в OSM и всё это терпеть, когда там так приятно и легко, и говорят спасибо после мёржа?

Встреча приятных людей в Эссене, фотография Аниты Грейзер

Но проблема осталась

Версия QGIS 2.18 останется в большинстве репозиториев до сентября 2018 года: моя правка в неё не попадёт. Пользоваться модулем хочется прямо сейчас, не дожидаясь новых версий QGIS. Поэтому нужно как-то обойти ошибку. С пул-реквестом за плечами решение оказалось несложным: модуль делает копию слоя пирога с модифицированной геометрией и новыми атрибутами. Новый слой невидимо управляет параметрами карты, чтобы у вас были идеальные обходные листы.

Как ещё можно улучшить? Ну, например, сделать рисование листов пирога сразу прямоугольниками пропорций листа А4. Тогда этап вычисления углов поворота станет ненужным. Слой тайлов OpenStreetMap пока приходится подключать вручную через QuickMapServices: возможно, лишние клики стоит оптимизировать, общаясь с этим модулем напрямую. Это поможет и для подготовки обзорных страниц в атлас. Наконец, оформление обходных листов зашито в модуль: чтобы его поменять, нужно править файл внутри каталога, но после обновления модуля правки потеряются.

Буду ли я улучшать модуль? Нет, он достаточно хорош и мне лень.

Писать модули прикольно. Что для JOSM, что для QGIS. По окончании радует ощущение, что операции, которые требовали времени и внимательности, переложены на машину и делаются одной кнопкой. Оформление модуля трудоёмко: нужно копаться в API, разбираться с репозиторием, рисовать значки и не забыть про переводы. Альтернатива — короткие куски кода для консоли python или плагина JOSM Scripting. Писать их не проще, а найти потом, когда через год-другой возникнет похожая задача, — почти невозможно. Так что лучше неделю потерять, но потом несколько часов сэкономить.

 3 комментария   2017   josm   mapping party   overpass   qgis

Overpass кладёт в OSM

Этой ночью Мартин Райфер научил Overpass Turbo сохранять запросы не только в локальное хранилище браузера, но и прямо в OSM API, после авторизации. Вы увидите свои запросы на всех компьютерах и на любой копии сервиса.

Кажется, это второй случай использования Preferences API популярным приложением. Первым был редактор Merkaartor, который задействовал эти функции, когда версия API была ещё 0.5, и наткнулся на ограничение в 150 тегов. Потому что теги и настройки обрабатывались одним и тем же кодом. Были предложения сохранять настройки в OSM и другим редакторам — JOSM и iD, но забылись за отсутствием интереса.

Кроме ста пятидесяти настроек за раз, у API есть ещё ограничение: не больше 255 символов на строку. Длинные запросы Overpass Turbo сохраняет в несколько ключей и склеивает их при загрузке.

Наконец, API не решает задачу публикации кода запроса. Пусть сервис сам по себе — библиотека запросов с удобным интерфейсом, было бы здорово отвязаться от неё и загружать код в GitHub Gist вместе с коротким примером использования в Leaflet. Ровно как это делает Geojson.io при нажатии кнопки «Share».

 2 комментария   2017   osm.org   overpass

josm-tested XX

Только что вышла очередная стабильная версия JOSM, в которой закрыли дыру с несанкционированными запросами в интернет. Чуть ранее опубликовали другую стабильную версию с кучей изменений за месяц. Самое интересное в ней — отображение загруженных треков в виде тепловой карты (как на картинке). Теперь не нужно подключать ненадёжный тайловый слой, чтобы проследить оси дорог, и можно пользоваться своим огромным архивом треков. Чтобы переключить отображение, нажмите правую кнопку на слое треков, там «настроить отрисовку».

С августа в редакторе сделали ещё несколько полезных штук:

  • Пункт меню «Файл → Скачать в текущей просматриваемой области» без вопросов скачивает данные в рамках окна.
  • Наконец-то полигоны сохраняются в GeoJSON не как LineString, а в Polygon. Эта особенность сломала немало мозгов. Также мультиполигоны превращаются в MultiPolygon и убрали безумие с проекциями в атрибуте crs, теперь только WGS-84.
  • В запросах к Overpass API можно использовать ключи {{bbox}} и {{geocodeArea:...}}, как в Overpass Turbo. Без bbox скачивание данных с Overpass может вернуть ошибку «an empty query is not allowed». Напомню, для скачивания всех объектов в прямоугольнике вводите (node({{bbox}});<;>);out meta;
  • Ползунок прозрачности слоя и других эффектов можно крутить колесом мышки.
  • Если скопировать в буфер обмена ссылку на объект на osm.org и в окне JOSM нажать Ctrl+V, объект скачается с сервера. Это работает и для других видов ссылок: например, на треки.
  • Иногда на узлах линий стоят теги direction или incline, зависящие от направления линии (чаще всего на highway=stop / give_way). Теперь JOSM отслеживает их в момент разворота линии и предлагает поменять значения на противоположные.
  • Встроили базу границ стран, теперь правила валидации и картостили можно привязывать к стране. Например, запрещать «ss» в названиях в Германии.
  • Настройки, кэш и модули теперь не в одном каталоге, а как регламентирует операционная система: в cache, config и т. п.

Помните, что слово «стабильный» в таких новостях нельзя использовать без кавычек, пользуйтесь свежими ночными сборками JOSM, читайте список интересных изменений на JOSM.ru и качайте оттуда редактор.

2017   josm   overpass
Ранее Ctrl + ↓

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.