92 заметки с тегом

sotm

Позднее Ctrl + ↑

Карты своими руками

Конференция State of the Map EU 2014 закончилась, если вы пропустили отчёты в штосме, почитайте: четверг, утро пятницы, вечер пятницы, утро субботы, вечер субботы, воскресенье.

Посмотреть все 48 видеороликов на канале sotmeu нереально, но некоторые из них очень хороши. Вот те, что мне понравились, и, по-моему, обязательны к просмотру:

  • Ilya Zverev: I’ve Bought a Car for Mapping, Now What? (12 минут доклад + 8 вопросы) — как я могу не включить свой доклад, раз я посчитал тему достаточно важной для сотма, а организаторы поставили его первым в программе? Тут я презентую программу NanoLog и плагин для JOSM, о которых говорил ещё на МММ 2012, но только неделю назад добил до возможности мапить собранные данные. Они предназначены для картирования на большой скорости без отвлекания: из автомобиля, велосипеда, поезда.
  • Roland Olbricht: Sparse Editing (17+5) — как редактировать сети рек, железных или обычных дорог, как править общественный транспорт в слишком хорошо прорисованном городе, как не сломать отношения, качая данные не полностью. Конечно, используется Overpass API через плагин mirrored_download в JOSM.
  • Andy Allan: Lightning Map Tiles (23+6) — Энди, автор стилей OpenCycleMap, Transport, Outdoors и т. п., попробовал перейти с растровых тайлов и TileMill 1 на векторные и TileMill 2. Получилось, но процесс оказался очень уж муторным, большей частью из-за джаваскрипта, на котором написаны новые инструменты. Тем не менее, векторные тайлы — наше будущее (пусть пока у всех они в разных форматах), и этот доклад поможет их понять.
  • Oliver Tonnhofer: Imposm (21+5) — кто мучался с osm2pgsql, будут поражены возможностями альтернативы, Imposm. Остальные узнают, что именно делает osm2pgsql, почему это неудобно и медленно, и почему заменить его пока не получается.
  • Michael Collinson, Alex Barth: The State of the License (10+11+25) — MapBox в лице Алекса Барта хочет поменять нашу лицензию, убрав условие Share-Alike. Для противовеса организаторы выставили Майкла Коллинсона с докладом о работе LWG. Вот вики-страница, которую он упоминает. Аргументы Алекса очень сильны, поэтому 25 минут на обсуждение явно не хватило, и за ланчем многие продолжили дискуссию. Например, я рассказал Майклу про проблему с отсутствием в лицензии явного требования писать копирайт поверх карты, которое мы предъявили Спутнику и 2ГИС.
  • Jerry Clough: Woodland Cartograhy (15:30-21:30, 6 минут) — короткий доклад про отображение лесов на картах сквозь века, как мы пришли к банальной зелёной заливке, и как исправить ситуацию. Также Джерри перечисляет свойства массивов деревьев, которые многие могут снять самостоятельно с минимумом подготовки. На вопрос о новой схеме leaf_type / leaf_cycle, которая заменяет wood=*, он называет её значительным улучшением, пусть и с сомнительным названием тега.
  • Kaido Irval: Google Glass Maps SDK (26:30-33:30, 7 минут) — короткий пиар библиотеки Nutiteq для карт на Google Glass. Всё трёхмерное, с отображением и поиском POI. В конце он показал трансляцию с очков, я проверял — внутри выглядит так же. Интересно, что все данные заливаются на очки, и рендеринг идёт с них же. Едва ли это можно назвать технологией будущего, но очень круто, что OpenStreetMap стал первой картой на устройстве Google.
  • Tim Waters: OpenHistoricalMap, Serge Wroclawski: Changeset Discussions и Richard Fairhurst: OSM Routing for Cyclists (5:00-23:00, 18 минут) — три коротких доклада, каждый из которых даёт новую перспективу на нашу базу и наши данные. Тим показывает проект с картами прошлых веков, которые странно выглядят в современном оформлении, отрендеренные мапником. Ричард как всегда блистательно, со смешными слайдами, рассказывает о трудностях построения веломаршрутов по нашим и чужим данным. Кажется, на любой конференции, где выступает Ричард, кроме его доклада можно ничего и не смотреть, насколько он занимательно рассказывает.
  • Закрытие конференции (12 минут) — ничего нового и технологичного, конечно, вы не услышите, но такие метадоклады — единственный шанс почувствовать атмосферу конференции. Кроме того, тут демонстрируют десятку самых популярных плакатов. Хэнк Хофф в конце зажигает и заманивает на аргентинский SotM в ноябре.

Всего три часа, примерно как один длинный фильм. Если захочется добавки, посмотрите ещё эти доклады:

  • Thilo Stapff; Johannes Bouchain: OpenGeofiction (28+6) — проекты на стеке OSM с совершенно другими даными внутри всегда интересны. Тут интерес двойной, потому что несколько десятков активистов (и сотни праздношатающихся) создают совершенно новый мир, не основываясь на каких-то реальных картах или иных произведениях. Кажется, с таким подходом сайт должен превратиться в песочницу и месиво, но результат оказался стройнее и красивее.
  • Yubin Kuang: Mapillary — the missing view of the planet (18+8) — не наши собственные, но полностью открытые для OpenStreetMap фотографии улиц всего мира (конечно, треть базы наполнена немцами, как всегда). Доклад очень прост, но компенсирует отсутствие статьи про проект в штосме: была занимательная история с лицензией, когда они сначала выбрали CC-BY-NC, но мы их убедили, что последний вагон нужно отцепить.
  • Jerry Clough: Beyond the 3 «R»s (26+4) — уже упомянутый мной доклад про нюансы аналитики по данным OpenStreetMap. Джерри каждый раз удивляет неожиданными предметами анализа и глубоким знанием инструментов, предметной области и OSM, что редко встретишь в современных аналитических статьях.
  • Jochen Topf: Osmium to the Rescue (38+20) — запись мастер-класса по библиотеке Osmium, за которой местами сложно следить из-за необходимости понимать код C++11. Тем не менее, Йохен хорошо объясняет сложности обработки данных, показывает свой конечный формат представления OSM для фильтрации через grep и cut, и даёт несколько примеров использования [весьма ограниченного] консольного интерфейса к библиотеке. Для osmium есть маппинг в javascript, но хотелось бы такой же для python.

Участники конференции делали до обидного мало фотографий, и у меня редко был выбор для заметок. Икия только сейчас опубликовал снимки рельефной карты для слабовидящих: Lulu-Ann принесла целую коробку подобных, и на ощупь они поразительны. Конечно, готовят их вручную и за огромные деньги. Наши эксперименты с рельефными тайлами пока не так впечатляют, но показывают, что перспектива есть.

Долгая прогулка

Кажется, что живу в Карлсруэ уже вторую неделю: вокруг все знакомые улицы, каждый день одни и те же люди, на трамвае катаюсь, разные пивные посещаю. Сегодня ездили за город ввосьмером, включая меня и Кирилла. Немецкие поезда ездят слишком быстро: услышишь лишь когда тебя уже переедут. Со второго раза мы нашли вход в заповедник, где Джерри предупредил: шаг в сторону — утонете в болоте, наберётесь клещей и нарушите экосистему. Жаль, не распечатал заранее обходные листы: гуляли просто так (треки уже в OSM), рассматривали деревья и птиц. У одного озера тропинка поднята на деревянный настил, который замаплен как highway=path + bridge=yes: оксюморон в русской системе тегов. Региональные различия (как и тегирование мостков) не раз обсуждались в перерывах конференции, и стали темой доклада Кирилла.

Пригородный трамвай S5 едет по железной дороге, затем сворачивает с неё, проходит через центр города и уходит обратно на ж/д. Он доставил нас почти к месту проведения Hack Day. Как и конференция, день был организован безукоризненно: два зала для программирования (один пустовал, поэтому в нём обедали традиционным немецким блюдом — шавермой на вынос) и лекторий. Я посмотрел только мастер-класс Энди Аллана про главный наш картостиль, но программировать свои штуки в тишине как-то интереснее. Все пять выступлений записаны, в канале SotM EU выложены все видеозаписи до единой. Профессионализм нанятой видеокоманды зашкаливает.

Вечером, как водится, пошли в бар. Последняя ночь сотма — самая интересная: обмениваемся историями и обсуждаем важности как в последний раз. Многое забывается, но надеюсь, узнанное прирастает в памяти ассоциативными связями. Энди, например, на неделе обнаружил и поправил два бага в Rails Port, в интерфейсе взаимодействия с Potlatch 1. Из-за него в pbf с полной историей нашёлся неправильный символ юникода, который ломал конвертирование в xml. Ричард порадовался, что поддержкой своих редакторов давно не обязан заниматься. Вместо программирования он поехал утром на велосипеде в Чёрный Лес и на Рейн, переплывая на пароме который, удивился скорости течения. Как и остальные англичане, он приехал на поезде. Говорят, туннель неинтересен, но скорость покидания Лондона поражает: десять минут — и он далеко на горизонте.

С Энди Алланом много чего успели обсудить, включая API 0.7: очевидно, главная проблема, задерживающая новый апи, — мы стараемся напихать в него всего по максимуму. А если не спешить и провести сначала малые изменения (исправление кодов HTTP, получение удалённых объектов в bbox, json и тому подобное), то всё пройдёт более гладко. Area, конечно, тоже нужен, но чтобы выбрать правильный подход, нужен программист на Ruby, Java и C++ с кучей свободного времени. Посетовали, что MapBox превратился в наш гугль: сначала всем кажется, что крутой, но как-то слишком далеко заходит. И не релизил ничего очень давно, лишь собрал и запер всех хороших программистов. Велика вероятность, что ни мапников, ни OSRM, ни тайлмиллов больше не будет: вектор развития MapBox — в векторных картах и GL (сидящего за соседним столиком Алекса решили не беспокоить). Что касается стиля osm.org, мысль о создании второго «стандартного» стиля, ориентированного на нормальных пользователей, прорабатывалась на конференции в Портланде, но дальше общего плана и цветовой схемы дело не зашло.

Три года назад я чувствовал себя зелёным новичком среди гигантов — сейчас это смешно вспоминать. Мы все одинаково хорошо понимаем и участвуем в OpenStreetMap, кто-то программируя, кто-то — собирая данные. В свете пропорции технических и полевых докладов, ещё непонятно, чья работа важнее. Новички привносят свежий взгляд на наши вечные проблемы, участники в возрасте часто имеют несколько увлечений, на стыке которых проявляются интересные применения карте. Конференции проводят не для докладов (в этот раз программа была так себе), а для встреч вживую. По ощущениям, это были лучшие четыре дня среди осмосообщества, они наполнили идеями, валидировали мою работу и дали энергии продолжить написание разных полезных запланированных штук. Организаторы — прежде всего, Фредерик и Кристина, — были великолепны с утра до ночи: никаких заминок, все залы идеальных размеров, ноль проблем с интернетом, хотя было за 300 устройств и выкачали 400 гигабайт; буклет и карта радуют глаз, навигация безукоризненна (т. е. стрелки каждые 10 метров), бесплатные вода и лимонады на каждом шагу, конкурс плакатов, опять же. Этот State of the Map EU задал новую планку, которую придётся держать в следующем году — надеемся, в Восточной Европе.

(фотографии Jerry Clough, @osm_at и @thomersch)

Парк неизбежен

Третий день подряд возвращаюсь в гостиницу с литром пива внутри. Никакая другая конференция не имеет такого эффекта. Участвуйте в сотмах! В Аргентине вдобавок обещают танго.

Задержавшись в магазинах, пропустил и рендерер libosmscout, и пленарный доклад физика Дирка Хелбинга, вики-страница которого обещала много интересных идей (но в твитере все жалуются, что нудно получилось). Вместо этого увидел, наконец, в действии Mapillary, «народные панорамы». Это отличная альтернатива Google Street View: берёте смартфон, делаете фотографии каждые десять метров, заливаете на сервер. Либо снимаете панорамы. Юбин Куанг, кофаундер проекта, разрешил загружать фотографии табличек с картовылазок. Снимки доступны под CC-BY-SA, для проекта OpenStreetMap их можно использовать как угодно, даже скачивать GPS-треки. Бизнес-модель у них похожа на гитхабовскую: частные, закрытые наборы снимков нужно оплачивать.

В это время в здании Б два итальянца один за другим рассказывали что-то странное. Один анализировал теги wikipedia на объектах OSM, другой — частоту использования ключей разными пользователями в разных городах. Что мне не нравится в таких работах — они прерываются на середине, не приходя к каким-нибудь действительно интересным или практичным выводам. Ну и что из того, что amenity в одном городе используют относительно остальных тегов чаще, чем в других? Аналитический доклад Джерри Кло в этом смысле был полезнее. Он начал с трёх «Р»: рендеринга, роутинга и розыска, продолжив четырьмя важными «И»: исследование, игры, имитация, искусство. Концентрируясь на первом, он показал примеры полезного анализа данных, рассказал про правильный и неправильный подходы, про полноту и неожиданные корреляции в базе. Агитировал мапить то, что может показаться, можно вывести из данных, но на практике оказывается нетривиальным, вроде landuse. Как всегда, очень интересно, советую послушать.

В конкурсе плакатов, оказывается, участвовали украинцы, которым мы когда-то помогали мапить парк. Они заняли десятое место. Я стащил их плакат себе, вместе с красивым картографическим поп-артом, занявшим четвёртое место. Мой veloroad замкнул пятёрку, генштаб из маперитива — на втором месте со 106 голосами, а самым лучшим 115 голосами снова признали Икию, представившего сообщество Фукушимы. Все плакаты опубликованы на сайте конференции.

Воскресным утром выхожу в семь, чтобы вместе с Джерри Кло и другими сонными мапперами отправиться в лес, учиться различать виды деревьев и болот. Обычно столовая в гостинице открывается в 7:30, но завтра рано утром какой-то религиозный конгресс (не нашёл в гугле), и они начнут работать на час раньше, чтобы обслужить участников. И так каждый день: ощущение, что вокруг какая-то движуха, хочется и в оперу сходить, и на соборы посмотреть, и в пивных с людьми поговорить, но конференция, конференция, а в понедельник утром домой. Дурацкий график. Вообще, должен бы уже спать, но лучше не выспаться, чем пропустить хоть минуту словесного фехтования Ричарда и Гари Гейла в тени Фрэнка невероятной длины.

(фотографии @knowname1111 и @hazerbaba)

Не сменить ли нам лицензию

Пока все развлекались, организаторы опубликовали видеозаписи первого дня докладов. Посмотрел на себя — и удивился, что говорил всего 12 минут. Похоже, чем хуже готовлюсь, тем длиннее доклад: на линуксфесте беспомощно протянул час, здесь ворочал четыре слайда в минуту и запнулся всего пару раз. Затем не удержался и посмотрел ещё доклад Энди Аллана, который великолепно раскрыл стек рендеринга через векторные тайлы и объяснил, почему на osm.org до них ещё далеко. Из интересного посмотрю ещё Денниса Люксена про OSRM (он начал с автоматического вычисления важности дорог в сети, что мы делаем вручную для значений highway) и первую пачку коротких докладов (там Джерри Кло что-то говории про деревья, это пригодится для завтра).

Половина второго дня конференции стоила всей пятницы. Я пропустил несколько докладов, на которые стоило сходить — в частности, Wall-E и, сейчас, Keynote Дирка Хелбинга. Но узнал подробности об Imposm, альтернативе osm2pgsql, разрабатываемой спонсором конференции Omniscale. Крутая программа, но в каждой версии были свои недостатки: первая была закрытой, вторая щеголяла умопомрачительными фичами, вроде хранения промежуточных данных в отдельном NoSQL, продвинутой обработкой тегов и сверхзвуковой скоростью обработки. Но потом в списке шло «диффы не поддерживаются», и — oh well. Третья версия пока в разработке: документации ноль. Её переписали на Go, промежуточные данные хранятся ещё компактнее (8 байт на точку), предобработка тегов ограничена, зато поддерживает диффы. Серверы Omniscale работают с диффами уже три месяца, пока ничего не сломалось. Некоторые видели, что стиль OSM Bright подготовлен для базы как osm2pgsql, так и imposm, хотя таким больше никто, кроме MapBox, не занимается.

Роланд из всех применений своего Overpass API выбрал самое эффективное: редактирование больших данных в OpenStreetMap: например, дорожной сети в масштабах региона. Для этого нужен плагин mirrored_download, он умеет грузить данные Overpass. Дальше, например, если хотите поработать над маршрутами общественного транспорта в городе, загружаете все highway=* и railway=* (для трамваев), точки highway, railway и public_transport, и все линии и отношения для всех точек и линий. Так можно быть уверенным, что вероятность сломать какое-то отношение при редактировании минимальна. Конечно, можно и по-старинке: сделать GPS-трек и сказать жосму скачать все данные вдоль него.

Короткие доклады были интересными, особенно по части HOT — люблю, когда за трибуной мапперы, а не программисты. К сожалению, второй слот отменили, поэтому я не успел ничего рассказать. Но там выступил не менее интересный человек: Майкл Коллинсон рассказал про нашу лицензию и про Community Guidelines, принятые Советом неделю назад, и объясняющие многие непонятные случаи использования данных. После него слово взял Алекс Барт из MapBox, в очередной раз выступивший за снятие ограничения Share-Alike на наши данные. Как всегда, вспыхнуло обсуждение, из-за которого мы на 20 минут опоздали на ланч, но тема богатая. Нужно понимать, что хотя сейчас на это никто не пойдёт, рано или поздно наши данные сменят лицензию, сначала теряя Share-Alike, а когда-нибудь — может, лет через 30, — полностью перейдя в общественное достояние. Об этом нужно задумываться прямо сегодня, особенно перед импортом данных из частично свободных источников.

(фотография Саймона Пула)

С французским акцентом

На ланче стоял рядом с Каидо Ирвалом из Nutiteq, который дал поносить свои Google Glass: внутри были запущены карты на их Maps SDK — первой векторной картографической библиотеке для Glass, причём на данных OpenStreetMap. О ней же он говорил в кратком докладе в конце дня. Другие короткие доклады тоже были странными: какой-то француз пиарил Cartaro CMS, которая заточена под карты, какой-то англичанин пиарил Splash Maps (печать карт на платках — очень круто, но сомнительны данные, и только Англия). Другой француз с нефранцузским именем Фредерико Родриго расказал, как они в юго-западном регионе страны обучают детей осму, и на государственные деньги проводят картовстречи, обучают OSM и улучшают простые инструменты вроде Amenity Editor. И ещё там что-то было про обработку данных OSM в R.

Это всё в конце дня. А сразу после ланча Стефан Келлер рассказывал про игру Kort. Она работает только на смартфонах, там пользователи получают очки за уточнение тегов некоторых объектов OSM. И только в эти дни, собирая точки в Карлсруэ, игроки получат двойные бонусы. Поскольку игра предполагает, что данные заливаются прямо в базу, DWG наложило строгое ограничение: точки должны подтвердить минимум трое участников. Иногда это становится проблемой: нельзя ожидать, что в один и тот же ресторан для добавления тега cuisine зайдут четверо игроков. На сегодня выполнено 37 тысяч заданий, но получено лишь 11 тысяч валидаций — вместо необходимых ста тысяч. За полгода игрой залито в OSM всего 500 пакетов правок.

Затем Дитмар открыл результаты своей инициативу по вытаскиванию из муниципалитетов Германии баз адресов, чтобы на основе этих баз валидировать адресную базу OSM. Там всё сложно, особенно в регионе Baden-Wuttemberg, в который входит Карлсруэ. Кристиан Квест с волнующим французским акцентом перечислил десятки сервисов, крутящихся на 12 серверах, пожертвованных их сообществу. Вы все с ними так или иначе сталкивались: тут и французские стили, и uMap, и зеркало Overpass. Я не пошёл на подробный рассказ об Osmose после перерыва, вместо этого посмотрев на Яна Марча с презентацией OSM Buildings. Впервые его удалось вытащить на SotM, и хотя ничего нового из доклада не узнал, было здорово поговорить с ним вживую. Для этого конференции и проводят.

На спинах футболок участников и организаторов напечатаны загадочные слова «Vorsprung durch Mapnik». Хэнк раскрыл суть: это перефразированный слоган Ауди. Странно, потому что одним из спонсоров конференции стал BMW, логотип Mini на всех стендах которого радует глаз. Сейчас участники бесцельно шатаются вокруг здания: через час начнётся Social Event, на котором лучший гриль-мастер города будет готовить неподражаемый гриль из свинины и рыбы в огромном девайсе, похожем на паровоз.

(фотографии @irval и @plepe)

Ранее Ctrl + ↓

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.