Позднее Ctrl + ↑

josm-tested XIX

В пятницу вышла очередная «стабильная» версия JOSM, 10786. Главное её изменение не даст запустить редактор на старых версиях Debian / Ubuntu LTS (без подключения PPA с обновлениями). Снова, как два года назад, разработчики перестали поддерживать старую версию Java: теперь JOSM требует Java 8. Неудивительно: седьмая версия устарела ещё год назад.

Кстати, вместе с JOSM седьмую джаву перестала поддерживать ещё одна популярная программа на этом языке: mkgmap. Её используют для преобразования карты в формат Garmin напрямую, минуя всякие польские форматы.

Что ещё изменилось в редакторе с марта? Много всего, но больше в коде: его немного переделал Майкл Зангл в рамках Google Summer of Code, его подготовили к грядущей Java 9. Как всегда, добавили и переделали кучу значков и заготовок. Заметны изменения в дизайне: там новая полоса масштабирования, легенда для раскраски треков GPX, режим масштабирования (по кнопке «Z») спрятан в экспертный режим, и редактор теперь регистрируется обработчиком протокола «geo:».

Годовщина в Долгопрудном

13 августа, в субботу, мы традиционно отмечаем день рождения OpenStreetMap на природе. Проекту исполняется 12 лет, а мы — часть из нас, кто проснётся пораньше — займёмся тем же, чем в 2011 и последующих годах: картированием. Но в этом году совместим мероприятие со «схемотехникой»: у шашлыка вечером можно будет не только обсудить, как круто развивается OSM, но и произнести что-нибудь связное. Будет интернет, будут компьютер и видеозапись.

План такой: встречаемся в 11:02 в центре платформы Долгопрудная. Я раздаю обходные листы или учу пользоваться maps.me, и мы расходимся по окрестным населённым пунктам. Там много неотрисованного: улица Мичурина сразу у платформы, деревни Виноградово и Горки, военный городок. Велосипедисты могут прокатиться до Клязьмы и канала, собрать треки грунтовок.

В 16:00 собираемся в парке у Долгих прудов. Это 20 минут пешком от станции, достаточно далеко, чтобы не было толп людей. Там жарим шашлык, знакомимся, травим байки, рассказываем про интересные задачи и новости. Если будет шумно от Дмитровского шоссе, спрячемся в чаще. Обратные электрички ходят до полуночи, но думаю, все влезут в автомобили.

Если едете, записывайтесь в вики или отмечайтесь на форуме. Жду каждого, независимо от опыта в осме. Мы такие же интроверты, как и вы!

(Фотография © Moscow-Live.ru, CC-BY-NC-SA 2.0)

2016   mapping party

SotM US 2016: воскресенье два и понедельник

Дикий нервяк исчезает в момент, когда произносишь «привет» в микрофон. Прилично отыграл доклад, разве что не сразу сообразил, что микрофон далековато. Рассказал про приложение maps.me, о котором, несмотря на 8 миллионов активных пользователей в месяц, в США знают немногие. Пару раз сорвал большими числами неожиданные аплодисменты. Основная тема — реакция сообщества на сотни тысяч правок через редактор. Пересказал почтовые рассылки и русский форум, объяснил, что причина этого балагана в том, что осмеры чувствуют потерю контроля над картой и защищаются как могут. Чтобы восстановить мир, нужны инструменты, мониторинг и аналитика, и поднажать уже три месяца как пора. Без maps.me проект со временем потеряет релевантность, потому что ценность local knowledge внезапно понял Google, и пока наше приложение единственное, способное перетянуть у него пользователей.

За мной выступил Кристофор, разработчик из MapHubs. Тема про геоданные, которые не годятся для OpenStreetMap. Например, Null Island, личные оценки ресторанов или объекты из игры про покемонов. Но куда эти данные заливать? Первая попытка сделать подобную систему — MOABI: чистый стек OSM со всеми удобными приложениями, но данные туда сложно импортировать и нет разделения прав. Начинаем с чистого листа: MapHubs (не спутайте с MapHub). На вид — аналог NextGIS.com, но с приятным интерфейсом, набором предустановленных слоёв, в том числе из OSM, и встроенным редактором iD для редактирования и создания новых данных. Сплошная красота, можно было бы сделать зажигательный рок-доклад, но Кристофор решил, что живая демка будет нагляднее, и скатился до уровня скринкаста. Ну вы знаете: на экране ползает мышь, докладчик что-то бубнит, ты сидишь и думаешь, до какой двери ближе бежать.

Перебежал на OpenStreetView. Там один из разработчиков (а их всего 18, работают в Словении и в Берлине) показывает элементы инфраструктуры: от съёмки видео до отправки фотографий на сервер и выдачи их пользователю. На сайте есть топ пользователей, регистрация через OSM OAuth. Плагин для JOSM уже в репозитории. А теперь необычное: после приложений выпустят The OpenStreetView Editor, нативное десктопное приложение. Назначение — эффективно картировать знаки и объекты, собранные во время путешествия. Оно помечает моменты, когда на фотографии распознан знак, и позволяет в пару кликов соответственно поправить OSM.

Всё это ощущается как Mapillary, написанный осмерами для осмеров. И действительно, с целевой аудиторией тут не ошибёшься, это абсолютно благотворительный проект только для нас. Данных немного (за время бета-тестирования собрали 4,5 млн фотографий на 140 тысяч км), но загруженные фотографии всегда можно скачать обратно, все лицензии открытые, код тоже поэтапно выкладывают на гитхаб. И самое главное, что поразило меня как водителя: приложение улучшает записываемый в автомобиле трек, используя сенсоры телефона вкупе с данными с датчика OBD2! Не нужно тратить дикие тысячи на чипы RTK или системы динамической коррекции, просто покупаете фигульку за 400 рублей — и субметровая точность у вас в кармане! Обязательный слайд с треком из туннеля прилагается. Сотрудники проверили top 10 адаптеров с амазона, советуют использовать андроид-версию приложения: на айфоне какие-то проблемы с bluetooth.

Программист-математик из Strava рассказывает про игрофикацию для пробежек, где пользователи соревнуются на отрезках за звание Queen/King of the Mountain (независимо от рельефа). Маршруты прокладывают сами пользователи, но трек GPS плавает, поэтому отрезки нужно чинить. Матчатся они один к другому, данные OpenStreetMap не используют. С каждым слайдом доклад всё глубже погружается в алгебру, уже какой-то Medoid в заголовках. Через десять минут я окончательно потерял нить. Математикам, наверное, офигенно, но OpenStreetMap-то при чём?

Инди Хёрт из Mapzen рассказала про серию постов в их блоге, посвящённую Targeted Editing. Я думал, будет про то, как привлечь редакторов и как они фильтровали данные и анализировали правки, но нет. Инди рассказала про выбор типов объектов для редактирования (улицы без названий, полигоны для аэропортов, фитнесс-клубы и т. п.), затем посмотрела, как находить объекты таких типов и как выделять их на карте. Наконец, для хорошего поста нужно выбрать красивый картостиль и написать SQL для выбора нужных объектов. И обязательно следить за посещаемостью: это проще, чем выяснять, сколько осмеров действительно рисуют то, что предлагаешь.

Марк работает в команде Missing Maps и анализирует ченджсеты, чтобы поощрять участников. Для попадания в статистику Missing Maps нужно залить хотя бы один ченджсет с хэштегом #missingmaps. Хэштеги — часть метаданных ченджсета, полезны тем, что не привязаны к карте. Спросил его, нельзя ли снять ограничение, но зря он писал слияние дополненных диффов с базой пакетов правок, что ли.

Картирование, говорит, бывает трёх типов: идеалистическое (мне нравится рисовать), реактивное (ой, землетрясение, давайте домики пообклацываем) и казённое (или институционное: привет студенты, на пятёрку нужно обрисовать три деревни). Оказывается, есть неформальное соревнование между проектами Missing Maps, MapGive и Peace Corps. Впрочем, они все одну работу делают. Закончив с гуманитарной частью, Марк расслабился на программистской, но она слишком коротка: вот диаграмма связи компонентов, а вот ссылки на гитхаб.

Финал конференции в большом зале был сугубо по делу: Клиффорд Сноу поблагодарил организаторов конференции, членов OSM US, волонтёров. Участники группами разбегались в разные стороны и приглашали с собой: кто-то в паб неподалёку, кто-то в караоке, кто-то — жечь костёр на пляже. Мы свалили в кино: новые «Охотницы за привидениями» жгут что твой костёр, но добираться до гостиницы через вечерний Сиэттл, похожий на Нью-Йорк, ближе.

Чтобы два раза не бегать: понедельник

Хорошо поспали и опоздали на первый мастер-класс, зашёл на курс от DigitalGlobe про обработку снимков. Джеймс в футболке Tomnod сразу выгнал всех на улицу, где мы выстроились в форме маркера. Пока ждали спутника для космической фотографии, представлялись и косились на облака.

Вернувшись в аудиторию, Джейс начал рассказ про краудсорсинговый анализ снимков. Недавний пример — землетрясение в Непале. Спустя всего 2 часа люди начали звонить в DigitalGlobe и рьяно требовать снимки: как вы до сих пор не помогаете, что вы за бессердечные люди такие. Параллельно перед DG стояла задача оценить разрушения. Они вытащили архив снимков за 16 лет, залили в tomnod и попросили пользователей найти жилые здания. Процесс прост: показывают снимок, просят ответить на один вопрос. Результаты и снимки опубликовали под открытыми лицензиями. Под конец показали ещё пару применений tomnod: поиск бассейнов и домов с солнечными батареями на крышах. До QGIS и классификации снимков мы так и не добрались, просто закончили на полчаса раньше.

У входа в Pigott Building узнал от кого-то (он перевернул бейджик, имя я не расслышал; помните: бейджики на конференциях очень-очень важны), что maps.me будут продвигать сантехникам в Сиэттле: схема канализации и станции отлично подгружаются в виде KML, даже не нужно ничего никуда подключать. На связь полагаться нельзя: могут быть отключения света, а в туннелях мобила не ловит, так что офлайновость важна. Ну и после завершения работ можно найти ближайший паб. Я в восторге от этого примера использования: не требует от нас никакой работы, и польза налицо. Теперь, наверное, нужно запитчить то же пожарным: люки из осма в KML и давайте, все пивные уже у нас.

На программистском спринте Пол Норман сотоварищи обсуждали идею третьей итерации OWL. Первая… просто умерла, вторая была чересчур сложной: Павел решил включить туда вообще всё, что приходило на ум, и OWL развалился под своим весом. Что будет в третьей попытке, пока непонятно, но только необходимый минимум: возможно, лишь отображение содержимого ченджсетов в приличном виде. Лучше, чем в Achavi, и точно быстрее. Я попробовал возразить, что ченджсеты показывать пользователям вообще не лучшая идея, но Пол попросил не питчить возврат к API 0.5. Группа за новый OWL планирует вместо самостоятельного программирования выбить разработчика из Mapbox, и судя по реакции Микела, у них может получиться.

Часы показывают пять, официально конференция закончилась, люди расходятся. Мы сходили на пляж на Washington Lake: сначала долго в гору, от Harbour View до Lake View, затем почти отвесно вниз, и вот он. Пляж не сильно отличается от наших, московских: такие же буйки, такая же трава, так же спасатель сидит на вышке. Только мороженое стоит от трёх баксов. Искупались, сфотографировали гору Рейнир — и обратно, по дюжине лестниц к автобусу до пивной. Настоящее закрытие конференции — не когда вышел из здания и не когда увидел общую фотографию в твитере, а когда обсудил её со знакомым, написал заметку в блог или вербализовал впечатления любым другим способом.

А общая фотография, кстати, не удалась (прокручивается влево-вправо). © Tatiana Van Campenhout, CC-BY 2.0

2016   sotm

SotM US 2016: воскресенье раз

Первый принцип использования общественного транспорта в незнакомом городе: проверять расписание каждое утро. А так — прокуковали полчаса, потому что в воскресенье автобусы ходят иначе. День снова начинается с пленарного доклада, и это Дейл Кунц из Red Cross.

Он рассказывает, как сомневался, стоит ли использовать OSM. Слайды профессиональные, на них — красиво оформленные геоданные. Упомянул OpenMapKit, POSM и MapSwipe, показал результат краудсорсинга: тайлы действительно напоминают дорожную сеть. Пожаловался, что очень неприятно, когда люди ругают Missing Maps в почтовых рассылках и твитере. Под конец хвастается результатами картирования в MM и говорит, как они планируют в ближайшие несколько лет нанести 100-200 миллионов людей на карту.

Интересный вопрос из зала: сталкивались ли с тем, что люди не хотят, чтобы их клали на карту, и противостоят. Конечно, нет: волонтёры объясняют, что к чему. Более того, как-то в Зимбабве волонтёры Missing Maps спросили местных, что они хотят нанести на карту. «Нелегальные помойки» — ответили те, «потому что уже задолбали». А чиновник из администрации говорит: нет, не надо наносить, всё ок. Завязалась дискуссия, в итоге замапили, и вскоре мусор убрали. Так что нанесение вещей на карту делает их реальными, превращает их в осязаемую проблему, от которой непросто отмахнуться.

Доклад про MaptimeDC пропустил: какая разница, как они проводят картовстречи. Но про усталость от сообщества пропускать нельзя. Beth увидела доклад Алиссы в 2013 про 3% девушек в OpenStreetMap и решила на это повлиять. Собрала встречу: это был первый Maptime. Другие захотели так же, Maptime превратился во франшизу, сейчас его проводят в десятках городов. Хорошо, что нашлись трое помощников. Объём организационной работы вырос, нужно собирать деньги, регистрировать организацию, что делать вообще ааааа

Теперь это рассказ про выгорание. Советовала книжку «The Crossroads of Should and Must». Завалены работой? Возьмите список задач и вычеркните всё, кроме первых трёх. Добровольцы из Maptime HQ договорились, что каждый будет брать на себя только одну задачу в месяц, и все счастливы. И не стоит бояться просто встать и уйти. У Бет очень бодрая, весёлая, экспрессивная презентация, которую нужно смотреть. Если у вас есть только 20 минут, вам сюда: «Maptime, Motherhood and Martyrdom» (когда опубликуют). Обязательно. Лучшее на этой конференции.

Рассказ Чейза Стивенса слушал в полуха. Он защищает лицензию и утверждает, что у нас лучшее сообщество. Провёл исторические аналогии, вспомнил коммерческий линукс, вспомнил баталии насчёт GPL и отпочковывание BSD. Много цитат Линуса, Столлмана, закончил цитатой Саймона Гарфилда: «OpenStreetMap — карта доброй воли, и пожалуй, ближе остальных к идеальной демократической карте». Я ничего не вынес из доклада: и так знаю, что мы крутые. Хотя, опять же, в свете выпадов Алекса и обсуждений в legal-talk я уже не уверен, что ODbL имеет для нас смысл. Хотя, конечно, лицензия способствует развитию сообщества и защищает проект от превращения в каталог импортов.

Кевин Баллок, наконец-то, делает нетехнический доклад, и начал с объяснения своей бизнес-модели с помощью эмодзи. Профит с биржи → запускают новые спутники → получают снимки → лицензируют их гуглю, MS, Mapbox, Uber и т. п. → на деньги строят новые спутники. При стихийных бедствиях выдают снимки бесплатно, и на сайте есть бесплатный API начального уровня для программистов.

Показал траектории спутников от сегодняшнего утра. Два спутника летают над западным побережьем США, один — над восточным. Орбиту последнего недавно меняли, чтобы точнее проходил над восточным побережьем — ушло два года и десять тысяч литров топлива. Это не как в фильмах, когда отправляешь команду в терминале и ура. Когда спутники пролетают над океанами, снимать воду бесполезно, поэтому камеру наклоняют и делают снимок суши сбоку. Кевин показал фото Нью-Йорка, Килиманджаро, горы Рашмор: похожи на аэрофотосъёмку, но сделаны издалека и с разрешением метр на пиксель.

Пара интересностей: фокусное расстояние оптики Worldview-3 — 16 метров. Для сравнения, у обычных фотоаппаратов оно около 5 см. Дома на снимках проще классифицировать, если использовать невидимый спектр. Разделить рощу на деревья и определить вид каждого тоже невелика проблема. В Штатах действуют ограничения на продажу снимков, почти как у нас, но DG продавливает послабления. Так, WV3 с его 30 сантиметрами начали делать за 4 года до легализации такого разрешения. Слоем Mapbox в наших редакторах мы обязаны Алексу: именно с его вопроса на SotM 2013 начались переговоры об открытии снимков. И кажется, скоро у нас будут ещё альтернативы.

Последний перед ланчем — Энанд из DevSeed про автоматическую классификацию снимков. «Несмотря на 30 лет попыток, надёжного способа идентифицировать дороги нет» — цитата от 2010 года, но теперь у нас есть OpenStreetMap с данными для тренировки. Объяснил основы нейронный сетей, показал проекты на их основе: DeepOSM про валидацию геометрии дорог и Terrapattern, который по клику на космоснимок ищет другие похожие места («все лодки в реке»).

Судя по результатам, основная проблема — данные в OSM неполны, поэтому сеть находит пропущенные дороги даже на тайлах, на которых тренируется. Сети пофиг на тени на дорогах. Энанд натренировал сеть на Сиэттле и показал демку: кликаешь на тайл — получаешь предсказание дорог. Жаль, публичной ссылки нет. Все исходники на гитхабе, сделано на открытых библиотеках. Удивительно, конечно: вчера парень из фейсбука рассказывал про команду разработчиков и валидаторов и месяцы работы, а сегодня приходит осмер и такой: «ну, у меня была пара свободных вечеров и я нашёл прикольную библиотеку для нейронных сетей...»

SotM US 2016: суббота два

Ланч — это, прежде всего, длинная очередь. В прошлом году на входе в кафе раздавали пакеты с хот-догами и гарниром, все сразу заходили и ели. Тут же университетская столовая, и несмотря на два салат-бара, очередь была к одному и на 20 минут. Забыл про свой принцип сначала пойти и проверить, не зря ли стоят в очереди. Зато еда отличная, с рыбой и печеньем. Пока ел, подслушал разговор сотрудников каких-то компаний, связанных с общественным транспортом. Жаловались, как тяжело работать с большими компаниями («Кончайте говорильню, просто выпишите чек, и мы всё сделаем»), и как всем забить на OSM и открытые данные.

Для общей фотографии участников построили на холме, но уклон оказался недостаточен: фотография недосчитается примерно трети участников. Часть забила, а коротких людей просто не видно за широкими спинами. Впервые за весь день выглянуло солнце, испортив освещение для фото, пришлось пару минут ждать тучи.

Наконец посмотрел на второй зал, там рассказывали про POSM. 300-долларовая коробка от Intel, внутри данные OSM и прочее. Привозят на природу и используют для сбора данных и раздачи карт. Докладывали три человека последовательно: девушка рассказала, зачем это всё и как их привозят в африку и мапят, затем парень рассказал про техническую сторону, и другой парень думал показать на практике, но не нашлось кабеля hdmi. Пришлось в паре слов пересказать, что внутри. Главное — что в коробку можно положить что угодно. Там стек OSM, но не обязательно осмерские данные. Можно положить и собирать наборы, которые не очень подходят к осму, типа данных про каждое дерево. Спросили про Raspberry Pi: он не тянет рендеринг, но если нужно только собирать данные — то, в принципе, потянет. Весь код, разумеется, на гитхабе.

Дэвид Литке авторитетным голосом вещает про GISCorps / URISA, в зале немало людей слышали об этой организации. Эта программа связывает нуждающихся с ГИС-специалистами (GIS Professionals). Это те, кто построил карьеру в ГИС. Работает программа сертифицирования специалистов. Средний опыт — семь лет. Куча добровольцев (4000 в списке, 1000 участвовали в операциях) и центральный комитет из 8 человек. С 2003 года 187 операций в 65 странах, из них 38 в поле (вылеты за счёт заказчика). Один из проектов — создание базовой карты Северной Кореи. 86 добровольцев разделились на две команды (север и юг), за 5 лет закончили. Добровольцы выполняли и задачи гуманитарной команды OSM.

Второй докладчик показал, как они используют ГИС-методы в рисовании OSM. Например, при рисовании рек и ручьёв на снимке ни фига не разобрать, но можно обработать данные SRTM и определить низины, где могут быть реки, и затем подключить слой этих линий в JOSM. Ни снимкам, ни GPS в плане точности доверять нельзя: всё смещено. Отметил, что к специалистам можно и нужно обращаться: они не только могут помочь с анализом и обработкой, но и предоставить какие-то геоданные. Часто они могут и дать, но их никто не спрашивает, а инициативу проявлять лениво.

После перерыва — парень из фейсбука про использование нейронных сетей в рисовании карт. Он из фейсбука, который использует карты в ленте, и во многих странах вместо Here у них OpenStreetMap. Нейросети для определения дорог отлично работают в США, но модели неприменимы для других стран. Увеличили количество слоёв в несколько раз, натренировали — ок, заработало. Определяют даже грунтовые дороги. Также хотели найти дома, но тут ничего не рассказали. Результат работы — растр, нужно преобразовать в вектор и соединить отрезки. А затем вектор конвертируют в формат OSM, проверяют руками и заливают в нашу базу. То есть да, фейсбук массово рисует карты азиатских и африканских стран. Показал обязательную картинку было-стало, а-ля гуманитарная команда, с парой деревень, но у человека ушло всего 5 минут, чтобы проверить и залить.

Позже я узнал, что хотя примеры были на паре деревень, Facebook заключил договор с DigitalGlobe и получил снимки целой страны. И их план — не отдельные регионы, а обработать всю страну целиком и залить в OpenStreetMap. И никто про это не знал, вы первые в сообществе OSM читаете про их работу! Позже сотрудник фейсбука написал про свою работу на форуме OSM.

Lightning Talks, моя любимая часть конференции! Начали с Open Sidewalks. 54,5 млн людей в США испытывают трудности с перемещением на полмили. Парень агитирует за рисование тротуаров и переходов отдельными линиями, и поребриков точками на footway. То есть, как мы в России уже делаем. Для Сиэттла есть открытые данные со всеми тротуарами, и их собираются импортировать под присмотром сообщества.

Про Groundwork я не понял, а в конце и вовсе свалил: Алекс пригласил нас на встречу спонсоров в тот же Rhein Haus, и глупо было отказываться. Решил, что потом досмотрю короткие доклады в записи.

На этой встрече узнал у сотрудника Mapillary, что ударение можно ставить на любой из слогов, и пофантазировали с ним на тему склеивания снимков в панорамы, а панорам — в единое непрерывное 3D-пространство. В принципе, это возможно, нужно только придумать алгоритмы и сделать так, чтобы приложение не тормозило. Именно приложение: сервер ничего не сшивает, лишь выдаёт фотографии, а обработка идёт на клиенте.

Остальные темы разговоров не буду публиковать, но общаться такой относительно небольшой группой оказалось лучше, чем днём раньше огромной жужжащей толпой. Вечер прошёл куда результативнее.

Ранее Ctrl + ↓

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.