Leaflet 1.0

29 сентября, 13:51

Мы уже не чаяли: 27 сентября, наконец, опубликован релиз библиотеки Leaflet 1.0.0. Спустя целых три года после выхода 0.7 и всего год после объявления «мы на финишной прямой к релизу».

Основным изменением, как всегда, стала скорость: многие функции переписали чуть ли не с нуля. Особенно заметна скорость отрисовки векторных слоёв. Появилась функция flyTo(), анимированными гифками которой когда-то рекламировали эту версию, и дробные уровни масштаба. Плагин Leaflet.label больше не нужен: вместо него в ядро добавили класс L.Tooltip. Ну и взаимодействие между кучей слоёв разных типов теперь должно быть предсказуемее.

В будущем авторы, уставшие от этого марафона, обещают релизы раз в две-четыре недели. Особых планов на следующие версии нет: только документация, рефакторинг, валидация плагинов.

Премия OpenStreetMap

7 сентября, 1:08

Вы не поверите, но премия, об идее которой я рассказывал в июле, жива! Мы долго обсуждали список категорий, по которым распределить номинантов, и с великой болью его ужали с двадцати до всего шести пунктов. Затем месяц собирали номинантов в эти категории, и собрали более сотни. Где-то очевидных, вроде WeeklyOSM в категорию блогов или наших администраторов в категорию инфраструктуры, где-то — совершенно незнакомых людей (из которых, например, целиком состоит категория «за картирование»). Целую неделю группа добровольцев из OSMF спорила, кого выбрать и кого выкинуть из шортлиста, и в итоге выбрала по неидеальной, но лучшей среди возможных пятёрке номинантов в каждой категории. И начался финальный этап премии.

Зайдите на сайт премии OpenStreetMap и выберите человека или команду, наиболее достойную награды в этом году. Всего-то шесть раз выбрать одного (или одну) из пяти: кажется, просто.

Пока не начнёшь читать описания и тыкать в ссылки. Тридцать лучших участников OpenStreetMap, показавших, как надо, сделавших карту чуть лучше, а жизни как простых людей, так и мапперов, — чуть легче. Когда воспринимаешь это не как «кому дать», а «каким четырём людям не дать», выбрать самых лучших становится почти невозможно. Но на церемонии мы, конечно, с уважением упомянем всех, и разница между призёром и остальными номинантами будет невелика. Это первая премия, и впереди будут ещё десятки таких же: получат все. Выберите кого-нибудь, и в следующем году записывайте имена, чтобы внести их в следующий список номинантов.

Голосование закроется 22 сентября, до того времени можно менять выбор. Церемония награждения пройдёт на брюссельской конференции State of the Map 2016 в воскресенье, 25 сентября.

Для кого тайлы?

18 августа, 16:51

Сейчас в чатике продолжился спор про расширение мощностей тайл-серверов OSMF в контексте недавнего блокирования сайта про покемоны. Если не слышали, то, во-первых, подписывайтесь на твитер и телеграм, во-вторых, 9 августа очередной сайт с покемонами на карте подключил подложку с osm.org и увеличил нам тайловый трафик на 13%. Серверы упёрлись в производительность дисков, и скачивание тайлов замедлилось у всех. Распределённое кэширование (Tile CDN) не помогло, так как пользователи требовали новых, ещё не отрендеренных тайлов близких масштабов. Сайт заблокировали, а затем из-за махинаций его владельца притормозили выдачу тайлов при отсутствующем заголовке «Referer».

У многих возник вопрос: почему бы не закупить новые диски и новые серверы, чтобы справиться с нагрузкой? Это ж всего 13%, а с апреля трафик увеличился на целых 66%. То есть, до конца года мы с такими темпами роста не доживём. Поставить SSD — один из способов решения: сейчас тайлы хранятся на HDD, а проблема возникла именно из-за скорости отдачи. Это дорого (500$ в месяц, которые предлагает автор покемоносайта, не помогут) и лишь отсрочит затык. Участники рабочей группы OWG сейчас обсуждают другие способы: например, добавить третий тайловый сервер. С прошлогоднего сбора осталось немного денег, которые пойдут и на эту задачу. Также они заметили дублирование метатайлов на двух серверах: Мэтт Эймос посчитал, пересечение оказалось всего 17%, так что едва ли поможет, но всё равно попробуют устранить. Ещё 25-50% ускорения можно получить от перекластеризации базы данных: по сути, физического упорядочивания строк в таблицах.

Сайт fastpokemap временно перешёл на тайлы ESRI

Но надо ли бежать исправлять? Энди Аллан в рассылке dev@ объяснил, что нынешних ресурсов хватит ещё на много лет, если использовать их по назначению: для мапперов. Именно так: все сервисы, что работают на серверах Фонда OpenStreetMap, предназначены для редакторов карты, включая API и картостиль. Исключение — файлы, хранящиеся на planet.osm.org: они для всех. Главной задачей OSMF является их постоянная доступность под открытой лицензией.

То есть, если вам нужны тайлы, Фонд не обязан их предоставлять и обеспечивать доступность. Если, конечно, вы не разработчик осмерского редактора или сайта osm.org. Да, мы долгое время позволяли использовать наши тайлы всем, за редким исключением приложений для пакетного скачивания. Но даже страница с условиями использования тайлов отмечает: «данные OSM бесплатны и открыты для всех. А тайлы — нет». Рано или поздно админам надоест, что основными пользователями тайлов стали разработчики, которым неохота платить другим компаниям, и они начнут закручивать вентиль. Никакие взносы в 500, 1000 или 5000 долларов в месяц не помогут: мы рады новым корпоративным членам OSMF, но платных услуг не предоставляем.

Последний безлимитный провайдер тайлов на основе OpenStreetMap, MapQuest, прикрыл сервис 11 июля. Все остальные — Mapbox, Stamen, CartoDB, Thunderforest и многие другие — имеют ограничения и ценник. Кто-то готов обсудить enterprise-план, кто-то — настроить рендерер на ваших серверах или в облаке. Стоит это недёшево, но вы же не думали, что к бесплатной открытой карте, созданной добровольцами на энтузиазме, прилагаются бесплатные сервисы и поддержка.

josm-tested XIX

14 августа, 14:25

В пятницу вышла очередная «стабильная» версия JOSM, 10786. Главное её изменение не даст запустить редактор на старых версиях Debian / Ubuntu LTS (без подключения PPA с обновлениями). Снова, как два года назад, разработчики перестали поддерживать старую версию Java: теперь JOSM требует Java 8. Неудивительно: седьмая версия устарела ещё год назад.

Кстати, вместе с JOSM седьмую джаву перестала поддерживать ещё одна популярная программа на этом языке: mkgmap. Её используют для преобразования карты в формат Garmin напрямую, минуя всякие польские форматы.

Что ещё изменилось в редакторе с марта? Много всего, но больше в коде: его немного переделал Майкл Зангл в рамках Google Summer of Code, его подготовили к грядущей Java 9. Как всегда, добавили и переделали кучу значков и заготовок. Заметны изменения в дизайне: там новая полоса масштабирования, легенда для раскраски треков GPX, режим масштабирования (по кнопке «Z») спрятан в экспертный режим, и редактор теперь регистрируется обработчиком протокола «geo:».

Годовщина в Долгопрудном

3 августа, 19:10

13 августа, в субботу, мы традиционно отмечаем день рождения OpenStreetMap на природе. Проекту исполняется 12 лет, а мы — часть из нас, кто проснётся пораньше — займёмся тем же, чем в 2011 и последующих годах: картированием. Но в этом году совместим мероприятие со «схемотехникой»: у шашлыка вечером можно будет не только обсудить, как круто развивается OSM, но и произнести что-нибудь связное. Будет интернет, будут компьютер и видеозапись.

План такой: встречаемся в 11:02 в центре платформы Долгопрудная. Я раздаю обходные листы или учу пользоваться maps.me, и мы расходимся по окрестным населённым пунктам. Там много неотрисованного: улица Мичурина сразу у платформы, деревни Виноградово и Горки, военный городок. Велосипедисты могут прокатиться до Клязьмы и канала, собрать треки грунтовок.

В 16:00 собираемся в парке у Долгих прудов. Это 20 минут пешком от станции, достаточно далеко, чтобы не было толп людей. Там жарим шашлык, знакомимся, травим байки, рассказываем про интересные задачи и новости. Если будет шумно от Дмитровского шоссе, спрячемся в чаще. Обратные электрички ходят до полуночи, но думаю, все влезут в автомобили.

Если едете, записывайтесь в вики или отмечайтесь на форуме. Жду каждого, независимо от опыта в осме. Мы такие же интроверты, как и вы!

(Фотография © Moscow-Live.ru, CC-BY-NC-SA 2.0)

SotM US 2016: воскресенье два и понедельник

26 июля, 12:41

Дикий нервяк исчезает в момент, когда произносишь «привет» в микрофон. Прилично отыграл доклад, разве что не сразу сообразил, что микрофон далековато. Рассказал про приложение maps.me, о котором, несмотря на 8 миллионов активных пользователей в месяц, в США знают немногие. Пару раз сорвал большими числами неожиданные аплодисменты. Основная тема — реакция сообщества на сотни тысяч правок через редактор. Пересказал почтовые рассылки и русский форум, объяснил, что причина этого балагана в том, что осмеры чувствуют потерю контроля над картой и защищаются как могут. Чтобы восстановить мир, нужны инструменты, мониторинг и аналитика, и поднажать уже три месяца как пора. Без maps.me проект со временем потеряет релевантность, потому что ценность local knowledge внезапно понял Google, и пока наше приложение единственное, способное перетянуть у него пользователей.

За мной выступил Кристофор, разработчик из MapHubs. Тема про геоданные, которые не годятся для OpenStreetMap. Например, Null Island, личные оценки ресторанов или объекты из игры про покемонов. Но куда эти данные заливать? Первая попытка сделать подобную систему — MOABI: чистый стек OSM со всеми удобными приложениями, но данные туда сложно импортировать и нет разделения прав. Начинаем с чистого листа: MapHubs (не спутайте с MapHub). На вид — аналог NextGIS.com, но с приятным интерфейсом, набором предустановленных слоёв, в том числе из OSM, и встроенным редактором iD для редактирования и создания новых данных. Сплошная красота, можно было бы сделать зажигательный рок-доклад, но Кристофор решил, что живая демка будет нагляднее, и скатился до уровня скринкаста. Ну вы знаете: на экране ползает мышь, докладчик что-то бубнит, ты сидишь и думаешь, до какой двери ближе бежать.

Перебежал на OpenStreetView. Там один из разработчиков (а их всего 18, работают в Словении и в Берлине) показывает элементы инфраструктуры: от съёмки видео до отправки фотографий на сервер и выдачи их пользователю. На сайте есть топ пользователей, регистрация через OSM OAuth. Плагин для JOSM уже в репозитории. А теперь необычное: после приложений выпустят The OpenStreetView Editor, нативное десктопное приложение. Назначение — эффективно картировать знаки и объекты, собранные во время путешествия. Оно помечает моменты, когда на фотографии распознан знак, и позволяет в пару кликов соответственно поправить OSM.

Всё это ощущается как Mapillary, написанный осмерами для осмеров. И действительно, с целевой аудиторией тут не ошибёшься, это абсолютно благотворительный проект только для нас. Данных немного (за время бета-тестирования собрали 4,5 млн фотографий на 140 тысяч км), но загруженные фотографии всегда можно скачать обратно, все лицензии открытые, код тоже поэтапно выкладывают на гитхаб. И самое главное, что поразило меня как водителя: приложение улучшает записываемый в автомобиле трек, используя сенсоры телефона вкупе с данными с датчика OBD2! Не нужно тратить дикие тысячи на чипы RTK или системы динамической коррекции, просто покупаете фигульку за 400 рублей — и субметровая точность у вас в кармане! Обязательный слайд с треком из туннеля прилагается. Сотрудники проверили top 10 адаптеров с амазона, советуют использовать андроид-версию приложения: на айфоне какие-то проблемы с bluetooth.

Программист-математик из Strava рассказывает про игрофикацию для пробежек, где пользователи соревнуются на отрезках за звание Queen/King of the Mountain (независимо от рельефа). Маршруты прокладывают сами пользователи, но трек GPS плавает, поэтому отрезки нужно чинить. Матчатся они один к другому, данные OpenStreetMap не используют. С каждым слайдом доклад всё глубже погружается в алгебру, уже какой-то Medoid в заголовках. Через десять минут я окончательно потерял нить. Математикам, наверное, офигенно, но OpenStreetMap-то при чём?

Инди Хёрт из Mapzen рассказала про серию постов в их блоге, посвящённую Targeted Editing. Я думал, будет про то, как привлечь редакторов и как они фильтровали данные и анализировали правки, но нет. Инди рассказала про выбор типов объектов для редактирования (улицы без названий, полигоны для аэропортов, фитнесс-клубы и т. п.), затем посмотрела, как находить объекты таких типов и как выделять их на карте. Наконец, для хорошего поста нужно выбрать красивый картостиль и написать SQL для выбора нужных объектов. И обязательно следить за посещаемостью: это проще, чем выяснять, сколько осмеров действительно рисуют то, что предлагаешь.

Марк работает в команде Missing Maps и анализирует ченджсеты, чтобы поощрять участников. Для попадания в статистику Missing Maps нужно залить хотя бы один ченджсет с хэштегом #missingmaps. Хэштеги — часть метаданных ченджсета, полезны тем, что не привязаны к карте. Спросил его, нельзя ли снять ограничение, но зря он писал слияние дополненных диффов с базой пакетов правок, что ли.

Картирование, говорит, бывает трёх типов: идеалистическое (мне нравится рисовать), реактивное (ой, землетрясение, давайте домики пообклацываем) и казённое (или институционное: привет студенты, на пятёрку нужно обрисовать три деревни). Оказывается, есть неформальное соревнование между проектами Missing Maps, MapGive и Peace Corps. Впрочем, они все одну работу делают. Закончив с гуманитарной частью, Марк расслабился на программистской, но она слишком коротка: вот диаграмма связи компонентов, а вот ссылки на гитхаб.

Финал конференции в большом зале был сугубо по делу: Клиффорд Сноу поблагодарил организаторов конференции, членов OSM US, волонтёров. Участники группами разбегались в разные стороны и приглашали с собой: кто-то в паб неподалёку, кто-то в караоке, кто-то — жечь костёр на пляже. Мы свалили в кино: новые «Охотницы за привидениями» жгут что твой костёр, но добираться до гостиницы через вечерний Сиэттл, похожий на Нью-Йорк, ближе.

Чтобы два раза не бегать: понедельник

Хорошо поспали и опоздали на первый мастер-класс, зашёл на курс от DigitalGlobe про обработку снимков. Джеймс в футболке Tomnod сразу выгнал всех на улицу, где мы выстроились в форме маркера. Пока ждали спутника для космической фотографии, представлялись и косились на облака.

Вернувшись в аудиторию, Джейс начал рассказ про краудсорсинговый анализ снимков. Недавний пример — землетрясение в Непале. Спустя всего 2 часа люди начали звонить в DigitalGlobe и рьяно требовать снимки: как вы до сих пор не помогаете, что вы за бессердечные люди такие. Параллельно перед DG стояла задача оценить разрушения. Они вытащили архив снимков за 16 лет, залили в tomnod и попросили пользователей найти жилые здания. Процесс прост: показывают снимок, просят ответить на один вопрос. Результаты и снимки опубликовали под открытыми лицензиями. Под конец показали ещё пару применений tomnod: поиск бассейнов и домов с солнечными батареями на крышах. До QGIS и классификации снимков мы так и не добрались, просто закончили на полчаса раньше.

У входа в Pigott Building узнал от кого-то (он перевернул бейджик, имя я не расслышал; помните: бейджики на конференциях очень-очень важны), что maps.me будут продвигать сантехникам в Сиэттле: схема канализации и станции отлично подгружаются в виде KML, даже не нужно ничего никуда подключать. На связь полагаться нельзя: могут быть отключения света, а в туннелях мобила не ловит, так что офлайновость важна. Ну и после завершения работ можно найти ближайший паб. Я в восторге от этого примера использования: не требует от нас никакой работы, и польза налицо. Теперь, наверное, нужно запитчить то же пожарным: люки из осма в KML и давайте, все пивные уже у нас.

На программистском спринте Пол Норман сотоварищи обсуждали идею третьей итерации OWL. Первая… просто умерла, вторая была чересчур сложной: Павел решил включить туда вообще всё, что приходило на ум, и OWL развалился под своим весом. Что будет в третьей попытке, пока непонятно, но только необходимый минимум: возможно, лишь отображение содержимого ченджсетов в приличном виде. Лучше, чем в Achavi, и точно быстрее. Я попробовал возразить, что ченджсеты показывать пользователям вообще не лучшая идея, но Пол попросил не питчить возврат к API 0.5. Группа за новый OWL планирует вместо самостоятельного программирования выбить разработчика из Mapbox, и судя по реакции Микела, у них может получиться.

Часы показывают пять, официально конференция закончилась, люди расходятся. Мы сходили на пляж на Washington Lake: сначала долго в гору, от Harbour View до Lake View, затем почти отвесно вниз, и вот он. Пляж не сильно отличается от наших, московских: такие же буйки, такая же трава, так же спасатель сидит на вышке. Только мороженое стоит от трёх баксов. Искупались, сфотографировали гору Рейнир — и обратно, по дюжине лестниц к автобусу до пивной. Настоящее закрытие конференции — не когда вышел из здания и не когда увидел общую фотографию в твитере, а когда обсудил её со знакомым, написал заметку в блог или вербализовал впечатления любым другим способом.

А общая фотография, кстати, не удалась (прокручивается влево-вправо). © Tatiana Van Campenhout, CC-BY 2.0

SotM US 2016: воскресенье раз

25 июля, 11:00

Первый принцип использования общественного транспорта в незнакомом городе: проверять расписание каждое утро. А так — прокуковали полчаса, потому что в воскресенье автобусы ходят иначе. День снова начинается с пленарного доклада, и это Дейл Кунц из Red Cross.

Он рассказывает, как сомневался, стоит ли использовать OSM. Слайды профессиональные, на них — красиво оформленные геоданные. Упомянул OpenMapKit, POSM и MapSwipe, показал результат краудсорсинга: тайлы действительно напоминают дорожную сеть. Пожаловался, что очень неприятно, когда люди ругают Missing Maps в почтовых рассылках и твитере. Под конец хвастается результатами картирования в MM и говорит, как они планируют в ближайшие несколько лет нанести 100-200 миллионов людей на карту.

Интересный вопрос из зала: сталкивались ли с тем, что люди не хотят, чтобы их клали на карту, и противостоят. Конечно, нет: волонтёры объясняют, что к чему. Более того, как-то в Зимбабве волонтёры Missing Maps спросили местных, что они хотят нанести на карту. «Нелегальные помойки» — ответили те, «потому что уже задолбали». А чиновник из администрации говорит: нет, не надо наносить, всё ок. Завязалась дискуссия, в итоге замапили, и вскоре мусор убрали. Так что нанесение вещей на карту делает их реальными, превращает их в осязаемую проблему, от которой непросто отмахнуться.

Доклад про MaptimeDC пропустил: какая разница, как они проводят картовстречи. Но про усталость от сообщества пропускать нельзя. Beth увидела доклад Алиссы в 2013 про 3% девушек в OpenStreetMap и решила на это повлиять. Собрала встречу: это был первый Maptime. Другие захотели так же, Maptime превратился во франшизу, сейчас его проводят в десятках городов. Хорошо, что нашлись трое помощников. Объём организационной работы вырос, нужно собирать деньги, регистрировать организацию, что делать вообще ааааа

Теперь это рассказ про выгорание. Советовала книжку «The Crossroads of Should and Must». Завалены работой? Возьмите список задач и вычеркните всё, кроме первых трёх. Добровольцы из Maptime HQ договорились, что каждый будет брать на себя только одну задачу в месяц, и все счастливы. И не стоит бояться просто встать и уйти. У Бет очень бодрая, весёлая, экспрессивная презентация, которую нужно смотреть. Если у вас есть только 20 минут, вам сюда: «Maptime, Motherhood and Martyrdom» (когда опубликуют). Обязательно. Лучшее на этой конференции.

Рассказ Чейза Стивенса слушал в полуха. Он защищает лицензию и утверждает, что у нас лучшее сообщество. Провёл исторические аналогии, вспомнил коммерческий линукс, вспомнил баталии насчёт GPL и отпочковывание BSD. Много цитат Линуса, Столлмана, закончил цитатой Саймона Гарфилда: «OpenStreetMap — карта доброй воли, и пожалуй, ближе остальных к идеальной демократической карте». Я ничего не вынес из доклада: и так знаю, что мы крутые. Хотя, опять же, в свете выпадов Алекса и обсуждений в legal-talk я уже не уверен, что ODbL имеет для нас смысл. Хотя, конечно, лицензия способствует развитию сообщества и защищает проект от превращения в каталог импортов.

Кевин Баллок, наконец-то, делает нетехнический доклад, и начал с объяснения своей бизнес-модели с помощью эмодзи. Профит с биржи → запускают новые спутники → получают снимки → лицензируют их гуглю, MS, Mapbox, Uber и т. п. → на деньги строят новые спутники. При стихийных бедствиях выдают снимки бесплатно, и на сайте есть бесплатный API начального уровня для программистов.

Показал траектории спутников от сегодняшнего утра. Два спутника летают над западным побережьем США, один — над восточным. Орбиту последнего недавно меняли, чтобы точнее проходил над восточным побережьем — ушло два года и десять тысяч литров топлива. Это не как в фильмах, когда отправляешь команду в терминале и ура. Когда спутники пролетают над океанами, снимать воду бесполезно, поэтому камеру наклоняют и делают снимок суши сбоку. Кевин показал фото Нью-Йорка, Килиманджаро, горы Рашмор: похожи на аэрофотосъёмку, но сделаны издалека и с разрешением метр на пиксель.

Пара интересностей: фокусное расстояние оптики Worldview-3 — 16 метров. Для сравнения, у обычных фотоаппаратов оно около 5 см. Дома на снимках проще классифицировать, если использовать невидимый спектр. Разделить рощу на деревья и определить вид каждого тоже невелика проблема. В Штатах действуют ограничения на продажу снимков, почти как у нас, но DG продавливает послабления. Так, WV3 с его 30 сантиметрами начали делать за 4 года до легализации такого разрешения. Слоем Mapbox в наших редакторах мы обязаны Алексу: именно с его вопроса на SotM 2013 начались переговоры об открытии снимков. И кажется, скоро у нас будут ещё альтернативы.

Последний перед ланчем — Энанд из DevSeed про автоматическую классификацию снимков. «Несмотря на 30 лет попыток, надёжного способа идентифицировать дороги нет» — цитата от 2010 года, но теперь у нас есть OpenStreetMap с данными для тренировки. Объяснил основы нейронный сетей, показал проекты на их основе: DeepOSM про валидацию геометрии дорог и Terrapattern, который по клику на космоснимок ищет другие похожие места («все лодки в реке»).

Судя по результатам, основная проблема — данные в OSM неполны, поэтому сеть находит пропущенные дороги даже на тайлах, на которых тренируется. Сети пофиг на тени на дорогах. Энанд натренировал сеть на Сиэттле и показал демку: кликаешь на тайл — получаешь предсказание дорог. Жаль, публичной ссылки нет. Все исходники на гитхабе, сделано на открытых библиотеках. Удивительно, конечно: вчера парень из фейсбука рассказывал про команду разработчиков и валидаторов и месяцы работы, а сегодня приходит осмер и такой: «ну, у меня была пара свободных вечеров и я нашёл прикольную библиотеку для нейронных сетей...»

SotM US 2016: суббота два

24 июля, 22:01

Ланч — это, прежде всего, длинная очередь. В прошлом году на входе в кафе раздавали пакеты с хот-догами и гарниром, все сразу заходили и ели. Тут же университетская столовая, и несмотря на два салат-бара, очередь была к одному и на 20 минут. Забыл про свой принцип сначала пойти и проверить, не зря ли стоят в очереди. Зато еда отличная, с рыбой и печеньем. Пока ел, подслушал разговор сотрудников каких-то компаний, связанных с общественным транспортом. Жаловались, как тяжело работать с большими компаниями («Кончайте говорильню, просто выпишите чек, и мы всё сделаем»), и как всем забить на OSM и открытые данные.

Для общей фотографии участников построили на холме, но уклон оказался недостаточен: фотография недосчитается примерно трети участников. Часть забила, а коротких людей просто не видно за широкими спинами. Впервые за весь день выглянуло солнце, испортив освещение для фото, пришлось пару минут ждать тучи.

Наконец посмотрел на второй зал, там рассказывали про POSM. 300-долларовая коробка от Intel, внутри данные OSM и прочее. Привозят на природу и используют для сбора данных и раздачи карт. Докладывали три человека последовательно: девушка рассказала, зачем это всё и как их привозят в африку и мапят, затем парень рассказал про техническую сторону, и другой парень думал показать на практике, но не нашлось кабеля hdmi. Пришлось в паре слов пересказать, что внутри. Главное — что в коробку можно положить что угодно. Там стек OSM, но не обязательно осмерские данные. Можно положить и собирать наборы, которые не очень подходят к осму, типа данных про каждое дерево. Спросили про Raspberry Pi: он не тянет рендеринг, но если нужно только собирать данные — то, в принципе, потянет. Весь код, разумеется, на гитхабе.

Дэвид Литке авторитетным голосом вещает про GISCorps / URISA, в зале немало людей слышали об этой организации. Эта программа связывает нуждающихся с ГИС-специалистами (GIS Professionals). Это те, кто построил карьеру в ГИС. Работает программа сертифицирования специалистов. Средний опыт — семь лет. Куча добровольцев (4000 в списке, 1000 участвовали в операциях) и центральный комитет из 8 человек. С 2003 года 187 операций в 65 странах, из них 38 в поле (вылеты за счёт заказчика). Один из проектов — создание базовой карты Северной Кореи. 86 добровольцев разделились на две команды (север и юг), за 5 лет закончили. Добровольцы выполняли и задачи гуманитарной команды OSM.

Второй докладчик показал, как они используют ГИС-методы в рисовании OSM. Например, при рисовании рек и ручьёв на снимке ни фига не разобрать, но можно обработать данные SRTM и определить низины, где могут быть реки, и затем подключить слой этих линий в JOSM. Ни снимкам, ни GPS в плане точности доверять нельзя: всё смещено. Отметил, что к специалистам можно и нужно обращаться: они не только могут помочь с анализом и обработкой, но и предоставить какие-то геоданные. Часто они могут и дать, но их никто не спрашивает, а инициативу проявлять лениво.

После перерыва — парень из фейсбука про использование нейронных сетей в рисовании карт. Он из фейсбука, который использует карты в ленте, и во многих странах вместо Here у них OpenStreetMap. Нейросети для определения дорог отлично работают в США, но модели неприменимы для других стран. Увеличили количество слоёв в несколько раз, натренировали — ок, заработало. Определяют даже грунтовые дороги. Также хотели найти дома, но тут ничего не рассказали. Результат работы — растр, нужно преобразовать в вектор и соединить отрезки. А затем вектор конвертируют в формат OSM, проверяют руками и заливают в нашу базу. То есть да, фейсбук массово рисует карты азиатских и африканских стран. Показал обязательную картинку было-стало, а-ля гуманитарная команда, с парой деревень, но у человека ушло всего 5 минут, чтобы проверить и залить.

Позже я узнал, что хотя примеры были на паре деревень, Facebook заключил договор с DigitalGlobe и получил снимки целой страны. И их план — не отдельные регионы, а обработать всю страну целиком и залить в OpenStreetMap. И никто про это не знал, вы первые в сообществе OSM читаете про их работу! Позже сотрудник фейсбука написал про свою работу на форуме OSM.

Lightning Talks, моя любимая часть конференции! Начали с Open Sidewalks. 54,5 млн людей в США испытывают трудности с перемещением на полмили. Парень агитирует за рисование тротуаров и переходов отдельными линиями, и поребриков точками на footway. То есть, как мы в России уже делаем. Для Сиэттла есть открытые данные со всеми тротуарами, и их собираются импортировать под присмотром сообщества.

Про Groundwork я не понял, а в конце и вовсе свалил: Алекс пригласил нас на встречу спонсоров в тот же Rhein Haus, и глупо было отказываться. Решил, что потом досмотрю короткие доклады в записи.

На этой встрече узнал у сотрудника Mapillary, что ударение можно ставить на любой из слогов, и пофантазировали с ним на тему склеивания снимков в панорамы, а панорам — в единое непрерывное 3D-пространство. В принципе, это возможно, нужно только придумать алгоритмы и сделать так, чтобы приложение не тормозило. Именно приложение: сервер ничего не сшивает, лишь выдаёт фотографии, а обработка идёт на клиенте.

Остальные темы разговоров не буду публиковать, но общаться такой относительно небольшой группой оказалось лучше, чем днём раньше огромной жужжащей толпой. Вечер прошёл куда результативнее.

SotM US 2016: суббота раз

23 июля, 8:54

Приятно доехать до университета на автобусе: вежливый водитель, почти никого в салоне, проезжаем сквозь центр города и в крутую горку, на которой стоит университет. Мимо проезжает трамвай с табличкой «День фрирайда» (Free Ride Day). Перед автобусом забежали за макмаффинами и чаем: спали до упора, теперь нет времени объедаться. Комплект участника минималистичен: буклет с программой, две наклейки, футболка. И два купона на ланч: на субботу и воскресенье.

Открывающий доклад задерживается, рассматриваем стойки в фойе. Mapillary, Navmii, Craigslist, OpenStreetView, Mapbox и Mapzen, DigitalGlobe. Если зарегистрироваться в OpenStreetView, дают прикольную радиоуправляемую машинку («осталось 50!» — торопили в твитере перед ланчем). На стойке, предназначенной для OSM Foundation, Мартайн разбросал старые карты разных штатов. Красота, и можно взять домой. Но у меня и так карт два ящика, я предпочёл картографическую книжку-раскраску Гретчен Петерсон. Заодно разбросал на столе листовки OSMF: вступайте уже, ну.

Наконец, Алисса Райт открыла конференцию. Это уже седьмая конференция в США. Обязательные благодарности волонтёрам, организации OSM US и прочим, затем передала слово Сааре из Gates Foundation. А та — Биллу Гейтсу с предварительно записанного ролика. Тот сказал пару слов ни о чём (как карты помогают в кризисных ситуациях), так не и произнёс заветного OpenStreetMap.

Затем её сменила Катерина, руководитель Wikimedia. Тема — создание сообществ. Постоянное «Open Street Maps» режет слух, в твитере пошутили сполна. Оба наших проекта огромны, много участников и данных. Основная задача теперь, по крайней мере, у викимедии — определить стратегию развития, цель работы на ближайшие годы. Они создают рабочую группу по вопросу, приглашают викимедийцев поучаствовать.

Как развивать сообщества? Первое — друзья. Показывает фотографию с регистрации итальянского OSMF Local Chapter: первого объединения Wikimedia и OSMF. Второе и третье, да и все последующие пункты — слушать других, привлекать участников из слабо представленных групп: по полу, по региону, по специальности. Потому что если цель — собрать все знания в мире, то нельзя ограничиваться. Потому что местное знание (local knowledge) становится глобальным. И в этом нужно быть активным, а не ждать, когда люди из разных сфер и слоёв придут сами. Другими словами, если в русском OSM нет девушек, то это не исправляется простым ожиданием.

Доклад Катерины подал идею: сделать альтернативный русскоязычный форум, «безопасный» для участников. Потому что наш нынешний форум для меня неприятен, и примерно понятно, как такое не допускать для других. Жёсткое модерирование, чёткие правила поведения. Критикуешь — сначала похвали. Одно публичное предупреждение, затем бан. Тема для приветствования новых участников. Технически связать с правками, в т.ч. ссылки на OSM-профиль. По желанию, настоящие подтверждённые имена.Активная связь с корпоративными пользователями OSM, также безопасная для них. Мероприятия вперёд. Специальная закрытая группа для минорных групп: разработчиков, девушек и сочувствующих, детей (бан по первому предупреждению или анонимной жалобе). Встречи внутри этих групп. Поддерживаем хрупкую атмосферу доверия, никаких «злых осмеров». Кто что-то делает — прежде всего, офигенный чел и вечное спасибо. Единственные злые люди на форуме — это модераторы. Они дают ежемесячные отчёты, чтобы отслеживать, кто отвалился. Ну и так далее, принцип понятен. Нынешняя форумная атмосфера там будет невозможна.

Студентка третьего курса Гарварда отчитывается об анализе нашей лицензии местной Law Clinic. Сначала исследовали на бумаге, затем провели интервью с пользователями данных, в качестве результата подготовили замечания по лицензии и советы, что сделать. Результат интервью: организациям страшно работать с данными OSM, потому что непонятно, когда включается Share-Alike. Нужно сделать лицензию понятнее и практичнее. Жаль, сообщество такого не допустит (опять вспоминаю странные претензии из legal-talk): нам куда удобнее, когда условия расплывчаты, никто не хочет терять контроль. Один из осмеров в переписке признался, что ему претит мысль, что кто-то может взять данные OSM и ничего не дать сообществу. Какую же тину поднял наш эксперимент с проприетарными данными по гостиницам.

Теперь Alan McConchie про прошлое и будущее. В прошлый раз про будущее говорил Энди Аллан: назвал несколько областей, в которых нужно развиваться. Всё очевидно и, конечно, никто ничего не делал. Оказалось, рассказ Элана я уже читал в апреле, и он даже не обновил графики. Так что влияние maps.me он не оценивал. Узнал, что количество активных редакторов в википедии около 30-35 тысяч человек в месяц, сопоставимо с OSM. Правда, википедийцы учитывают только правку 5 и более статей, а не всех, кто поправил хоть что-то. Снова упомянули необычный график Москвы. Но увы, практики сообществ не проникают в другие сообщества: нет такого, чтобы мапперы из Берлина подошли к мапперам из Москвы и спросили, как у нас получается уделять внимание не только рисованию, но и поддержке уже нарисованного. После доклада поговорил, предложил в следующей ревизии (хочет сделать к концу 2016 года) разделить правки по спутниковым снимкам и использование local knowledge: правки адресов и POI.

В перерыве поговорил про maps.me с девушкой из Missing Maps: они думают использовать приложение только для навигации, потому что для записи треков нужен OsmAnd, а для картирования есть свой OpenMapKit. С другой девушкой (забываю все имена) поговорили про влияние maps.me на сообщество — про что будет завтра мой доклад. Со многими говорил насчёт лицензий, потому что продолжил биться в legal-talk@ за чистоту нашего совмещённого набора данных. С Алиссой обсудили доклад из Law Clinic и насколько бесполезны их советы. Конечно мы должны сделать условия понятнее, но сейчас у нас месиво: вики утверждает одно, сайт osmf другое, сайт osm us третье, много источников и не с кем поговорить.

Доклад про импорт зданий в Лос-Анджелесе. Недавно они прошли миллион зданий. Огромные слайды с графиками, фотографиями участников, картами. Сначала импортировали с адресами, потом забили, в декабре решили продолжить, но попроще, без адресов. Потому что база адресов страшная, точки одна над другой, с домами не сопоставить. Работают на т. н. картовечеринках: «There are only so many times you can call it a party». Слайд про «что дальше»: огромное количество пунктов, но на деле важна систематизация: не рисуем всё подряд, а давайте сообща набросимся на Х. Остановки, парки, веломаршруты. Важно отмечать тип здания: во многих городах здания обозначены как building=yes, но в LA все правильно классифицированы, значений yes исчезающе мало.

К докладу Missing Maps зал ещё больше опустел. Открывающая фотография хорошая, куча самодельных лачуг на песчаной отмели рядом с большим городом. Прямо видишь, как люди без денег на аренду зданий или земли в городе начали заселять эту отмель, несмотря на опасность затопления или неудобство поездок в город. И конечно, едва ли их поместят на официальную карту, то ли дело OpenStreetMap. Доклад про укрепление сообщества MM, поэтому рассказали про 19 тысяч слайсов пиццы, про локальные картовстречи и про сайт с бейджами и профилями. Слушаю в пол-уха, набирая заметку про пятницу, замечаю милый слайд с пятилетним мальчиком, рисующим в iD.

Перед докладом про Higher Education, кажется, все вышли и затем такое же количество людей зашли. Как будто разные ЦА. Но по сути — одно: там построение сообщества вокруг Missing Maps, здесь — среди студентов и профессоров. Зачем нести OpenStreetMap в институты? Потому что академическому сообществу есть что привнести в осм. Студентов нужно приучать к осму смолоду, чтобы высечь у них в голове, что картографические задачи можно начать решать с помощью OSM, а не других средств.

Гуманитарное картирование — gateway drug: оно нужно, потому что никто не хочет мапить свой дом: он же есть на гугле. Совсем другое дело — бороться с малярией. А затем ещё немножко, и человек увяз. Провести картовстречу среди студентов достаточно просто: связаться с профессорами, назначить дату. Они любят, когда приходят с инициативой и не просят денег. Студентов можно привлечь не на просто так, а, например, накинув им за участие дополнительные баллы.

SotM US 2016: пятница

24 июля, 1:54

Сиэттл — чудесный город. Совершенно не такой, как Нью-Йорк: спокойный, широкий, холмистый. Очень маленький центр и множество локальных центров вокруг. Доехали по недостроенному метро до центра, посмотрели на магазины и пошли в гостиницу. Остановились в худшем месте на моей памяти: оценка в 5 на букинге (меньше 7 — это жуть), за дикие деньги какая-то дряхлость во всём. Зато место хорошее: два квартала до Space Needle, башни внутри парка, построенного в 1962 году ко всемирной выставке.

Чем заняться в Сиэттле? Прежде всего, конечно, — сходить в Seattle Center, посмотреть на башню, посидеть на траве, зайти в IMAX и музеи. В здании причудливой формы живёт музей EMP, про научную фантастику, фильмы ужасов, игры, музыку, моду. Там куча экспонатов в тематически оформленных комнатах: реплики и оригиналы костюмов, сценариев, механизмов. Есть музыкальная секция, где можно поиграть на паре десятков инструментов, или даже устроить джем-сейшн с друзьями и получить запись. Или, не умея играть, можно изобразить рок-группу под фонограмму инструментов и криков фанатов. На выходе — огромный магазин гиковских сувениров: футболки и кружки с логотипами Звёздных войн, Доктора Кто, Битлз, Нирваны и прочих групп, книжки про Зельду и видеоигры в целом.

Как полагается, в Сиэттле много этнических ресторанов, но мы едим исключительно американскую еду: бургеры. По пути к гостинице нашли Two Bells Tavern с офигенными бургерами и приятным пивом. Попробовали бургеры с фудкорта Seattle Center Armory, поплевались. Завтрак в гостинице никакой, ходим в близлежащий макдональдс: хотя дневная еда в маках ужасная, омлет с беконом на завтрак отличные, особенно под чашку горячего шоколада. Пиво — кажется, нативный напиток американцев. Пьют все и по любому поводу. Впрочем, на каждой конференции SotM участники пьют чуть больше, чем в обычной жизни. Буквально, приезжаем напиться и поговорить.

Начали, конечно, с паба Rhein Haus. В 17:30 осмеры собрались там на вечеринку. Ой, то есть, в 19:30: я перепутал время, и мы с Женей полтора часа куковали в университетском парке. Вечеринка полностью оплачена Mapbox: бесплатное пиво и закуски, отдельная часть пивной для мапперов. Паб оказался популярным вечером, на уровне неплохого ночного клуба, даже со штампами на запястье для посетителей. Хорошо, что мы ни с кем не смешивались, но уровень шума запредельный. Английская речь сливалась в непрерывный неразличимый гул, сверху примешивалась ритмичная музыка. Пиво не помогало пониманию, собеседников приходилось переспрашивать, или уводить на второй этаж, где потише.

Русской мафией была группа разработчиков из викимедии, включая Юру и Макса. Самое простое на таких встречах, где все заняты друг другом и страшно подойти к группе незнакомых людей, пусть они и из OSM, — уединиться группой из знакомых. Мы поначалу так и сделали, убежали на второй этаж, поиграли в настольный кёрлинг. Утром в субботу руководитель местной викимедии представила их не как разработчиков карт википедии в целом, как мы их знаем, а как тех, кто добавил карту в викивояж.

Поднял Пола Нормана на второй этаж. Он пока не нашёл работу, и плотно занимается osm2pgsql, особенно в части мульти-бэкенда. «Мульти» относится не к количеству процессов и не к параллельной обработке данных, а к таблицам: этот бэкенд позволяет набором скриптов распихать данные OpenStreetMap по куче таблиц, снижая необходимость в постобработке и views. Но этой фичей никто не пользуется, несмотря на то, что Пол показал её в прошлом году: по сути, использование требует написания нового стиля, а всем комфортно и в нынешней системе таблиц planet_osm. Так что теперь Пол решил заняться стилем сам, и сейчас доделывает набор скриптов ClearTables, которые облегчат его написание.

Очень долго с ним говорили, успели обсудить примерно всё, включая стиль osm-carto, который не настоящий картостиль, а просто показывает всё, что есть на карте. Там нет даже особой предобработки тегов, как в других стилях. Зато близкая к идеалу сортировка дорог и трамвайных путей на них — но ценой пару десятков слоёв, на которые раскидываются эти дороги. В адаптации к векторным тайлам, что недавно показал Рори, используется около 70 слоёв — сначала было вообще под сотню, но оптимизировали слегка. Кстати, основная проблема нынче с векторными тайлами — преобразование в них всей планеты разом. Tilemaker Ричарда, теоретически, может это сделать, но требует огромного количества памяти (за 100 гиг), потому никто пока не пробовал.

Марк из Uber просто рад быть на конференции, как и остальные 9 его оллег. Uber спонсирует субботнюю вечеринку. Они не используют OSM для навигации, потому что считают, что гугль лучше, хотя я рассказал девушке-аналитику из Uber про проблемы гугля в России (особенно про Рыбинское водохранилище). Она, кстати, активно использует OSM для аналитики. Как и все конкуренты: в самом деле, что ещё. Про Juno они оба, кстати, почти ничего не слышали, разве что название. «Какие-то ребята из Нью-Йорка?»

Поговорили с Алексом Бартом. Ругались на организаторов сотма в Брюсселе: зарубили наши доклады. Ну и вообще, разочаровали осмеров, теперь многие не хотят ехать. Например, Ричарда Фэйрхёрста мы там не увидим, как не увидел я его и тут. Узнал, что витает идея отдельной технической европейской конференции: SotM EU два года назад был эталонным в этом качестве. Под конец я напомнил Алексу про его битву за public domain. Он заметно оживился и перешёл на английский матерный: идею он не оставил, и лишь собирается с силами. Всё равно ODbL не работает, что видно по странным спорам в рассылке legal-talk.

По пути домой — решили проверить кратчайший маршрут от maps.me, и он оказался хорош и быстр — продолжили обсуждать будущее OpenStreetMap с Женей. Он подходит к OSM как к коммерческому проекту: есть конкуренты, есть цели, есть дедлайны. Сильный контраст с тем, что я вещал в прошлом году: мол, OSM никуда не торопится, не нарисуют в этом году — нарисуют через 50. В реальном мире, конечно, это не так: когда до деревни в каком-нибудь Никарагуа доберётся осмер, больница, которую нужно отметить прямо сейчас, давно зарастёт лесом. Мир меняется, и он, в отличие от нашего проекта, не готов ждать десятилетиям. А потенциальных мапперов с осени неожиданно эффективно переманивает Google Maps через своё приложение и через программу поощрения мапперов. Так что да, у нас гонка с гуглем, которая через несколько лет превратится в схватку двух йокодзун при полном отсутствии погибших конкурентов. И maps.me будет главным орудием осма в этой борьбе, если другие не подтянутся.

Ctrl +  Ранее