Mapbox погружается в JOSM

12 апреля, 16:39

Команда создания и анализа данных в Mapbox набирает обороты, и простых инструментов, вроде iD и to-fix, начинает не хватать. А сложный инструмент у нас один, и вы его знаете. Сначала они в блоге два месяца рассказывали про основы редактирования в JOSM и плагины:

А сегодня, внезапно, опубликовали два своих плагина. Первый — про шаблоны сессий под названием «Tasks»: это настройка подложек, фильтров, стилей, плагинов, клавиатурных сокращений, комментариев к правкам. Одним кликом картографы в Mapbox всё это восстанавливают и приступают к задаче, под которую делали шаблон. Второй плагин просто выводит ссылку на ченджсет после отправки на сервер.

Схемотехника 02 и 03

14 марта, 15:49

В феврале мы провели первую «схемотехнику», встречу участников сообществ OSM и ГИС-Лаб. Она прошла неровно, но в целом хорошо, результатом стали видеозаписи на ютубе. Докладчики рассказали про проекты и новости, про которые лениво писать в блоги, но здорово обсудить вживую.

Завтра вечером (вторник, 19:00) у вас снова будет возможность встретиться друг с другом и поговорить про ГИС и обработку открытых геоданных: «Схемотехника 02» пройдёт при поддержке и в офисе «Спутника» на станции метро «Румянцево» (предпоследняя на юге красной ветки). Заявились пятеро докладчиков. Не только узнаем, что такое бенфорд-последовательность, но и посмотрим на слайды про лазерное сканирование. Конечно, будет перекус. Записывайтесь — и заходите. Посмотрите, как живёт «Спутник» после переезда, зададите им каверзные вопросы.

Кто живёт в Петербурге, заходите в субботу, 19 марта, на встречу ГИС-Лаба. Снова в институте на Васильевском острове, участники обменяются свежим опытом и, помимо прочего, подумают насчёт проведения хакатона.

Третья «Схемотехника» пройдёт 16-17 апреля в формате хакатона. Не того, что со студентами, денежным призом и менторами. А как в Лондоне, Берлине, Карлсруэ, Торонто: два дня в отрыве от семьи, работы, кино и театра: время допилить тот важный для OpenStreetMap или QGIS проект, что вы придумали, записали и забыли, потому что не было времени. Вот оно, это время. Никаких отвлечений, кроме обедов. Куча экспертов по открытым технологиям вокруг. Кофе, печеньки и интернет без ограничений. Спальных мест нет, но недорогая гостиница — в пяти минутах ходьбы. Регистрация открыта.

Грозный

10 марта, 16:45

Позавчера закончилась онлайн-картовстреча, на которой мы полторы недели рисовали город Грозный. Прошлое совместное рисование было почти два года назад, и стало скучновато, поэтому я прошерстил список городов в вики и нашёл единственный плохо отрисованный город в категории 200к+. Кроме того, Грозный — единственный федеральный центр, над картой которого почти никто не работал.

Рисовать пирог всегда тяжело: не технически, но поди оцени размер кусков. Слишком маленькие — и люди не захотят совместно одолевать дорогу в 400 ступеней. Слишком большие — все будут делать по половине или по трети, и отсутствие 100% деморализует. Впрочем, MapCraft принимает пирог только в одном формате, поэтому технически тоже пришлось проявить смекалку. Выделил все линии, разбил на перекрёстках (это utilsplugin2), собрал из всего мультиполигоны и затем последовательно превратил в обычные полигоны (с reltoolbox).

Зато когда пирог готов и залит, здорово каждый день наблюдать за его медленным озеленением. Вот появился зелёный островок, вот кто-то порисовал с краю города, а теперь проводим непрерывный зелёный пояс от одного конца города к другому. Словно компьютерная игра, вот только за каждой клеточкой — несколько часов работы картографа.

На сервере с мапником поднял обновление Грозного раз в 10 минут и запуск nik4 при каждом обновлении. Все скрипты складываю на гитхаб, документацию пишу помаленьку. Сначала думал сделать автоматические анимированные гифки из картинок, но было лень, поэтому раз в два дня давал ссылки на обычные png «до» и «после». Порадовал pfg21, наскоро сделавший из этих картинок анимацию. Теперь же можно показать окончательную анимированную гифку: на ней видна разница между утром 28 февраля, когда удалили огромный полигон landuse=residential, и утром 9 марта.

Скрипт также считал длины линий и количество домиков (хотел добавить подсчёт адресов, но достойного источника не нашли). На форуме восхищался внезапными тысячами деревьев, а в итоговой заметке можно и графики показать (время на них в UTC).

Удивило даже не количество заборов в Грозном, а тщательность их отрисовки осмерами. Обычно на заборы обращают внимание только в промзонах, а в частном секторе их обклацывать слишком муторно. Но тут будто конкурс какой прошёл: длины заборов исчислялись в сотнях километров. На карте, конечно, их найти элементарно: хоть чуть-чуть, но есть в каждом куске.

Файл pbf с картой Грозного до картовстречи занимал 17% от всей Чечни (380 килобайт), после — 46% (1668 килобайт). То есть, за неделю подрос в 4,4 раза. Нарисовали так много, что картинка с разницей похожа на шум. Подзабытый скрипт osmdiff, написанный gary68 семь лет назад, помог с числами. Всего в картировании участвовали примерно 35 человек. Добавили больше пяти тысяч точек восемь осмеров: Serzhanya, Семён Семёнов, Felis Pimeja, Danidin9, asdqweasd, Kazykan, aks46, Batareikin. Я — только 3700. В целом точек было 30 тысяч, стало 210; линий было 5 тысяч, стало 43.

Пока обклацывал кусочки, воплотил давнюю мысль: записать летсплей, как когда-то Kilkenni. А Felis Pimeja отличился круче: не только нарисовал поребрики в центре города (как водится, по особому смещению подложки), но и поманьячил в 3D:

Наконец, анимация правок. С помощью ffmpeg получил видео из набора подписанных картинок. А дальше — разбавить сорокасекундный ролик фрагментами с 14-го масштаба, кадрами других картостилей и, конечно, maps.me, и найти не слишком бесячую музыку в библиотеке ютуба. Картовстреча завершена, но теперь проще будет проводить следующие, так что ждём их. То есть, уже дождались: неделю назад Макс Васильев запустил обклацывание Симферополя.

josm-tested V

2 марта, 18:14

В выходные вышла очередная «стабильная» версия JOSM, 9900. От прошлого релиза её отделяют 8 недель и 571 правка: беспрецендентное количество изменений, раньше между версиями было не больше пары сотен правок. Большинство изменений касаются автотестов и качества кода, так что новая версия действительно чуть стабильнее предыдущих.

Самое раздражающее изменение, впрочем, сделали ещё в декабре: предупреждение о необходимости привязки подложки появляется теперь для каждого слоя отдельно, включая слои OpenStreetMap. И пока не кликнешь галочку «не показывать снова», его будут показывать снова и снова. Изменение, кажется, того же плана, что недавнее обязательное подтверждение при разрезании линии: проблему легко увидеть, посидев полчаса над редактированием карты, но разработчики JOSM — не из таких.

Самое заметное изменение новой версии — привязка к масштабам подложки. То есть, при добавлении слоя OSM или Bing больше не нужно в меню по правой кнопке привязываться к размеру тайла, это делается автоматически. У слоя в панели, к которому привязаны масштабы, рисуются шашечки. Также:

  • в окне редактирования отношений можно таскать объекты мышкой;
  • поиск по пунктам меню спрятали в «Справку»;
  • починили медленную прокрутку многих панелей колесом мыши;
  • в экспертном режиме можно разрешать все конфликты махом в свою или чужую пользу;
  • комментарий к пакету правок не теряется при отмене загрузки;
  • при прерывании загрузки треков показывают те, что успели скачать;
  • на карте и в пресетах появились теги из групп craft=* и emergency=*;
  • в экспертном режиме можно запретить загрузку слоя на сервер из выпадающего меню;
  • поддержка субсекундных меток времени в EXIF и субсекундная привязка фотографий к треку.

Более длинный список изменений можно почитать на сайте редактора или в переводе на josm.ru.

Схемотехника

21 января 2016, 15:32

Прежде всего, в это воскресенье, 24 января, в Краснодаре «Спутник» проводит картовстречу. Есть пирог на 5 кусков. Встреча в 12 в центре города, где именно — сейчас решают.

Традиционная январская встреча в Москве не состоится. Вместо неё мы попробуем начать новую традицию. Встречи будут каждый месяц, всегда в помещении, и одновременно двух сообществ: OpenStreetMap и ГИС-Лаб. Отчасти это миниконференции, так как небольшие доклады в начале приветствуются. Отчасти — просто встреча, потому что большая часть времени отдана под свободное общение. Иногда формат будем менять: например, сделаем мастер-класс, code-sprint или конкурс на скоростное рисование домиков.

Первая «Схемотехника» (название, кажется, окончательное) пройдёт в офисе Mail.Ru Group, где была конференция «Открытые ГИС», 6 февраля, в субботу. Займёт весь день с 12 до примерно 18. Регистрация обязательна, кликайте в ссылку на сайте. Будут пицца, интернет и проектор.

Нет, карта

15 января 2016, 23:43

BushmanK в декабре длинно обосновал, почему новичкам лучше сразу говорить, что OpenStreetMap — это база данных, а не карта. В обсуждении заметки на радио я предположил, что каждый осмер проходит три стадии понимания.

Как новичка не убеждай, а он видит: словом OpenStreetMap подписывают растровые карты, которые подобно гуглю и яндексу появляются на разных сайтах, и венце их openstreetmap.org. Эти карты умеют находить адреса и прокладывать маршруты. Правда, пробок нет, и слоя снимков, поэтому OSM явно проигрывает своим конкурентам. Зато работает в навителе, есть кнопка «редактировать», да и, говорят, карма чистится, если править эту карту, а не народные. Хорошее дело народным не назовут.

Через пару месяцев бороздения форума и вики заматеревший осмер понимает: карта — это вообще не про OSM. Мы наполняем некую абстрактную базу геоданных, которая может быть представлена в любом виде и использована столькими способами, что не всегда и поймёшь, гео это или нет. Есть набор абстрактных тегов, есть сомнительная точность на всех этапах, есть целостности физическая, геометрическая и логическая (и печальное отсутствие средств их сохранения). Опытный участник умеет пользоваться редактором Level0 и видит, откуда пошли все правила участия в проекте. И, конечно, при объяснении сути проекта новичкам он идёт напрямик, ошарашивая пунктом первым: «OpenStreetMap — это база геоданных».

Третья стадия — это когда осмер понимает, что всё это время он рисовал карту! То есть, конечно, это всё ещё база данных. Но чтобы понять, что нужно добавлять в эту базу, нужно понимать, что продукт OSM — это, как ни странно, карта. Карта того, что есть в реальности, с уровнем детализации как у карты, с системой координат, слоями, подписями и т. п. То, что это карта, отвечает на многие странные вопросы, типа стоит ли добавлять контуры снимков или маршруты самолётов. В базу геоданных — да. На карту — нет. Понимание того, что OpenStreetMap — это, прежде всего, карта, упрощает решение вопросов и экономит время. А когда не мучает экзистенциальная тоска, наполнять базу геоданных становится веселее.

Разница между первой картой и последней в том, что вначале карта OpenStreetMap воспринимается как полуфизический объект: изображение на экране, распечатанный лист. А на третьей стадии осмер понимает карту как совокупность всех возможных карт, которые можно получить из данных OSM. Дороги всех цветов и размеров, населённые кварталы в виде домов, закрашенных прямоугольников и строк в таблице населённости, POI в поиске, в картинках, в записной книжке, в роутинге, в базах данных, в цифровом искусстве, в табличках на их прототипах. Рисуя и тегируя линию, опытный осмер видит все возможные применения для неё, и понимает ограничения среды, модели и здравого смысла. В двух словах это можно сократить до «рисуем карту».

Но понимая, что у каждого участника проекта разные взгляды на его продукт и терминологию, и ожидая толпы новичков с немного искажённым понятием карты (ох этот навител), осмер мгновенно поднимается на четвёртую стадию понимания проекта, которую подметил Эдуард «edward17»: OSM — это боль.

Жизнь без Стива

6 января 2016, 21:21

В 2004 году Стив Кост придумал проект OpenStreetMap, написал для него инфраструктуру и убедил чёртову уйму людей в перспективности задумки. В 2006 году он зарегистрировал организацию OpenStreetMap Foundation, и служил в ней председателем до 2012 года. Попутно, с 2007 по 2010, он пытался заработать на OSM деньги, создав компанию Cloudmade. Не получилось — в 2011 году он устроился в Bing, договорившись о выдаче всех спутниковых снимков для обрисовки в OSM. Позже он ушёл в Telenav, руководить перспективными разработками.

В августе 2012 года он уступил место председателя Совета Саймону Пулу, приняв звание «почётного председателя». К тому времени он уже почти не участвовал в жизни проекта, но время от времени писал заметки на тему, как несколько людей в OSM препятствуют развитию. За последние три года он несколько раз появлялся в сообществе, особенно заметно — год назад во время выборов в Совет OSMF. Каждый раз его запал иссякал в течение дней, и он снова пропадал на полгода-год.

Позавчера в рассылке osmf-talk@ Джерри Кло возмутился твитом от официального аккаунта @OpenStreetMap, продвигающим очередной кикстартер Стива (плакаты а-ля «все дороги в Рим», доставка в Россию стоит 130$). Поскольку твитер не слишком активен, такие рекламные посты очень выделяются, и мало кому ещё удаётся пропихнуть туда свои проекты. Вина, понятно, на CWG, но и на Стиве, который с большим шумом вернул себе право писать твиты в @OpenStreetMap три года назад. Итогами были не только рекламные твиты Стива, но и уход Ричарда Фэйрхёрста из Совета.

Спор неожиданно, с подачи Саймона Пула, перекинулся на личность Стива Коста и на его титул почётного председателя. Мол, с большими полномочиями (это, на минуточку, право участвовать в заседаниях Совета и выступать на конференциях от имени OSMF) должна идти большая ответственность, которой нет. Затем пошли разговоры о новых номинантах на этот титул. Переписка закончилась заявлением Стива Коста, согласованным с Советом: с этого дня он перестаёт быть почётным председателем и отдаёт право писать в твитер.

Так OpenStreetMap стал одним из немногих открытых проектов (единственным?), где основатель не только не управляет им по сей день (как в Linux или Wikimedia), но даже не имеет каких-то особых полномочий. Теперь Стив Кост — обычный член сообщества, как любой из вас. И как любой из вас, он может приносить огромную пользу проекту каждый день: дорисовывая карту, участвуя в разработке, организуя мероприятия или используя OpenStreetMap в работе над другими потенциально популярными сервисами.

48 часов

7 декабря 2015, 21:39

Двое суток назад на ежегодном собрании OSMF объявили результаты выборов в Совет. Набрав более одной пятой голосов от числа проголосовавших (272), в первом туре прошли я, Peter Barth и Martijn van Exel. После учёта вторых-третьих позиций в список вошёл Mikel Maron. То есть, в Совет прошли все четверо из списка известных кандидатов, и никто из тех, кто не был заметен в международных рассылках. Поправку про изменение взноса за корпоративное членство приняли с 78% голосов.

Спустя двое суток, мы ещё не успели разнести OSMF на щепки. Даже не обсудили ничего: только получаем доступ к рабочим сервисам. Доступ на редактирование вики OSMF и внутренней вики Совета, почтовый адрес ilya@osmfoundation.org, включенный в рассылку, аккаунт в Loomio, где голосуют за решения. И ещё у нас всех будут визитки!

«А-а-а, секретная вики!» — воскликнете вы заинтересованно. Увы, там не так много интересного. Конечно, все важные телефоны, чеки и бюджет, и полный список корпоративных членов OSMF (некоторые не хотят публичности). Из недавнего — требования к секретарю по найму, которого мы давно хотим взять, но как-то не можем начать искать. Для нас, новичков, Пол и Фредерик подготовили список всех используемых сервисов, который оканчивается ссылками на правила Совета и на список ответственностей, который приняли на февральской встрече.

Начнём работать мы на следующей неделе: только договоримся о времени созвона через Mumble. Члены Совета всё обсуждают по почте, и раз в месяц созваниваются, чтобы утвердить решения по ключевым вопросам. Возможно, когда-то будет и встреча вживую, но пока её нет даже в планах.

Открытая Москва

4 декабря 2015, 12:38

Московский департамент информационных технологий давно выкладывает открытые данные. Лицензия простая: CC-BY 3.0. Правда, даже она не совместима с нашими «условиями участия»: мы не можем заставить всех пользователей данных добавлять упоминание всех второстепенных источников. Поэтому нам нужно явное разрешение на использование в OpenStreetMap. Требование упоминания мы решаем через список всех источников данных в нашей вики.

По словам Кирилла Бестужева, первые запросы в департамент мы начали слать шесть лет назад. Максим Дубинин постоянно напоминает им про OSM, и поднял тему на последнем совете. Похоже, убедил: вчера в фейсбуке представитель ДИТ подтвердил (копия), что использовать их данные в OpenStreetMap разрешается (и даже приветствуется), и упоминания на странице источников достаточно.

У нашего вопроса был повод: публикация на портале открытых данных 147 тысяч контуров зданий Москвы с адресами. Это почти все дома, что видны на картографической подложке этого портала, но геометрии отличаются, и некоторые здания пропущены. Неточность геометрий и сомнительная актуальность (BushmanK пишет: «я нашёл здания, которые построены год назад, но также нашёл здания, которые снесены больше года назад») — обычная проблема геоданных на этом и других официальных порталах — не позволит импортировать недостающие здания в OpenStreetMap, но теперь мы можем расставить остаток адресов. Как только кто-нибудь напишет валидатор.

Куда пропали карты

3 декабря 2015, 8:46

В этом блоге не было ни записи про мероприятия «Missing Maps», хотя нынче их проводят по всему миру почти каждый день. Их организует гуманитарная команда совместно с разными другими организациями. Что их отличает от обычного домашнего картирования — это ведущие и наставники, которые не только помогают освоить JOSM, но и рассказывают про проект, про текущие задачи и про цели картирования. У меня было весьма поверхностное понимание, определённое отрывочными записями в блогах и немного сумбурной статьёй в The Guardian. Но теперь команда HOT записала видеообращение, которое отвечает на все вопросы (есть русские субтитры):

Другой член организации «Врачи без границ», Айван Гейтон, рассказал вместе с Гарри Вудом о пользе от OpenStreetMap каналу CNBC. Получился первый профессионально смонтированный и оформленный видеоролик про наш проект, с захватывающим повествованием и осмысленными кадрами (а не как люди держат GPS на фоне левого атласа). Главной темой, конечно, стали те же «Missing Maps», но и продвижению OSM уделили немало времени. Есть английские субтитры, можно включить автоперевод на русский.

Гуманитарная команда до конца года собирает пожертвования, планируя поднять 50 тысяч долларов. Эти деньги пойдут на тренировку новых мапперов, билеты для участников конференции HOT Summit, поддержку серверов и организационную работу. HOT сняла свой ролик в поддержку сбора средств, почти полностью из снимков гуманитарных операций, но ничего нового в нём не говорят.

Ctrl +  Ранее