21 заметка с тегом

mapbox

Пакет не нужен

«Нельзя ли при отправке изменений из maps.me разделять объекты по континентам?» — в очередной раз спрашивают на форуме. А то bbox (ограничительный прямоугольник) слишком большой, неудобно. OpenStreetMap был зачат тысячу лет назад программистом, и это лезет изо всех щелей: удивительно, как самые бессмысленные атрибуты становятся мерилом качества.

Прямоугольник на карте — это миф. Минимальные и максимальные широта и долгота — так просто нарисовать фигуру в проекции меркатора, но на практике этих чисел не хватит даже чтобы нормально карту распечатать. Пакет правок, который покрывает полмира, мог добавить одну дорогу на Чукотке, но магия чисел и странных проекций заставит вздохнуть: опять эти импортёры делают ченджсеты на всю планету. От пакетов правок мы храним только bbox, поэтому нажмёшь в любом месте планеты на вкладку «история» и наблюдаешь всемирную историю, а не то, что ждал.

Но даже когда найдёшь нужный пакет правок, останется только бессильно смотреть на его bbox. И на стастраничный список точек, линий и отношений, каждая строчка которого по-своему бесполезна. Ченджсеты — это псевдоупорядочивание. Кажется, что они полезны присвоением метаданных группе объектов, своего рода над-отношения, но на самом деле — метки времени произвольны, их порядок не зависит от номера пакета, комментарии никто не пишет, источник часто врёт, географически, как видим, тоже никто не группирует. Остаётся один полезный атрибут: created_by. Всему остальному верить нельзя.

То есть, единственная польза от пакета правок — это посмотреть, каким редактором сделаны правки. Все остальные атрибуты: даты, bbox, список объектов — только отвлекают, создавая ложное впечатление группировки и упорядоченности. Которых нет, потому что техническое воплощение API не обещает порядка и не подразумевает удобства. Так, для правок maps.me я игнорирую пакеты и рассматриваю каждую правку отдельно. Правки на mmwatch — это поток объектов, у которых номер ченджсета лишь бесполезный атрибут. Увы, для сложных правок со взаимосвязанными изменениями (таких как сдвиг линии) такой подход не сработает.

Примерно об этом я говорил на схемотехнике год назад. О bbox нужно просто забыть: область применения этих прямоугольников ограничена и точно не касается ваших задач. А проблему пакетирования нужно как-то решать. Развязать топологические структуры, группировать по времени и географии, не давать пользователям и приложениям свободы в объединении правок. Это настоящая тема для какого-нибудь будущего API 0.8. А пока приходится работать с тем, что есть.

Следить за изменениями в регионе можно (нужно!) через WhoDidIt, искать их — в его более быстром форке. Пакет правок из интерфейса этого сайта можно открыть в Achavi, но иногда может не повезти. Если bbox окажется слишком велик, загрузки правок вы можете не дождаться. Потому что даже лучшие инструменты полагаются на bbox, который, повторюсь, плох примерно для всего.

Загружать геометрию ченджсетов часто приходится команде по работе с данными в Mapbox. Для этого они сделали и постоянно улучшают сайт OSM Changeset Analyzer, где есть фильтры по любому атрибуту, вплоть до причины для подозрений. Но самые подозрительные пакеты накрывают весь мир, Achavi тут бессилен. Поэтому в этом месяце они сделали то, что давно было пора: кэширование ченджсетов.

Каждую минуту скрипт скачивает свежие дополненные диффы и складывает их в хранилище Amazon S3. Затем он раздербанивает эти диффы на пакеты правок и результат тоже загружает туда же. И теперь сервис визуализации Changeset Map, встроенный в OSMCHA, загружает пакеты мгновенно. Обновите ваши букмарклеты: Changeset (перетащите в закладки).

Проблемы, конечно, есть, но с ними борются. Например, дополненные диффы не окончательны из-за чехарды с транзакциями в базе данных OSM. Их приходится обновлять и обновлять. То же касается и пакетов правок, которые возможно держать открытыми целые сутки, понемногу доливая в них новые объекты. Наконец, история там только новейшая: пакеты старее марта этого года можно не найти. Их загружают, но медленно. Проблему поиска по региону архив тоже не решает, как показывает опыт фильтрации на сайте OSMCHA. Поэтому пользуйтесь им для просмотра недавних правок, а историю ищите на WhoDidIt и Achavi. Неидеально — но пока мы не избавились от концепции пакетов правок, ничего лучше не сделать.

27 апреля   javascript   mapbox   валидаторы   проекты

Mapbox погружается в JOSM

Команда создания и анализа данных в Mapbox набирает обороты, и простых инструментов, вроде iD и to-fix, начинает не хватать. А сложный инструмент у нас один, и вы его знаете. Сначала они в блоге два месяца рассказывали про основы редактирования в JOSM и плагины:

А сегодня, внезапно, опубликовали два своих плагина. Первый — про шаблоны сессий под названием «Tasks»: это настройка подложек, фильтров, стилей, плагинов, клавиатурных сокращений, комментариев к правкам. Одним кликом картографы в Mapbox всё это восстанавливают и приступают к задаче, под которую делали шаблон. Второй плагин просто выводит ссылку на ченджсет после отправки на сервер.

2016   josm   mapbox

В студию!

После длинного этапа бета-тестирования по приглашениям, Mapbox выпустил новый редактор стилей, Mapbox Studio. Запустить его просто: заходите на сайт, регистрируетесь, и вы на месте. То есть, нет кнопки «скачать», редактор — неотъемлемая часть сайта. Поддержка проектов Mapbox Studio Classic и старого онлайн-редактора осталась (и стили не потерялись), но задвинута в меню.

Слои данных студия использует те же, что и раньше: векторные тайлы MVT. Разумеется, сайт всё так же умеет нарезать их из GeoJSON, шейпов и т. п. А стиль отличается: теперь цель — Mapbox GL, и не предполагается, что файл стиля кто-то будет писать руками. Редактирование больше напоминает QGIS, с выбором слоёв, кропотливым тыканием в переключатели и выпадающие меню. После TileMill, где привык держать в голове SQL и особенности рендерера, тут немного теряешься.

Хорошая новость — стиль можно скачать, это всего один json, и подключить к своему стеку векторных тайлов. То есть, если ваши данные не слишком велики для бесплатного аккаунта Mapbox, или слоя Mapbox Streets вам за глаза, — ссылка на скачивание редактора вам и не нужна. В противном случае вам может помочь Ричард, написавший препроцессор glug, создающий стиль Mapbox GL из удобного ruby-подобного языка.

Андрей Кармацкий вчера записал видеоурок по Mapbox Studio, где за 11 минут учит добавлять на карту и раскрашивать шейпфайлы ураганов. В декабре он проведёт курс по визуализации геоданных, где коснётся и этого редактора.

2015   mapbox

Для Японии не очень

Джон Виллис живёт в Японии четыре года, и разочарован нашей картой не столько из-за данных, сколько из-за картостиля. В этой стране всё не так, о чём Дэниэл Касл рассказывает уже давно, а Джон на прошлой недели добавил подробностей в рассылке tagging@:

  • В Корее перекрёстки именованы, а в Японии названия присваивают светофорам. Точнее, светофорным группам на перекрёстке.
  • Что касается улиц, названия даны только дорогам от secondary и выше.
  • Поэтому вся навигация в кварталах идёт по светофорам. Их, натурально, нужно считать.
  • И карта OpenStreetMap в этом плане ужасна. Например, вот тут четыре подписанных светофора (это одна группа!), и по мере отдаления пропадают то светофоры, то название. У гугля куда лучше.
  • Всё, вообще всё, подписано на японском и английском, но по карте OSM этого не скажешь.
  • Дома нумеруются по порядку постройки внутри квартала: без карты фиг что найдёшь.

Впрочем, японцы не разделяют его боли: четыре светофора — всё лучше, чем ноль; и не обязательно править стиль по умолчанию, можно и свой сделать.

Дальше Джон обращает внимание, что до 16 зума у гугля собственные геоданные, а с 17 — от местной компании Zenrin, которые суть оцифрованные обходные листы. Сотрудники Zenrin ежегодно обходят все города с планшетами и от руки обновляют каждый лист. Как с этой непрерывной картовстречей соперничать — непонятно, хотя Томоя дальше обнадёживает, что на всех картах есть ошибки, и местами OpenStreetMap лучше даже местных официальных карт.

Тем временем, начался третий месяц инициированного компанией Mapbox проекта поправки всех дорог в крупных городах Японии по трекам и хорошо привязанным снимкам. В число последних, явно, не входит Bing, дороги на котором пляшут во все стороны. На карте OSM японские улицы появились в результате импорта Yahoo Japan в 2011 году, но ошибка их привязки достигает 30 метров. По счастью, на часть территории есть хорошо привязанные космоснимки GSI, а также слои треков OSM и Strava (последние давно включены в список стандартных в iD и JOSM).

Мапперы в рамках серии проектов на этом и этом менеджерах задач обработали 9 среднего размера городов, и 3 крупных (Токио, Нагоя и сейчас делают Осаку). Над задачей трудятся более 30 человек, из которых больше половины — сотрудники Mapbox. Конечно, приглашены все, поэтому инструкции на задачах дополнительно переведены на испанский и русский языки, а позавчера Андрей перевёл заметку про проект.

2015   mapbox   mapping party   блоги

2014

Это был странный год, который проще определить через то, чего в нём не было.

  • Не появилось нового редактора, и старые качественно не улучшались. Никто не выпустил качественно новых плагинов для JOSM. В iD до сих пор нет поддержки сервера смещений. Меркартор жыв: недавно один его пользователь утянул петербуржский перекрёсток в Африку.
  • Никто не взялся даже за планирование API 0.7. Была пара дискуссий в рассылках и EWG, с предсказуемым «хочешь — сделай». Понятно, что новый API полностью уйдёт с Rails на cgi-map. Понятен начальный фронт работ, но заняться этим банально некому. Всё и так работает, неинтересно. А для остального есть Overpass.
  • Несмотря на постоянные «почти готово», в прошлом году не вышла ни одна «мажорная» версия Leaflet. Раньше Владимир делал по 2-3 релиза в год. В грядущей 1.0 поменяется модель тайловых и векторных слоёв и работа с проекциями. На прошлой неделе автор призвал всех участников разработки поднапрячься и выпустить хотя бы бету в этом месяце.
  • Mapbox так ускорялся, что перешёл на сверхсветовую скорость, и пропал из поля зрения обычного человека. TileMill во второй версии перешёл на платную модель хранения тайлов, и из-за сложности настройки векторных тайлов толку от самостоятельной сборки исчезающе мало. Компания бешено набирает людей, уже даже просто так, помапить. Образно выражаясь, конечно: недовольная скоростью обрисовки американских городов, она задействует открытые данные и специалистов по импортам. Всё лучше, чем импорты исподтишка, какими балуются некоторые русские компании.
  • Мы очень хотели изменений в Совете OSMF, но не срослось: только отвлекли его участников спорами на месяц. Он продолжает свою полуоткрытую работу, 16-17 февраля они встретятся вживую, и кто-нибудь даст кому-нибудь по лицу, если повезёт. Под шумок Хэнк тянет с выбором места проведения SotM 2015 из двух вариантов. Неопределённость и закрытость — кажется, имманентное свойство Совета.
  • Конечно, новый OWL так и не закончен, а старый никому не интересен. Единственным средством слежения за правками остаётся Who Did It, который я делал как временное решение, не ожидая, что он будет актуальным и через два года. Ладно хоть Achavi сделал просмотр ченджсетов веселее.

И хотя никаких технических прорывов не произошло, год был богат на неожиданности.

  • Главной из которых, конечно, стала карта национального поисковика «Спутник», полностью завязанная на OpenStreetMap и данные в PD.
  • Затем Mail.Ru Group купил белорусскую команду Maps.me и вывез её в Москву. Затем устроил аттракцион щедрости, сделав приложение бесплатным. И, наконец, убил собственную онлайн-карту, заменив страницу ссылкой на Maps.me.
  • Обычно работы многочисленных студентов с Google Summer of Code медленно покрываются пылью, но в этом году всё наоборот: у нас был только один человек, но тем, что он написал, пользуются сотни осмеров. Да, комментариями к ченджсетам. И они даже года не провисели в пул-реквестах: благодаря шумихе в OSMF, их быстро влили в сайт. Чаще бы выборы.
  • Не появился второй новостной блог, но проект WeeklyOSM с сентября стабильно переводит немецкие новости на восемь языков (есть добровольцы на русский?), а во вконтакте выросло несколько осмосообществ с очень активными ведущими: псковское, курское, самарское. Ещё у нас летсплеи по JOSM делают, это вообще космос. И радио.
  • Мы редко выбирались на картовстречи в этом году, но качество проведения онлайн-встреч выросло неимоверно: вспомнить крымскую, например, или серию мероприятий Missing Maps. Такие встречи вербуют в OSM сразу кучу картографов, и о них широко пишут в крупных газетах (не в России, увы). И по теме вербовки — мы впервые с 2011 года пришли в школу и показали детям редактор карты. Скоро ещё пойдём.

Отсутствие громких новостей непривычно: ни перелицензирования, ни нового редактора — но именно такой год показал, как бурно прогрессирует OSM в мелочах. Вместо одного лидера обнаружились сотни мапперов, программистов и писателей, неукротимо двигавших все аспекты проекта. Чёрт возьми, OpenStreetMap действительно неостановим.

Две тысячи пятнадцатый будет годом больших игроков: Mapbox и Telenav в Штатах, Спутник и Mail.ru в России. Как бы мне ни хотелось завести старую сказку про редакторов и программистов, осенью стало особенно ясно, что направление развития задают не участники, не OSMF и не Совет, а те, кто вкладывает в OpenStreetMap деньги и рабочее время. Принцип do-ocracy повернулся неожиданной стороной, и большинству участников только предстоит осмыслить, хорошо это или вредно. Год обещает быть интересным.

Зрелищного видео правок за год никто не сделал, но Дмитрий Афонин прислал отличную картинку, которая и показывает, чего мы добились (это не уникальная карта, а целая серия), и напоминает о первом принципе проверки открытости (распечатать и продать), и намекает на тренд будущего года, когда ввиду обстоятельств люди в России начнут понимать, где в OSM деньги.

2015   javascript   mapbox   mobile   блоги   штосм

Mapbox Studio

Наконец, вышел первый релиз TileMill 2, недавно переименованного в Mapbox Studio. Сборки для Windows, Mac OS X и Linux можно загрузить с официального сайта. Не удивляйтесь номеру версии: кажется, в компании специально собрали людей, обожающих цифру ноль.

Картинки на сайте очаровательны, и хочется скорее запустить и творить, но программа вас удивит: это уже не просто редактор файлов CartoCSS, как раньше. Теперь всё вертится вокруг векторных тайлов: в них держат не только данные OpenStreetMap, но вообще всё: CSV, шейпы, GeoJSON. Соответственно, вместо прямого подключения разных файлов, понадобится для каждого источника (набора однотипных слоёв) делать свой проект типа «Source», и затем ссылаться на эти проекты из стиля. Разумеется, проекты TileMill 1 и 2 несовместимы, хотя перевести проект на векторные тайлы должно быть несложно.

Также в комплект теперь входят около трёхсот шрифтов от FontShop и Monotype, но использовать их можно только для карт, публикуемых на серверах Mapbox (нужна подписка «Standard», 49$ в месяц). На сайте появились несколько коротких учебников, но документация в целом не улучшилась. Чтобы поместить стиль на векторных тайлов на свой сервер, понадобится копаться в модулях NodeJS.

2014   mapbox

(i)

Derick: «I don’t see the OSM attribution?» — chippy: «Derick, you have to click the tiny mystery meat fuck-you-osm-community „i“ button»:

MapBox очень долго пытались сократить текст упоминания авторства OpenStreetMap, им противостояли участники сообщества, и в начале этого года они просто запихнули копирайт под маленький значок «i», на который нужно нажимать. Мы были недовольны уже тогда, но когда 6 мая AngiG88 показал, что в новой версии библиотеки Mapbox.js название компании значительно превосходит размерами даже этот кружочек, участники OSM рассердились и призвали MapBox к ответу. Некоторые — нецензурно.

Отсутствие упоминания OpenStreetMap — обычная для нас проблема. В отличие от карт Google и Яндекс, которые не только требуют обязательного, безальтернативного упоминания источника при использовании их карт (в условиях использования, которые никто не читает), но и запрещают пользоваться чужими картографическими библиотеками, мы выдаём тайлы, не обременённые какими-либо запретами. И их очень легко вставить в свой сайт или программу. Единственное требование — написать «Карта © OpenStreetMap» — забывается, или «забывается». Это непросто понять: неужели так сложно, пользуясь плодом безвозмездной работы сотни тысяч человек, отблагодарить их выводом на экран двух слов? Тем не менее, тема «Они используют OSM» каждый день полнится ссылками с двойственным эффектом: вроде, и здорово, что нас выбрали, но где же название проекта?

И нет, прятать «OpenStreetMap» под интерактивную кнопку или на отдельную страницу нельзя. Особенно когда в итоге карта получается под копирайтом кого-то другого. Мы даже не требуем ставить большой логотип, как Google, или длинную строку всех-всех участников, как ESRI. Конечно, многие нарушают условия по незнанию, и после письма исправляют ошибку. MapBox убрали сокрытие копирайтов через два дня после бури претензий. Их библиотеку использует новая версия набирающего популярность поисковика DuckDuckGo, и при поиске карты сразу заметна строка «© OpenStreetMap».

А с теми, кто считает упоминание авторов используемых данных недостойным уважаемой компании, Стив Кост предлагает взаимодействовать публично: после месяца ожидания ответа в личной переписке публиковать списки, связываться с новостными лентами. Подождём и мы.

Счастья привалило

Полтора года назад MapBox договорились с DigitalGlobe о поставках снимков всего земного шара до 17-го масштаба. Тогда мы ещё не могли тронуть их слой, лишь помечтали о светлом будущем. Год назад MapBox обратил внимание на другие источники: Skybox и Landsat 8. Его база детальных снимков росла, и мы напомнили о разрешении — нам было позволено обрисовывать только 15-метровый Landsat. Ответа не было. А в августе Том Макрайт вовсе огорчил: мол, нельзя, ждите. Нет — так нет, вздохнули и забыли.

Сегодня Кевин Баллок, старший менеджер в DigitalGlobe, неожиданно заявил: «мы сотрудничаем с MapBox в предоставлении актуальных и релевантных снимков проекту OpenStreetMap, и с этого дня всё покрытие DigitalGlobe, доступное через слой MapBox Satellite, вы можете обводить в популярных редакторах OSM, таких как JOSM и iD». В полночь этот слой чисто формально обновили в библиотеке подложек JOSM: на Европу было обещано покрытие 19-го масштаба, и мы теперь готовы к этому.

Другими словами, с сегодняшнего дня всё, что есть у MapBox, доступно нам для обклацывания через тот же старый слой MapBox Satellite.

Первое, что замечаешь, — огромная площадь покрытия. Почти все места, что ждали от бинга, здесь отсняты. Они явно не врали, когда обещали весь мир на 17-м масштабе: непокрытый город найти непросто. Пикалёво, Остров, Красногородск — всё есть, и без облаков, бича Bing. Кроме обычных цветных снимков, часто натыкаешься на чёрно-белые, но не простые: на картинке вверху и слева, и справа летние снимки, но на правом деревья почти прозрачны и открывают дорожки в парках, а от облаков остаются лишь тени. AMDmi3 предположил, что это канал «near infrared», и для мапперов он — находка.

Недостатки есть: прежде всего, хотя детализация у Bing та же, у него есть оверзум, поэтому на 18-м масштабе обклацывать комфортно. Слой MapBox же при увеличении превращается в пикселизованное месиво (если не будете менять 17 на 19 в настройках TMS, иначе всё закроют крестики на чёрном фоне). Кое-где снимки наложились с ошибками: например, в Волхове и к западу от Лосева на 13-м масштабе видны снимки высокого разрешения, а на 14-м и ниже они пропадают под заглушкой Landsat. Алекс Барт из MapBox сказал, что они уже работают над системой заявок, куда можно будет пожаловаться на подобные недочёты (апдейт: вот она). Над аналогом bingcoverage они тоже думают.

Без сомнения, это крупнейший новый источник снимков с ноября 2010 года, когда Стив открыл для нас Bing. Многое пока неясно, кроме того, что обводить для OpenStreetMap можно. Кевин Баллок обещает рассказать про эти снимки подробнее на конференции State of the Map US, уже послезавтра.

2014   mapbox   источники

Всевидящее око

(Разверните на полный экран)

Первый спутник Skybox запущен 21 ноября, и спустя всего месяц они похвастались примерами видео высокой чёткости из космоса. Записи ограничены полутора минутами и разрешением в метр на пиксель. К картированию это отношения не имеет: DigitalGlobe выдаёт стереоснимки уже много лет. MapBox сделали то, что умеют лучше всех: наложили видео на карту. Как всегда, впечатляет не результат, а перспектива: через 10-15 лет мы можем обнаружить «живое» видео из космоса на всю Европу и Америку прямо на Google Maps (ну или у MapBox, если они успеют победить гугль к тому времени).

2014   mapbox   видео

Наш человек в MapBox

Сегодня Том Макрайт в третьей подряд заметке блога MapBox про найм талантливых сотрудников опубликовал фотографию и имя Владимира Агафонкина, автора Leaflet. Как известно, у компании есть своя библиотека MapBox.js (недавно вышла версия 1.4), надстройка над Leaflet с приятными плагинами для работы с сервисами компании. Теперь, с приходом Владимира, они вдвое больше джаваскрипта запасут.

До выхода очередной версии лифлета, если посмотреть на историю, остался где-то месяц. Это ненормально, что признаёт и автор: из-за редких релизов пользователи библиотеки месяцами сидят без исправлений ошибок. Одна из причин откладывания версии 0.7 — список исправлений слишком длинный для новой минорной версии (0.6.5), но короткий для мажорной. Такой принцип теряет смысл: библиотека стабильнее с каждым днём, и скоро наполнение ченджлога затянется на год. Поэтому после выпуска новой версии Владимир планирует ускорить цикл релизов и не ждать «подходящего момента».

Конечно, его вклад в картографические приложения не ограничивается Leaflet: во время работы в Cloudmade Владимир в команде из двух человек писал Mapzen, на то время один из лучших веб-редакторов карты. Редактор ограничений поворотов, до сих пор не превзойдённый по наглядности и удобству, — его рук дело. Проект прожил всего год, и был открыт под GPL v2, но сейчас можно найти только заброшенный порт на странный язык Haxe. Опыт разработки редактора, наверняка, пригодится Владимиру после его неминуемого назначения в группу поддержки iD.

В MapBox странным образом накапливаются гитаристы: Том Макрайт играет в группе Teen Mom, Артём Павленко когда-то выступал с Гариком Сукачёвым, а Владимиру удалённый режим работы позволит не отрываться от своей рок-группы Обійми Дощу, слайдом со ссылкой на невероятно длинные песни которой он заканчивает каждую презентацию Leaflet.

2013   javascript   mapbox
Ctrl + ↓ Ранее