Избранное

Ctrl +  Позднее

Что с Крымом

18 марта 2014, 18:59

Новости полны ликованием (или наоборот) по поводу присоединения Крыма к России, но в реальности ситуация, конечно, сложнее. Никто, кроме России и Крыма, не считает последний вышедшим из состава Украины. Также непонятна ситуация с государственным языком и административным делением. Без сомнения, в ближайшие недели ничего не разрешится. Поэтому сообщество OSM в лице DWG и участников из России и Украины решило:

До 31 мая включительно (0:01 1 июня по московскому времени) объявляется мораторий на правку линий и отношений административных границ на территории Автономной Республики Крым и Севастополя, а также значений тега name. Остаются обязательны теги name:ru и name:uk, в свете последних новостей предлагаем также заполнять name:crh.

Для Крыма как новой административной единицы создано отношение с admin_level=3, что является обычной практикой для непризнанных или частично признанных республик. Название у неё на русском языке. Необходимость этого отношения неясна (как частично признанная республика, она как бы входит в состав Российской Федерации), но до 31 мая удалять его нежелательно.

Историю обсуждения читайте на форуме. Вопросы, претензии, предложения и ссылки на нарушителей отправляйте либо в соответствующие темы форума, либо в комментарии к этой заметке.

Карты для всех, даром

31 октября 2013, 23:45

На форуме «Проекты Петербурга» обсуждают, в основном, дорожное строительство. Где ремонтируют, где перекрыли, где прокладывают (или уже отменили) новое шоссе. С локализацией темы обсуждения всегда проблемы: «53-81 км — это где?» Пять лет назад нормальным было дать ссылку на карты яндекса или вставить картинку, но XXI век на дворе, лифлету недавно три года исполнилось, почему нельзя просто вставить карту? Почему на местном велосипедном форуме дают ссылки на монструозный gpsies, а марафонщики до сих пор скриншотят пираченный OziExplorer?

Будучи программистом, я постоянно чувствовал, что вся эта дремучесть технологий — моя вина, но только месяц назад взялся за решение задачи. Несмотря на комментарий к коммиту от 1 октября «almost final», и через три дня — «вероятно, последний коммит», разработка идёт до сих пор, но помня об изречении, что дела нельзя закончить, можно лишь прекратить, сегодня я объявляю о выходе версии 1.0 библиотеки MapBBCode: элементарного способа встроить рисование и отображение карт во что угодно.

Основой встраивания стал bb-код [map]...[/map], внутри которого описываются объекты карты. Это простая строка текста, которую можно скопировать куда угодно или редактировать вручную. Функционально это упрощённый GeoJSON. Небольшая javascript-библиотека превращает его в карту на Leaflet и позволяет править не подбором цифр, а рисуя на карте. Посмотреть на неё в деле можно на сайте проекта. Там же есть ссылки на модули для форумов phpBB: в понедельник «Проекты Петербурга» первыми встроили карты, на очереди — велофорумы. Когда-нибудь, надеюсь, библиотеку встроят в vBulletin, SMF, WordPress и MediaWiki.

Как пример использования библиотеки, родился сайт MapBBCode Share. Идея проста: если хранить строки в базе, получится неплохой сайт для обмена картами, простой и доступный, как pastebin или imgur. А из окошка просмотра кода можно скопировать текст на форум, его поддерживающий (или наоборот). Образ сайта в голове начал потрескивать, когда ГИС-Лаб воспользовался сервисом для планирования картовстречи, выложив ссылку на редактирование в открытый доступ. А затем я добавил импорт и экспорт в десяток форматов, библиотеку кодов (чтобы не нужно было хранить закладки локально) и API. Оказалось, что обмен картами — лишь малая часть открывшихся возможностей.

Теперь можно планировать маршрут поездки вместе с друзьями, расставить маркеры, затем поместить карту на форум, и за день до выезда участники прямо из форума загружают GPX с вейпоинтами. Можно импортировать CSV (алгоритм определения его формата эпичен) и сразу получить HTML без внешних зависимостей. Никаких iframe — в отличие от всех остальных сайтов, MapBBCode Share выдаёт полноценную страницу без ссылок на себя. Загрузка треков, сгенерированных роутером OSRM, быстрое редактирование poly-файлов и неминуемый экспорт в GeoJSON — сайт конкурирует не только с geojson.io и uMap, но даже с JOSM. Безопасность на высоте: логин через OpenID (гуглояндексы подходят), немедленно хэшируется, поэтому даже администратор не знает, кто пользуется сайтом, при этом хэш никогда не покидает сервера, API для фильтрации карт по пользователю нет.

Итог работы — более 200 килобайт кода, за 60 килобайт документации, 7 новых плагинов для Leaflet, всё под максимально свободной лицензией WTFPL. Разработка продолжается, но теперь изменения протоколируются, и автор ответственен за обратную совместимость. Пользуйтесь MapBBCode Share и встраивайте модуль в новые форумы и блоги. Сделаем [map] стандартом, а обмен картами — не более сложным, чем обмен картинками или кодом.

Все цвета радуги

25 октября 2013, 15:05

Вчера Эрик Фишер из MapBox анонсировал тайловый слой, сделанный из сотен гигабайтов загруженных в OpenStreetMap GPS-треков. Он уже подключен в редакторе iD, а отдельно разноцветную вермишель можно покрутить здесь. Отрезки раскрашены по направлению: незачем перечислять цвета, любой перекрёсток послужит легендой. Новые треки появляются на слое ежеминутно. Чтобы подключить слой в JOSM, откройте в окне настройки вкладку TMS/WMS, найдите в верхнем списке «OpenStreetMap GPS Traces» и нажмите «Активировать». Не забывайте периодически удалять сохранённые тайлы (правая кнопка на карте, «очистить кэш квадратов карты»).

Мои слои, чёрно-белые и обновляющиеся раз в год, когда Firefishy находит время на сборку очередного GPX-дампа, больше не нужны, но удалять их нет причин. Спасибо Эрику, написавшему инструментарий для создания тайлов, и  участникам рабочей группы по эксплуатации (OWG) за настройку серверов. Особенно благодарим всех, кто загружал треки в OSM и не стеснялся указать режим видимости как «идентифицируемый» или «общедоступный».

Мы выиграли

2 сентября 2013, 11:09

«Мы выиграли, теперь во вконтакте у геопривязаных фото показывается карта с тайлами MapBox», пишет trolleway. Новостной блог соцсети подтверждает, что с 30 августа карты на страницах пользователей постепенно переводят с Google Maps на MapBox API, на сегодня переведены десять миллионов участников. Вдобавок к слою MapBox Terrain доступен их же спутниковый слой, который в России слабоват. Как когда-то с Foursquare, не все пользователи довольны переходом, хотя упрёков гораздо меньше. Вот несколько комментариев к новостям:

  • Маленьким городам п-ц, ибо у меня лишь Google нормально показывал всё. Эх.
  • Почему не OSM? А, стоп, это OSM и есть.
  • Они же очень плохого качества в Петербурге. Сообщество суперпользователей 4square очень сильно ими недовольно. Ну, например, посмотрите на Маяковскую и Восстания в OSM и в YM.
  • Я сам живу в Ереване. У нас 1.5 млн жителей. Вот моего дома в OSM нету. А на гуглокартах был.
  • На то оно и OSM, чтобы нарисовать там собственный дом. ;)
  • Оступились разработчики... не тот сервис. Сомневаюсь, что ценовая политика на карты от Google уж больно сильно ударила бы по карману ВКонтакте.
  • Ура, нарисовал в openstreetmap домиков — они через десять минут уже видны на карте во вконтакте (это уже осмеры набежали — прим. ред.)

Второй самый посещаемый сайт России захвачен, дело за первым. Региональные СМИ медленно подхватывают тренд: это «Маяк», газета Соснового Бора Ленинградской области (спасибо russianin за фотографию):

Как правильно обработать снимки

27 июня 2013, 19:41

В конце февраля MapBox нанял Чарли Лойда, заворожившего сотрудников компании арт-проектом «Безоблачный атлас». Тот взял снимки MODIS за длинный промежуток времени, соединил их и оставил пиксели, не закрытые облаками или тенями от них. Получившиеся картинки выглядят непривычно чисто, и практическая польза от такой работы очевидна. Первого апреля Чарли описал в блоге MapBox суть процесса и продемонстрировал рабочие картинки будущего слоя, покрывающего всю планету. С этого момента стало понятно, что космоснимки — приоритетное направление у компании.

24 апреля MapBox объявил о партнёрстве с компанией Skybox, собравшей достаточно средств на создание и запуск в космос нескольких спутников ДЗЗ (планируется в конце года). MapBox создаёт инструменты для просмотра, сравнения и обработки заказанных у Skybox снимков. Но работа над собственным слоем космоснимков не прекращалась: в следующей заметке они показали фрагменты Антарктиды, собранной из мозаик LIMA (Landsat 7) и MOA (MODIS).

Следующие три недели сотрудники хвастались снимками разных мест земного шара, преимущественно экваториальных, попутно выпустив приложение для iOS для просмотра карты и пока ещё старых снимков. 14 мая они торжественно объявили об открытии не только безоблачного слоя космоснимков на весь мир до восьмого уровня масштаба, но и о детальных снимках всей территории США и Западной Европы до 19-го зума (от DigitalGlobe). Журнал Wired подробно рассказал об истории создания слоя и привёл несколько завораживающих фотографий.

Чего журнал не упомянул, но что было написано в первом абзаце анонса, — это разрешение на обрисовку в OpenStreetMap всего, что видно на слое MapBox Satellite. Последний появился в каталоге редактора JOSM полгода назад, и в январе стал одним из установленных по умолчанию. Увы, он до сих пор ограничен 12-м зумом, и качественных снимков Петербурга, например, видимых на соответствующем слое сайта OSRM, в редакторе нет. Это заметили в рассылке talk@, а русские просто обошли ограничение, подключив слой с упомянутого сайта. Сотрудники MapBox пообещали выдать вскорости новую ссылку, но прошло полмесяца, а ссылки нет. Вероятно, они забыли и требуют напоминания, что я и сделал час назад.

С выпуском безоблачного слоя работа MapBox не закончена. В мае они предвкушали поток снимков с нового спутника Landsat 8, тренируясь «на кошках», заснятых давно сломанным сенсором его предшественника. Поток снимков, сразу в public domain, пошёл с 30 мая, и в блоге MapBox одна за другой появляются заметки про него: «первый взгляд на северо-восток Средиземноморья», инструкция по обработке данных Landsat 8 в GDAL и подключению их в TileMill, обзор спектральных диапазонов (в переводе Глеба Девяткина). Похоже, через несколько месяцев в слое MapBox Satellite на средних масштабах снимки Landsat 8, более чёткие и насыщенные, заменят старые, а через год-другой на них тоже пропадут облака.

Вчера Google заявил, что он взял все снимки Landsat 7, наложил их друг на друга, выбрал точки без облаков, и так построил безоблачное покрытие всей планеты. Его можно сравнить с обычным слоем Landsat других картографических сайтов и заметить, что, во-первых, он свежее, а во-вторых, все возделываемые поля на нём зелены. Но в свете события хочется процитировать Гранта Слэйтера: «уважаемые Google Maps, не будьте редисками, признайте влияние MapBox».

Русский тагинфо

25 мая 2013, 13:32

AMDmi3 и akks подняли на серверах Рамблера статистику тегов Taginfo для России и некоторых соседей. Теперь импорты (которых у нас не так много, как за рубежом) не будут портить таблицы. Отчёты сервиса показывают национальные особенности тегирования:

  • Россия: кладротеги висят на двухстах тысячах объектов (включая 30 тысяч точек, зачем-то); residential=rural вчетверо больше urban; префикс «ru:» в official_status не приживается; широко распространён загадочный тег utilization: похоже, его расставляет плагин для копирования адресов из кадастровой карты. Кому-то в Ростове-на-Дону удалось добавить тег с пустым ключом. Три самых популярных значения name, которые не названия улиц: «Сбербанк», «Продукты» и «Магнит».
  • Украина: половина тегов name продублирована на русском и английском языках; отношений street и associatedStreet втрое больше, чем в России, а addr:street непопулярен; много зданий и дорог импортированы из nadoloni.com; двум третям населённых пунктов проставлен код КОАТУУ, при этом village в 11 раз больше hamlet. Три популярных name: «Тополь», «Липа» и «Стохід» (это странно обрисованная речка).
  • Беларусь: две трети названий переведены на русский; 17% дорог имеют тег surface (это рекорд; в России — только 12%); place=hamlet встречается чаще, чем любое значение тега highway, и почти у всех населённых пунктов есть контур. Три популярных name: «Беларусбанк», «д.№» (?), «Шиномонтаж».
  • Эстония: семь самых популярных ключей связаны с недавним импортом домиков; вообще очень много следов разных импортов (адреса, некоторые города, корина), второе место среди тегов занимает загадочный «Type=0x13» (да, с заглавной буквы). Популярные недорожные name не установить, поскольку в стране не принято писать статусные части улиц: «Kooli» может означать как школу, так и школьную улицу.

В планах — перевести все адреса на поддомен taginfo.openstreetmap.ru, улучшить обрезку стран, сделать крупные обзорные карты и подкрутить разные константы: taginfo, явно, писался с прицелом на всю планету, и при загрузке небольшой её части вылезли недостатки.

Пешком

15 апреля 2013, 20:40

Организаторы конференции State of the Map предложили бесплатный вход каждому, кто доберётся до Бирмингема пешеходным маршрутом E2 с любого из концов в Великобритании. Это примерно 500 км. Отчаянных ходоков, готовых пройти весь маршрут от Ниццы (порядка 3000 км), готовы премировать — хотя тут сам финал четырёхмесячного путешествия станет лучшей наградой.

Ленивым русским осмерам не нужно даже выезжать за пределы города: 24 апреля, в следующую среду, москвичи встречаются в 19:30 в офисе NextGIS, в 15 минутах от метро «Академическая».

В субботу 27 апреля в Санкт-Петербурге пройдёт первая картовстреча в этом году. Мы не гуляли с обходными листами уже восемь месяцев, и начнём, как обычно, с центра города. Каждый раз кажется, что уж в центре-то сотни туристов, постоянно добавляющих заведения на карту и прорисовывающих тропы к гостиницам. Но нет: десятки квадратных километров могут похвастаться лишь контурами домов и вытащенной из РГИС адресацией, а мапперы как будто избегают оживлённых мест. Когда-то мы исправили это недоразумение для части Невского проспекта, а теперь поработаем над окрестностями «Чернышевской». Встречаемся в 11:00, место встречи скоро опубликую на форуме и вики-странице.

Как Владимир уже написал на форуме, во время обсуждения микроконференции МММ кто-то заикнулся об Эстонии, и мы решили, что это гениальная мысль. Теперь активно подбиваем эстонцев на поиск помещений в Тарту, а всех остальных — на участие. Голосование за даты почти наверняка ставит SOTM Baltics на июль, оставляя вам больше двух месяцев на получение визы (приглашения организуем). Принимающая сторона широким жестом предложила, помимо конференции, устроить экскурсию по окрестностям Тарту, а гостиницы там и так недорогие, я проверял. Все хитрости обсуждаются на форуме, но суть проста: приезжайте, особенно если не удастся выбраться в Англию. Познакомитесь с известными европейскими осмерами, выпьете эстонского пива, расскажете, как хорошо мапится на родине.

Сервер смещений

31 марта 2013, 21:55

С самого начала OpenStreetMap основывался на GPS-треках. Когда участники проекта подключили в редактор первую подложку, Landsat, они обнаружили, что его точность местами хромает. Это при пятнадцати-то метрах на пиксель. Когда нам разрешили обводить снимки Yahoo, проблема стала ещё заметнее. Плагин WMS для JOSM умел двигать подложку с первой публичной версии, и другие редакторы тоже считают это обязательной функцией.

В других проектах вопрос привязки решается без участия пользователей: администраторы сдвигают все данные под изменившийся снимок. У нас же каждый должен перед началом картирования загружать треки и долго двигать снимок, чтобы треки не шли по полям. Новички, не зная этого, часто двигают все объекты вокруг своего дома, удивляясь, что другие не заметили очевидной ошибки.

Первая и последняя инновация в работе со сдвигами подложек случилась в декабре 2010 года: в JOSM появились закладки смещений. Смещения получили точные значения, которыми можно делиться. В марте 2011 эти значения стали вменяемыми (без экспоненциальной части), и вики с форумом стали полниться парами чисел для разных регионов.

О централизованном хранении смещений спрашивают примерно раз в два месяца, а Dermot McNally спроектировал «True Offset Process» ещё в ноябре 2010 года (когда нам дали снимки Bing): он предлагал рисовать в базе OSM полигоны, соответствующие зонам постоянных смещений, и записывать в тегах значение сдвига. На сегодня таких объектов в базе 27: видимо, идея не пошла.

Сегодня я объявляю об открытии базы данных смещений, плагина для JOSM и веб-интерфейса к базе. Принцип работы прост: получив смещение для района, вместо добавления закладки отправляете смещение на сервер, и его увидят все, кто будет править карту рядом с вами. И наоборот, вместо подгонки снимка можно быстро проверить, не посчитал ли кто его смещение до вас. Весь интерфейс сведён к двум кнопкам. Выгрузки под лицензией PDDL обновляются ежечасно.

За неделю бета-тестирования мапперы из России, Польши, Украины и Финляндии внесли 364 сдвига. Подробно привязаны Санкт-Петербург, Хельсинки, Омск, Саранск и многие малые города. Пока пользоваться базой могут только пользователи JOSM, но поддержка сервера появится и в iD, хотя и не к первой бета-версии. Надеюсь, база смещений сделает ненужными разрозненные их подборки в вики, её поддержат все редакторы, и перемещения объектов под снимки сойдут на нет.

Пока сервер OSM не работает, можно перенести свои закладки смещений на сервер. Установите плагин mirrored_download для подгрузки данных, и каждый раз проверяйте, актуален ли сдвиг, подходят ли к нему данные и треки, и не загрузил ли кто-нибудь смещение до вас.

Учиться и учить

21 марта 2013, 14:05

Благодаря неисчерпаемому гранту, MapBox переделал весь сайт LearnOSM: и на нём в глаза бросается не модная нынче «воздушность», а насколько много там статей. Введение в редактирование OpenStreetMap всё так же начинается с главы «скачайте JOSM», но статьи идут всё дальше и дальше, под конец рассказывая про установку и настройку PostGIS, работу с TileMill, введение в WMS и проекции, и даже про QGIS.

Многие статьи доступны на экзотических языках, но части основных — французского, немецкого, русского, — пока нет. Впрочем, @jokru заметил, что немцам такой сайт ни к чему: они и так все в OSM. Перевести сайт можно, форкнув его исходники на гитхабе.

Толстый и тонкий

15 марта 2013, 22:18

В начале марта Иван Мельников спросил в твитере: «это правда, что самое большое и маленькое здания в OSM — ошибки?» Давайте выясним.

Тег building — самый популярный в базе, если не считать бессмысленного source: 77 миллионов линий, 45% от всех линий OSM. Osmosis отфильтровал 80% планеты, оставив 3,8 гигабайта, которые osm2pgsql за два дня развернул в базу в 25 раз толще. То есть вся планета потребовала бы полтерабайта. Попутно я узнал, что в среднем на 10 зданий приходится 53 узла, без учёта общих точек (по отдельности получится около 60-61 узла, как пишет статистика гис-лаба). 1/4,4 всех точек в базе принадлежит зданиям, и лишь у 37 идентификаторы меньше миллиона.

Я обрабатывал отдельно отношения и линии. Первых оказалось совсем немного, 85 тысяч. Из трёх самых больших мультиполигонов зданий два — автозаводы близ Торонто: General Motors (563 тыс. м²) и Toyota (284 тыс. м²). Второе по размеру «здание» — крепостная стена Сианя, древней столицы Китая: 322 тыс. м². Все эти мультиполигоны правильные, хотя в Канаде одним контуром обведены по три здания, а стоит ли стену обозначать как building — непонятно.



На этой фотографии заснято самое большое по площади основания здание: фабрика Boeing в Эверетте, США. Официально 398 тыс. м², в OSM — 385, в пределах погрешности. Однако у нас оно не входит даже в первую сотню. Топ-5 на 14 февраля таков: Как видно, эта часть теории подтверждается. Теперь обратимся к другому концу рейтинга. Главная проблема с мелкими полигонами — что площадь некорректных геометрий (с самопересечениями, дубликатами рёбер и т. п.) вычисляется как очень малая, но не нулевая. Если верить сортировке по столбцу площади, то да, самые маленькие <любые типы объектов> — ошибки. Но интереснее найти настоящие здания. Таким среди мультиполигонов будет ромбовидное здание, созданное Komяpой: 0,026 м². После него идут два правильных, но очень маленьких мультиполигона в Жироне, Испания, площадью 0,48 и 0,55 м², и дом в Калифорнии с двухсантиметровым стенами (0,68 м²): его контур inner едва меньше outer.

Познакомьтесь с самым маленьким (на 14 февраля) зданием в OpenStreetMap: домик в Словакии площадью 0,023 мм². На карте он выглядит бледной точкой. Даже используя буферизацию, не удалось избавиться от всех кривых геометрий, но второе и третье места по площади занимают дома в Сан-Франциско: 1.8 и 3,2 мм². Остальные здания рекордных размеров вы можете поискать самостоятельно.

В итоге, как резюмируют на MythBusters, CONFIRMED: сколько ни исправляй ошибки, самые большое и маленькое здания в OpenStreetMap не соответствуют зданиям на местности.
Ctrl +  Ранее