{ "version": "https:\/\/jsonfeed.org\/version\/1", "title": "ШТОСМ: заметки с тегом источники", "_rss_description": "ШТОСМ", "_rss_language": "ru", "_itunes_email": "", "_itunes_categories_xml": "", "_itunes_image": "", "_itunes_explicit": "", "home_page_url": "https:\/\/shtosm.ru\/tags\/sources\/", "feed_url": "https:\/\/shtosm.ru\/tags\/sources\/json\/", "icon": false, "author": { "name": "Илья Зверев", "url": "https:\/\/shtosm.ru\/", "avatar": false }, "items": [ { "id": "1563", "url": "https:\/\/shtosm.ru\/all\/bez-maxar\/", "title": "Без Maxar", "content_html": "
\n\"\"\n<\/div>\n

Утром 22 июня спутниковая подложка Maxar<\/a> перестала работать во всех редакторах, включая iD, JOSM и Every Door. Не только в России, как иногда бывает из-за военных санкций, но и во всех остальных странах.<\/p>\n

За несколько дней мы спросили компанию, что случилось с ключами доступа, — частно и от организаций. Люди и фонд OpenStreetMap пока не получили ответа<\/a>. Гуманитарная команда вроде как получила<\/a>: «руководство попросила приостановить сервис, пока не будут решены проблемы с ограничением доступа».<\/p>\n

Как замечает Саймон Пул, вполне вероятно решение с персональными ключами доступа к снимкам: хотя их будет сложновато использовать в мобильных приложениях, всё-таки они лучше, чем полное отсутствие снимков Maxar.<\/p>\n

Это не первый раз<\/a>, когда нам отключили эти снимки. Как и раньше, проблема не в картографах, а в тех, кто пользуется доброй волей провайдера, чтобы скачать себе снимки всего мира забесплатно.<\/p>\n

Однозначного решения проблемы «зайцев» нет. Рекомендовать бесплатные снимки<\/a> сложно, потому что любые рекомендации — даже в осме — разбиваются о «но мне надо!». Джо Моррисон призывал открыть архивы снимков<\/a>: всё равно они лежат мёртвым грузом, а так будут двигать науку и технологии. Наконец, есть путь твитера: шестьсот тайлов в день, достаточно для среднего картографа.<\/p>\n

В любом случае, решение не за нами. Используйте пока любые альтернативы, благо у нас их много: Mapbox, Bing, Esri, OpenAerialMap и местные источники.<\/p>\n", "date_published": "2023-07-04T16:54:24+04:00", "date_modified": "2023-07-04T16:52:15+04:00", "image": "https:\/\/shtosm.ru\/pictures\/no-maxar.jpg", "_date_published_rfc2822": "Tue, 04 Jul 2023 16:54:24 +0400", "_rss_guid_is_permalink": "false", "_rss_guid": "1563", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [ "https:\/\/shtosm.ru\/pictures\/no-maxar.jpg" ] } }, { "id": "1514", "url": "https:\/\/shtosm.ru\/all\/maxar-uhodil-no-vernulsya-kak-obeschal\/", "title": "Maxar уходил, но вернулся, как обещал", "content_html": "

\n\"\"\n<\/div>\n

Хорошая новость: спутниковые слои Maxar снова доступны! Мы прожили без них два месяца, не смогли подобрать URL тайлов взамен отключенных, но в опубликованном вчера обновлении редактора iD слои вернулись<\/a>. К сожалению, JOSM и другие редакторы пока официально не поддерживаются, но расшифрованная ссылка уже проникла в список подложек JOSM.<\/p>\n

Если вы не следили за новостями, Maxar — это новое название DigitalGlobe и новый набор слоёв, который прошлым летом окончательно заменил<\/a> старые слои DG. Снимки DigitalGlobe нам выдали отчасти благодаря фейсбуку в 2017 году<\/a>. Они всем нравились, потому что часто были самыми свежими. Снимки Maxar немного другие, что огорчило картографов в некоторых странах, но всё равно лучше прочих. Поэтому когда Кевин Баллок неожиданно объявил<\/a> об их отключении, люди выражали своё расстройство целый месяц в полусотне комментариев.<\/p>\n

Слои убрали не из-за осмеров. Ссылки на них были открыты, что было удобно и для добавления их в общий реестр подложек, и для изучения на сторонних веб-сайтах. Подключить снимки Maxar в свою веб-карту было не сильно сложнее, чем тайлы OpenStreetMap. Как и в «SAS.Планету», чтобы выкачать тайлы для любого региона в любых масштабах. Последнее и сломало Maxar: неизвестные люди или организации начали качать слишком много тайлов и слишком часто, что перегрузило серверы и, вероятно, стало слишком затратно для компании.<\/p>\n

***<\/h2>\n

«Данные — новая нефть», и геоданные в особенности. Сотни тысяч компаний зарабатывают деньги исключительно обработкой данных, услугами на их основе. Вы знаете примеры. Но в отличие от нефти, которую нужно покупать у добывающих компаний, все привыкли к открытым данным, которые достаются бесплатно и почти без условий. «Информация должна быть бесплатной», популярно было говорить десять лет назад. Я в докладах порицал компании, торгующие картами, и призывал открывать геоданные и зарабатывать не на ресурсах, а на услугах. Потому что оплачивать нужно работу, а не доступ к вентилю.<\/p>\n

Amazon как нельзя нагляднее показал, почему этот принцип не работает в мире Open Source. Люди пишут серверы и базы данных, публикуют код под открытой лицензией в соответствии со своими принципами и предлагают платные услуги по настройке и поддержке. И тут приходит Amazon, берёт бесплатное и предлагает те же услуги, но в единой инфраструктуре и дешевле, за счёт масштаба. Авторы в шоке от уходящих в амазон клиентов и начинают сомневаться, что сделали правильный выбор в пользу открытых исходников.<\/p>\n

Мы это прочувствовали на себе в 2016 году, когда любители Pokemon Go сделали несколько сайтов, где можно было найти ближайших редких покемонов на карте. Тайлами для этих карт они выбрали бесплатные и открытые тайлы OpenStreetMap. От миллионов игроков наши серверы немного слегли<\/a> и пришлось ввести драконовские ограничения на загрузку тайлов, от которых мы страдаем до сих пор. В прошлом же месяце нам удивили сотни людей, одновременно скачивающих файл планеты OSM. «Зачем вообще<\/a> качать планету больше одного раза», — начали огрызаться участники.<\/p>\n

Оказалось, что предоставление бесплатных ресурсов — это неблагодарная работа, требующая времени и денег, иногда слишком большого количества денег. Не говоря о получении этих данных — картографии или выведении спутников на орбиту и обработке снимков с них. Мы привыкли отдавать, а бизнес привык получать бесплатно. «Где получить снимки Земли в качестве не хуже Google Maps для коммерческой деятельности, желательно бесплатные?» — спросили в чатике недавно. Смешно звучит, но ведь «информация должна быть свободной», что тут такого? Очередной виток трагедии общин<\/a>, разворачивающийся уже второй год, грозит сломать нам open source, сломать публикацию данных и усложнить жизнь картографам в OpenStreetMap.<\/p>\n

Попытка Maxar закрыть тайловый слой для всех, кроме осмеров, первая в истории. Вместо записи в реестре подложек, его добавили напрямую в редактор iD с помощью Брайана и Квинси.. Ссылка защищена шифрованием AES: вместо домена и пути — набор цифр<\/a>. Так просто адреса тайлов не вытащишь — нужно собирать по исходникам ключи, проверять алгоритм, писать код. Или... открыть инспектор сети в браузере и увидеть там готовые ссылки с ключами. Что и сделал вчера некто Sosha, чтобы обновить ссылки в JOSM. Ничто не помешает нажать те же кнопки сотрудникам компаний, которые хотят бесплатных снимков, и всё начнётся по-новой.<\/p>\n", "date_published": "2020-02-15T13:21:41+04:00", "date_modified": "2020-08-28T11:35:53+04:00", "image": "https:\/\/shtosm.ru\/pictures\/maxar-again-available.jpg", "_date_published_rfc2822": "Sat, 15 Feb 2020 13:21:41 +0400", "_rss_guid_is_permalink": "false", "_rss_guid": "1514", "_e2_data": { "is_favourite": true, "links_required": [], "og_images": [ "https:\/\/shtosm.ru\/pictures\/maxar-again-available.jpg" ] } }, { "id": "1511", "url": "https:\/\/shtosm.ru\/all\/strava-is-back\/", "title": "Slide!", "content_html": "

\n\"\"\n<\/div>\n

Нам снова разрешили использовать тепловую карту точек Strava для улучшения карты. Участник PangoSE из Швеции воспользовался лучшим способом для открытия данных с непонятным статусом: написал письмо с вопросом. И старший менеджер продукта Strava Metro ответил<\/a>: мол, да, не видим в этом ничего плохого. Но есть ощущение, что и разрешение не то, и данные как-то уже не нужны.<\/p>\n

Strava — это соцсеточка для фитнеса: выдаёт задания и отслеживает маршруты и показатели, позволяя хвастаться ими нажатием кнопки. С 2014 года часть карт на их сайте и в мобильных приложениях перешли на OSM. В то время в компании работал Пол Мак, автор многих гео-библиотек на Go, велосипедист и осмер. На SotM US в Вашингтоне он показал Strava Slide<\/a>: форк редактора iD, который добавлял подложкой тепловую карту точек из велосипедных треков Strava и позволял одной кнопкой оформлять их в дороги для OpenStreetMap. Через пару дней Пол твитом разрешил рисовать карту по этому слою. Подложку добавили в JOSM и iD и начали по ней уточнять велодорожки и тропы в лесах.<\/p>\n

После того, как в январе 2018 года студент австралийского университета нашёл на их карте маршруты пробежек вокруг военных баз по всему миру, Strava начала закручивать гайки. Помимо прочего, тепловая карта потеряла в детальности: огромные квадратики уже не помогали в уточнении OSM. Редактор Slide перестал работать, его подложка расплылась. Картографы не хотели терять такой источник информации: в отличие от осма с его двумястами треками в день, на карту Strava загружают двести тысяч<\/i> велопоездок в день. Поэтому мы писали в компанию — но безответно. Неразмытые тепловые карты убрали из публичного доступа, пусть их и можно было достать<\/a>, подставив регистрационные токены. Но молчание вкупе с закрытием означало, что разрешения на обводку в OpenStreetMap у нас нет. Если книгу, которую раньше можно было взять в библиотеке, спрятали на заднем дворе под замком, то наличие отмычки не даёт права её копировать.<\/p>\n

\n\"\"\n<\/div>\n

16 ноября пятилетнее молчание прервалось: Родриго ответил, что они там все очень любят OSM. Сквозь телеграм-чатики, вики и почтовые рассылки пронеслось радостное письмо PangoSE, вики недвусмысленно говорит: «OpenStreetMap users have permission to use the data». Русскую вики-страницу<\/a> летом полностью переписал участник PG7: на ней не только красочная история взаимодействия сообщества и компании, но и перечисление способов, как детальную тепловую карту подключить в JOSM и iD. Последние методы сводятся к подключению прокси-подложек с сервера Макса Кожина, про которые тот рассказал на хабре.<\/p>\n

Проблема очевидна: разрешение-то где? Слова «мы не против» — лишь слова, пока не подкреплены делом. У нас нет однозначного «да, мы разрешаем». И у нас нет способа получить эти тайлы, не взламывая систему доступа и не нарушая условия использования, которые всё так же не упоминают OSM. Продолжая метафору выше, старший библиотекарь не против, что вы взломаете дверь, за которой книга, но само действие всё ещё противоправно. Об этом легко забыть, читая статью в нашей вики, написанную с позиции «что не запрещено — разрешено». Но по части лицензий многие осмеры стараются блюсти осторожность, запрещая использование источников с сомнительными условиями, типа русской кадастровой карты или панорам гугля. Другие картографы, вкусившие картографической свободы, бесятся от таких нелогичных на первый взгляд ограничений. Принцип «Нет значит нет» принимают не во всех культурах, и в России особенно. Что уж говорить про «отсутствие „да“ тоже значит нет».<\/p>\n

Если в ближайшие месяцы (или годы, учитывая скорость реакции) обе проблемы решат, то у нас появится легальная подложка велотреков Strava. И возникнет следующий вопрос: а зачем? Ну, то есть, интересно посмотреть, где катаются велосипедисты, какие маршруты чаще выбирают. Но вы посмотрите на окрестности городов: за эти пять лет велосипедисты уже отметили всё что только можно. Они теперь планируют маршрут по карте OpenStreetMap, а не карта OSM рисуется по маршрутам их покатушек. Найти важную неотмеченную велодорожку, пользуясь тепловой картой, о-очень нетривиально. Это как искать пропущенную улицу в Нью-Йорке, пользуясь треками машин Juno. Она там есть, но спрятана среди десяти тысяч других улиц.<\/p>\n

Чтобы тепловая карта Strava приносила пользу, а не лежала, спрятанная в подпапке «другое» меню слоёв JOSM, нужна автоматизация. Да, OpenStreetMap уже на том этапе развития, когда обклацывать подложки руками почти так же лениво, как обрабатывать обходные листы с прогулок. Есть же умный компьютер с нейросеточками — пусть он и работает. Дороги на снимках ищет фейсбуковский RapiD, пропущенные дороги и запреты поворотов отслеживают валидаторы. Пользу от стравовских треков принесёт только векторизатор в паре со сравнивалкой с OpenStreetMap. Или, хотя бы, достаточно мощный API, чтобы подобные инструменты мог написать кто-то другой. Но в свете продолжающегося закручивания гаек во второй половине этого года, оба исхода одинаково маловероятны.<\/p>\n

\n\"\"\n<\/div>\n

Шесть-восемь лет мы радовались каждому источнику. Считали области, покрытые кадастровой картой. Внимательно следили за картой покрытия детальными снимками Bing и праздновали соглашение между Mapbox и DigitalGlobe. Источников было мало, а карту хотелось рисовать в каждом посёлке, поэтому мы хотели больше. Спутниковые слои были будущим OpenStreetMap. Новый слой значил новые покрытые города, что означало, что наши данные в этих городах смогут состязаться с народной картой, чьи картографы нежились на горах яндексовских снимков.<\/p>\n

Теперь же нам, в общем, пофиг. Открыл редактор — выбирай из шести спутниковых слоёв со всемирным покрытием и ещё из нескольких региональных. Есть слой треков, есть Mapillary и OpenStreetCam, есть OpenAerialMap. Источников гора — а обрисовывают всё равно только Bing, который редактор iD показывает по умолчанию. Нам нечего желать: от «что бы обрисовать» мы дошли до «кто бы отрисовал». Мы очень остро почувствовали нехватку участников в OSM, и справляемся с ней по-разному. Кто-то ушёл в отрицание: мол, опытный участник лучше дюжины новичков, и уж точно лучше автоматики. Гуманитарная команда и другие организации собирают залы проектами навроде Missing Maps. Потом считают, сколько процентов пришли во второй раз (очень мало). Третьи поворачиваются к открытым данным.<\/p>\n

Открытые данные и есть источник будущего для OpenStreetMap. Их не нужно обклацывать, разве что быстренько прощёлкать для проверки (сейчас как раз смотрят на театры в России<\/a>). Данных много: одних только адресов проект OpenAddresses собрал полмиллиарда. Они не сильно конкурируют с обычными картографами: десять человек могут обклацать снимки целого региона, а вот объехать и собрать информацию о всех заправках или гипермаркетах будет сложнее. Сюда же можно добавить сотни миллионов распознанных нейросеточками домов<\/a>. И, конечно, дороги и «зелёнка», время от времени появляющиеся в разных странах Европы и Северной Америки. Использование не подложек, но данных со стороны, — это и есть неминуемое будущее создания открытой карты. Поздно ругаться: почти все крупные компании, подсевшие на OSM, делают импорты разных видов, и пора перестать делать вид, что их нет.<\/p>\n

Именно этого я бы ждал от Strava, если их гео-команда действительно заинтересована в улучшении OpenStreetMap. Не растрового слоя, а данных. Проект Strava Metro<\/a> уже векторизует линии поездок для оценки и планирования транспортных сетей. Дело за малым: посмотреть, как эти транспортные сети обозначаются в OSM, совместить данные, найти промежутки, которые стоит заполнить. А дальше уже получить пользу от совмещения данных: например, используя данные о городах и туристической инфраструктуре, одной кнопкой строить потенциальные коридоры для региональных веломаршрутов. Главное — понимать, чем OpenStreetMap может помочь бизнесу, и принять его особенности. Из этого может родиться взаимополезный обмен данными. А без понимания мы имеем только скрытый слой разноцветных точек и редкие невнятные реплики от компании.<\/p>\n", "date_published": "2019-11-30T11:56:30+04:00", "date_modified": "2019-11-30T11:57:28+04:00", "image": "https:\/\/shtosm.ru\/pictures\/strava-bike-sample.jpg", "_date_published_rfc2822": "Sat, 30 Nov 2019 11:56:30 +0400", "_rss_guid_is_permalink": "false", "_rss_guid": "1511", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [ "https:\/\/shtosm.ru\/pictures\/strava-bike-sample.jpg", "https:\/\/shtosm.ru\/pictures\/strava-slide-fail.jpg", "https:\/\/shtosm.ru\/pictures\/strava-trips-edges-nq8.png" ] } }, { "id": "1487", "url": "https:\/\/shtosm.ru\/all\/chto-za-maxar\/", "title": "Что за Maxar?", "content_html": "

\n\"\"\n<\/div>\n

Три недели назад вы могли заметить новый слой спутниковых снимков в вашем редакторе: DigitalGlobe Vivid. А неделю назад — что его заменили два других, тоже на весь мир: Maxar Standard и Maxar Premium. Откуда они и зачем?<\/p>\n

Быстрое гугление показывает, что Maxar Technologies получилась в октябре 2017 года слиянием MDA Holdings и DigitalGlobe. Объединённая компания занимается всем, что связано с космосом и спутниками. Теперь ещё и продажей космоснимков. Все сотрудники перешли в Maxar, и они не собираются отзывать разрешение на обрисовку снимков у OpenStreetMap. Никто не делал заявлений на этот счёт, но пул-реквесты<\/a> в каталог подложек показывают, что в Maxar помнят про сотрудничество и обновляют ссылки.<\/p>\n

Новые слои отличаются от старых. Технически — тем, что они не проходят через серверы Mapbox, а отдаются напрямую с DG. Содержанием тоже. В описании Maxar Premium упоминается, что это то же, что DG +Vivid, который нам два года назад выдали<\/a> в слое DG Premium. Сравнение снимков<\/a> в десяти городах показало, что чаще всего оба новых слоя совпадают, а если нет, то свежее может быть как Standard (в Новосибирске), так и Premium (в Калининграде). Но в паре мест — в районах Москвы, Петербурга и Саранска — самым свежим оказался DG Premium.<\/p>\n

Это печально, потому что старые слои DigitalGlobe отключат<\/a> не позднее 30 июня. Мы потеряем как самые свежие снимки, по которым можно нарисовать стадион в Саранске, так и самые старые, которые напомнят, как выглядели города до строительного бума. Представители Maxar пока не отвечают на вопросы, но на всякий случай, не откладывайте рисование новых жилых комплексов и инфраструктуры. Конечно, через год-два они появятся на всех слоях, но у нас же самая актуальная и точная карта сегодня, а не через год.<\/p>\n", "date_published": "2019-05-31T00:54:58+04:00", "date_modified": "2019-05-31T00:52:51+04:00", "image": "https:\/\/shtosm.ru\/pictures\/kaliningrad-dg-maxar.jpg", "_date_published_rfc2822": "Fri, 31 May 2019 00:54:58 +0400", "_rss_guid_is_permalink": "false", "_rss_guid": "1487", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [ "https:\/\/shtosm.ru\/pictures\/kaliningrad-dg-maxar.jpg" ] } }, { "id": "1473", "url": "https:\/\/shtosm.ru\/all\/agentam-spravochnika-vhod-vospreschyon\/", "title": "Агентам справочника вход воспрещён", "content_html": "

\n\"\"\n<\/div>\n

Анна из «народной карты» расписала в их блоге, откуда берутся заведения<\/a> на картах яндекса. В компании ведут два набора данных: «справочник» и «народная карта». Копирование данных налажено пока только из карты, скоро будет и обратное. И этот поток автоматических правок будет куда сильнее: ведь доля пользовательских данных в наполнении справочника очень мала.<\/p>\n

Здесь всплывают две темы: постепенное замещение картографов-любителей роботами на «народных картах» под безграничное терпение первых и приоритеты в картографировании заведений. Обе темы подчёркивают радикальное отличие и «народных карт», и просто карт Яндекса от OpenStreetMap во всех своих ипостасях.<\/p>\n

Приоритеты<\/h2>\n

В заметке перечислены восемь источников данных о заведениях, которые склеиваются и доступны из поиска на карте: правки народных картографов, сообщения из разных видов обратной связи, информация от организаций и от оплачиваемых сборщиков данных. Сколько из них есть в OSM? Только два: правки осмеров и заметки на сайте. Хотя, честно говоря, заметками владельцы заведений не пользуются, потому что их почти невозможно найти.<\/p>\n

Где всё остальное? Ладно, у нас нет службы поддержки и сотрудников, обзванивающих организации. Но многие компании специально платят, чтобы их филиалы наносили на карты — и мы осознанно сопротивляемся этим «импортам». Что хорошо для всех популярных карт, оказывается плохо для OpenStreetMap. Как же так?<\/p>\n

Дело в целевой аудитории. Кто адресат нашей карты, для кого мы рисуем? На сайте и в вики про это ни слова. «OSM предоставляет данные тысячам сайтов» — ничего не значащее утверждение, этот блог тоже предоставляет. А если OSMF и администраторы сайта отказываются ограничить ЦА карты, за них это сделают сами картографы. Самым очевидным способом.<\/p>\n

OpenStreetMap — это карта для картографов под открытой лицензией.<\/i> Два тезиса, которые определяют все решения в проекте. Открытая лицензия регулирует отношения со внешним миром: запрет на нелегальные данные и обклацывание гугля, публикацию планеты под ODbL, экосистему открытого кода. А первый тезис, что целевая аудитория — это картографы, регулирует все вопросы внутри сообщества. Прежде всего, конечно, тегирование, требования к редакторам и выбор допустимых слоёв для импортирования.<\/p>\n

\n\"\"\n<\/div>\n

Самое неочевидное, что следует из ориентированности на редакторов карты, — это ограничение на размер данных. Когда их становится слишком много (например, после массового импорта «зелёнки»), сообщество бунтует и заводит reverter. OSM состоит из одного слоя, который непросто разделить по типам объектов, поэтому один перегруженный слой затрудняет редактирование остальных. Нарисовали схему помещений — контур здания теперь не улучшить. Импортировали Corine — проще закрыть редактор, чем обозначить вырубку. Обозначили каждый лоток на рынке — никто не будет обновлять информацию, да и проходы трогать побоятся.<\/p>\n

Поэтому участники неодобрительно смотрят на импорты заведений. С одной стороны, пользователям карты хорошо: можно найти в любимом Maps.Me или OsmAnd заправку по пути и кафе у гостиницы. С другой, мы рисуем OSM не для пользователей: сотни тысяч, если не миллионы, импортируемых точек нужно проверять, поддерживать, обновлять. Никто этим не будет заниматься, а потому они не должны быть частью карты. Карта — для того, что интересно рисовать и несложно поддерживать.<\/p>\n

Роботы<\/h2>\n

Задачу поддержки заведений из сторонних источников решить несложно: периодически проверять и импортировать заново. От картографов ничего не понадобится, только верить и не мешать. Разумеется, правки импортированных данных сохранятся после обновления — или нет, смотря сколько времени прошло. В перспективе это можно распространить на «зелёнку» и адреса.<\/p>\n

Получится, что за существенную часть данных OpenStreetMap — сотни миллионов объектов — будут отвечать роботы, пусть и курируемые людьми. Медленно процесс поддержки данных OSM будет мигрировать к модели википедии, когда в истории правок любой статьи минимум 10% правок идут от роботов, следящих за порядком. Потому что если можно импортировать, то почему нельзя автоматически amenity=sauna<\/i> заменять на leisure=sauna<\/i>? Логично же это поручить роботу и спать спокойно, зная, что база консистентна?<\/p>\n

В народных картах Яндекса это само собой разумеется. Там автоматизировано всё: импортирование данных в новых странах, сдвиг объектов при обновлении снимков, обновление данных из справочника. Роботам помогают сотрудники на зарплате и участники «Толоки», которых всё больше. Когда нужна актуальная и полная карта, полагаться на добровольных картографов-любителей недостаточно — это очевидно примерно всем. Поэтому народная карта мигрирует влево по шкале свободы картографии, усиливая контроль над содержимым карты.<\/p>\n

\n\"\"\n<\/div>\n

Активным участникам сообщества НЯК это, конечно, не нравится<\/a>. Данные от людей на зарплате предсказуемо хуже работы любителей — по всем показателям, кроме тех, что входят в ТЗ. «Теперь я не слежу за порядком. Спасибо яндексу за это», — хлопают дверью модераторы. Да и под заметкой про интеграцию справочника немало недоумённых комментариев. Это всё люди, которые не успели перестроиться три года назад и не поняли, что «народная карта» больше не самостоятельная песочница, где можно в одиночку нарисовать и поддерживать город, а инструмент обратной связи к картам Яндекса. Народные картографы теперь не столько правят карту, сколько корректируют импортированное и нарисованное профессионалами.<\/p>\n

Очевидно, что автоматические правки противоречат целям сообщества OpenStreetMap: иметь карту, которую весело редактировать. Картограф с опытом всегда найдёт, какую претензию предъявить оператору любого скрипта. Данные плохо привязаны. Теги неправильные, но замена неравнозначна. Формат телефонного номера не тот. Это дискриминация против малого бизнеса. Хорошо, но проверяй каждый объект вручную. Этим атрибутам не место в OSM. Посмотрите на TIGER, хотите повторения? Любой импорт или автоматическая правка должны пройти через болото уныния, и редкий энтузиаст доползёт до его середины.<\/p>\n

Мы говорим «карту может поправить каждый», но мы же и говорим «карта для любителей, а не корпораций». Мы ратуем за карту без дискриминации, но в то же время рисуем таблички про вход воспрещён. Открытый проект, но пожалуйста, не надо. Решить это противоречие может сильная структура, наделённая правом окончательного голоса. Но в нынешней парадигме «Совет + рабочие группы» такая структура невозможна. Тут либо делать альтернативный проект, либо повторить то, что Стив Кост сделал четырнадцать лет назад: выкручиваться малыми силами, находя новые смыслы в существующих структурах. И не сказать, что это невозможно. Продолжение<\/a>.<\/p>\n", "date_published": "2018-10-09T16:29:27+04:00", "date_modified": "2018-10-13T13:18:03+04:00", "image": "https:\/\/shtosm.ru\/pictures\/audit_sample_map-nq8.png", "_date_published_rfc2822": "Tue, 09 Oct 2018 16:29:27 +0400", "_rss_guid_is_permalink": "false", "_rss_guid": "1473", "_e2_data": { "is_favourite": true, "links_required": [], "og_images": [ "https:\/\/shtosm.ru\/pictures\/audit_sample_map-nq8.png", "https:\/\/shtosm.ru\/pictures\/komarov_corine.jpg", "https:\/\/shtosm.ru\/pictures\/map_openness.jpg" ] } }, { "id": "1469", "url": "https:\/\/shtosm.ru\/all\/znaki\/", "title": "Знаки", "content_html": "

\n\"\"\n<\/div>\n

Вчера на форуме в очередной раз высказали мнение, что будущее открытой картографии — за автоматическим распознаванием. Несколько компаний исследуют это направление уже много лет. Самая заметная из них — Mapillary, «народные панорамы». Дождавшись, когда база фотографий подрастёт до сотен миллионов, они начали выяснять, что же на них запечатлено. В январе 2015 года Mapillary показали слой с дорожными знаками<\/a> и спустя несколько месяцев добавили его в JOSM и iD.<\/p>\n

Две недели назад они анонсировали большое обновление<\/a> набора дорожных знаков. За это время от машинного зрения они перешли к машинному обучению, прокатали через него на порядок больше снимков, а в октябре ещё и запустили «игру<\/a>», в которой человеку нужно оценить точность распознавания.<\/p>\n

Telenav с их конкурирующим проектом OpenStreetCam занимается примерно тем же — но с конкретной целью улучшить OSM, а не только собрать базу «на всякий случай». Филипп Кэндал, руководитель разработки, рассказал<\/a> в 2016 году, что его команда пишет распознавалку знаков и указателей и уже уточнила двадцать тысяч ограничений на карте. За автоматикой, по его словам, будущее.<\/p>\n

Для картографов OSM знаки в плагинах Telenav появились<\/a> только в феврале этого года: всего полмиллиона и лишь в США и Канаде. Зато они сравнивают распознанные ограничения с данными OpenStreetMap, и картографов можно оповестить о необходимости уточнить карту. В апреле эту функциональность добавили<\/a> в модуль для JOSM.<\/p>\n

Наконец, в мае Telenav снова признался в верности открытому сообществу, опубликовав<\/a> весь код распознавания знаков и натренированную модель под открытой лицензией Mozilla. Саму базу знаков тоже скоро откроют. Мартайн предлагает задействовать эту нейросеточку для распознавания новых типов объектов: скамеек, фонарных столбов, остановок. Чтобы это открытие не прошло незамеченным, Telenav объявил конкурс: сделайте<\/a> свой проект до 17 августа и выиграйте 10 тысяч долларов — если он распознает более 94% объектов. Условия расплывчаты — вероятно, более опытные участники таких конкурсов поймут, что к чему.<\/p>\n

\n\"\"\n<\/div>\n

А что Mapbox? Странным образом, они тоже участвуют в этом ажиотаже — но до недавнего времени только командой картографии. В 2016 году они собрали интерактивную карту, сопоставляющую знаки от Mapillary и данные OSM (что Telenav, напомним, делает автоматически) и улучшали нашу карту — только в США, конечно. 13 июня этой карте пришёл конец<\/a>, хотя все исходники доступны на github. А на следующий день Вирджиния из команды машинного обучения Mapbox раскрыла, что они взяли у Bing снимки StreetSide на 23 американских города, прогнали их через нейросеточки и получили новую интерактивную карту<\/a> со 184 тысячами распознанных ограничений движения. Их команда картографов медленно продирается через этот набор данных, но от помощи они не откажутся.<\/p>\n

Все эти компании распознают знаки на фотографиях, но автоматизируют только это — и, иногда, сопоставление с ограничениями в OpenStreetMap. А внесение в базу геоданных — ни-ни. Отчасти потому, что знаки не соответствуют никаким объектам на карте, они лишь задают свойства для уже существующих дорог. Причём не всегда привязанные к координатам знаков. Сопоставлять знаки и карту непросто, тем более, если с целью карту улучшить.<\/p>\n

Другая причина — сообщество OSM не разделяет мнение Филиппа, что автоматическое распознавание — будущее картографии. Лучше в сто раз медленнее, но руками, с тёплыми ламповыми ошибками и чувством удовлетворения от работы, неведомым алгоритму. Фейсбук уже несколько лет пытается переломить это заблуждение — на конференции SotM в Милане через месяц они снова расскажут<\/a>, как взаимодействуют с сообществом в Таиланде, куда импортируют распознанные нейросетями дороги.<\/p>\n", "date_published": "2018-06-30T11:27:57+04:00", "date_modified": "2020-06-22T17:31:45+04:00", "image": "https:\/\/shtosm.ru\/pictures\/znaki_mapillary.jpg", "_date_published_rfc2822": "Sat, 30 Jun 2018 11:27:57 +0400", "_rss_guid_is_permalink": "false", "_rss_guid": "1469", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [ "https:\/\/shtosm.ru\/pictures\/znaki_mapillary.jpg", "https:\/\/shtosm.ru\/pictures\/znaki_minsk.jpg" ] } }, { "id": "1466", "url": "https:\/\/shtosm.ru\/all\/streetside\/", "title": "Внезапные панорамы", "content_html": "

\n\"\"\n<\/div>\n

Месяц назад в репозитории редактора iD неожиданно появился пул-реквест<\/a> от Джубала Харпстера. В описании он был лаконичен: «интегрирует снимки StreetSide в редактор. На здоровье. —Микрософт». «Но их же нельзя использовать», — сразу ответил Пол Норман.<\/p>\n

Мало кто в восточном полушарии знает, что панорамы есть не только у Google, Яндекса и Baidu. Список подобных сервисов в википедии очень длинный<\/a>, но в разделе всемирного покрытия пока только две компании с проприетарными панорамами. Вторая — это Microsoft Bing. Их StreetSide запущен в 2009 году и покрывает большую часть Соединённых Штатов и крупные города в Великобритании, Франции и Испании. Вы не увидите эти снимки: «Вид с улицы» доступен только жителям городов внутри области покрытия.<\/p>\n

Смотрители проекта iD не так въедливы, как у сайта OSM. Брайан просмотрел на эти семь коммитов от Шоны Паради и Лорена Мюллера, нашёл несколько недочётов и то ли помог их исправить, то ли отредактировал код сам — интерфейс гитхаба не дал понять. Так или иначе, неделю назад запрос был принят, и 14 июня выпущена новая версия<\/a> редактора с панелью StreetSide. Включается она там же, где Mapillary и OpenStreetCam: кнопкой данных карты, справа под кнопкой слоёв.<\/p>\n

\n\"\"\n<\/div>\n

Что касается лицензии, Пол немного опоздал с заявлением. Как обнаружил Майкл Райхерт, ещё в апреле Микрософт обновил условия использования<\/a> своих сервисов, явно разрешив подсматривать в StreetSide для уточнения данных. Немцам, впрочем, от этого мало пользы: их соотечественники успешно отразили все попытки Bing Maps отснять их территорию.<\/p>\n

Разумеется, разрешение касается не только редактора iD. В том же пул-реквесте Джубал ответил на несколько вопросов насчёт лицензии, подтвердив, что панорамы можно использовать и в настольных редакторах. Несложно найти код модуля<\/a> для JOSM, на которым последние несколько дней работает Рене Роудс. Полноценной поддержки придётся подождать в обоих редакторах: вон, в модуле для iD уже нашли<\/a> ошибку при масштабировании снимка.<\/p>\n

Как сотрудники Bing Maps напоминают в пресс-релизе<\/a>, это не первый их подарок сообществу открытых карт. Каждый пользовался снимками Bing для обклацывания домиков и дорог. Из недавнего, год назад они предоставили<\/a> OpenStreetMap десять миллионов геометрий зданий в 44 штатах Америки вместе с высотами, которые нарисовали самостоятельно по детальным снимкам и ЦМР. Приятно, что Микрософт уже много лет не отворачивается от открытых сообществ. Спасибо им.<\/p>\n", "date_published": "2018-06-21T01:21:10+04:00", "date_modified": "2020-06-22T17:30:12+04:00", "image": "https:\/\/shtosm.ru\/pictures\/streetside_coverage.jpg", "_date_published_rfc2822": "Thu, 21 Jun 2018 01:21:10 +0400", "_rss_guid_is_permalink": "false", "_rss_guid": "1466", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [ "https:\/\/shtosm.ru\/pictures\/streetside_coverage.jpg", "https:\/\/shtosm.ru\/pictures\/streetside.jpg" ] } }, { "id": "1467", "url": "https:\/\/shtosm.ru\/all\/gde-chm\/", "title": "Где ЧМ?", "content_html": "

\n\"\"\n<\/div>\n

Гарри Вуд поставил изображением недели<\/a> карты всех двенадцати стадионов ЧМ 2018. В сравнении с яндексом<\/a> — всё плохо, кроме Фишта и Лужников. Прилично выглядят ещё Спартак, Санкт-Петербург, Казань и с большой натяжкой Ростов. А остальные шесть — совсем никак.<\/p>\n

Возникает вопрос, почему сообщество не бросилось отрисовывать стадионы. Мы же когда-то обклацали весь Саранск за два дня (без стадиона) и маленький городок Краснохолм лишь по просьбе одного человека. Почему нам не удалось поднять сообщество улучшить карты нескольких мест, которые помогут сотням тысяч туристов?<\/p>\n

Для успешной «диванной картовстречи» нужны три условия: польза, источник, метрика. Первое понятно: спасаем жертв потопа, как в HOT, или делаем популярный сайт с нашей картой демонстрацией мощи сообщества, как в Саранске. Источником почти всегда являются детальные космоснимки, которыми, слава Bing, Mapbox и Esri, покрыта почти вся Россия. Иногда, как в случае Крымска, помогают адресные планы и репортажи с мест. А метрика повышает мотивацию: когда карта «готова на 75%», это побуждает поднажать и закончить, или, хотя бы, довести до 90%. Это не простые скриншоты, которые годятся только для прогулочных картовстреч, где главная метрика вообще нематериальна.<\/p>\n

Главное условие, впрочем, находится над этими тремя: это воля организатора. Должен быть кто-то, кто опишет пользу, перечислит источники и составит и, возможно, запрограммирует метрику.<\/p>\n

В случае стадионов не было такого организатора. Мы понимали, что хорошо бы их закартировать, но не оформили это в проект. Да и как, когда у нас до сих пор нет снимков? На сегодня, 100% инфраструктуры можно закартировать только у Лужников, Фишта и Казань-арены. Почти готовы на снимках ещё Спартак и стадион Санкт-Петербург. Остальные семь — либо на разных этапах строительства, либо вообще чистое поле, как в Калининграде. Luiswoo, картограф Ростова-на-Дону, — герой, что нарисовал хоть что-то поверх сплошной стройки<\/a>.<\/p>\n

Ну и без метрики рисовать неинтересно. Нужно создать, как минимум, «пирог» с разбивкой карты на удобные фрагменты, которые могут забрать для отрисовки участники. Нужно делать картинки «до» и «после». В идеале — посчитать численные изменения и каждый день, каждый час отслеживать состояние карты и подбадривать участников. На это не пошли даже коммьюнити-менеджеры яндекса, что уж говорить про нас, когда мы ничего не можем сделать с источниками.<\/p>\n

Тем не менее, болельщики приехали и активно пользуются приложением-партнёром Ростуризма, которое совершенно случайно основывается на картах OpenStreetMap: MAPS.ME. Авторы выпустили официальные маршруты<\/a> (наборы закладок) и специальную сборку карты, на которой подсвечены объекты, относящиеся к ЧМ. Иногда их пришлось добавлять поверх карты, поскольку нарисовано на наших картах не всё. OpenStreetMap снова победил — жаль, что на этот раз не качеством карт.<\/p>\n", "date_published": "2018-06-19T10:32:29+04:00", "date_modified": "2018-06-19T10:32:02+04:00", "image": "https:\/\/shtosm.ru\/pictures\/fc2018-stadiums.jpg", "_date_published_rfc2822": "Tue, 19 Jun 2018 10:32:29 +0400", "_rss_guid_is_permalink": "false", "_rss_guid": "1467", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [ "https:\/\/shtosm.ru\/pictures\/fc2018-stadiums.jpg" ] } }, { "id": "1463", "url": "https:\/\/shtosm.ru\/all\/kosmosnimki-darom\/", "title": "Космоснимки даром", "content_html": "

\n\"\"\n<\/div>\n

Pratik Yadav, сотрудник команды космосъёмки в Mapbox, вчера написал невзрачную, но очень важную заметку<\/a> даже не в официальном блоге. Он подтвердил, что слоем снимков Mapbox можно пользоваться бесплатно не только для уточнения данных OpenStreetMap, но и в любых некоммерческих целях. Например, для студенческих проектов.<\/p>\n

На недавнем хакатоне GeoHack сотрудник DigitalGlobe принёс капельку снимков, но школьники с проектами по классификации или нейросеточкам на основе космосъёмки всё равно ходили по менторам и спрашивали, где бы взять побольше. Мне нечего было им ответить — но теперь мы точно знаем, что такой слой есть. На любую территорию, сколь угодно большой площади, пусть иногда и чёрно-белый. Больше не нужно писать просьбы в DigitalGlobe или втихую качать Bing.<\/p>\n

Далее автор перечисляет условия использования снимков, ссылаясь на сайт Mapbox<\/a>. Оказалось, там это условие про некоммерческое использование было давно (п. 15), но касалось только обклацывания в вектор. Кроме того, там не указано ограничение на скорость скачивания: 100 тайлов в секунду, то есть, примерно два квадратных километра на максимальном 18-м масштабе.<\/p>\n

В сравнении с «сырыми» снимками у слоя Mapbox есть несколько ограничений. Во-первых, его разрешение в России примерно 60 см\/пк — можно попробовать качать на 19-м масштабе, но вчетверо медленнее. Затем, страшные артефакты сжатия в jpeg. Представлен только видимый спектр, никакого инфракрасного или иных каналов. И наконец, как напоминает Кристоф в комментариях, Mapbox до сих пор не предоставляет никаких метаданных на тайлы, в отличие от Bing и DigitalGlobe.<\/p>\n", "date_published": "2018-05-19T18:05:51+04:00", "date_modified": "2018-05-19T18:05:37+04:00", "image": "https:\/\/shtosm.ru\/pictures\/mapbox_layer_samples.jpg", "_date_published_rfc2822": "Sat, 19 May 2018 18:05:51 +0400", "_rss_guid_is_permalink": "false", "_rss_guid": "1463", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [ "https:\/\/shtosm.ru\/pictures\/mapbox_layer_samples.jpg" ] } }, { "id": "1447", "url": "https:\/\/shtosm.ru\/all\/kanal-zaprosov-zemlya-vozduh\/", "title": "Любительская аэрофотосъёмка", "content_html": "

\n\"\"\n<\/div>\n

Диванные картографы могут воспользоваться пятью слоями спутниковых снимков субметрового разрешения для обклацывания в OpenStreetMap. Но что если их мало — если они слишком старые, или хочется точнее отметить люки и поребрики?<\/p>\n

OpenAerialMap — каталог спутниковых и аэрофотоснимков на всю планету под открытыми лицензиями. Гуманитарная команда совместно с Development Seed запустили его в 2015 году с целью собрать источники для обрисовки в OpenStreetMap. Долгое время в России в этом каталоге ловить было нечего: только снимки из Landsat. Но не теперь: откройте карту<\/a> и поищите свой город. Если вы картируете Москву, Петербург, Кисловодск, Вологду или Муром, то обнаружите снимок-другой в помощь.<\/p>\n

Новой аэрофотосъёмкой мы обязаны пользователям современных квадрокоптеров, DJI Phantom и DJI Mavic. Стоят те недёшево и фотографируют хорошо, поэтому нам очень повезло, что их позволили себе несколько русских осмеров. Сергей из Петербурга, Кирилл и Артём из Москвы с конца июля активно пополняют базу OpenAerialMap — как деревнями и промзонами, не сильно изменяющимися за годы со спутниковых снимков, так и новостройками на окраинах.<\/p>\n

Обсуждают съёмку, преимущественно, в телеграме. На форуме можно найти пару советов<\/a> пользователям дронов от Сергея. Также Артём Светлов расскажет про получение ортофотоснимков из квадрокоптера на «Большой Схемотехнике<\/a>» 16 сентября. Если вам такие советы бесполезны, а снимков разрешением в несколько сантиметров на пиксель хочется, добавляйте запросы на вики-страницу<\/a>. Её ведут московские осмеры, так что едва ли вам повезёт, если вы из другого города.<\/p>\n", "date_published": "2017-09-03T14:18:29+04:00", "date_modified": "2017-09-03T14:19:12+04:00", "image": "https:\/\/shtosm.ru\/pictures\/krasno-aerial.jpg", "_date_published_rfc2822": "Sun, 03 Sep 2017 14:18:29 +0400", "_rss_guid_is_permalink": "true", "_rss_guid": "https:\/\/shtosm.ru\/all\/kanal-zaprosov-zemlya-vozduh\/", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [ "https:\/\/shtosm.ru\/pictures\/krasno-aerial.jpg" ] } }, { "id": "1445", "url": "https:\/\/shtosm.ru\/all\/spasibo-esri\/", "title": "Спасибо, Esri", "content_html": "

\n\"\"\n<\/div>\n

Esri, DigitalGlobe, Earthstar Geographics, CNES\/Airbus DS, GeoEye, USDA FSA, USGS, Getmapping, Aerogrid, IGN, IGP и GIS User Community — это короткий список источников для слоя спутниковых и аэрофотоснимков Esri World Imagery<\/a>. Полный занимает 18 страниц. Этот слой с 2010 года был доступен для обрисовки в OpenStreetMap, но исключительно через редактор ArcGIS Editor for OSM. Редактором пользовались 50-100 человек в год, и никто не обращал внимания, что снимки там не те, что в остальных наших редакторах.<\/p>\n

В 2015 году бельгиец Joost Schouppe обратил внимание<\/a> на условия использования слоя в github-репозитории редактора. Сотрудники Esri поняли вопрос и ушли перепроверять и согласовывать использование каждого из источников для трассировки в OpenStreetMap. Эта работа заняла два года, в течение которых осмеры некрасиво подгоняли юристов и обвиняли их в медлительности. А там, напомню, таблица на восемнадцать страниц.<\/p>\n

На этой неделе работа закончена: пункт про использование обклацанных карт добавили в условия использования<\/a> слоя в редакторах и объявили о разрешении в блоге Esri<\/a>. Слой «Esri World Imagery» добавили<\/a> в универсальный список подложек, поэтому он доступен во всех популярных редакторах OpenStreetMap.<\/p>\n

Это пятый наш слой с глобальным покрытием и субметровой детализацией. Все пять можно изучить на этой странице<\/a>. В Санкт-Петербурге новый слой эквивалентен Bing, в Новосибирке он как Mapbox, но с улучшенным контрастом. В Москве снимки такие же, как у Bing, но на 18 уровне масштаба появляется что-то новенькое.<\/p>\n", "date_published": "2017-08-26T17:36:25+04:00", "date_modified": "2017-08-26T17:36:10+04:00", "image": "https:\/\/shtosm.ru\/pictures\/esri_world_khimki.jpg", "_date_published_rfc2822": "Sat, 26 Aug 2017 17:36:25 +0400", "_rss_guid_is_permalink": "true", "_rss_guid": "https:\/\/shtosm.ru\/all\/spasibo-esri\/", "_e2_data": { "is_favourite": false, "links_required": [], "og_images": [ "https:\/\/shtosm.ru\/pictures\/esri_world_khimki.jpg" ] } }, { "id": "1431", "url": "https:\/\/shtosm.ru\/all\/digitalglobe-nash\/", "title": "DigitalGlobe наш", "content_html": "

\n\"\"\n<\/div>\n

На снимке — село Большие Тиганы в Татарстане. На его карте почти нет домов<\/a>: неудивительно, там нет ни снимков Bing, ни снимков Mapbox. Но теперь мы можем их обклацать, пользуясь подложкой на иллюстрации. Кевин Баллок сдержал обещание, которое мы обсуждали месяц назад<\/a>.<\/p>\n

Вчера в трёх основных редакторах появились два новых спутниковых слоя. В JOSM нужно зайти в настройки снимков, выбрать две строчки с «DigitalGlobe» и нажать «Активировать». В iD жмите кнопку со слоями справа, в P2 — на кнопку «Подложка» вверху. Слои такие:<\/p>\n