42 заметки с тегом

osmf

Позднее Ctrl + ↑

Нет, подождите

Фотография © primechaniya.ru

Вчера вечером Совет OSMF отменил решение DWG по Крыму, восстановив в правах резолюцию 2014 года. Полуостров снова принадлежит двум странам.

Как замечают в чатике, это серьёзное попрание основного принципа OpenStreetMap: верифицируемости, truth on the ground. Не только в Крым нельзя въехать из Украины без визы, но и ничего украинского вы там не найдёте: ни почты, ни банков. Единственное, что объединяет страну и полуостров, — это слова. На нашей карте мы стараемся рисовать то, что местный житель может проверить и подтвердить. Какой житель Крыма может подтвердить, что полуостров управляется Украиной?

Более того, посколько OSM — это truth on the ground, украинские картографы своей победой показывают, что Крым в реальности украинский — а значит, никаких проблем с полуостровом у них нет, контроль восстановлен, можно расходиться. (сарказм)

Но есть и другая сторона. Административные границы — один из немногих элементов OpenStreetMap, которые не верифицируемы. Нет линии на земле, которую можно трассировать с GPS и внести в базу. У каждого государства, региона, города, владельца участка свои представления о правильной границе. Открытых точных данных по государственным границам, совместимых с «условиями участия», нет почти ни в одной стране. Поэтому в общем случае, закартировать административную границу правильно нельзя.

OpenStreetMap — не монархический проект, карта у нас принадлежит участникам, которые сами решают, как и что рисовать. Теги выбирают картографы, рисовать или не рисовать поребрики полигонами — тоже решение не рабочих групп, а картографов. Мы оказались в ситуации, когда одной небольшой группе участников оказалось очень важно, что одно из отношений состоит из строго определённых элементов, а всем остальным, в общем-то, без разницы. Неудобно, но за четыре года научились обходить.

Рабочая группа по данным, поменяв статус-кво, дала второй группе повод изменить это отношение, в то время как первая группа за это время осталась при своём мнении. Не важно, что это решение соответствует принципам OpenStreetMap и решению от 2013 года, которое за пять лет никто не опротестовал. Между корректностью и чувствами участников в нашем проекте всегда побеждают последние. Поэтому некоторые участники начали сомневаться в легитимности DWG: странно, что решением противоречий занимается группа, участники которой не до конца понимают свой проект.

Для всех, кроме десятка активных участников, в проекте как ничего не поменялось месяц назад, так ничего не произошло и сейчас. В OpenStreetMap по-прежнему беспрецендентно точная геометрия, но проблема с атрибутикой: брать из базы административные границы для стран чревато политическими недопониманиями. Выгрузки данных на популярных сайтах и панели скачивания в мобильных приложениях по-прежнему включают полуостров в обе страны. Местным жителям и туристам больше поможет рисование поребриков в их городах полигонами, чем споры за отношение границ.

GDPR и мы

Регламент по защите данных GDPR обязывает юрлица, владеющие интернет-сервисами, получать согласие на обработку персональных данных, выдавать собранные данные субъекту и удалять их по первому требованию, и следить, чтобы данные обрабатывались только в соответствии с целями, которые подтверждены пользователем. Всё это работает уже два года, но через три недели включат санкции за неисполнение. А это, на минуточку, 20 млн евро или 4% от годового оборота, смотря что больше. Именно поэтому вы в апреле получили тонну почтовых уведомлений от твитера, гугля, фейсбука и других популярных сервисов.

Бдительные немцы начали обсуждать применимость регламента к OpenStreetMap ещё в марте прошлого года. Тогда на немецкой конференции внезапно всплыла тема приватности в контексте сайта «How Did You Contribute» Паскаля Найса. Мол, все эти пакеты правок и даты в открытом доступе — хорошо, но если их анализировать, можно вытащить слишком многое. Например, сайт Паскаля довольно точно отображает ваш район, часы активности и интересы. Из-за этого автор даже получал угрозы с требованием удалить личные данные.

Результатом стало требование залогиниться для просмотра профилей HDYC. Последовавшие споры в почтовой рассылке talk@ разбились о твёрдость немцев. Но спустя полгода Паскаль, всё-таки, позволил открывать свои профили.

Наступил апрель

Две недели назад Саймон Пул опубликовал 24-страничную резолюцию LWG по GDPR, результат полугода работы активистов OSMF с привлечением внешних консультантов. Зная принципы работы Совета, рекомендации юридической рабочей группы, скорее всего, будут приняты без изменений. Вот что советуют в техническом плане:

  • убрать метаданные из выгрузок данных (планеты), диффов и вывода OSM API для незарегистрированных пользователей;
  • под метаданными понимаются логин и числовой идентификатор пользователя, номер и атрибуты пакетов правок, и вероятно — метки времени у объектов;
  • сделать кнопку для полного удаления профиля (без геоданных) и предоставлять список удалённых пользователей сторонним обработчикам данных;
  • обновить и заставить пользователей подписать условия использования, ограничивающие способы обработки данных;
  • авторы сервисов, анализирующих данные, должны будут подписать договор с OSMF, либо самостоятельно разбираться с еврокомиссией.

Фредерик Рамм подготовил список изменений для каждого метода OSM API. Как видно, незарегистрированные пользователи не смогут получать информацию о пакетах правок, пользователях, заметках, GPS-треках и блокировках. Кроме того, придётся прикрутить авторизацию к сайту planet.osm.org, чтобы разделить его на две части: публичную с обрезанными данными и приватную с полным содержимым.

Запрос /map к OSM API традиционно используется для получения данных в заданной области. В 2016 году этот и другие запросы стало можно делать, передавая заголовки аутентификации: в этом случае не применятся ограничения по частоте запросов. После внедрения вышеупомянутых изменений разница будет более существенной, так как данные начнут разниться в зависимости от наличия аутентификации. Один из авторов Overpass API заметил, что сайт OpenStreetMap не передаёт эти заголовки при экспорте данных. Очевидно, похожие задачи придётся решать и авторам других веб-приложений для работы с данными OSM. Редактор iD уже готов.

Как готовятся другие

Роланд, автор Overpass API, бунтует: в мае прошлого года он написал заметку с фразами, апеллирующими к «1984» и «451°F»: мол, переписывание истории — это подрыв доверия к данным. Он считает, что пользователей с данными связывают только идентификаторы и логины: так давайте не прятать метаданные пакетов правок, а защищать пользователей. То есть, позволять им плодить сколько угодно новых user id, вручную или автоматически, чтобы размыть свой след в базе. Хотя едва ли это поможет тем 99% пользователей, которые не задумываются о приватности.

Сервис Overpass API работает без регистрации, и многие картографы пользуются им для редактирования карты. В будущем релизе 0.7.55 нет ограничений на метаданные.

Компания Geofabrik разделила свой сервер с выгрузками на два: для получения полных данных нужно зарегистрироваться на «osm-internal» и качать файлы из браузера, а на старом сервере пропали исторические дампы (*.osh.pbf) и вырезаны метаданные из обычных выгрузок. Там нет логинов и идентификаторов пользователей и пакетов правок, но метки времени сохранены. От этого файлы pbf похудели примерно на 10%.

Выгрузки от BBBike не содержат никаких метаданных, даже меток времени. «Идите на osm.org или заплатите 99 евро в месяц». Остальные сервисы регулярных выгрузок, включая французский, швейцарский или наш гис-лаб, не вносили никаких изменений в процесс: метаданные как были, так и остались.

Сервисы для анализа правок и поведения пользователей OpenStreetMap, не считая HDYC, всё ещё не требуют входа через OSM и не планируют сделать его обязательным. Как я понимаю, частных лиц регламент GDPR не касается, поэтому сервисы типа Who’s That, явно нарушающие приватность пользователей, не пострадают. Разве что придётся их подкрутить, чтобы скачивать диффы с сервера OSM под логином автора.

2018   osm.org   osmf   закон

Тайлы на месте

Мы знаем, что OpenStreetMap используют многие российские службы: медики, пожарные, военные. Это здорово, и мы всегда готовы помочь советом или делом. К сожалению, в России между «государством» (т. е. бюджетными организациями) и «народом» (целевой аудиторией бюджетных организаций) существует коммуникационная яма. И с нашей стороны не хватает метафорических досок, чтобы построить мост, а другая сторона видит в яме монстров и боится подходить.

Поэтому когда в каком-то ведомстве говорят: «нам нужна бесплатная карта всего мира», там не спрашивают у картографов, что делать. Там берут яндекс, а когда он просит денег или когда нужно работать без интернета, переходят на OSM. В нашем сообществе сделать офлайновый OSM — это скачать планету, загрузить в базу, настроить мапник и renderd. У нормальных людей это скачать тайлы. Причём все, до конца, потому что иначе адресов на домах не видно (17-й зум на стандартном стиле: не может же у одной карты быть двух разных стилей).

Вчера Том Хьюз заблокировал одного из таких будущих пользователей OSM. Вы замечали, что последнюю неделю тайлы в России грузятся едва-едва. Их доставляет Горыныч, прокси-сервер яндекса (спасибо!). Так вот, с 18 июля количество запросов к прокси удвоилось, в пиках превышая сто тысяч в секунду. Сервер упал, IP заблокировали, но «атака» почти сразу продолжилась с другого адреса. Вечером 24-го Том идентифицировал блок IP и забанил его целиком. Карта стала заметно быстрее.

Когда-то одна организация роняла сервер тайлов Veloroad, и едва её забанили, спросила на форуме, что делать. Так обе стороны узнали друг друга и пришли к решению. Едва ли так получится в этот раз: тайлы на сайте OSM — это «общее», владелец никто, какие-то безымянные участники, а значит, можно не спрашивать разрешения, а пересесть за соседний компьютер с другим IP. Мы не можем найти нарушителя, он не хочет искать нас. Несмотря на бравые заявления на конференции «Веб и ГИС» 2011 года, у OpenStreetMap в России до сих пор нет юридического лица, с которым государственным организациям не зазорно разговаривать. Значит — всё позволено.

Технический способ решить проблему есть: ещё более ужесточить настройки прокси. В прошлом году замедлили выдачу тайлов не-браузерам. В октябре Котяра предложил пересмотреть ограничения, чтобы карта на экране скачивалась быстрее, а у тех, кто качает тайлы тысячами, — медленнее. Пул-реквест зарубили, главным способом решения проблемы скорости остаются «белые списки». Более эффективная мера — ключи: чтобы тайлы без ограничений можно было использовать, только указав свой уникальный ключ. Но их поддержка нагрузит админов лишней постоянной работой, чему они не будут рады.

Лето на носу 2017

Шейдеры с отражениями для OSM2World сделал Зак Андерсон в рамках GSoC 2016

Ближайший важный дедлайн — это закрытие приёма заявок на доклады для State of the Map в Японии, второго апреля. Учитывая дороговизну полётов, билеты на самолёт и гостиницу лучше забронировать тоже до этого времени. Третьего же апреля другой дедлайн: для студентов-участников Google Summer of Code.

Проект OpenStreetMap участвует в GSoC в том или ином качестве с 2006 года. За это время студенты сделали немало заметных улучшений — правда, всё чаще в сопутствующих программах. Например, «испортили» картостиль или провели крупный рефакторинг ядра JOSM. Честно говоря, в списке законченных проектов я нашёл не устаревшие только с 2012 года, когда Ян плотно поработал над функциональностью редактора Vespucci. Но с каждым годом мы всё успешнее наставляем студентов, и их работа всё заметнее. Как редактор полосности дорог в iD, автора которого быстро замели в Mapbox.

Так что участие в Google Summer of Code не только помогает финансово (хотя в этом году доход будет чуть меньше прежних пяти тысяч долларов), но и ставит студента под прицел крупных компаний вроде Mapbox и Carto. Будьте осторожны — и выбирайте: в списке идей для проектов за двадцать предложений. Если вы осмер, то у вас, наверное, есть и свои. Напишите о своём желании в почтовую рассылку dev@ и до понедельника успейте составить формальную заявку для сайта GSoC 2017.

Если вы не студент, то айда в менторы. Почувствуете себя учителем, поможете студенту быстрее понять OpenStreetMap и направите его разработку в полезное русло. Всё, что нужно, — пара обязательных часов в неделю и письмо Петеру Барту с информацией о себе и своим e-mail. Координацией менторов в этом году занимается не он один, а целая рабочая группа EWG. Мы возродили её из пепла разработчиков и не допустим в ней прежних ошибок, то есть, разработки. Теперь EWG занимается исключительно управлением и координацией, помощью владельцам проектов и начинающим разработчикам. Во вторник в 23:00 по Москве её члены в третий раз созвонятся в Mumble, чтобы обсудить две насущные задачи: GSoC и список Top Ten Tasks.

 1 комментарий   2017   gsoc   osmf

Для кого тайлы?

Сейчас в чатике продолжился спор про расширение мощностей тайл-серверов OSMF в контексте недавнего блокирования сайта про покемоны. Если не слышали, то, во-первых, подписывайтесь на твитер и телеграм, во-вторых, 9 августа очередной сайт с покемонами на карте подключил подложку с osm.org и увеличил нам тайловый трафик на 13%. Серверы упёрлись в производительность дисков, и скачивание тайлов замедлилось у всех. Распределённое кэширование (Tile CDN) не помогло, так как пользователи требовали новых, ещё не отрендеренных тайлов близких масштабов. Сайт заблокировали, а затем из-за махинаций его владельца притормозили выдачу тайлов при отсутствующем заголовке «Referer».

У многих возник вопрос: почему бы не закупить новые диски и новые серверы, чтобы справиться с нагрузкой? Это ж всего 13%, а с апреля трафик увеличился на целых 66%. То есть, до конца года мы с такими темпами роста не доживём. Поставить SSD — один из способов решения: сейчас тайлы хранятся на HDD, а проблема возникла именно из-за скорости отдачи. Это дорого (500$ в месяц, которые предлагает автор покемоносайта, не помогут) и лишь отсрочит затык. Участники рабочей группы OWG сейчас обсуждают другие способы: например, добавить третий тайловый сервер. С прошлогоднего сбора осталось немного денег, которые пойдут и на эту задачу. Также они заметили дублирование метатайлов на двух серверах: Мэтт Эймос посчитал, пересечение оказалось всего 17%, так что едва ли поможет, но всё равно попробуют устранить. Ещё 25-50% ускорения можно получить от перекластеризации базы данных: по сути, физического упорядочивания строк в таблицах.

Сайт fastpokemap временно перешёл на тайлы ESRI

Но надо ли бежать исправлять? Энди Аллан в рассылке dev@ объяснил, что нынешних ресурсов хватит ещё на много лет, если использовать их по назначению: для мапперов. Именно так: все сервисы, что работают на серверах Фонда OpenStreetMap, предназначены для редакторов карты, включая API и картостиль. Исключение — файлы, хранящиеся на planet.osm.org: они для всех. Главной задачей OSMF является их постоянная доступность под открытой лицензией.

То есть, если вам нужны тайлы, Фонд не обязан их предоставлять и обеспечивать доступность. Если, конечно, вы не разработчик осмерского редактора или сайта osm.org. Да, мы долгое время позволяли использовать наши тайлы всем, за редким исключением приложений для пакетного скачивания. Но даже страница с условиями использования тайлов отмечает: «данные OSM бесплатны и открыты для всех. А тайлы — нет». Рано или поздно админам надоест, что основными пользователями тайлов стали разработчики, которым неохота платить другим компаниям, и они начнут закручивать вентиль. Никакие взносы в 500, 1000 или 5000 долларов в месяц не помогут: мы рады новым корпоративным членам OSMF, но платных услуг не предоставляем.

Последний безлимитный провайдер тайлов на основе OpenStreetMap, MapQuest, прикрыл сервис 11 июля. Все остальные — Mapbox, Stamen, CartoDB, Thunderforest и многие другие — имеют ограничения и ценник. Кто-то готов обсудить enterprise-план, кто-то — настроить рендерер на ваших серверах или в облаке. Стоит это недёшево, но вы же не думали, что к бесплатной открытой карте, созданной добровольцами на энтузиазме, прилагаются бесплатные сервисы и поддержка.

Ранее Ctrl + ↓

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.