40 заметок с тегом

osmf

Пытайтесь покинуть Великобританию

Рабочая группа администраторов втихую работает:

  • Возобновили публикацию логов просмотра тайлов. Это текстовые файлы, где написано, какие тайлы сколько раз за день смотрели. Обновления сломались в декабре, когда закрыли проект Tile CDN, переведя кэш тайлов на провайдера Fastly. Да, того самого, что обвалился месяц назад. Под настойчивыми напоминаниями Дорофея, чей проект Disaster Ninja обрабатывает эти логи, Пол Норман переписал скрипт обработки, и первый новый файл сегодня появился на сайте.
  • Наконец-то сайт поддерживает авторизацию через OAuth2! Это тот же протокол, что используют Github, Strava, Twitter, Google и Вконтакте. Очень долго в приложения приходилось впиливать библиотеки для устаревшего OAuth 1.0a только для входа через OSM. Теперь всё проще, спасибо Тому Хьюзу и Mmd, разработчику CgiMap.
  • К двум дата-центрам в Лондоне и одному в Амстердаме потихоньку собирают четвёртый — в Дублине. Который всё ещё в Евросоюзе, в отличие от. Новому дата-центру закупают всё, что есть в других: серверы для базы API, планеты, рендерера, номинатима и даже новый сервер для разработки. Прошлому уже десять лет, на нём становится тесновато.

Совет OSMF тоже работает, и в этом месяце умудрился попасть на первую страницу The Guardian. Поводом стало письмо Гильёма Ришара в рассылку osmf-talk, в котором он поделился желанием Совета перенести регистрацию компании OpenStreetMap Foundation из Кембриджа в Великобритании куда-нибудь в Евросоюз.

Среди причин — новые (и старые) сложности с банковскими операциями и Paypal, больше авторитета в Евросоюзе, простота найма людей из ЕС (как Доротея), и шанс зарегистрироваться некоммерческой организацией и экономить на налогах. Кроме того, с 1 июля право на базы данных (как копирайт, но на базы) разделилось между ЕС и Великобританией, и они не признают права друг друга. Лицензия ODbL работает лучше, когда есть основа в виде прав на БД, и лучше иметь их на крупнейшем рынке.

Участники обсуждения накидали предложений: Эстонию, потому что э-государство, Данию, потому что там неплохо работала Мозилла, Германию, потому что там KDE и TDF (делают LibreOffice), Женеву, с отдельно стоящим зданием или без, и Ирландию, где прячутся от налогов Microsoft, Google и Amazon. Не все страны подходят под необычные требования OSMF, но они обсуждаемы. Тема на многие месяцы — вступайте в OSMF и присоединяйтесь к заполнению таблички по странам.

Напомню, что с прошлого августа можно стать членом Фонда OpenStreetMap совершенно бесплатно. Для этого нужно просто чаще править карту: 42 дней в год достаточно. Уточните своё количество на How Did You Contribute и заполните форму на сайте вступления в OSMF. Нам нужно больше русских участников: у нашей страны худшее соотношение количества картографов и количества членов OSMF.

2 мес   odbl   osm.org   osmf   закон

Квинси ушёл

В сентябре Квинси Моргану за разработку редактора iD начал платить OSMF. Но что-то пошло не так: в декабре его продуктивность резко упала, а с конца февраля, уже два месяца как, он ни написал ни строчки кода, только принимал иногда чужие пул-реквесты. Последняя версия редактора вышла 18 марта, с тех пор — никакого движения. Так что сегодняшнее объявление, что Квинси больше не работает над iD, логично, хотя и грустновато.

Совет OSMF теперь ищет человека на замену, но оптимизма маловато: судя по графикам вклада в разработку, для редактора не удалось выстроить сообщества, на второй и третьей позициях — люди с 20 коммитами за год, да и то лишь в пресеты и переводы. Немал шанс, что мы наблюдаем закат iD. Что его заменит? RapID? Не могу обосновать, но чувствую, что фейсбук уже на низком старте.

Всё это — очередная иллюстрация к расхожей поговорке: сделай то, чем ты обожаешь заниматься, своей работой — и выгоришь через три месяца. Совет потерял многих разработчиков за последние десять лет, не решившись платить им денег, но этот раз первый, когда разработчика потеряли именно из-за того, что деньги платили. Кажется, человеческие отношения чуть сложнее, чем казалось поначалу.

Куда уходят деньги

Только вчера прочитал заметку «Коррупция и OpenStreetMap» Кристофа Хорманна, в которой он пеняет OSMF на неработающие регулирования конфликтов интересов и вновь растущую непрозрачность Совета. Непонятно, как эти проблемы решать, если в OSM всем управляет пара десятков человек, дружных между собой.

Вот, например, микрогранты. В июле комиссия выбрала 12 проектов, которые получили до пять тысяч евро. Среди них — картирование 15 новых городов в Уганде и деревень в Косово. Был ли тут конфликт интересов, или как его называли раньше, коррупция? Кто знает — тема вообще не всплывала в заметках с совещаний. Зато в рабочей группе мы видим человека из Уганды и пару участников, заинтересованных в картировании деревень Восточной Европы.

С технологическими проектами тоже не всё понятно. Грант получило только одно приложение: StreetComplete. Два, если считать календарь событий. Оба написаны немцами с именем на «Т». Неудивительно: большую часть инфраструктуры у нас пишут люди из Германии и Великобритании, какой смысл поддерживать кого-то извне? Неважно, насколько прорывным выглядит проект (посмотрите только на демку редактора от SviMik), главное — чтобы он уже был лидером в своей нише. StreetComplete — самое популярное среди пользователей некоммерческое мобильное приложение про OSM. Неделю назад его автор получил ещё один грант от немецкого фонда на шестимесячную разработку, легко затмевающий деньги от OSMF.

Ну с грантами понятно: написать заявку, которая понравится комитету на 83% из Западной Европы и США, проще всего человеку из тех же регионов — 6 из 12 принятых заявок оттуда. Первый блин всегда не без проблем. К следующему разу и условия объявят заранее, а не после прочтения списка, и команду выберут не из тех, кому не лениво (т. е. у кого есть свободное время, не нужно тратить его на зарабатывание денег, т. е. из Западной Европы и США), а кто реально сведущ. Всё будет хорошо.

Интересно, что произошло потом. В августе Совет вынес на обсуждение оплату разработки трёх инфраструктурных проектов, которым не перепало грантов: Nominatim, osm2pgsql и Potlatch 2. После непродолжительного обсуждения резолюцию приняли. Не важно, что потлатчем пользуются примерно столько же людей, сколько Go Map, несмотря на то, что его пиарят на главной osm.org, а мобильные редакторы  — нет. Не важно, что для первых двух проектов даже не понятно, на что вообще пойдут деньги, как замечает Фредерик. Или что их пишут одни и те же люди. Главное — что все три проекта инфраструктурные. То есть, написаны людьми из Германии и Великобритании, лучше других по принципу первого (авторы знакомы со Стивом и пришли в проект в числе первых) и по принципу, что все три человека дружны между собой и с участниками Совета.

Впрочем, это небольшие деньги. Не важно, ведь главное — жест. Если OSMF начал поддерживать проекты от друзей, то в будущем, может, деньги перепадут и проектам из раздела «инновации» Премии OSM. В будущем, где члены Совета не 100% белые мужчины из Северной Америки и Западной Европы, деньги начнут идти людям, не разделяющим привилегированную культуру.

На фоне этой движухи Совет совершил одно действительно важное вложение: главный редактор OSM, iD, больше не в лапах Mapbox или неуправляемых разработчиков. В августе Совет единогласно согласился нанять Квинси Моргана, главного разработчика iD, на постоянную позицию за 130 тысяч долларов в год, из которых половину оплатят сторонние организации (HOT, OSM US, Mapbox).

Это круто, потому что в отличие от всех вышеперечисленных, Квинси знает, что делает. Он написал подробное обоснование с двумя дюжинами ссылок. У него есть план, включающий третью версию, поддержку всех устройств и развитие экосистемы. Редактор был предметом споров в сообществе, и с 11 сентября Квинси формально подотчётен OSMF. Наконец, iD — единственный редактор, который стоит поддерживать: его альтернативу JOSM совместно тянут десятки разработчиков, а остальные и не нужны.

Квинси — далеко не последний наёмный работник в OSMF. Совет летом принял принципы найма и хочет нанять ещё одного сотрудника: тот будет работать над серверной инфраструктурой, повышая её скорость и надёжность. На эту позицию планируют тратить до 130 тысяч в год. Тысяч фунтов стерлингов, которые в 1,3 раза дороже доллара. Требования к позиции жёсткие, даже Том с Грантом не пройдут. Но не спешите слать заявки: в августовском протоколе заседания пишут, что кого-то уже нашли, но кого — пока секрет. Непрозрачность и большие деньги нынче в Фонде OpenStreetMap.

 6 комментариев   11 мес   osmf   закон

Нет, подождите

Фотография © primechaniya.ru

Вчера вечером Совет OSMF отменил решение DWG по Крыму, восстановив в правах резолюцию 2014 года. Полуостров снова принадлежит двум странам.

Как замечают в чатике, это серьёзное попрание основного принципа OpenStreetMap: верифицируемости, truth on the ground. Не только в Крым нельзя въехать из Украины без визы, но и ничего украинского вы там не найдёте: ни почты, ни банков. Единственное, что объединяет страну и полуостров, — это слова. На нашей карте мы стараемся рисовать то, что местный житель может проверить и подтвердить. Какой житель Крыма может подтвердить, что полуостров управляется Украиной?

Более того, посколько OSM — это truth on the ground, украинские картографы своей победой показывают, что Крым в реальности украинский — а значит, никаких проблем с полуостровом у них нет, контроль восстановлен, можно расходиться. (сарказм)

Но есть и другая сторона. Административные границы — один из немногих элементов OpenStreetMap, которые не верифицируемы. Нет линии на земле, которую можно трассировать с GPS и внести в базу. У каждого государства, региона, города, владельца участка свои представления о правильной границе. Открытых точных данных по государственным границам, совместимых с «условиями участия», нет почти ни в одной стране. Поэтому в общем случае, закартировать административную границу правильно нельзя.

OpenStreetMap — не монархический проект, карта у нас принадлежит участникам, которые сами решают, как и что рисовать. Теги выбирают картографы, рисовать или не рисовать поребрики полигонами — тоже решение не рабочих групп, а картографов. Мы оказались в ситуации, когда одной небольшой группе участников оказалось очень важно, что одно из отношений состоит из строго определённых элементов, а всем остальным, в общем-то, без разницы. Неудобно, но за четыре года научились обходить.

Рабочая группа по данным, поменяв статус-кво, дала второй группе повод изменить это отношение, в то время как первая группа за это время осталась при своём мнении. Не важно, что это решение соответствует принципам OpenStreetMap и решению от 2013 года, которое за пять лет никто не опротестовал. Между корректностью и чувствами участников в нашем проекте всегда побеждают последние. Поэтому некоторые участники начали сомневаться в легитимности DWG: странно, что решением противоречий занимается группа, участники которой не до конца понимают свой проект.

Для всех, кроме десятка активных участников, в проекте как ничего не поменялось месяц назад, так ничего не произошло и сейчас. В OpenStreetMap по-прежнему беспрецендентно точная геометрия, но проблема с атрибутикой: брать из базы административные границы для стран чревато политическими недопониманиями. Выгрузки данных на популярных сайтах и панели скачивания в мобильных приложениях по-прежнему включают полуостров в обе страны. Местным жителям и туристам больше поможет рисование поребриков в их городах полигонами, чем споры за отношение границ.

GDPR и мы

Регламент по защите данных GDPR обязывает юрлица, владеющие интернет-сервисами, получать согласие на обработку персональных данных, выдавать собранные данные субъекту и удалять их по первому требованию, и следить, чтобы данные обрабатывались только в соответствии с целями, которые подтверждены пользователем. Всё это работает уже два года, но через три недели включат санкции за неисполнение. А это, на минуточку, 20 млн евро или 4% от годового оборота, смотря что больше. Именно поэтому вы в апреле получили тонну почтовых уведомлений от твитера, гугля, фейсбука и других популярных сервисов.

Бдительные немцы начали обсуждать применимость регламента к OpenStreetMap ещё в марте прошлого года. Тогда на немецкой конференции внезапно всплыла тема приватности в контексте сайта «How Did You Contribute» Паскаля Найса. Мол, все эти пакеты правок и даты в открытом доступе — хорошо, но если их анализировать, можно вытащить слишком многое. Например, сайт Паскаля довольно точно отображает ваш район, часы активности и интересы. Из-за этого автор даже получал угрозы с требованием удалить личные данные.

Результатом стало требование залогиниться для просмотра профилей HDYC. Последовавшие споры в почтовой рассылке talk@ разбились о твёрдость немцев. Но спустя полгода Паскаль, всё-таки, позволил открывать свои профили.

Наступил апрель

Две недели назад Саймон Пул опубликовал 24-страничную резолюцию LWG по GDPR, результат полугода работы активистов OSMF с привлечением внешних консультантов. Зная принципы работы Совета, рекомендации юридической рабочей группы, скорее всего, будут приняты без изменений. Вот что советуют в техническом плане:

  • убрать метаданные из выгрузок данных (планеты), диффов и вывода OSM API для незарегистрированных пользователей;
  • под метаданными понимаются логин и числовой идентификатор пользователя, номер и атрибуты пакетов правок, и вероятно — метки времени у объектов;
  • сделать кнопку для полного удаления профиля (без геоданных) и предоставлять список удалённых пользователей сторонним обработчикам данных;
  • обновить и заставить пользователей подписать условия использования, ограничивающие способы обработки данных;
  • авторы сервисов, анализирующих данные, должны будут подписать договор с OSMF, либо самостоятельно разбираться с еврокомиссией.

Фредерик Рамм подготовил список изменений для каждого метода OSM API. Как видно, незарегистрированные пользователи не смогут получать информацию о пакетах правок, пользователях, заметках, GPS-треках и блокировках. Кроме того, придётся прикрутить авторизацию к сайту planet.osm.org, чтобы разделить его на две части: публичную с обрезанными данными и приватную с полным содержимым.

Запрос /map к OSM API традиционно используется для получения данных в заданной области. В 2016 году этот и другие запросы стало можно делать, передавая заголовки аутентификации: в этом случае не применятся ограничения по частоте запросов. После внедрения вышеупомянутых изменений разница будет более существенной, так как данные начнут разниться в зависимости от наличия аутентификации. Один из авторов Overpass API заметил, что сайт OpenStreetMap не передаёт эти заголовки при экспорте данных. Очевидно, похожие задачи придётся решать и авторам других веб-приложений для работы с данными OSM. Редактор iD уже готов.

Как готовятся другие

Роланд, автор Overpass API, бунтует: в мае прошлого года он написал заметку с фразами, апеллирующими к «1984» и «451°F»: мол, переписывание истории — это подрыв доверия к данным. Он считает, что пользователей с данными связывают только идентификаторы и логины: так давайте не прятать метаданные пакетов правок, а защищать пользователей. То есть, позволять им плодить сколько угодно новых user id, вручную или автоматически, чтобы размыть свой след в базе. Хотя едва ли это поможет тем 99% пользователей, которые не задумываются о приватности.

Сервис Overpass API работает без регистрации, и многие картографы пользуются им для редактирования карты. В будущем релизе 0.7.55 нет ограничений на метаданные.

Компания Geofabrik разделила свой сервер с выгрузками на два: для получения полных данных нужно зарегистрироваться на «osm-internal» и качать файлы из браузера, а на старом сервере пропали исторические дампы (*.osh.pbf) и вырезаны метаданные из обычных выгрузок. Там нет логинов и идентификаторов пользователей и пакетов правок, но метки времени сохранены. От этого файлы pbf похудели примерно на 10%.

Выгрузки от BBBike не содержат никаких метаданных, даже меток времени. «Идите на osm.org или заплатите 99 евро в месяц». Остальные сервисы регулярных выгрузок, включая французский, швейцарский или наш гис-лаб, не вносили никаких изменений в процесс: метаданные как были, так и остались.

Сервисы для анализа правок и поведения пользователей OpenStreetMap, не считая HDYC, всё ещё не требуют входа через OSM и не планируют сделать его обязательным. Как я понимаю, частных лиц регламент GDPR не касается, поэтому сервисы типа Who’s That, явно нарушающие приватность пользователей, не пострадают. Разве что придётся их подкрутить, чтобы скачивать диффы с сервера OSM под логином автора.

2018   osm.org   osmf   закон
Ранее Ctrl + ↓

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.