3 заметки с тегом

покемоны

Не вина Niantic

Вчера внезапно написал в mastodon (куда я окончательно переехал из твитера) про ситуацию с Overture и покемонами.

Для контекста, неделю назад Niantic (авторы Pokémon GO) объявили о новых покемонах, которые появляются только на пляжах. Игроки тут же начали рисовать ложные пляжи на OpenStreetMap. Так же, как семь лет назад они рисовали парки. Разумеется, это нагружает лишней работой картографов и растит досаду от Niantic и раздражение от покемоноводов.

Саймон Пул обратил внимание, что за эти семь лет компания Niantic не только не ответила на запросы OSMF или вообще хоть как-то связалась с сообществом. Вместо этого она вступила в фонд Overture Maps! Пользуется картой от добровольцев, но платит корпорациям, как так получилось?

Сюда наслаивается непонимание действий Linux Foundation, который вместо поддержки OSM взял под крыло Overture Maps и этим разделил «вину». Почему корпорациям везёт, а нам — нет?

Я уже писал, почему Overture — это хорошо, и почему OSMF пока нет смысла поддерживать. В треде mastodon примерно то же самое, потому что, как нас учил преподаватель по физике, важные мысли нужно повторять трижды.

* * *

Бизнес и фонды хотят поддерживать OpenStreetMap. Они видят огромное сообщество и пользу от карты для миллиардов людей и десятков тысяч организаций. Крупные фонды создаются для поддержки именно таких проектов, как наш.

Но у нас уже есть фонд. OSM Foundation. Все ожидают, что фонд помогает проекту расти: поддерживает картографов, сообщество, инструменты редактирования и валидации. Те инструменты, которые сделали бы вандализм от покемоноводов легко обнаружимым и откатываемым.

Разумеется, OSMF не просил и не собирался становиться частью Linux Foundation. Зачем нам? Ну и фонды, кажется, редко говорят между собой, это не бизнес.

Есть и другая группа. Она подготавливает геоданные и продвигает их организациям. В невиданном до сих пор масштабе, с известными корпорациями. Вместо коммерческой структуры они хотели оформить открытый фонд — и Linux Foundation им помог.

Да и почему бы и нет? Overture Maps — это открытые данные. Компании-участники уже хорошо проявили себя на поле open source. Они вкладывают серьёзные деньги в продвижение открытых геоданных и конкурируют с Google, а не с нами. Со всех сторон отлично.

Чего Linux Foundation не знают — это что на сегодня нельзя сказать, что OSMF поддерживает картографов. OSMF занят серверами, потребителями данных и конференциями. Почитайте темы ежемесячных встреч Совета.

Раньше осмеров поддерживали организации. HOT, Cloudmade, Mapbox, Grab. Но на сегодня они все отошли в сторону (или развалились). Некому больше нас поддерживать, кроме нас самих.

А когда ресурсов мало, люди начинают думать в терминах не совместной работы и развития, а соперничества и зависти. Overture Maps отъедает наши ресурсы!

Можете подумать: это же нормально, что OSM работает на энтузиазме. Но если обернуться, такая ситуация исключительно редка. Может, лет пять за всю историю проекта.

Проблемы сейчас у всего IT-сектора. Всюду увольнения, сокращения проектов. OSM их не избежал — вот в такой неявной форме. Все страдают, и мы тоже сами по себе. Как мы говорим, OSM — это боль, и нынче чуть больнее обычного.

Так что такие четыре наблюдения:

  1. Высший уровень корпоративного членства в OSMF — 30 тысяч евро. Это смешная сумма, которая никому не поможет, поэтому ничего странного в том, что Niantic и другие не вписываются.
  2. Overture Maps эффективны, стоят своих денег, и они заставят мир перейти на OpenStreetMap. Нам повезло, что они появились.
  3. Поддерживать осмеров — это как поддерживать OpenSSL. Всем пофиг, кто и как делает карту, пока карта не ломается. Overture защищает пользователей от поломок.
  4. На сегодня вообще нет способов поддержать картографов. И это не проблема Niantic или Linux Foundation.

На прошлых выходных члены Совета OSMF собирались на очную встречу, чтобы обсудить стратегию развития OpenStreetMap. Я насыпал им немного идей, так что есть шанс, что через пару лет наш фонд повернётся лицом и к корпорациям, и к нам.

7 мес   ddos   osmf   overture maps   покемоны

Атака покемонов

В июле прошлого года Niantic сделали игру Pokémon Go, которая немедленно стала самой популярной в мире. Сто миллионов игроков искали покемонов в парках и у ручьёв. «Давайте придумаем, как отхватить хотя бы процент этой аудитории», — носились маркетологи вокруг maps.me. «Давайте придумаем, как этих игроков заманить в OpenStreetMap», — обсуждали в нашей рассылке talk@. Мапперы искали признаки OSM в картооснове Pokémon Go, но игра упорно отказывалась демонстрировать точность и детальность наших карт. Кажется, в ней использовали те же данные, что в старой Ingress той же компании.

Впрочем, недавно на сайте Reddit обнаружили, что в списке источников в приложении появилось слово OpenStreetMap: оттуда компания взяла данные для Южной Кореи. Выбор понятен, если вспомнить, что в ноябре власти Южной Кореи отказались предоставить Google картографические данные (гугль сейчас там показывает старые растровые данные 2012 года от SK telecom).

Благодаря заметке, долгожданная популярность пришла в OSM: Южная Корея вышла в рейтинге активности стран на второе место (после США или Германии) с 600 редакторами в день. Неплохая прибавка к обычным пятнадцати на страну. Новички наносят на карту десятки тысяч объектов, и их качество, по оценке Мартина Райфера, неплохое.

С окончанием лета многие ушли из игры, и сейчас в неё играют самые упёртые, «хардкорные» игроки. Проблема в том, что их немало: только в Южной Корее четыре миллиона человек открывают приложение каждый день. Такие игроки, скорее всего, собрали основных покемонов и ищут способы быстрее найти редких. Они отслеживали их по карте и высматривали паттерны. Всё изменилось 31 августа: на Reddit опубликовали презентацию, сопоставляющую места появления покемонов с данными OpenStreetMap. Другие игроки проверили эту теорию и подтвердили: многие объекты, которых нет на Google Maps, притягивали покемонов.

Теперь у игроков в Pokémon Go был способ вычислить места с повышенной вероятностью найти редких покемонов. В последующие месяцы они его уточняли: например, определили релевантные теги (тропинки highway=footway или path внутри парков leisure=park/playground, landuse=grass и т. п.) и проверили, что покемоны появляются вдоль линий тропинок. Сайты показывали покемонов поверх OpenStreetMap, а покемоноводы передавали друг другу тексты запросов в Overpass API для поиска интересных мест.

22 декабря автор ютуб-канала Trainer Tips проверил, появятся ли покемоны на дорожке в парке, которую он нарисует в прямом эфире. Видео снято отлично, к слову. Всё важное происходит примерно с третьей минуты. К сожалению для нас, когда он приехал в пресловутый парк, его ждали сразу пять покемонов. Игроки быстро сообразили, что делать. Осмеры начали ругаться, затем вспомнили, что у нас дружелюбное сообщество, и под Новый год написали приветствие новичкам. Неизвестно, прочитал ли его кто, но змейки из тропинок пропали.

Ненадолго: 24 января участник Reddit похвастался, что он нарисовал в своём городе два парка и две поляны, после чего там появились гнёзда покемонов. В комментариях другие удачливые игроки поделились историями успеха: один парк нарисовал, другой — школу, и все радовались новым гнёздам. На следующий день весть подхватил сайт молодёжных новостей Mic.com, и в редактор iD побежала толпа игроков: Паскаль заметил, что его сайт статистики впервые зарегистрировал шесть тысяч активных картографов за сутки. То есть, около двух тысяч покемоноводов.

С этого дня новости про вандалов в OpenStreetMap стали включать слово «покемоны». Тропинки странной формы начали появляться не только в Корее, но и в Штатах, Индии, Бразилии, Южной Африке. Везде. Даже в Москве и в Ханты-Мансийске. Помня о вежливости, некоторые осмеры приветствуют новичков, но вычищая сотни километров ложных highway=footway, сложно сохранять лицо. BushmanK просто поругался (почему-то на участника DWG), а Майкл Райхерт написал инструкцию по поиску и уничтожению покемоноданных и покемонокартографов (на немецком языке, автоперевод). В Германии, говорят, две трети новых пользователей рисуют чушь для Pokémon Go. Даже сайт Mic.com через два дня попросил не портить карту — тщетно.

«Как долго ждать обновления данных в приложении» — спрашивают на Reddit. По ответам выходит, что от рисования парка до появления в нём гнезда проходит от месяца до четырёх. В других темах и в волшебном видео выше сроки совсем фантастические: от недели до одного дня. Позавчера WoodWoseWulf с Reddit закончил анализ связи гнёзд и дорог в OSM. В конце он пишет:

Те, кто зарегистрирован в OSM, могут поддаться желанию увеличить вероятности в своём районе. Я приветствую качественные и обдуманные правки OSM, но до сих пор не видел увеличения количества гнёзд на тропинках, нарисованных после первого релиза Pokémon Go.

Многие другие игроки поддерживают это наблюдение (например). К сожалению, информация об отсутствии влияния правок в OSM на количество покемонов вдохновляет не так, как слухи о их взаимосвязи, подкреплённые удачными вылазками. Поэтому прямо сейчас мы вынуждены регулярно просматривать карту и удалять потрясающие узоры из зелёных (у кого-то — пунктирных красных) линий.

Для кого тайлы?

Сейчас в чатике продолжился спор про расширение мощностей тайл-серверов OSMF в контексте недавнего блокирования сайта про покемоны. Если не слышали, то, во-первых, подписывайтесь на твитер и телеграм, во-вторых, 9 августа очередной сайт с покемонами на карте подключил подложку с osm.org и увеличил нам тайловый трафик на 13%. Серверы упёрлись в производительность дисков, и скачивание тайлов замедлилось у всех. Распределённое кэширование (Tile CDN) не помогло, так как пользователи требовали новых, ещё не отрендеренных тайлов близких масштабов. Сайт заблокировали, а затем из-за махинаций его владельца притормозили выдачу тайлов при отсутствующем заголовке «Referer».

У многих возник вопрос: почему бы не закупить новые диски и новые серверы, чтобы справиться с нагрузкой? Это ж всего 13%, а с апреля трафик увеличился на целых 66%. То есть, до конца года мы с такими темпами роста не доживём. Поставить SSD — один из способов решения: сейчас тайлы хранятся на HDD, а проблема возникла именно из-за скорости отдачи. Это дорого (500$ в месяц, которые предлагает автор покемоносайта, не помогут) и лишь отсрочит затык. Участники рабочей группы OWG сейчас обсуждают другие способы: например, добавить третий тайловый сервер. С прошлогоднего сбора осталось немного денег, которые пойдут и на эту задачу. Также они заметили дублирование метатайлов на двух серверах: Мэтт Эймос посчитал, пересечение оказалось всего 17%, так что едва ли поможет, но всё равно попробуют устранить. Ещё 25-50% ускорения можно получить от перекластеризации базы данных: по сути, физического упорядочивания строк в таблицах.

Сайт fastpokemap временно перешёл на тайлы ESRI

Но надо ли бежать исправлять? Энди Аллан в рассылке dev@ объяснил, что нынешних ресурсов хватит ещё на много лет, если использовать их по назначению: для мапперов. Именно так: все сервисы, что работают на серверах Фонда OpenStreetMap, предназначены для редакторов карты, включая API и картостиль. Исключение — файлы, хранящиеся на planet.osm.org: они для всех. Главной задачей OSMF является их постоянная доступность под открытой лицензией.

То есть, если вам нужны тайлы, Фонд не обязан их предоставлять и обеспечивать доступность. Если, конечно, вы не разработчик осмерского редактора или сайта osm.org. Да, мы долгое время позволяли использовать наши тайлы всем, за редким исключением приложений для пакетного скачивания. Но даже страница с условиями использования тайлов отмечает: «данные OSM бесплатны и открыты для всех. А тайлы — нет». Рано или поздно админам надоест, что основными пользователями тайлов стали разработчики, которым неохота платить другим компаниям, и они начнут закручивать вентиль. Никакие взносы в 500, 1000 или 5000 долларов в месяц не помогут: мы рады новым корпоративным членам OSMF, но платных услуг не предоставляем.

Последний безлимитный провайдер тайлов на основе OpenStreetMap, MapQuest, прикрыл сервис 11 июля. Все остальные — Mapbox, Stamen, CartoDB, Thunderforest и многие другие — имеют ограничения и ценник. Кто-то готов обсудить enterprise-план, кто-то — настроить рендерер на ваших серверах или в облаке. Стоит это недёшево, но вы же не думали, что к бесплатной открытой карте, созданной добровольцами на энтузиазме, прилагаются бесплатные сервисы и поддержка.

 28 комментариев   2016   osmf   покемоны

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.