ШТОСМ: заметки с тегом ddos

Не вина Niantic

Илья Зверев — Tue, 30 Apr 2024 12:50:40 +0400

Вчера внезапно написал в mastodon (куда я окончательно переехал из твитера) про ситуацию с Overture и покемонами.

Для контекста, неделю назад Niantic (авторы Pokémon GO) объявили о новых покемонах, которые появляются только на пляжах. Игроки тут же начали рисовать ложные пляжи на OpenStreetMap. Так же, как семь лет назад они рисовали парки. Разумеется, это нагружает лишней работой картографов и растит досаду от Niantic и раздражение от покемоноводов.

Саймон Пул обратил внимание, что за эти семь лет компания Niantic не только не ответила на запросы OSMF или вообще хоть как-то связалась с сообществом. Вместо этого она вступила в фонд Overture Maps! Пользуется картой от добровольцев, но платит корпорациям, как так получилось?

Сюда наслаивается непонимание действий Linux Foundation, который вместо поддержки OSM взял под крыло Overture Maps и этим разделил «вину». Почему корпорациям везёт, а нам — нет?

Я уже писал, почему Overture — это хорошо, и почему OSMF пока нет смысла поддерживать. В треде mastodon примерно то же самое, потому что, как нас учил преподаватель по физике, важные мысли нужно повторять трижды.

* * *

Бизнес и фонды хотят поддерживать OpenStreetMap. Они видят огромное сообщество и пользу от карты для миллиардов людей и десятков тысяч организаций. Крупные фонды создаются для поддержки именно таких проектов, как наш.

Но у нас уже есть фонд. OSM Foundation. Все ожидают, что фонд помогает проекту расти: поддерживает картографов, сообщество, инструменты редактирования и валидации. Те инструменты, которые сделали бы вандализм от покемоноводов легко обнаружимым и откатываемым.

Разумеется, OSMF не просил и не собирался становиться частью Linux Foundation. Зачем нам? Ну и фонды, кажется, редко говорят между собой, это не бизнес.

Есть и другая группа. Она подготавливает геоданные и продвигает их организациям. В невиданном до сих пор масштабе, с известными корпорациями. Вместо коммерческой структуры они хотели оформить открытый фонд — и Linux Foundation им помог.

Да и почему бы и нет? Overture Maps — это открытые данные. Компании-участники уже хорошо проявили себя на поле open source. Они вкладывают серьёзные деньги в продвижение открытых геоданных и конкурируют с Google, а не с нами. Со всех сторон отлично.

Чего Linux Foundation не знают — это что на сегодня нельзя сказать, что OSMF поддерживает картографов. OSMF занят серверами, потребителями данных и конференциями. Почитайте темы ежемесячных встреч Совета.

Раньше осмеров поддерживали организации. HOT, Cloudmade, Mapbox, Grab. Но на сегодня они все отошли в сторону (или развалились). Некому больше нас поддерживать, кроме нас самих.

А когда ресурсов мало, люди начинают думать в терминах не совместной работы и развития, а соперничества и зависти. Overture Maps отъедает наши ресурсы!

Можете подумать: это же нормально, что OSM работает на энтузиазме. Но если обернуться, такая ситуация исключительно редка. Может, лет пять за всю историю проекта.

Проблемы сейчас у всего IT-сектора. Всюду увольнения, сокращения проектов. OSM их не избежал — вот в такой неявной форме. Все страдают, и мы тоже сами по себе. Как мы говорим, OSM — это боль, и нынче чуть больнее обычного.

Так что такие четыре наблюдения:

Высший уровень корпоративного членства в OSMF — 30 тысяч евро. Это смешная сумма, которая никому не поможет, поэтому ничего странного в том, что Niantic и другие не вписываются.
Overture Maps эффективны, стоят своих денег, и они заставят мир перейти на OpenStreetMap. Нам повезло, что они появились.
Поддерживать осмеров — это как поддерживать OpenSSL. Всем пофиг, кто и как делает карту, пока карта не ломается. Overture защищает пользователей от поломок.
На сегодня вообще нет способов поддержать картографов. И это не проблема Niantic или Linux Foundation.

На прошлых выходных члены Совета OSMF собирались на очную встречу, чтобы обсудить стратегию развития OpenStreetMap. Я насыпал им немного идей, так что есть шанс, что через пару лет наш фонд повернётся лицом и к корпорациям, и к нам.

OpenStreetMap атакуют

Илья Зверев — Sun, 27 Aug 2023 21:24:18 +0400

Скриншот сделал literan 25 августа

На этой неделе карта OSM подверглась «дефейсу»: на ней рисовали гадости, как когда-то на картах Google и яндекса. Казалось бы: ну да, вандалы у нас всегда водились. У нас есть средства отката правок и кнопка жалоб в рабочую группу по данным. Но на этот раз масштаб оказался беспрецедентен: более семи тысяч аккаунтов загрузили сотни тысяч правок, заменяя названия улиц и заведений в РФ оскорблениями.

Как и рассчитывал неизвестный вандал, названия попали на карты разных популярных систем, включая википедию, телеграм, guru maps; муниципальные системы типа умных остановок, парковок и прочих табло; частные веб-сайты и osmand live. Какие-то системы из-за этого закрыли «на переучёт». Одна из русских компаний вывесила на vc рекламу в духе TomTom, что осму доверять нельзя, и она переводит свои карты на 2gis. Последние четыре дня в чатиках все узнают, как обновить тайлы в браузере (Ctrl+F5 или ⌘⇧R), потому что хотя откатывают быстро, картинки остаются в кэше.

Что делать? Пожалуй, это тот случай, когда отдельные участники бессильны и нужен системный подход. То есть, усилия программистов, DWG и OWG (админов):

Камиль Монич написал инструмент для поиска вандальных пакетов правок и их отката. Тот работает день и ночь, неутомим, как и инструменты, создающие вандальные правки.
Энди Таунсенд и другие участники DWG банят аккаунты вандалов тысячами. Моральные силы на исходе, поэтому...
Том Хьюз из OWG ограничил скорость регистраций с одного IP и с одной почты. Да, вы думали, что один аккаунт — одна почта, но забыли про суффиксы после плюса (ilya+osmsuffix@gmail.com) и поддомены.
Роман Деев в русскоязычном чатике ведёт учёт и помогает пользователям (как и многие другие участники, приходите к нам).

Мы впервые столкнулись с массированной автоматизированной продолжительной атакой, и способы защиты придумываем по ходу дела. Индивидуальные откаты, пожалуй, только усложнят работу, поэтому увидев плохое название, сначала проверьте, что его не откатили (нажав кнопку «что здесь»). Найдя там объект, откройте профиль его автора, нажмите «сообщить об этом пользователе». И ждите.

Эта ситуация хуже художественного вандализма, когда рисуют вымышленные символы или города. Хуже добросердечного вандализма переводчиков, когда люди заливают сотни тысяч локализованных названий (недавно участились правки тегов name:ru и name:uk). Но вандализм неизбежен. Если вы используете OpenStreetMap в качестве подложки, рано или поздно вы обнаружите, что это открытый проект, отредактировать который может каждый. Нельзя иметь только плюсы без минусов. Без третьего измерения OSM хуже альтернатив, а с ним — сложнее.

Но модераторы в OpenStreetMap есть, и благодаря их работе вы замечаете вандализм только в закэшированных картинках, как свет давно умершей звезды в ночном небе. Сотни картографов на зарплате просматривают правки в компаниях типа Meta, Grab, Mapbox, TomTom. Единичные случаи откатывают энтузиасты на местах. И нельзя не упомянуть ежемесячные курированные слепки Daylight Map Distribution от фейсбука, которые, скорее всего, скоро станут частью Overture Maps.

Maxar уходил, но вернулся, как обещал

Илья Зверев — Sat, 15 Feb 2020 13:21:41 +0400

Хорошая новость: спутниковые слои Maxar снова доступны! Мы прожили без них два месяца, не смогли подобрать URL тайлов взамен отключенных, но в опубликованном вчера обновлении редактора iD слои вернулись. К сожалению, JOSM и другие редакторы пока официально не поддерживаются, но расшифрованная ссылка уже проникла в список подложек JOSM.

Если вы не следили за новостями, Maxar — это новое название DigitalGlobe и новый набор слоёв, который прошлым летом окончательно заменил старые слои DG. Снимки DigitalGlobe нам выдали отчасти благодаря фейсбуку в 2017 году. Они всем нравились, потому что часто были самыми свежими. Снимки Maxar немного другие, что огорчило картографов в некоторых странах, но всё равно лучше прочих. Поэтому когда Кевин Баллок неожиданно объявил об их отключении, люди выражали своё расстройство целый месяц в полусотне комментариев.

Слои убрали не из-за осмеров. Ссылки на них были открыты, что было удобно и для добавления их в общий реестр подложек, и для изучения на сторонних веб-сайтах. Подключить снимки Maxar в свою веб-карту было не сильно сложнее, чем тайлы OpenStreetMap. Как и в «SAS.Планету», чтобы выкачать тайлы для любого региона в любых масштабах. Последнее и сломало Maxar: неизвестные люди или организации начали качать слишком много тайлов и слишком часто, что перегрузило серверы и, вероятно, стало слишком затратно для компании.

***

«Данные — новая нефть», и геоданные в особенности. Сотни тысяч компаний зарабатывают деньги исключительно обработкой данных, услугами на их основе. Вы знаете примеры. Но в отличие от нефти, которую нужно покупать у добывающих компаний, все привыкли к открытым данным, которые достаются бесплатно и почти без условий. «Информация должна быть бесплатной», популярно было говорить десять лет назад. Я в докладах порицал компании, торгующие картами, и призывал открывать геоданные и зарабатывать не на ресурсах, а на услугах. Потому что оплачивать нужно работу, а не доступ к вентилю.

Amazon как нельзя нагляднее показал, почему этот принцип не работает в мире Open Source. Люди пишут серверы и базы данных, публикуют код под открытой лицензией в соответствии со своими принципами и предлагают платные услуги по настройке и поддержке. И тут приходит Amazon, берёт бесплатное и предлагает те же услуги, но в единой инфраструктуре и дешевле, за счёт масштаба. Авторы в шоке от уходящих в амазон клиентов и начинают сомневаться, что сделали правильный выбор в пользу открытых исходников.

Мы это прочувствовали на себе в 2016 году, когда любители Pokemon Go сделали несколько сайтов, где можно было найти ближайших редких покемонов на карте. Тайлами для этих карт они выбрали бесплатные и открытые тайлы OpenStreetMap. От миллионов игроков наши серверы немного слегли и пришлось ввести драконовские ограничения на загрузку тайлов, от которых мы страдаем до сих пор. В прошлом же месяце нам удивили сотни людей, одновременно скачивающих файл планеты OSM. «Зачем вообще качать планету больше одного раза», — начали огрызаться участники.

Оказалось, что предоставление бесплатных ресурсов — это неблагодарная работа, требующая времени и денег, иногда слишком большого количества денег. Не говоря о получении этих данных — картографии или выведении спутников на орбиту и обработке снимков с них. Мы привыкли отдавать, а бизнес привык получать бесплатно. «Где получить снимки Земли в качестве не хуже Google Maps для коммерческой деятельности, желательно бесплатные?» — спросили в чатике недавно. Смешно звучит, но ведь «информация должна быть свободной», что тут такого? Очередной виток трагедии общин, разворачивающийся уже второй год, грозит сломать нам open source, сломать публикацию данных и усложнить жизнь картографам в OpenStreetMap.

Попытка Maxar закрыть тайловый слой для всех, кроме осмеров, первая в истории. Вместо записи в реестре подложек, его добавили напрямую в редактор iD с помощью Брайана и Квинси.. Ссылка защищена шифрованием AES: вместо домена и пути — набор цифр. Так просто адреса тайлов не вытащишь — нужно собирать по исходникам ключи, проверять алгоритм, писать код. Или... открыть инспектор сети в браузере и увидеть там готовые ссылки с ключами. Что и сделал вчера некто Sosha, чтобы обновить ссылки в JOSM. Ничто не помешает нажать те же кнопки сотрудникам компаний, которые хотят бесплатных снимков, и всё начнётся по-новой.

Атака покемонов

Илья Зверев — Tue, 31 Jan 2017 17:57:47 +0400

В июле прошлого года Niantic сделали игру Pokémon Go, которая немедленно стала самой популярной в мире. Сто миллионов игроков искали покемонов в парках и у ручьёв. «Давайте придумаем, как отхватить хотя бы процент этой аудитории», — носились маркетологи вокруг maps.me. «Давайте придумаем, как этих игроков заманить в OpenStreetMap», — обсуждали в нашей рассылке talk@. Мапперы искали признаки OSM в картооснове Pokémon Go, но игра упорно отказывалась демонстрировать точность и детальность наших карт. Кажется, в ней использовали те же данные, что в старой Ingress той же компании.

Впрочем, недавно на сайте Reddit обнаружили, что в списке источников в приложении появилось слово OpenStreetMap: оттуда компания взяла данные для Южной Кореи. Выбор понятен, если вспомнить, что в ноябре власти Южной Кореи отказались предоставить Google картографические данные (гугль сейчас там показывает старые растровые данные 2012 года от SK telecom).

Благодаря заметке, долгожданная популярность пришла в OSM: Южная Корея вышла в рейтинге активности стран на второе место (после США или Германии) с 600 редакторами в день. Неплохая прибавка к обычным пятнадцати на страну. Новички наносят на карту десятки тысяч объектов, и их качество, по оценке Мартина Райфера, неплохое.

С окончанием лета многие ушли из игры, и сейчас в неё играют самые упёртые, «хардкорные» игроки. Проблема в том, что их немало: только в Южной Корее четыре миллиона человек открывают приложение каждый день. Такие игроки, скорее всего, собрали основных покемонов и ищут способы быстрее найти редких. Они отслеживали их по карте и высматривали паттерны. Всё изменилось 31 августа: на Reddit опубликовали презентацию, сопоставляющую места появления покемонов с данными OpenStreetMap. Другие игроки проверили эту теорию и подтвердили: многие объекты, которых нет на Google Maps, притягивали покемонов.

Теперь у игроков в Pokémon Go был способ вычислить места с повышенной вероятностью найти редких покемонов. В последующие месяцы они его уточняли: например, определили релевантные теги (тропинки highway=footway или path внутри парков leisure=park/playground, landuse=grass и т. п.) и проверили, что покемоны появляются вдоль линий тропинок. Сайты показывали покемонов поверх OpenStreetMap, а покемоноводы передавали друг другу тексты запросов в Overpass API для поиска интересных мест.

22 декабря автор ютуб-канала Trainer Tips проверил, появятся ли покемоны на дорожке в парке, которую он нарисует в прямом эфире. Видео снято отлично, к слову. Всё важное происходит примерно с третьей минуты. К сожалению для нас, когда он приехал в пресловутый парк, его ждали сразу пять покемонов. Игроки быстро сообразили, что делать. Осмеры начали ругаться, затем вспомнили, что у нас дружелюбное сообщество, и под Новый год написали приветствие новичкам. Неизвестно, прочитал ли его кто, но змейки из тропинок пропали.

Ненадолго: 24 января участник Reddit похвастался, что он нарисовал в своём городе два парка и две поляны, после чего там появились гнёзда покемонов. В комментариях другие удачливые игроки поделились историями успеха: один парк нарисовал, другой — школу, и все радовались новым гнёздам. На следующий день весть подхватил сайт молодёжных новостей Mic.com, и в редактор iD побежала толпа игроков: Паскаль заметил, что его сайт статистики впервые зарегистрировал шесть тысяч активных картографов за сутки. То есть, около двух тысяч покемоноводов.

С этого дня новости про вандалов в OpenStreetMap стали включать слово «покемоны». Тропинки странной формы начали появляться не только в Корее, но и в Штатах, Индии, Бразилии, Южной Африке. Везде. Даже в Москве и в Ханты-Мансийске. Помня о вежливости, некоторые осмеры приветствуют новичков, но вычищая сотни километров ложных highway=footway, сложно сохранять лицо. BushmanK просто поругался (почему-то на участника DWG), а Майкл Райхерт написал инструкцию по поиску и уничтожению покемоноданных и покемонокартографов (на немецком языке, автоперевод). В Германии, говорят, две трети новых пользователей рисуют чушь для Pokémon Go. Даже сайт Mic.com через два дня попросил не портить карту — тщетно.

«Как долго ждать обновления данных в приложении» — спрашивают на Reddit. По ответам выходит, что от рисования парка до появления в нём гнезда проходит от месяца до четырёх. В других темах и в волшебном видео выше сроки совсем фантастические: от недели до одного дня. Позавчера WoodWoseWulf с Reddit закончил анализ связи гнёзд и дорог в OSM. В конце он пишет:

Те, кто зарегистрирован в OSM, могут поддаться желанию увеличить вероятности в своём районе. Я приветствую качественные и обдуманные правки OSM, но до сих пор не видел увеличения количества гнёзд на тропинках, нарисованных после первого релиза Pokémon Go.

Многие другие игроки поддерживают это наблюдение (например). К сожалению, информация об отсутствии влияния правок в OSM на количество покемонов вдохновляет не так, как слухи о их взаимосвязи, подкреплённые удачными вылазками. Поэтому прямо сейчас мы вынуждены регулярно просматривать карту и удалять потрясающие узоры из зелёных (у кого-то — пунктирных красных) линий.