Вчера внезапно написал в mastodon (куда я окончательно переехал из твитера) про ситуацию с Overture и покемонами.

Для контекста, неделю назад Niantic (авторы Pokémon GO) объявили о новых покемонах, которые появляются только на пляжах. Игроки тут же начали рисовать ложные пляжи на OpenStreetMap. Так же, как семь лет назад они рисовали парки. Разумеется, это нагружает лишней работой картографов и растит досаду от Niantic и раздражение от покемоноводов.

Саймон Пул обратил внимание, что за эти семь лет компания Niantic не только не ответила на запросы OSMF или вообще хоть как-то связалась с сообществом. Вместо этого она вступила в фонд Overture Maps! Пользуется картой от добровольцев, но платит корпорациям, как так получилось?

Сюда наслаивается непонимание действий Linux Foundation, который вместо поддержки OSM взял под крыло Overture Maps и этим разделил «вину». Почему корпорациям везёт, а нам — нет?

Я уже писал, почему Overture — это хорошо, и почему OSMF пока нет смысла поддерживать. В треде mastodon примерно то же самое, потому что, как нас учил преподаватель по физике, важные мысли нужно повторять трижды.

* * *

Бизнес и фонды хотят поддерживать OpenStreetMap. Они видят огромное сообщество и пользу от карты для миллиардов людей и десятков тысяч организаций. Крупные фонды создаются для поддержки именно таких проектов, как наш.

Но у нас уже есть фонд. OSM Foundation. Все ожидают, что фонд помогает проекту расти: поддерживает картографов, сообщество, инструменты редактирования и валидации. Те инструменты, которые сделали бы вандализм от покемоноводов легко обнаружимым и откатываемым.

Разумеется, OSMF не просил и не собирался становиться частью Linux Foundation. Зачем нам? Ну и фонды, кажется, редко говорят между собой, это не бизнес.

Есть и другая группа. Она подготавливает геоданные и продвигает их организациям. В невиданном до сих пор масштабе, с известными корпорациями. Вместо коммерческой структуры они хотели оформить открытый фонд — и Linux Foundation им помог.

Да и почему бы и нет? Overture Maps — это открытые данные. Компании-участники уже хорошо проявили себя на поле open source. Они вкладывают серьёзные деньги в продвижение открытых геоданных и конкурируют с Google, а не с нами. Со всех сторон отлично.

Чего Linux Foundation не знают — это что на сегодня нельзя сказать, что OSMF поддерживает картографов. OSMF занят серверами, потребителями данных и конференциями. Почитайте темы ежемесячных встреч Совета.

Раньше осмеров поддерживали организации. HOT, Cloudmade, Mapbox, Grab. Но на сегодня они все отошли в сторону (или развалились). Некому больше нас поддерживать, кроме нас самих.

А когда ресурсов мало, люди начинают думать в терминах не совместной работы и развития, а соперничества и зависти. Overture Maps отъедает наши ресурсы!

Можете подумать: это же нормально, что OSM работает на энтузиазме. Но если обернуться, такая ситуация исключительно редка. Может, лет пять за всю историю проекта.

Проблемы сейчас у всего IT-сектора. Всюду увольнения, сокращения проектов. OSM их не избежал — вот в такой неявной форме. Все страдают, и мы тоже сами по себе. Как мы говорим, OSM — это боль, и нынче чуть больнее обычного.

Так что такие четыре наблюдения:

1. Высший уровень корпоративного членства в OSMF — 30 тысяч евро. Это смешная сумма, которая никому не поможет, поэтому ничего странного в том, что Niantic и другие не вписываются.
2. Overture Maps эффективны, стоят своих денег, и они заставят мир перейти на OpenStreetMap. Нам повезло, что они появились.
3. Поддерживать осмеров — это как поддерживать OpenSSL. Всем пофиг, кто и как делает карту, пока карта не ломается. Overture защищает пользователей от поломок.
4. На сегодня вообще нет способов поддержать картографов. И это не проблема Niantic или Linux Foundation.

На прошлых выходных члены Совета OSMF собирались на очную встречу, чтобы обсудить стратегию развития OpenStreetMap. Я насыпал им немного идей, так что есть шанс, что через пару лет наш фонд повернётся лицом и к корпорациям, и к нам.

Сейчас в чатике продолжился спор про расширение мощностей тайл-серверов OSMF в контексте недавнего блокирования сайта про покемоны. Если не слышали, то, во-первых, подписывайтесь на твитер и телеграм, во-вторых, 9 августа очередной сайт с покемонами на карте подключил подложку с osm.org и увеличил нам тайловый трафик на 13%. Серверы упёрлись в производительность дисков, и скачивание тайлов замедлилось у всех. Распределённое кэширование (Tile CDN) не помогло, так как пользователи требовали новых, ещё не отрендеренных тайлов близких масштабов. Сайт заблокировали, а затем из-за махинаций его владельца притормозили выдачу тайлов при отсутствующем заголовке «Referer».

У многих возник вопрос: почему бы не закупить новые диски и новые серверы, чтобы справиться с нагрузкой? Это ж всего 13%, а с апреля трафик увеличился на целых 66%. То есть, до конца года мы с такими темпами роста не доживём. Поставить SSD — один из способов решения: сейчас тайлы хранятся на HDD, а проблема возникла именно из-за скорости отдачи. Это дорого (500$ в месяц, которые предлагает автор покемоносайта, не помогут) и лишь отсрочит затык. Участники рабочей группы OWG сейчас обсуждают другие способы: например, добавить третий тайловый сервер. С прошлогоднего сбора осталось немного денег, которые пойдут и на эту задачу. Также они заметили дублирование метатайлов на двух серверах: Мэтт Эймос посчитал, пересечение оказалось всего 17%, так что едва ли поможет, но всё равно попробуют устранить. Ещё 25-50% ускорения можно получить от перекластеризации базы данных: по сути, физического упорядочивания строк в таблицах.

Сайт fastpokemap временно перешёл на тайлы ESRI

Но надо ли бежать исправлять? Энди Аллан в рассылке dev@ объяснил, что нынешних ресурсов хватит ещё на много лет, если использовать их по назначению: для мапперов. Именно так: все сервисы, что работают на серверах Фонда OpenStreetMap, предназначены для редакторов карты, включая API и картостиль. Исключение — файлы, хранящиеся на planet.osm.org: они для всех. Главной задачей OSMF является их постоянная доступность под открытой лицензией.

То есть, если вам нужны тайлы, Фонд не обязан их предоставлять и обеспечивать доступность. Если, конечно, вы не разработчик осмерского редактора или сайта osm.org. Да, мы долгое время позволяли использовать наши тайлы всем, за редким исключением приложений для пакетного скачивания. Но даже страница с условиями использования тайлов отмечает: «данные OSM бесплатны и открыты для всех. А тайлы — нет». Рано или поздно админам надоест, что основными пользователями тайлов стали разработчики, которым неохота платить другим компаниям, и они начнут закручивать вентиль. Никакие взносы в 500, 1000 или 5000 долларов в месяц не помогут: мы рады новым корпоративным членам OSMF, но платных услуг не предоставляем.

Последний безлимитный провайдер тайлов на основе OpenStreetMap, MapQuest, прикрыл сервис 11 июля. Все остальные — Mapbox, Stamen, CartoDB, Thunderforest и многие другие — имеют ограничения и ценник. Кто-то готов обсудить enterprise-план, кто-то — настроить рендерер на ваших серверах или в облаке. Стоит это недёшево, но вы же не думали, что к бесплатной открытой карте, созданной добровольцами на энтузиазме, прилагаются бесплатные сервисы и поддержка.