35 заметок с тегом

osmf

Тайлы на месте

Мы знаем, что OpenStreetMap используют многие российские службы: медики, пожарные, военные. Это здорово, и мы всегда готовы помочь советом или делом. К сожалению, в России между «государством» (т. е. бюджетными организациями) и «народом» (целевой аудиторией бюджетных организаций) существует коммуникационная яма. И с нашей стороны не хватает метафорических досок, чтобы построить мост, а другая сторона видит в яме монстров и боится подходить.

Поэтому когда в каком-то ведомстве говорят: «нам нужна бесплатная карта всего мира», там не спрашивают у картографов, что делать. Там берут яндекс, а когда он просит денег или когда нужно работать без интернета, переходят на OSM. В нашем сообществе сделать офлайновый OSM — это скачать планету, загрузить в базу, настроить мапник и renderd. У нормальных людей это скачать тайлы. Причём все, до конца, потому что иначе адресов на домах не видно (17-й зум на стандартном стиле: не может же у одной карты быть двух разных стилей).

Вчера Том Хьюз заблокировал одного из таких будущих пользователей OSM. Вы замечали, что последнюю неделю тайлы в России грузятся едва-едва. Их доставляет Горыныч, прокси-сервер яндекса (спасибо!). Так вот, с 18 июля количество запросов к прокси удвоилось, в пиках превышая сто тысяч в секунду. Сервер упал, IP заблокировали, но «атака» почти сразу продолжилась с другого адреса. Вечером 24-го Том идентифицировал блок IP и забанил его целиком. Карта стала заметно быстрее.

Когда-то одна организация роняла сервер тайлов Veloroad, и едва её забанили, спросила на форуме, что делать. Так обе стороны узнали друг друга и пришли к решению. Едва ли так получится в этот раз: тайлы на сайте OSM — это «общее», владелец никто, какие-то безымянные участники, а значит, можно не спрашивать разрешения, а пересесть за соседний компьютер с другим IP. Мы не можем найти нарушителя, он не хочет искать нас. Несмотря на бравые заявления на конференции «Веб и ГИС» 2011 года, у OpenStreetMap в России до сих пор нет юридического лица, с которым государственным организациям не зазорно разговаривать. Значит — всё позволено.

Технический способ решить проблему есть: ещё более ужесточить настройки прокси. В прошлом году замедлили выдачу тайлов не-браузерам. В октябре Котяра предложил пересмотреть ограничения, чтобы карта на экране скачивалась быстрее, а у тех, кто качает тайлы тысячами, — медленнее. Пул-реквест зарубили, главным способом решения проблемы скорости остаются «белые списки». Более эффективная мера — ключи: чтобы тайлы без ограничений можно было использовать, только указав свой уникальный ключ. Но их поддержка нагрузит админов лишней постоянной работой, чему они не будут рады.

25 июля   osmf

Лето на носу 2017

Шейдеры с отражениями для OSM2World сделал Зак Андерсон в рамках GSoC 2016

Ближайший важный дедлайн — это закрытие приёма заявок на доклады для State of the Map в Японии, второго апреля. Учитывая дороговизну полётов, билеты на самолёт и гостиницу лучше забронировать тоже до этого времени. Третьего же апреля другой дедлайн: для студентов-участников Google Summer of Code.

Проект OpenStreetMap участвует в GSoC в том или ином качестве с 2006 года. За это время студенты сделали немало заметных улучшений — правда, всё чаще в сопутствующих программах. Например, «испортили» картостиль или провели крупный рефакторинг ядра JOSM. Честно говоря, в списке законченных проектов я нашёл не устаревшие только с 2012 года, когда Ян плотно поработал над функциональностью редактора Vespucci. Но с каждым годом мы всё успешнее наставляем студентов, и их работа всё заметнее. Как редактор полосности дорог в iD, автора которого быстро замели в Mapbox.

Так что участие в Google Summer of Code не только помогает финансово (хотя в этом году доход будет чуть меньше прежних пяти тысяч долларов), но и ставит студента под прицел крупных компаний вроде Mapbox и Carto. Будьте осторожны — и выбирайте: в списке идей для проектов за двадцать предложений. Если вы осмер, то у вас, наверное, есть и свои. Напишите о своём желании в почтовую рассылку dev@ и до понедельника успейте составить формальную заявку для сайта GSoC 2017.

Если вы не студент, то айда в менторы. Почувствуете себя учителем, поможете студенту быстрее понять OpenStreetMap и направите его разработку в полезное русло. Всё, что нужно, — пара обязательных часов в неделю и письмо Петеру Барту с информацией о себе и своим e-mail. Координацией менторов в этом году занимается не он один, а целая рабочая группа EWG. Мы возродили её из пепла разработчиков и не допустим в ней прежних ошибок, то есть, разработки. Теперь EWG занимается исключительно управлением и координацией, помощью владельцам проектов и начинающим разработчикам. Во вторник в 23:00 по Москве её члены в третий раз созвонятся в Mumble, чтобы обсудить две насущные задачи: GSoC и список Top Ten Tasks.

2017   gsoc   osmf

Для кого тайлы?

Сейчас в чатике продолжился спор про расширение мощностей тайл-серверов OSMF в контексте недавнего блокирования сайта про покемоны. Если не слышали, то, во-первых, подписывайтесь на твитер и телеграм, во-вторых, 9 августа очередной сайт с покемонами на карте подключил подложку с osm.org и увеличил нам тайловый трафик на 13%. Серверы упёрлись в производительность дисков, и скачивание тайлов замедлилось у всех. Распределённое кэширование (Tile CDN) не помогло, так как пользователи требовали новых, ещё не отрендеренных тайлов близких масштабов. Сайт заблокировали, а затем из-за махинаций его владельца притормозили выдачу тайлов при отсутствующем заголовке «Referer».

У многих возник вопрос: почему бы не закупить новые диски и новые серверы, чтобы справиться с нагрузкой? Это ж всего 13%, а с апреля трафик увеличился на целых 66%. То есть, до конца года мы с такими темпами роста не доживём. Поставить SSD — один из способов решения: сейчас тайлы хранятся на HDD, а проблема возникла именно из-за скорости отдачи. Это дорого (500$ в месяц, которые предлагает автор покемоносайта, не помогут) и лишь отсрочит затык. Участники рабочей группы OWG сейчас обсуждают другие способы: например, добавить третий тайловый сервер. С прошлогоднего сбора осталось немного денег, которые пойдут и на эту задачу. Также они заметили дублирование метатайлов на двух серверах: Мэтт Эймос посчитал, пересечение оказалось всего 17%, так что едва ли поможет, но всё равно попробуют устранить. Ещё 25-50% ускорения можно получить от перекластеризации базы данных: по сути, физического упорядочивания строк в таблицах.

Сайт fastpokemap временно перешёл на тайлы ESRI

Но надо ли бежать исправлять? Энди Аллан в рассылке dev@ объяснил, что нынешних ресурсов хватит ещё на много лет, если использовать их по назначению: для мапперов. Именно так: все сервисы, что работают на серверах Фонда OpenStreetMap, предназначены для редакторов карты, включая API и картостиль. Исключение — файлы, хранящиеся на planet.osm.org: они для всех. Главной задачей OSMF является их постоянная доступность под открытой лицензией.

То есть, если вам нужны тайлы, Фонд не обязан их предоставлять и обеспечивать доступность. Если, конечно, вы не разработчик осмерского редактора или сайта osm.org. Да, мы долгое время позволяли использовать наши тайлы всем, за редким исключением приложений для пакетного скачивания. Но даже страница с условиями использования тайлов отмечает: «данные OSM бесплатны и открыты для всех. А тайлы — нет». Рано или поздно админам надоест, что основными пользователями тайлов стали разработчики, которым неохота платить другим компаниям, и они начнут закручивать вентиль. Никакие взносы в 500, 1000 или 5000 долларов в месяц не помогут: мы рады новым корпоративным членам OSMF, но платных услуг не предоставляем.

Последний безлимитный провайдер тайлов на основе OpenStreetMap, MapQuest, прикрыл сервис 11 июля. Все остальные — Mapbox, Stamen, CartoDB, Thunderforest и многие другие — имеют ограничения и ценник. Кто-то готов обсудить enterprise-план, кто-то — настроить рендерер на ваших серверах или в облаке. Стоит это недёшево, но вы же не думали, что к бесплатной открытой карте, созданной добровольцами на энтузиазме, прилагаются бесплатные сервисы и поддержка.

2016   osmf

Жизнь без Стива

В 2004 году Стив Кост придумал проект OpenStreetMap, написал для него инфраструктуру и убедил чёртову уйму людей в перспективности задумки. В 2006 году он зарегистрировал организацию OpenStreetMap Foundation, и служил в ней председателем до 2012 года. Попутно, с 2007 по 2010, он пытался заработать на OSM деньги, создав компанию Cloudmade. Не получилось — в 2011 году он устроился в Bing, договорившись о выдаче всех спутниковых снимков для обрисовки в OSM. Позже он ушёл в Telenav, руководить перспективными разработками.

В августе 2012 года он уступил место председателя Совета Саймону Пулу, приняв звание «почётного председателя». К тому времени он уже почти не участвовал в жизни проекта, но время от времени писал заметки на тему, как несколько людей в OSM препятствуют развитию. За последние три года он несколько раз появлялся в сообществе, особенно заметно — год назад во время выборов в Совет OSMF. Каждый раз его запал иссякал в течение дней, и он снова пропадал на полгода-год.

Позавчера в рассылке osmf-talk@ Джерри Кло возмутился твитом от официального аккаунта @OpenStreetMap, продвигающим очередной кикстартер Стива (плакаты а-ля «все дороги в Рим», доставка в Россию стоит 130$). Поскольку твитер не слишком активен, такие рекламные посты очень выделяются, и мало кому ещё удаётся пропихнуть туда свои проекты. Вина, понятно, на CWG, но и на Стиве, который с большим шумом вернул себе право писать твиты в @OpenStreetMap три года назад. Итогами были не только рекламные твиты Стива, но и уход Ричарда Фэйрхёрста из Совета.

Спор неожиданно, с подачи Саймона Пула, перекинулся на личность Стива Коста и на его титул почётного председателя. Мол, с большими полномочиями (это, на минуточку, право участвовать в заседаниях Совета и выступать на конференциях от имени OSMF) должна идти большая ответственность, которой нет. Затем пошли разговоры о новых номинантах на этот титул. Переписка закончилась заявлением Стива Коста, согласованным с Советом: с этого дня он перестаёт быть почётным председателем и отдаёт право писать в твитер.

Так OpenStreetMap стал одним из немногих открытых проектов (единственным?), где основатель не только не управляет им по сей день (как в Linux или Wikimedia), но даже не имеет каких-то особых полномочий. Теперь Стив Кост — обычный член сообщества, как любой из вас. И как любой из вас, он может приносить огромную пользу проекту каждый день: дорисовывая карту, участвуя в разработке, организуя мероприятия или используя OpenStreetMap в работе над другими потенциально популярными сервисами.

2016   osmf

48 часов

Двое суток назад на ежегодном собрании OSMF объявили результаты выборов в Совет. Набрав более одной пятой голосов от числа проголосовавших (272), в первом туре прошли я, Peter Barth и Martijn van Exel. После учёта вторых-третьих позиций в список вошёл Mikel Maron. То есть, в Совет прошли все четверо из списка известных кандидатов, и никто из тех, кто не был заметен в международных рассылках. Поправку про изменение взноса за корпоративное членство приняли с 78% голосов.

Спустя двое суток, мы ещё не успели разнести OSMF на щепки. Даже не обсудили ничего: только получаем доступ к рабочим сервисам. Доступ на редактирование вики OSMF и внутренней вики Совета, почтовый адрес ilya@osmfoundation.org, включенный в рассылку, аккаунт в Loomio, где голосуют за решения. И ещё у нас всех будут визитки!

«А-а-а, секретная вики!» — воскликнете вы заинтересованно. Увы, там не так много интересного. Конечно, все важные телефоны, чеки и бюджет, и полный список корпоративных членов OSMF (некоторые не хотят публичности). Из недавнего — требования к секретарю по найму, которого мы давно хотим взять, но как-то не можем начать искать. Для нас, новичков, Пол и Фредерик подготовили список всех используемых сервисов, который оканчивается ссылками на правила Совета и на список ответственностей, который приняли на февральской встрече.

Начнём работать мы на следующей неделе: только договоримся о времени созвона через Mumble. Члены Совета всё обсуждают по почте, и раз в месяц созваниваются, чтобы утвердить решения по ключевым вопросам. Возможно, когда-то будет и встреча вживую, но пока её нет даже в планах.

2015   osmf
Ctrl + ↓ Ранее