38 заметок с тегом

osmf

Позднее Ctrl + ↑

Для кого тайлы?

Сейчас в чатике продолжился спор про расширение мощностей тайл-серверов OSMF в контексте недавнего блокирования сайта про покемоны. Если не слышали, то, во-первых, подписывайтесь на твитер и телеграм, во-вторых, 9 августа очередной сайт с покемонами на карте подключил подложку с osm.org и увеличил нам тайловый трафик на 13%. Серверы упёрлись в производительность дисков, и скачивание тайлов замедлилось у всех. Распределённое кэширование (Tile CDN) не помогло, так как пользователи требовали новых, ещё не отрендеренных тайлов близких масштабов. Сайт заблокировали, а затем из-за махинаций его владельца притормозили выдачу тайлов при отсутствующем заголовке «Referer».

У многих возник вопрос: почему бы не закупить новые диски и новые серверы, чтобы справиться с нагрузкой? Это ж всего 13%, а с апреля трафик увеличился на целых 66%. То есть, до конца года мы с такими темпами роста не доживём. Поставить SSD — один из способов решения: сейчас тайлы хранятся на HDD, а проблема возникла именно из-за скорости отдачи. Это дорого (500$ в месяц, которые предлагает автор покемоносайта, не помогут) и лишь отсрочит затык. Участники рабочей группы OWG сейчас обсуждают другие способы: например, добавить третий тайловый сервер. С прошлогоднего сбора осталось немного денег, которые пойдут и на эту задачу. Также они заметили дублирование метатайлов на двух серверах: Мэтт Эймос посчитал, пересечение оказалось всего 17%, так что едва ли поможет, но всё равно попробуют устранить. Ещё 25-50% ускорения можно получить от перекластеризации базы данных: по сути, физического упорядочивания строк в таблицах.

Сайт fastpokemap временно перешёл на тайлы ESRI

Но надо ли бежать исправлять? Энди Аллан в рассылке dev@ объяснил, что нынешних ресурсов хватит ещё на много лет, если использовать их по назначению: для мапперов. Именно так: все сервисы, что работают на серверах Фонда OpenStreetMap, предназначены для редакторов карты, включая API и картостиль. Исключение — файлы, хранящиеся на planet.osm.org: они для всех. Главной задачей OSMF является их постоянная доступность под открытой лицензией.

То есть, если вам нужны тайлы, Фонд не обязан их предоставлять и обеспечивать доступность. Если, конечно, вы не разработчик осмерского редактора или сайта osm.org. Да, мы долгое время позволяли использовать наши тайлы всем, за редким исключением приложений для пакетного скачивания. Но даже страница с условиями использования тайлов отмечает: «данные OSM бесплатны и открыты для всех. А тайлы — нет». Рано или поздно админам надоест, что основными пользователями тайлов стали разработчики, которым неохота платить другим компаниям, и они начнут закручивать вентиль. Никакие взносы в 500, 1000 или 5000 долларов в месяц не помогут: мы рады новым корпоративным членам OSMF, но платных услуг не предоставляем.

Последний безлимитный провайдер тайлов на основе OpenStreetMap, MapQuest, прикрыл сервис 11 июля. Все остальные — Mapbox, Stamen, CartoDB, Thunderforest и многие другие — имеют ограничения и ценник. Кто-то готов обсудить enterprise-план, кто-то — настроить рендерер на ваших серверах или в облаке. Стоит это недёшево, но вы же не думали, что к бесплатной открытой карте, созданной добровольцами на энтузиазме, прилагаются бесплатные сервисы и поддержка.

Жизнь без Стива

В 2004 году Стив Кост придумал проект OpenStreetMap, написал для него инфраструктуру и убедил чёртову уйму людей в перспективности задумки. В 2006 году он зарегистрировал организацию OpenStreetMap Foundation, и служил в ней председателем до 2012 года. Попутно, с 2007 по 2010, он пытался заработать на OSM деньги, создав компанию Cloudmade. Не получилось — в 2011 году он устроился в Bing, договорившись о выдаче всех спутниковых снимков для обрисовки в OSM. Позже он ушёл в Telenav, руководить перспективными разработками.

В августе 2012 года он уступил место председателя Совета Саймону Пулу, приняв звание «почётного председателя». К тому времени он уже почти не участвовал в жизни проекта, но время от времени писал заметки на тему, как несколько людей в OSM препятствуют развитию. За последние три года он несколько раз появлялся в сообществе, особенно заметно — год назад во время выборов в Совет OSMF. Каждый раз его запал иссякал в течение дней, и он снова пропадал на полгода-год.

Позавчера в рассылке osmf-talk@ Джерри Кло возмутился твитом от официального аккаунта @OpenStreetMap, продвигающим очередной кикстартер Стива (плакаты а-ля «все дороги в Рим», доставка в Россию стоит 130$). Поскольку твитер не слишком активен, такие рекламные посты очень выделяются, и мало кому ещё удаётся пропихнуть туда свои проекты. Вина, понятно, на CWG, но и на Стиве, который с большим шумом вернул себе право писать твиты в @OpenStreetMap три года назад. Итогами были не только рекламные твиты Стива, но и уход Ричарда Фэйрхёрста из Совета.

Спор неожиданно, с подачи Саймона Пула, перекинулся на личность Стива Коста и на его титул почётного председателя. Мол, с большими полномочиями (это, на минуточку, право участвовать в заседаниях Совета и выступать на конференциях от имени OSMF) должна идти большая ответственность, которой нет. Затем пошли разговоры о новых номинантах на этот титул. Переписка закончилась заявлением Стива Коста, согласованным с Советом: с этого дня он перестаёт быть почётным председателем и отдаёт право писать в твитер.

Так OpenStreetMap стал одним из немногих открытых проектов (единственным?), где основатель не только не управляет им по сей день (как в Linux или Wikimedia), но даже не имеет каких-то особых полномочий. Теперь Стив Кост — обычный член сообщества, как любой из вас. И как любой из вас, он может приносить огромную пользу проекту каждый день: дорисовывая карту, участвуя в разработке, организуя мероприятия или используя OpenStreetMap в работе над другими потенциально популярными сервисами.

48 часов

Двое суток назад на ежегодном собрании OSMF объявили результаты выборов в Совет. Набрав более одной пятой голосов от числа проголосовавших (272), в первом туре прошли я, Peter Barth и Martijn van Exel. После учёта вторых-третьих позиций в список вошёл Mikel Maron. То есть, в Совет прошли все четверо из списка известных кандидатов, и никто из тех, кто не был заметен в международных рассылках. Поправку про изменение взноса за корпоративное членство приняли с 78% голосов.

Спустя двое суток, мы ещё не успели разнести OSMF на щепки. Даже не обсудили ничего: только получаем доступ к рабочим сервисам. Доступ на редактирование вики OSMF и внутренней вики Совета, почтовый адрес ilya@osmfoundation.org, включенный в рассылку, аккаунт в Loomio, где голосуют за решения. И ещё у нас всех будут визитки!

«А-а-а, секретная вики!» — воскликнете вы заинтересованно. Увы, там не так много интересного. Конечно, все важные телефоны, чеки и бюджет, и полный список корпоративных членов OSMF (некоторые не хотят публичности). Из недавнего — требования к секретарю по найму, которого мы давно хотим взять, но как-то не можем начать искать. Для нас, новичков, Пол и Фредерик подготовили список всех используемых сервисов, который оканчивается ссылками на правила Совета и на список ответственностей, который приняли на февральской встрече.

Начнём работать мы на следующей неделе: только договоримся о времени созвона через Mumble. Члены Совета всё обсуждают по почте, и раз в месяц созваниваются, чтобы утвердить решения по ключевым вопросам. Возможно, когда-то будет и встреча вживую, но пока её нет даже в планах.

11 человек на 1 совет

В этом году выборы проходят без шума: из Совета OSMF по-тихому снимаются аж четыре человека, и только один из оставшихся — Кейт Чепмэн — работает более года. Ушли Хэнк Хофф, работавший с членами OSMF и успевший в этом году модернизировать систему членства; Оливер Кун, о котором мало что известно и который не посещал заседания; Дермот Макнэлли, интересный вживую, но не особо заметный в Совете; и Кейтлин Дэниэльсон, которую выбрали в прошлом году, но у неё не оказалось времени на участие.

Традиционно, за пять недель регистрации записались всего четыре человека, а в последние два дня прибежали ещё семеро. Вот из кого мы будем выбирать новый состав Совета (ссылки ведут на подборки Пола Нормана про каждого кандидата):

  • Ilya Zverev из России, работает в MAPS.ME. Да, это я. Хочу расшевелить Совет, писать о том, что происходит внутри. Эта заметка, очевидно, не нейтральна, как и всё в этом блоге.
  • Peter Barth из Германии, студент. Баллотировался в прошлом году, работает над трёхмерностью в OSM. Скопировал манифест с прошлого раза. Считает целевой аудиторией мапперов и разработчиков, но против оплаты какого-либо труда.
  • Mikel Maron из США, работает в Mapbox. Член Совета с 2007 по 2012 годы, сооснователь HOT, провёл картовстречу в Белом доме. Акцентирует внимание на возрождении региональных сообществ, рабочих групп и конференций.
  • Martijn van Exel из США, работает в Telenav. Член Совета OSM US (не имеет отношения к OSMF). Манифест не писал: «почитайте мой блог». Никакой позиции не видно, все ответы вида «да, но в некоторых случаях, конечно, нет». Только что открыл AMA («ask me anything») на гитхабе, где ничего нет, да и поздновато.

И семь человек, о которых я ничего раньше не слышал — что, в принципе, очень хорошо для развития OSMF, потому что новые люди — это новые идеи (да, я оптимист):

  • Guido Stein из США, работает в Applied Geographics. Зарегистрирован в 2010 году, но всего 29 ченджсетов. Один из организаторов FOSS4G 2017. На вопросы почти не отвечал.
  • Joseph Reeves из Англии, работал в HOT и был в его Совете. 9 тысяч правок, но с 2012 года в сообществе особо не участвует. Считает, что OSMF должен работать на повышение количества и качества правок, и стимулировать использование данных OSM. И что фонду нужны сотрудники по найму.
  • Ryan Peterson из США, работает в Apple. Не ответил ни на один вопрос. Стартапер, дал ссылку на свой LinkedIn.
  • Wille Marcel из Бразилии. Любит википедию и OSM, активный участник в Бразилии (картовстречи, конференции, твитер). Идёт в Совет, чтобы представлять в нём Бразилию и Латинскую Америку.
  • Gonzalo Perez из Аргентины, работает в National Geographic Institute. Манифеста нет, на вопросы не отвечал, в глобальном сообществе неизвестен.
  • Douglas Ssebaggala из Уганды, работает в НКО Fruits of Thought. Проводит картовстречи и прочие события. Хочет представлять в Совете Африку.

* Yantisa Akhadi из Индонезии, работает в HOT. «Мне понравилось, как устроен OSM, и я рад тратить на него время». Позиции, кажется, нет. Вписался за минуту до закрытия регистрации.

Nicolas Chavent поднял шум в рассылках, что состав кандидатов оставляет вероятность, что 4 из 7 членов Совета окажутся действующими сотрудниками HOT US Inc. (т. е. членами HOT). Это теоретически даст HOT возможность определять направление развития OSMF и проталкивать сомнительные решения. Все упомянутые в письме члены HOT (кроме Yantisa Akhadi) ответили, что это чушь, и никогда такого не было, и членство в двух организациях ничуть не приводит к противоречиям. Впрочем, среди этих четырёх нет членов Совета HOT, хотя Северин и Блейк из этого Совета успели поругаться в рассылке. Дальше Николя рассказал, как жёстко у них в HOT обходятся с инакомыслящими, а Фредерик Рамм напомнил, что эта организация не особо пушиста: например, они не советовались с OSMF, когда пытались зарегистрировать торговую марку со словом OpenStreetMap в середине.

Помимо выборов в Совет, члены OSMF (кроме ассоциированных) будут голосовать за поправку к Уставу, которая позволит Совету изменять размер ежегодного взноса для корпоративных членов по своему усмотрению, но с оповещением не позднее, чем за 60 дней. Звучит странно, и в рассылке сразу возникли вопросы: таким образом можно выгнать почти все компании из OSMF в пользу одной, например. Но пришёл Фредерик и рассказал, что они давно планируют целиком переделать корпоративное членство, добавить разные уровни поддержки и отсыпать плюшек, вроде бесплатного участия в SotM. OSMF не успевает закончить всю эту работу к ежегодному собранию, но эта маленькая поправка поможет запустить новую систему корпоративного членства в начале следующего года.

Члены OSMF всё ещё ждут писем с бюллетенями, обещанных 28 ноября. Голосование снова пройдёт по системе STV (когда каждому кандидату выставляют приоритет) и продлится неделю, до 5 декабря, 19:00. В этот час откроют канал #osmf-gm в IRC, в котором пройдёт ежегодное собрание фонда. На собрании же объявят результаты голосования и новый состав Совета.

Ах да, самое важное:

Первые среди приложений

Зимой, когда команда MAPS.ME влилась в Mail.Ru Group, руководители много говорили про полезность OpenStreetMap и как важно помогать проекту. Правда, не конкретизируя, как именно. Способов много — например, деньгами. Вчера блог OSMF среди новых корпоративных членов упомянул MAPS.ME, второй из российских компаний поддержавшую проект. Попасть в этот список оказалось непросто, но мы были решительны и потревожили немало бюрократов с обеих сторон.

У Фонда OSMF всегда тяжело с деньгами, а в этом году особенно: около половины средств приносят конференции State of the Map. Иногда они объявляют марафон по сбору средств, но и на такие акции рассчитывать нельзя. Проекту нужен постоянный, предсказуемый источник дохода. На сегодня он один: члены OSMF. Участие стоит £15 в год с человека и позволяет участвовать в политической жизни проекта (и носить почётное звание члена). К сожалению, мало кто знает, преодолевает лень или может себе позволить участие, поэтому количество членов растёт всего на 1-2 человека в неделю. В январе было 600 — это в 600 раз меньше количества редакторов OSM.

При этом членство в OSMF — единственный способ долгосрочно помогать проекту. Пожертвования не заменяют, а дополняют его. OpenStreetMap постоянно растёт, серверы ломаются и устаревают, пользователи требуют больше тайлов и данных. Проекту нужна ваша помощь, пусть даже в OSMF не говорят об этом напрямую. Поддержите OpenStreetMap, став членом OSMF, а ещё лучше — убедите руководство компании сделать то же самое от её имени.

Ранее Ctrl + ↓

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.