Позднее Ctrl + ↑

State of the Map у вас дома

Прямо завтра начинается международная конференция осмеров State of the Map 2020. Но снаружи вирус — нам нельзя собираться в большие группы. Поэтому мы соберёмся в гигансткую группу, но по-отдельности, каждый у себя дома. В этом году не нужны авиабилеты, дни отпуска, гостиница и регистрация: конференция пройдёт полностью онлайн.

Главное — видеотрансляции докладов, два потока с 13:00 до часу ночи по Москве. Обратите внимание на переключатель часового пояса в расписании докладов. Нужно знать, что это не YouTube. Трансляцию делают ребята из Германии: они пишут, что удобнее смотреть не через браузер, а через VLC или плагин для Kodi (бывший xbmc; поищите Video Add-ons / CCC-TV).

Нетворкинг, к сожалению, в программу не входит: сложно онлайн случайно на кого-то наткнуться и разговориться. Сложно и случайно встретить русскоговорящего участника, чтобы потом оставшееся время обсуждать с ней или с ним иностранцев. Интровертам особенно тяжело: когда окружение не втягивает тебя в беседы, соблазнительно никуда и не подключаться, остаться наблюдателем. Пересильте себя. Общение на SotM регламентировано и упаковано в группы по интересам. Где-то там и спонсорские стенды: подключаетесь к серверу BigBlueButton и разговариваете. Фейсбук, например, этой схемы не понял и просто выложил пару ссылок на vimeo.

Когда я услышал, что конференция переезжает в онлайн, сначала не понял, кому это нужно. Затем восхитился: обычно State of the Map посещают 200-400 человек, самые привилегированные, кто может выложить деньги за поездку. А теперь всё бесплатно — нас может быть тысяча, две тысячи! Но чем ближе к дате, тем больше сомнений: ну реально, кто смотрит записи выступлений? Кто будет разбираться в груде ссылок и нетипичной видеотрансляции? Организаторы сильно ограничены в технологиях, поэтому вносить смыслы в конференцию придётся нам.

Что делать русскоязычным участникам? Смотреть доклады. Обсуждать конференцию в телеграм-группе @ruosm. Читать канал @foss4g_ru, куда я буду скидывать интересности по ходу дела. В воскресенье в 16:00 по московскому времени заходите на русскоязычный нетворкинг в этот канал! Глупо не воспользоваться конференцией, чтобы увидеть лица друг друга. Попьём чай онлайн, послушаем, кто где живёт. Ещё не пропустите викторину перед закрытием конференции — 23:45 по Москве, пара десятков вопросов на знание истории и технологий OpenStreetMap. Конференция должна быть весёлой, вот только найти интересное в онлайне сложнее, чем в физическом помещении.

Беззащитные тайлы

Саймон Пул от имени рабочей группы по лицензиям (LWG) объявил, что с 1 июля тайлы стандартного слоя OpenStreetMap поменяют свою лицензию. Уйдёт share alike: требование публиковать работы, использующие тайлы, под открытой лицензией. Оно мешало многим, в том числе научным журналам, которые относятся к лицензиям внимательнее обычных СМИ.

Долгое время (с 2006 года) тайлы публиковались под CC-BY-SA 2.0. В то время условия этой лицензии были понятны: указание авторства и копилефт, «вирусная» особенность заражения производных работ открытой лицензией. Данные OpenStreetMap распространялись под той же лицензией. Только через два года участники проекта задумались, что лицензия вообще не защищает базы данных (эта защита появилась в 4.0). А что касается тайлов — получается, книги, в которых есть изображения карты в стандартном стиле, нужно выкладывать в интернет бесплатно? Лицензии — это сложно, поэтому и пользователи, и осмеры предпочитали делать вид, что приставки -SA не существует.

Тем не менее, как пишет Саймон, предложение перейти на CC-BY 4.0 (без share-alike) год назад сообщество — вернее, Кристофф Хорманн, как обычно, — встретило в штыки. Так что LWG, не успев даже обсудить переход, бросила эту идею. Но с share-alike нужно было что-то делать — и теперь у нас решение в стиле брекзита: раз никакие лицензии не устраивают, лицензии на тайлы никакой и не будет.

Буквально: тайлы с 1 июля публикуются просто как «ODbL Produced Work» без каких-либо дополнительных условий. Все условия написаны до нас десять лет назад. Производные творения на основе данных OSM можно публиковать как угодно — хоть под CC0, хоть под коммерческой лицензией, рубль за тайлик. А можно без лицензии. Но это не значит, что эти картинки не обременены никакими условиями. Пункт 4.3 лицензии ODbL требует, чтобы производные работы сопровождались пометкой, что они сделаны на основе данных под лицензией ODbL.

Для пользователей тайлов ничего не поменяется: всё так же нужно будет писать на карте или рядом с ней «© участники OpenStreetMap». Мы и раньше не защищали условие share alike, а теперь официально снимем этот дамоклов меч с работ, использующих наши карты. Скоре всего, если вы добавляли после копирайта запятую и «CC-BY-SA 2.0», эти буквы нужно будет заменить на более короткое «ODbL».

Кажется, это первый раз, когда правообладатели производной работы от OSM не стали выбирать лицензию на эту работу, а целенаправленно оставили её без дополнительных условий использования, при этом отдавая себе отчёт и публично комментируя, что это всё равно накладывает на пользователей производной работы ограничения. Вирусные лицензии восхитительны в свете описания побочных и пограничных случаев, а картографические лицензии восхитительны вдвойне. «Это стихотворение придумано с использованием данных OSM под лицензией ODbL».

4 мес   закон

Mapillary in 2020 will now have stories

Позавчера Mapillary неловко объявили, что их купил Facebook. Из размеров компаний уже понятно, что это большие новости: не зря они пролетели по всем технологическим блогам и телеграм-каналам про данные.

Хранить и обрабатывать миллионы фоточек для картографических нужд сложно. В 2009 году Джон Маккеррел сделал проект OpenStreetView, куда люди загружали снимки по одному через веб-интерфейс или пакетом через ftp. Модерировать их было скучно, законы на съёмку публичных пространств слишком ограничивали, а стоимость хранения данных не падала. Казалось, сделать открытую альтернативу Google Street View было технически невозможно.

Спустя пять лет шведский стартап Mapillary доказал обратное. Они не распространялись про источники финансирования, но кажется, среди коммерческих компаний был огромный запрос на хранение и обработку частных панорамных снимков. Для OpenStreetMap в компании за следующие шесть лет сделали очень много: собрали и опубликовали более миллиарда фотографий, встроили слои в iD и JOSM, автоматизировали распознавание дорожных знаков и прочих объектов. Mapillary ощущается такой же частью инфраструктуры открытых карт, как, например, Overpass API. Он полезен не только для OSM: муниципалитеты и министерства разных стран публикуют в нём снимки для отслеживания состояния улиц.

Для всех пользователей Mapillary эта покупка — отличная новость:

  • Источник финансирования стал понятен, и поэтому меньше опасений, что компания внезапно закроется.
  • Поддержка крупной компании — это дополнительное доверие со стороны других крупных компаний. То есть, больше снимков для нас и активнее разработка.
  • Разработчики перестанут отвлекаться на коммерческие задачи и сфокусируются на извлечении максимума картографических данных из фотографий.
  • Все снимки становятся бесплатны также и для коммерческого использования.

Последний пункт особенно удивляет, если не понимать, для чего фейсбуку Mapillary. Купили проект не за перспективную бизнес-модель: в сравнении с Facebook их прибыль ничтожна. Это не случай maps.me, когда после года бесплатного развития mail.ru потребовал от проекта прибыли. Технологические гиганты покупают стартап, если а) он решает какую-то проблему компании, б) у него исключительно талантливая команда. В последнем мы не сомневаемся.

Зарабатывать на Mapillary фейсбук не планирует, и конкуренции он тоже не боится. Полгода назад Grab купил OpenStreetCam — альтернативу Mapillary с 2016 года. Это был более гиковский проект, ориентированный только на снимки с автомобилей. Разработчики Telenav, владельца OSC, даже сделали интеграцию со сканерами OBD2: знание скорости и угла поворота машины помогает улучшать координаты с GPS. Увы, после покупки сервис долго не прожил: загрузка треков начала барахлить, ответственных не найти. Мы считаем, что OSC теперь решает внутренние задачи Grab, а для публики он умер.

OpenStreetCam создавали, потому что универсальный контракт с Mapillary был бы слишком дорогим, и перекупили его по той же причине. Сложно представить, что условный Uber сможет получить все фотографии от нынешнего владельца OpenStreetCam, их азиатского конкурента. Но Uber и Grab не конкуренты фейсбуку, а другие социальные сети едва ли могут получить преимущество от фотографий улиц. Поэтому открывая снимки Mapillary для коммерческого использования, Facebook ничем не рискует.

С покупкой Mapillary фейсбук получает миллиард фотографий и двадцать магистров и кандидатов наук с кучей опубликованных статей, патентов и алгоритмов. Зачем им? Ответ неожиданен и прост: пока мы не смотрели, Facebook превратился в главную технологическую компанию в OpenStreetMap, оставив окуклившийся Mapbox позади. Видимо, кто-то убедил Цукерберга, что на рынках Азии и Африки можно заработать больше, если в приложениях жители городов смогут найти свои улицы. А поскольку свою карту фейсбуку делать не резон, а готовые сложно подбирать и дорого покупать, то компания обратилась к OpenStreetMap.

Facebook известен в проекте тем, что с помощью нейросеточек находит на спутниковых снимках дороги, векторизует их, сравнивает с дорогами в OSM и помогает картографам быстро дорисовать недостающее. Первые их попытки добавлять дороги в Египте и Таиланде поссорили их с местными сообществами, но спустя три года все рады нажимать на кнопки в RapiD, вместо того, чтобы отрисовывать дороги руками. У фейсбука, разумеется, есть скрытая армия картографов, но главное в OpenStreetMap — одобрение сообщества.

А теперь представьте, что вдобавок к снимкам и данным OSM фейсбук получил фотографии Mapillary. Как тут развернутся их инженеры! Со спутника видна дорога, с камеры — её покрытие, разметка и знаки. Со спутника видим дом, с камеры — его высоту, материал, вывеску магазина. Берём заведения из OSM, сопоставляем с фотографиями, отмечаем вероятно устаревшие, передаём армии картографов. Считаем количество машин на фотографиях, выводим классификацию дорог. Несмотря на достижения команды Mapillary, они едва-едва вошли в океан способов использовать свои фотографии для улучшения карты. Взять тот же редактор Deriviste Ричарда Фейрхёрста: видишь скамейку на фото, кликаешь в неё, вводишь «скамейка», сохраняешь. Но в Mapillary уже умеют определять, что за объект на фото!

При всём этом ликовании некоторые осмеры в комментариях к новости настроены скептически, выкачивают свои снимки из Mapillary и закрывают аккаунты. Никто не любит фейсбук — и заслуженно. Я сам сократил посещение их сайта до пяти минут в день и не трогаю RapiD. Несмотря на заслуги Google и Microsoft, именно Facebook сегодня — технологическая корпорация зла. Проблема фейсбука не в технологиях, а в этике: едва ли Mapillary закроют или обвесят рекламой. Но кто знает, как именно компания воспользуется оригиналами фотографий со всего земного шара, чтобы пополнить свою базу данных о жителях (включая авторов снимков), их привычках, координатах и социальных связях?

Новые данные огорчат осмеров и новыми стычками с компанией. Facebook уже высказывал заинтересованность в импортах заведений и зданий. Усиленные распознанными фотографиями, коммерческие данные уверят сотрудников в том, что картографы-любители рядом не стояли с результатами работы их нейросеточек. Повторится Египет, только уже ближе к «первому миру». Компания извинится раз, извинится другой, а затем её инженеры найдут подход, чтобы убедить сообщество в том, что оно контролирует ситуацию. И в этот момент ещё часть контроля над данными уйдёт фейсбуку.

Уходить от Mapillary некуда: OpenStreetCam умер, остался... OpenTrailView 360 Ника Уайтлегга. Полностью открытый код, поддержка панорам, внимание на пешеходные маршруты. Достойное начинание — пока в проекте участвуют пара человек. Но стоит ему привлечь публику, как потребуется финансирование для хранения терабайтов фотографий и для разработки средств защиты личной информации, как то замыливания лиц и автомобильных номеров. Подобный проект может быть открытым в теории или в личном использовании, но масштабировать его можно только при поддержке крупной компании. Единственная альтернатива — каталог с геопривязанными фоточками на своём компьютере.

Facebook купил Mapillary, и это хорошая новость для фейсбука, для команды Mapillary, для жителей стран с плохими картами и для осмеров. Не терпится увидеть, как их разработчики придумают улучшать OpenStreetMap с новыми ресурсами и знаниями. Печально лишь то, что теперь, отправляя свежие снимки в Mapillary, нельзя не думать, что отправляешь свой маршрут и всё, что ты видел по пути, не в дружелюбную шведскую компанию, а в фейсбук.

Where’s the streetwise Hercules to fight the rising odds?

Главное — насколько хорошо тут выявлены и разложены по полочкам недостатки классической почты. Причём очевидно, что все эти недостатки — не какие-то фундаментальные труднорешаемые задачи, а обычный тупняк и лень разработчиков почтовиков. Просто непонятно, чем они занимаются и почему десятилетиями не делают эти простые вещи. Эпл может встроить все фичи Хея в следующий релиз Мейла как нефиг делать, если захочет. Для этого не понадобится ни машин-лёрнинг, ни огментед-реалити, понадобится просто пара программистов и один дизайнер.

Илья говорит даже не про недостатки отдельного класса продуктов, а про глобальный тупняк в современных программах. Каждый сайт, каждое приложение, каждая программа на компьютере кишит неудобствами. Многие исправляются просто за день-два, была бы воля. За последние годы мы потеряли даже такое простое свойство форм как установка курсора в первое поле ввода, чтобы не нужно было кликать в него мышкой или жать Tab. Всё плохо, и становится хуже.

Та же фигня в картах. Пик развития современных карт — это линии дорог, подписи и полигоны зданий и рек. Которые можно раскрашивать в любые цвета. О чудо! Пофиг, что каждый из компонентов карты выглядит как мусор, что ничего не гармонирует ни с чем, зато всё быстро, весело и настраиваемо. Больше настроек, больше свободы! Внезапно, после длинного пути к упрощению, мы вернулись к интерфейсам больших ГИС — гуглокарты даже хвастаются деревьями настроек из сотен пунктов. Эти интерфейсы — одна из причин, почему люди когда-то сбежали в гуглокарты, и теперь боковые панели со слоями нагнали их и там.

Интерфейсам, как и картам, нужна очередная революция. Технологии у нас отличные, а этика и удобство хромают. Нельзя сделать бесплатное приложение без рекламы. Нельзя туристическому бизнесу не толкать пользователей под аппарат вентиляции лёгких. Компания не может изменить курс, только реагировать на запросы и придумывать новые фичи для монетизации. Инновации не приходят из больших компаний. Гугль может ускорить HTTP, фейсбук может ускорить хранение данных и разработку веб-приложений, но сайты всё равно тормозят, а данные на них не делают нас счастливее.

Чтобы сделать что-то лучше, нужно сначала признать, что оно сломано. Полиция бьёт вместо того, чтобы защищать, экономика фрилансерства лишает людей базовых прав, а почта настолько сломана, что у меня 1700 непрочитанных сообщений и я не хочу в неё заходить. «Don’t be evil» за десять лет превращается в «давайте не смотреть, на чём держится наша организация, а делать счастливый вид». Инициатива может быть только у отдельных людей вне институтов и давления акционеров: журналистов, разработчиков, учёных. Это мы и видим с Hey: почту переизобретают несколько человек в маленькой компании с карт-бланшем на разнос устоявшихся структур.

Поэтому нужно ругать основы OpenStreetMap. Понимать, где шатается и что ограничивает. Если отношение к критическим заметкам — «зачем раскачивать лодку», как огребли Серж и я в 2018 году, то это прямо красный флаг. Флаг, развевающийся над забетонированной институцией с заколоченными окнами и транспарантом «у нас всё хорошо!» снаружи. Победивший дракона сам стал им, под рефрен директоров «главное не превратиться в дракона». Где те одиночки, которые перепридумают нам карту?

Тротуары Лондона недостаточно широки для твоей мамы

Увидел очередную заметку на тему ширины тротуаров и социального дистанцирования, и немного вскипел. Сколько можно делать этот бессмысленный арт, отвлекая внимание от остальных каналов телеграма?!

Собрать данные о тротуарах в масштабе подобных карт — сложнейшая задача, недоступная непрофессионалам. «Урбика» собирала их для Москвы в 2015 году, и получилось совсем чуть-чуть. Мили Харви для карты Нью-Йорка совершила вычислительное чудо в GeoPandas. На картах ширин тротуаров мы видим многолетнюю работу специалистов, десятки тысяч километров промеренных дорог, сложные гео-вычисления — это нельзя не уважать.

Но связывать эти карты с коронавирусом и урбанистикой стыдно.

  1. Социальное дистанцирование, которое нужно соблюдать, — не то же самое, что физическое. В первом случае вы избегаете контактов с людьми: не ходите в гости и на мероприятия, откладываете покупки и поездки. Физическое дистанцирование — это рекомендованные 2 метра друг от друга. С 18 марта ВОЗ говорит только о физическом дистанцировании — не потому, что зараза научилась прыгать с человека на человека, аки блоха. А потому что в понятие социального дистанцирования входят и виртуальные связи, которые сейчас нужно укреплять, а не обрывать. Лучше пусть встречаются, но не близко.
  2. При движении круг опасности заражения вокруг вас сужается и вытягивается назад. Даже если бы заражение было мгновенным от одной частички вируса, достаточно было бы обходить других за один метр, но держать расстояния в три метра от следующего. Для бегунов и велосипедистов «хвост» вируса может вытягиваться до 20 метров. Поэтому два метра — это слишком.
Из препринта исследования Берта Блокена сотоварищи
  1. Вероятность заболеть также пропорциональна количеству частиц вируса, которые вы соберёте. Для заражения нужно взаимодействовать с больным на очень близком расстоянии, либо долгое время, 10-15 минут. Пройти мимо больного на улице практически безопасно. Если вы остановились поговорить со знакомым на десять минут и стоите не вдоль, а поперёк тротуара, то да, вам может понадобиться два метра.
  2. Карты ширин тротуаров лукавят. Два метра ширины они кладут в «красный» сектор, потому что от 60% до 90% тротуаров уже достаточно широки. Авторы агитируют за тротуары от трёх, и то и пяти метров, как на карте Нью-Йорка. Если представить, что все тротуары сделали шириной пять метров, то мы получим условный Минск. Несоразмерные человеку площади, гигантские бесполезные пространства. Разумный город захочет их сузить: поставить торговые палатки и скамейки, посадить кусты. Эффективная ширина тротуаров вернётся к двум метрам. Вирус довольно потирает метафорические ручки.
© La Citta Vita, CC-BY-SA 2.0

Даже картография тут расстраивает. Нынешняя эпидемия вируса осыпала нас гигантским количеством карт. Распределение заражений по странам, свойства городов, перелёты, закрытые границы. Каждая из этих карт по-своему чудовищна. Что немного предсказуемо: вирус не знает про границы, статистика не сохраняет индивидуальные случаи, а карты не умеют показать то, у чего нет координат. Когда кто-то пытается собрать эти координаты в достаточном количестве, они напарываются на этическую проблему с тотальной слежкой. Проблема неразрешима, если мы всё ещё думаем о людях, а не о карте и вычислениях на ней.

Мир захватили инженеры. Им свойственно считать, что знание инструментов и алгоритмов заменяют любую экспертизу. Нет проблем, есть технические задачи. Во время самоизоляции есть куча времени, чтобы покопаться в форматах, установить библиотеку, поиграть со слоями. Ощущить свою полезность через код и пиксели. Не нужно быть картографом, чтобы сделать карту. Как и в остальном информационном дизайне, инфографика теперь не для объяснения чисел, а их разукрашивания. Написать «Россия 12000» некомильфо, нужно нарисовать кружок в Красноярском крае. Самые продвинутые качают GeoJSON регионов и раскрашивают их в картограмму. Снова техническая задача. Снова простое, но неправильное решение.

Это гугль, но у яндекса то же самое. Хорошо, что это пятно до Москвы доберётся нескоро

И вот у нас есть карта ширин тротуаров. Какое её полезное действие? Если расширить тротуары — то где анализ, можно или нельзя, пешеходные потоки и почему это надо? Если привлечь внимание к дистанцированию — то почему три метра, а не два? Если поразвлекать — то почему эти карты невозможно читать? Нужно масштабировать, но непонятно, зачем. Я вглядываюсь в полоски — чтобы что? Понять, где можно говорить со случайными знакомыми, встав поперёк тротуара, а где нет?

Несоответствие труда и выхлопа огорчает. Сочетание никакой цели и огромных средств — самоизоляция, как видно, высвободила огромные ресурсы, люди могли бы приносить пользу, как когда-то Джон Сноу, но вместо этого тратят время на фигню.

Польза от всех этих вирусных карт, с тротуарами, кружочками, стрелочками, есть. Но нужно понимать, что она только для одного человека: автора. Он или она прокачали свои навыки работы с данными, визуализации, кодирования. Пополнили портфолио. А для других людей это лишь очередной мемчик: посмотрели, хмыкнули, перешли к следующей картинке.

Вот что меня и выбесило — пока я смотрю мемчики, люди рисуют карты, пусть бессмысленные, и прокачивают навыки. Хватит, третий месяц пандемии завершается, пора. Пора закрыть ленту и открыть метафорический QGIS. Раскопать проект, заброшенный пять лет назад, и довести до ума. Придумать собственный мем. Написать в штосм. Или, хотя бы, порисовать деревни.

Ранее Ctrl + ↓

Мнения, высказанные на этом сайте, отражают точку зрения лично автора сайта и ничью больше: ни его бывших или настоящих работодателей, ни семьи и знакомых.