С Новым Годом!

Привет! Дарю тебе Солнце и Луну на весь 2015 год. Это большой календарь-постер, показывающий движение Солнца и Луны в твоем городе.

Доставить распечатанный плакат к НГ уже не успеем, но можно скачать PDF, распечатать и подарить другу.

С Новым Годом!

Календарь-постер Яблоня

Мои друзья из журнала Инфографика сделали офигенный календарь-постер на 2015 год.
Суперклевый подарок на Новый Год в наши непростые, но интересные времена -‿-

http://bestcalendar2015.ru/varik

Карта Лондона, раскрашенная по достатку жителей. 1889 год!

По клику — в большом разрешении (26 MB).

via radicalcartography.net

Оригиналы: www.lib.umich.edu (1,2,3,4)

Самая лучшая и полная коллекция инструментов для визуализации данных

visualisingdata.com

Новогоднее пожелание

Дедушка Мороз, помнишь я в прошлый раз рассказывал тебе о двух своих самых сокровенных желаниях? Я просил тебя стереть границы между странами и отправить всех разработчиков Internet Explorer в ад?  

Так вот, если два желания слишком сложно для тебя, то хрен с ними, с границами. Как-нибудь разберемся. Просто отправь всех разработчиков эксплорера в ад. И желательно немедленно.

Что на этот раз? Вставляю SVG-файл на HTML-страницу. В SVG есть 10 одинаковых текстовых надписей. 6 в одну строку, 4 в другую. Надписи отличаются только текстом и x-y координатами. Добавляю через css всем надписям text-decoration: underline. В результате у верхних надписей есть подчеркивание, у нижних — нет. И такое только в Internet Explorer 10 и 11. Во всех остальных браузерах на всех устройствах все ок. И в Internet Explorer 9 все ок! А в 10 и 11 не ок. Еще раз, надписи ничем кроме координат не отличаются. Дед Мороз, ну пожалуйста!

В итоге, открываю SVG в Inkscape'е, выделяю нижние надписи и сдвигаю их на 1 пиксел вниз. Открываю Эксплорер — подчеркивание появляется...

Вся надежда на тебя, дедушка Мороз!

Визуализация структуры библиотеки D3

maurizzzio сделал библиотеку PojoViz для визуализации связей внутри любых javascript объектов. Теперь можно визуально посмотреть как устроена любая js-библиотека. Вот например, структура любимой мною D3.

Какой почтой пользуются российские чиновники — работаем с PostgreSQL

Главный драйвер открытых данных в России Иван Бегтин опубликовал на hubofdata.ru статистику электронных адресов госслужащих. Всего 344695 записей. Давайте посмотрим, какие домены у них самые популярные.

Для этого загрузим tsv-файл с данными в базу PostgreSQL:

create table gosmails (regnum varchar,name varchar,regcode varchar,okogu_code varchar,okogu_name varchar,okved varchar,email_domain varchar,orgtype varchar,headagency_regnum varchar,headagency_name varchar); 

copy gosmails from '/Users/Kostia/Downloads/allorgs_29072014.tsv' DELIMITERS '' HEADER QUOTE '"' CSV;

И выведем список доменов, сгруппированных по имени и отсортированных по количеству:

select email_domain,count(email_domain) as num from gosmails group by email_domain order by num desc limit 100; 

Как видим (ниже), с трехкратным отрывом от яндекса лидирует mail.ru — более боловины всех записей. Ничего удивительного :-)
Но на пятом месте неожиданно всплывает gmail.com!

Кто же им пользуется?

select name, count(name) as num from gosmails where email_domain='gmail.com' group by name order by num desc limit 100; 

В основном — школы и детские сады (таблица ниже). Но изредка встречаются и другие, в том числе налоговые инспеции :-)

А у тебя есть ссылки на интересные датасеты? Давай их поанализируем? ;-)

Как хорошо уметь писать... В смысле — кодить :-)

Круче всего наблюдать, как твоя программа добывает данные. Например, автоматом узнает у Яндекса геокоординаты ста тыщ адресов. Просто смотреть в экран и наблюдать за бегущими в терминале циферками — это завораживает! А потом пойти спать с приятным чувством: программист спит — служба идет.

Или я решил загрузить все свои фото на Фликр, после того как Марисса Меер дала каждому по бесплатному терабайту. Но из-за выбранного образа жизни интернет у меня не всегда быстрый. И из-за этого существующие upload-клиенты с задачей справлялись плохо. Я пару месяцев мучился, прежде чем додумался написать программу на питоне. Всего 30 строк! Запускаешь ее, смотришь как бегут строки в терминале, и настроение улучшается -‿-

Или еще проще. Нынешний провайдер не дает скачивать торренты на нормальной скорости. А нужно 30 гигов данных выкачать. "17 недель до завершения" — показывает торрент-клиент. Ок. Арендую linux-сервер на амазоне (год бесплатно!), выкачиваю туда эти 30 гигов (за полчаса!) и за день закачиваю себе на компьютер обычным wget. А потом еще сутки смотрю, как PostgreSQL обрабатывает эти данные, попутно обращаясь к серверам Bing и Google, чтобы узнать высоты полумиллиона точек на карте — это круче любых наркотиков!

И это все не считая возможности создавать любые интерактивные визуализации данных, вроде карты возраста зданий Москвы...

К чему я это все? Учитесь программировать, если еще не умеете! Всего чуть больше года назад я тоже ничего этого не умел :-)