Новая версия Battle.Net 2 значительно отличается от привычного для всех старичка Battle.Net 1. Кроме множества новых фич и полезных апдейтов, ключевым изменением в ладдере стала особая система подбора противников. И хотя игроки в World of Warcraft уже сполна смогли оценить все достоинства и недостатки этой системы, для крафтеров многие аспекты […]
Рейтинги и дивизионы в Starcraft 2
Система проведения боёв Battle.net 2.0 может быть сложна для понимания. Этот текст является попыткой объяснить суть и возможности системы. Будьте морально готовы к тому, что данный текст может содержать неподтвержденные гипотезы и может быть не совсем точным, но с моей точки зрения это наиболее логичный и всесторонний анализ общей системы […]
Distributed таблицы в Clickhouse, шардирование и репликация.
Нередким случаем, а тем более для данных, которые хранятся в аналитических базах, обычно это сырые данные, является то, что они перестают помещаться в один сервер. Также для обеспечения доступности данные должны реплицироваться на другие сервера, делается это на случай выхода из строя одного (или нескольких) серверов, а также для возможности […]
Серебряная пуля ClickHouse
Обычно описание того, как начать пользоваться каким-либо новым ПО начинается с пошаговой инструкции по установке, такая инструкция есть и на официальном сайте ClickHouse. При помощи данной инструкции вы легко можете развернуть у себя ClickHouse установив пакеты из репозитория или просто запустить контейнер в Docker.
Получение информации по IP-адресу в Clickhouse
Еще одна недокументированная, на данный момент, возможность — это получение информации по IP-адресу. В ClickHouse существует механизм словарей, для работы с IP-адресами необходимо выбрать в качестве способа размещения словаря в памяти (layout) — ip_trie. Описание словаря никак не отличается от обычного и в качестве источника можно выбирать любой из доступных.
Kafka Engine. Недокументированные возможности.
Kafka Engine появился в ClickHouse сравнительно недавно и до его появления приходилось создавать специализированное приложение которое получало данные из Kafka и писало их в ClickHouse.
Релиз ClickHouse 1.1.54362
В этом релизе есть два очень полезных исправления: Агрегация без GROUP BY по пустому множеству. Исправлены случаи ошибочного удаления ненужных столбцов из подзапросов. Первое дает нам ожидаемое поведение, если результат агрегации равен нулю.
Как самому сделать игру сапёр
«Сапер» — веселая игра, многие из нас в нее играют. Может быть, вы хотите сделать «Сапера» сами?
LogLog — находим число уникальных элементов
Сегодня разговор пойдёт о ещё одном вероятностном-рандомизированном алгоритме, который позволяет с минимальными затратами памяти определить примерное число уникальных элементов в больших объёмах данных. Для начала, поставим себе задачу: предположим, что у нас имеется большой объём текстовых данных — скажем, плоды литературного творчества небезызвестного Шекспира, и нам необходимо подсчитать количество различных […]
Опыт внедрения ClickHouse — аналитической CУБД
Начали мы знакомство с ClickHouse осенью 2016. Вскоре выпустили в продакшн первую фичу с его использованием. С тех пор прошло 2 года, и сейчас 4 ClickHouse ноды принимают на вставку порядка10-тимиллиардов записей в день, хранят около 4 TB данных, обслуживают выборки с нескольких web-приложений, а также дают возможность отделу аналитики работать с данными еще из одного источника.