AggStates

Tipo de datos AggregateFunction¶

En ClickHouse todas las funciones de agregación tienen un estado intermedio específico de la implementación que puede serializarse en un tipo de datos AggregateFunction y almacenarse en una tabla, normalmente, definiendo una vista materializada

CREATE TABLE ibd00.aggEvents
(
    EventDate DateTime('Europe/Madrid') NOT NULL,
    EventID UInt8,
    sV1 AggregateFunction(sum, UInt32),  -- suma de V1s
    mV2 AggregateFunction(avg, UInt32),  -- media de V2s
    uV2 AggregateFunction(uniq, UInt32)  -- V2s diferentes
)
ENGINE = AggregatingMergeTree() ORDER BY (EventDate, EventID);

Combinadores de Funciones de Agregación¶

El nombre de una función de agregación puede ir seguido de un sufijo que modifica el funcionamiento de la función. Por ejemplo, el sufijo -If se puede añadir al nombre de cualquier función de agregación para establecer una condición sobre las filas a las que aplica la agregación. En este caso, la función de agregación acepta como argumento adicional una condición (en este caso, de tipo Uint8). Si la condición no se cumple ni una sola vez, devuelve un valor por omisión (normalmente ceros o cadenas vacías)

Los combinadores de funciones de agregación permiten calcular agregados para varias condiciones a la vez, sin necesidad de utilizar subconsultas ni operaciones JOIN

Ejemplo combinador countIf()¶

CREATE TABLE login_attempts(
    user_id UInt32,
    timestamp DateTime,
    is_successful UInt8
) ENGINE = MergeTree
ORDER BY (user_id, timestamp);

INSERT INTO login_attempts VALUES
    (1, '2024-01-01 10:00:00', 1),
    (1, '2024-01-01 10:05:00', 0),
    (1, '2024-01-01 10:10:00', 1),
    (2, '2024-01-01 11:00:00', 1),
    (2, '2024-01-01 11:05:00', 1),
    (2, '2024-01-01 11:10:00', 0);

SELECT
    user_id,
    countIf(is_successful = 1) AS successful_logins
FROM login_attempts
GROUP BY user_id;

Estados de Agregación¶

Hay dos combinadores que se utilizan habitualmente con el tipo AggregateFunction:

• El combinador -State: cuando se añade al nombre de una función agregada, produce estados intermedios de AggregateFunction
• El combinador -Merge que se utiliza para procesar el resultado final de una agregación a partir de los estados intermedios

Ejemplo combinadores con el tipo AggregateFunction¶

SQL¶

# Números [0,4]
SELECT number as n FROM numbers(5);
# Números [1,5]
SELECT number+1 as n FROM numbers(5);
# Números distintos
SELECT uniq(number) AS u FROM numbers(5);
SELECT uniq(number+1) AS u FROM numbers(5);
# Resultado: ?
SELECT uniqState(number) AS u FROM numbers(5);
SELECT toTypeName(uniqState(number)) AS u FROM numbers(5);
# Resultado: ?
SELECT uniqMerge(u)
FROM
(
    SELECT uniqState(number) AS u FROM numbers(5)
    UNION ALL
    SELECT uniqState(number + 1) AS u FROM numbers(5)
);

SQL	uniqMerge()/uniqState()

Vistas Materializadas en ClickHouse¶

Como gestor de datos orientado a OLAP, el SQL de ClickHouse soporta diferentes tipos de vistas:
- Vistas Clásicas: Existentes también en los gestores OLTP (más info), no tienen asociado almacenamiento. Pueden ser parametrizadas o no
- Vistas Materializadas: A diferencia de las anteriores, sí almacenan datos transformados conforme a un método concreto
- Vistas Materializadas Refrescables: Los datos almacenados se actualizan conforme a intervalos planificados
- Ventanas: Función experimental (aún en desarrollo, por tanto, no estable) que permite agregar datos por intervalos de tiempo y mostrar los resultados cuando la ventana está lista para activarse. Almacena los resultados parciales de la agregación en una tabla interna (o especificada) para reducir la latencia y puede enviar el resultado del procesamiento a una tabla especificada o enviar notificaciones