Pregunta Cuál es la diferencia entre utf8_general_ci y utf8_unicode_ci

Quería saber cuál es la diferencia de rendimiento entre el uso de utf8_general_ci y utf8_unicode_ci, pero no encontré ninguna referencia listada en Internet, así que decidí crear puntos de referencia yo mismo.

Creé una tabla muy simple con 500000 filas:

CREATE TABLE test(
  ID INT(11) DEFAULT NULL,
  Description VARCHAR(20) DEFAULT NULL
)
ENGINE = INNODB
CHARACTER SET utf8
COLLATE utf8_general_ci;

Luego lo llené con datos aleatorios ejecutando este procedimiento almacenado:

CREATE PROCEDURE randomizer()
BEGIN
  DECLARE i INT DEFAULT 0;
  DECLARE random CHAR(20) ;

  theloop: loop
    SET random = CONV(FLOOR(RAND() * 99999999999999), 20, 36);

    INSERT INTO test VALUES (i+1, random);

    SET i=i+1;

    IF i = 500000 THEN
      LEAVE theloop;
    END IF;

  END LOOP theloop;
END

Luego creé los siguientes procedimientos almacenados para comparar los parámetros SELECT, SELECT con LIKE y Sorting (SELECT con ORDER BY):

CREATE benchmark_simple_select()
BEGIN
  DECLARE i INT DEFAULT 0;

  theloop: loop

    SELECT * FROM test WHERE Description = 'test' COLLATE utf8_general_ci;

    SET i = i + 1;

    IF i = 30 THEN
      LEAVE theloop;
      END IF;

  END LOOP theloop;

END

CREATE PROCEDURE benchmark_select_like()
BEGIN
  DECLARE i INT DEFAULT 0;

  theloop: loop

    SELECT * FROM test WHERE Description LIKE '%test' COLLATE utf8_general_ci;

    SET i = i + 1;

    IF i = 30 THEN
      LEAVE theloop;
      END IF;

  END LOOP theloop;

END

CREATE PROCEDURE benchmark_order_by()
BEGIN
  DECLARE i INT DEFAULT 0;

  theloop: loop

    SELECT * FROM test WHERE ID > FLOOR(1 + RAND() * (400000 - 1)) ORDER BY Description COLLATE utf8_general_ci LIMIT 1000;

    SET i = i + 1;

    IF i = 10 THEN
      LEAVE theloop;
      END IF;

  END LOOP theloop;

END

En los procedimientos almacenados anteriores se usa la intercalación utf8_general_ci, pero por supuesto durante las pruebas utilicé utf8_general_ci y utf8_unicode_ci.

Llamé a cada procedimiento almacenado 5 veces para cada colación (5 veces para utf8_general_ci y 5 veces para utf8_unicode_ci) y luego calculé los valores promedio.

Mis resultados son:

benchmark_simple_select () con utf8_general_ci: 9957 ms
benchmark_simple_select () con utf8_unicode_ci: 10271 ms
En este punto de referencia, el uso de utf8_unicode_ci es más lento que utf8_general_ci en un 3,2%.

benchmark_select_like () con utf8_general_ci: 11441 ms
benchmark_select_like () con utf8_unicode_ci: 12811 ms
En este punto de referencia el uso de utf8_unicode_ci es más lento que utf8_general_ci en un 12%.

benchmark_order_by () con utf8_general_ci: 11944 ms
benchmark_order_by () con utf8_unicode_ci: 12887 ms
En este punto de referencia el uso de utf8_unicode_ci es más lento que utf8_general_ci en 7.9%.

Esta publicación lo describe muy bien.

En resumen: utf8_unicode_ci usa el Algoritmo de intercalación Unicode como se define en los estándares Unicode, mientras que utf8_general_ci es un orden de clasificación más simple que da como resultado resultados de clasificación "menos precisos".

Ver el manual de mysql, Juegos de caracteres Unicode sección:

Para cualquier conjunto de caracteres Unicode,   operaciones realizadas usando el   _general_ci intercalación es más rápido que los de la intercalación _unicode_ci.   Por ejemplo, comparaciones para el   la intercalación utf8_general_ci es más rápida,   pero un poco menos correcto, que   comparaciones para utf8_unicode_ci. los   razón por esto es que   utf8_unicode_ci admite asignaciones tales   como expansiones; es decir, cuando uno   personaje se compara como igual a   combinaciones de otros personajes. por   ejemplo, en alemán y algunos otros   idiomas "ß" es igual a "ss".   utf8_unicode_ci también es compatible   contracciones y personajes ignorables.   utf8_general_ci es una colación heredada   eso no admite expansiones,   contracciones, o personajes ignorables.   Puede hacer solo uno a uno   comparaciones entre personajes.

Para resumir, utf_general_ci usa un conjunto de comparaciones más pequeño y menos correcto (de acuerdo con el estándar) que utf_unicode_ci que debería implementar todo el estándar. El conjunto general_ci será más rápido porque hay menos cálculos que hacer.

En palabras breves:

Si necesita ordenar mejor, use utf8_unicode_ci (Este es el método preferido),

pero si está completamente interesado en el rendimiento, use utf8_general_ci, pero debes saber que está un poco desactualizado.

Las diferencias en términos de rendimiento son muy leves.