Ejecución o restablecimiento de indizadores, aptitudes o documentos

Artículo
12/19/2024

En Azure AI Search, hay varias maneras de ejecutar un indexador:

Ejecutar inmediatamente después de la creación del indizador, suponiendo que no se crea en modo "deshabilitado".
Programar la ejecución del indexador para invocar la ejecución a intervalos regulares.
Ejecute a petición, con o sin un "restablecimiento".

En este artículo se explica cómo ejecutar indexadores a petición, con y sin un restablecimiento. También describe la ejecución, la duración y la simultaneidad del indexador.

Cómo se conectan los indexadores a los recursos de Azure

Los indexadores son uno de los pocos subsistemas que realizan llamadas salientes abiertas a otros recursos de Azure. En términos de roles de Azure, los indexadores no tienen identidades independientes: una conexión del motor de búsqueda a otro recurso de Azure se realiza mediante el sistema o la identidad administrada asignada por el usuario de un servicio de búsqueda. Si el indexador se conecta a un recurso de Azure en una red virtual, debe crear un vínculo privado compartido para esa conexión. Para obtener más información sobre las conexiones seguras, consulte la Seguridad en la Búsqueda de Azure AI.

Ejecución de indizadores

Un servicio de búsqueda ejecuta un trabajo de indizador por unidad de búsqueda. Cada servicio de búsqueda comienza con una unidad de búsqueda, pero cada nueva partición o réplica aumenta las unidades de búsqueda del servicio. Puede comprobar el recuento de unidades de búsqueda en la sección Essential de Azure Portal de la página Información general . Si necesita procesamiento simultáneo, asegúrese de que las unidades de búsqueda incluyan réplicas suficientes. Los indizadores no se ejecutan en segundo plano, por lo que es posible que detecte más limitación de consultas de lo habitual si el servicio está bajo presión.

En la captura de pantalla siguiente se muestra el número de unidades de búsqueda, que determina el número de indizadores que se pueden ejecutar a la vez.

Una vez iniciada la ejecución del indizador, no se puede pausar ni detener. La ejecución del indizador se detiene cuando no hay más documentos para cargar o actualizar, o cuando se alcanza el límite máximo de tiempo de ejecución.

Puede ejecutar varios indizadores a la vez suponiendo que tenga capacidad suficiente, pero cada indizador es una sola instancia. Al iniciar una nueva instancia mientras el indexador ya está en ejecución, se produce este error: "Failed to run indexer "<indexer name>" error: "Another indexer invocation is currently in progress; concurrent invocations are not allowed."

Entorno de ejecución de los indexadores

Un trabajo de indexador se ejecuta en un entorno de ejecución administrado. Actualmente, hay dos entornos:

Un entorno de ejecución privado se ejecuta en clústeres de búsqueda específicos del servicio de búsqueda. Si el servicio de búsqueda es Standard2 o posterior, puede establecer el parámetro executionEnvironment en la definición del indexador para ejecutar siempre un indexador en el entorno de ejecución privado.
Microsoft administra y protege un entorno multiinquilino con procesadores de contenido sin costo adicional. Este entorno se usa para descargar el procesamiento intensivo a nivel computacional, lo que permite que los recursos específicos del servicio estén disponibles para las operaciones rutinarias. Siempre que sea posible, la mayoría de los conjuntos de aptitudes se ejecutan en el entorno multiinquilino. Este es el valor predeterminado.

El procesamiento intensivo de cálculo hace referencia a los conjuntos de aptitudes que se ejecutan en los procesadores de contenido y trabajos de indexador que procesan un gran volumen de documentos o documentos de gran tamaño. El procesamiento sin conjuntos de aptitudes en los procesadores de contenido multiinquilino viene determinado por la heurística e información del sistema y no está bajo control del cliente. Los servicios S2 y versiones posteriores admiten el anclaje de un indexador y el procesamiento de conjuntos de aptitudes exclusivamente a los clústeres de búsqueda a través del parámetro executionEnvironment.

Nota:

Los firewalls de IP bloquean el entorno multiinquilino, por lo que si tiene un firewall, cree una regla que permita el procesamiento multiinquilino.

Los límites del indexador varían para cada entorno:

Carga de trabajo	Duración máxima	Número máximo de trabajos	Entorno de ejecución
Ejecución privada	24 horas	Un trabajo de indexador por unidad de búsqueda ¹.	La indexación no se ejecuta en segundo plano. En vez de ello, el servicio de búsqueda equilibrará todos los trabajos de indexación con las consultas y las acciones de administración de objetos en curso (como crear o actualizar índices). Al ejecutar indexadores, cabría esperar ver cierta latencia de consulta si los volúmenes de indexación son grandes.
Multiinquilino	2 horas ²	Indeterminado ³	Dado que el clúster de procesamiento de contenido es multiinquilino, se agregan procesadores de contenido para satisfacer la demanda. Si experimenta un retraso en la ejecución a petición o programada, probablemente se deba a que el sistema está agregando procesadores o esperando a que uno esté disponible.

¹ Las unidades de búsqueda pueden ser combinaciones flexibles de particiones y réplicas, pero el número máximo de trabajos del indexador no está asociado ni a una ni a otra. En otras palabras, si tiene doce unidades, puede tener doce trabajos de indexador ejecutándose simultáneamente en una ejecución privada, independientemente de cómo se implementen las unidades de búsqueda.

² Si se necesitan más de dos horas para procesar todos los datos, habilite la detección de cambios y programe el indexador para que se ejecute en intervalos de 5 minutos para reanudar la indexación rápidamente si se detiene debido a un tiempo de espera. Consulte Indexación de un conjunto de datos grande para obtener más estrategias.

³ "Indeterminado" significa que el límite no se cuantifica por el número de trabajos. Algunas cargas de trabajo, como el procesamiento de conjuntos de aptitudes, se pueden ejecutar en paralelo, lo que podría dar lugar a muchos trabajos aunque solo haya un indizador implicado. Aunque el entorno no impone restricciones, se siguen aplicando límites de indexador para el servicio de búsqueda.

Ejecución sin restablecimiento

Una operación de Run Indexer detectará y procesará solo aquello que sea necesario para sincronizar el índice de búsqueda con los cambios en el origen de datos subyacente. La indexación incremental comienza localizando un límite máximo interno para encontrar el documento de búsqueda actualizado por última vez, que se convierte en el punto de partida para la ejecución del indexador en documentos nuevos y actualizados del origen de datos.

La detección de cambios es esencial para determinar las novedades o las actualizaciones en el origen de datos. Los indexadores usan las funcionalidades de detección de cambios del origen de datos subyacente para determinar las novedades o actualizaciones del origen de datos.

Azure Storage incorpora detección de cambios gracias a su propiedad LastModified.
Otros orígenes de datos, como Azure SQL o Azure Cosmos DB, deben configurarse para la detección de cambios para que el indexador pueda leer filas nuevas y actualizadas.

Si el contenido subyacente no cambia, una operación de ejecución no tiene ningún efecto. En este caso, el historial de ejecución del indexador indicará 0\0 documentos procesados.

Deberá restablecer el indexador, como se explica en la sección siguiente, para volver a procesarlo.

Restablecimiento de indexadores

Después de la ejecución inicial, un indexador realiza un seguimiento de los documentos de búsqueda que se han indexado mediante un límite máximo interno. El marcador nunca se expone, aunque internamente el indizador sabe dónde se detuvo la última vez.

Si necesita recompilar un índice de forma total o parcial, puede borrar el límite máximo del indexador mediante un restablecimiento. Las API de restablecimiento están disponibles en niveles decrecientes en la jerarquía de objetos:

Reset Indexers borra el límite superior y realiza una reindexación completa de todos los documentos.
Reset Documents (versión preliminar) reindexa un documento concreto o una lista de documentos.
Reset Skills (preview) (Restablecer aptitudes [versión preliminar]) invoca el procesamiento de aptitudes para una aptitud específica

Después del restablecimiento, siga con un comando Ejecutar para volver a procesar documentos nuevos y existentes. Los documentos de búsqueda huérfanos que no tienen ningún homólogo en el origen de datos no se pueden quitar mediante el restablecimiento o la ejecución. Si necesita eliminar documentos, vea Documentos: Indexar en su lugar.

Restablecimiento y ejecución de indexadores

El restablecimiento borra el límite máximo. Todos los documentos del índice de búsqueda se marcarán para la sobrescritura completa, sin actualizaciones insertadas ni combinación con el contenido existente. En el caso de los indexadores con un conjunto de aptitudes y almacenamiento en caché de enriquecimiento, el restablecimiento del índice también restablecerá implícitamente el conjunto de aptitudes.

El trabajo real se produce cuando se sigue un restablecimiento con un comando Ejecutar:

Todos los documentos nuevos encontrados en el origen subyacente se agregarán al índice de búsqueda.
Todos los documentos que existen en el origen de datos y el índice de búsqueda se sobrescribirán en el índice de búsqueda.
Cualquier contenido enriquecido creado a partir de conjuntos de aptitudes se volverá a generar. La caché de enriquecimiento, si está habilitada, se actualiza.

Como se indicó anteriormente, el restablecimiento es una operación pasiva: debe realizar un seguimiento de una solicitud de ejecución para volver a generar el índice.

Las operaciones de restablecimiento o ejecución se aplican a un índice de búsqueda o un almacén de conocimiento, a documentos o proyecciones específicos y a enriquecimientos almacenados en caché si un restablecimiento incluye explícita o implícitamente aptitudes.

El restablecimiento también se aplica a las operaciones de creación y de actualización. No desencadenará la eliminación ni la limpieza de documentos huérfanos en el índice de búsqueda. Para más información sobre la eliminación de documentos, vea Documentos: Indexar.

Una vez que restablezca un indexador, no podrá deshacer la acción.

Inicia sesión en Azure Portal y abre la página del servicio de búsqueda.
En la página Información general, seleccione la pestaña Indexadores.
Seleccione un indexador.
Seleccione el comando Restablecer y, luego, elija Sí para confirmar la acción.
Actualice la página para mostrar el estado. Puede seleccionar el elemento para ver sus detalles.
Seleccione Ejecutar para iniciar el procesamiento del indexador o espere a la siguiente ejecución programada.

En el ejemplo siguiente se muestran las llamadas REST Reset Indexer y Run Indexer. Use Get Indexer Status para comprobar los resultados.

No hay parámetros ni propiedades para ninguna de estas llamadas.

POST /indexers/[indexer name]/reset?api-version=[api-version]

POST /indexers/[indexer name]/run?api-version=[api-version]

GET /indexers/[indexer name]/status?api-version=[api-version]

En el ejemplo siguiente (de azure-search-dotnet-samples/multiple-data-sources/) se muestran los métodos ResetIndexers y RunIndexers del SDK de Azure para .NET.

// Reset the indexer if it already exists
try
{
    await indexerClient.GetIndexerAsync(blobIndexer.Name);
    //Rest the indexer if it exsits.
    await indexerClient.ResetIndexerAsync(blobIndexer.Name);
}
catch (RequestFailedException ex) when (ex.Status == 404) { }

await indexerClient.CreateOrUpdateIndexerAsync(blobIndexer);

// Run indexer
Console.WriteLine("Running Blob Storage indexer...\n");

try
{
    await indexerClient.RunIndexerAsync(blobIndexer.Name);
}
catch (RequestFailedException ex) when (ex.Status == 429)
{
    Console.WriteLine("Failed to run indexer: {0}", ex.Message);
}

Restablecimiento de aptitudes (versión preliminar)

En el caso de los indexadores que tienen conjuntos de aptitudes, puede restablecer las aptitudes individuales para forzar el procesamiento de solo esa aptitud y cualquier aptitud de nivel inferior que dependa de su salida. La caché de enriquecimiento, si la ha habilitado, también se actualiza.

Restablecer capacidades solo es REST actualmente y está disponible mediante 2020-06-30-preview o versiones posteriores. Se recomienda la API de versión preliminar más reciente.

POST /skillsets/[skillset name]/resetskills?api-version=2024-05-01-preview
{
    "skillNames" : [
        "#1",
        "#5",
        "#6"
    ]
}

Puede especificar aptitudes individuales, como se indica en el ejemplo anterior, pero si alguna de esas aptitudes requiere la salida de aptitudes que no están en la lista (n.º 2 a n.º 4), se ejecutarán estas últimas a menos que la memoria caché pueda proporcionar la información necesaria. Para que esto sea cierto, los enriquecimientos en caché para las aptitudes comprendidas entre la n.º 2 y la n.º 4 no deben depender de la n.º 1 (incluidas en la lista para el restablecimiento).

Si no se especifica ninguna aptitud, se ejecutará todo el conjunto de aptitudes y, si el almacenamiento en caché está habilitado, también se actualizará la memoria caché.

No olvide realizar un seguimiento con Run Indexer para invocar el procesamiento real.

Restablecimiento de documentos (versión preliminar)

Indexadores: Restablecer documentos acepta una lista de claves de documento para que pueda actualizar documentos específicos. Si se especifica, los parámetros de restablecimiento se convierten en el único factor determinante de lo que se procesa, independientemente de otros cambios en los datos subyacentes. Por ejemplo, si se agregaron o actualizaron 20 blobs desde la última vez que se ejecutó el indizador, pero solo se restablece un documento, solo se procesa ese documento.

En cada documento, todos los campos de ese documento de búsqueda se actualizan con los valores del origen de datos. No se pueden elegir los campos que se van a actualizar.

Si el documento se enriquece mediante un conjunto de aptitudes y tiene datos almacenados en caché, el conjunto de aptitudes se invoca solo para los documentos especificados y la caché se actualiza para los documentos reprocesados.

Al probar esta API por primera vez, las API siguientes pueden ayudar a validar y probar los comportamientos. Puede usar la versión preliminar de la API 2020-06-30-preview y versiones posteriores. Se recomienda la API de versión preliminar más reciente.

Llame a Indizadores: Obtener estado con una API de versión preliminar para comprobar los estados del restablecimiento y la ejecución. Encontrará información sobre la solicitud de restablecimiento al final de la respuesta de estado.
Llame a Indizadores: Restablecer documentos con una API de versión preliminar para especificar los documentos que se van a procesar.
```
POST https://[service name].search.windows.net/indexers/[indexer name]/resetdocs?api-version=2024-05-01-preview
{
    "documentKeys" : [
        "1001",
        "4452"
    ]
}
```
- Las claves de documento proporcionadas en la solicitud son valores del índice de búsqueda, que pueden ser diferentes de los campos correspondientes del origen de datos. Si no está seguro del valor de clave, envíe una consulta para devolver el valor. Puede usar select para devolver solo el campo de clave del documento.
- En el caso de los blobs que se analizan en varios documentos de búsqueda (donde parsingMode se establece en jsonLines o jsonArrays, o delimitedText), el indizador genera la clave de documento y es posible que no la conozca. En este escenario, se consulta la clave de documento para devolver el valor correcto.
Llame a Run Indexer (cualquier versión de API) para procesar los documentos especificados. Solo se indexan esos documentos específicos.
Llame a Run Indexer una segunda vez para procesar desde el último límite máximo.
Llame a Search Documents para buscar valores actualizados y, también, para devolver claves de documento si no está seguro del valor. Use "select": "<field names>" si desea limitar los campos que aparecerán en la respuesta.

Sobrescritura de la lista de claves de documento

Al llamar a la API Reset Documents varias veces con claves diferentes, se anexan las nuevas claves a la lista de restablecimiento de claves de documento. Al llamar a la API con el parámetro overwrite establecido en true, se sobrescribirá la lista actual con la nueva:

POST https://[service name].search.windows.net/indexers/[indexer name]/resetdocs?api-version=2020-06-30-Preview
{
    "documentKeys" : [
        "200",
        "630"
    ],
    "overwrite": true
}

Comprobación del estado de restablecimiento "currentState"

Para comprobar el estado de restablecimiento y ver qué claves de documento se ponen en cola para su procesamiento, siga estos pasos.

Llame a Obtener estado del indizador con una API de versión preliminar.

La API de versión preliminar devolverá la sección currentState, que se encuentra al final de la respuesta.

"currentState": {
    "mode": "indexingResetDocs",
    "allDocsInitialTrackingState": "{\"LastFullEnumerationStartTime\":\"2021-02-06T19:02:07.0323764+00:00\",\"LastAttemptedEnumerationStartTime\":\"2021-02-06T19:02:07.0323764+00:00\",\"NameHighWaterMark\":null}",
    "allDocsFinalTrackingState": "{\"LastFullEnumerationStartTime\":\"2021-02-06T19:02:07.0323764+00:00\",\"LastAttemptedEnumerationStartTime\":\"2021-02-06T19:02:07.0323764+00:00\",\"NameHighWaterMark\":null}",
    "resetDocsInitialTrackingState": null,
    "resetDocsFinalTrackingState": null,
    "resetDocumentKeys": [
        "200",
        "630"
    ]
}

Compruebe el "modo":

Para las aptitudes de restablecimiento, el "modo" será indexingAllDocs (dado que posiblemente se vean afectados todos los documentos en los campos que se rellenan a través del enriquecimiento con IA).

En Reset Documents, el "modo" debe establecerse en indexingResetDocs. El indexador conserva este estado hasta que se procesan todas las claves de documento proporcionadas en la llamada de restablecimiento de documentos, tiempo durante el cual no se ejecutará ningún otro trabajo de indexador mientras la operación está en curso. Para buscar todos los documentos en la lista de claves de documento, es necesario descifrar cada documento para buscar y coincidir en la clave, lo que puede tardar unos minutos si el conjunto de datos es grande. Si un contenedor de blobs contiene centenares de blobs y los documentos que desea restablecer están al final, el indizador no encontrará los blobs coincidentes hasta que todos los demás se hayan comprobado primero.
Una vez que se vuelvan a procesar los documentos, vuelva a ejecutar Get Indexer Status. El indexador regresa al modo indexingAllDocs y se procesarán los documentos nuevos o actualizados en la siguiente ejecución.

Pasos siguientes

Las API de restablecimiento se usan para determinar el ámbito de la siguiente ejecución del indizador. Para el procesamiento real, deberá invocar una ejecución de indizador a petición o permitir que un trabajo programado complete el trabajo. Una vez finalizada la ejecución, el indizador vuelve al procesamiento normal, ya sea según una programación o un procesamiento a petición.

Después de restablecer y volver a ejecutar los trabajos de indizador, puede supervisar el estado del servicio de búsqueda u obtener información detallada a través del registro de recurso.

Compartir vía