El sistema de recomendación es un sistema de filtrado de información que se utiliza para predecir las preferencias del usuario y filtrar el contenido que puede interesarle entre una gran cantidad de información para realizar recomendaciones personalizadas. Un proceso completo del sistema de recomendación incluye principalmente nodos de procesamiento como recuperación multicanal -> finalización de material -> clasificación y filtrado finos -> clasificación mixta -> salida de adaptación. Como última capa de procesamiento antes de la salida del resultado, la reproducción aleatoria se utiliza principalmente para normalizar y ordenar los resultados de recomendación de diferentes fuentes, por un lado, para obtener la secuencia de clasificación con el mejor efecto de recomendación para los usuarios, y por otro lado. , también puede mejorar la diversidad, la personalización y el alcance de las recomendaciones.

▐Enlace existente
El flujo de información de Taobao es un sistema de recomendación típico. En el flujo de información existen muchos tipos de tarjetas de presentación, como productos, anuncios, temas de nubes, videos cortos, transmisiones en vivo, etc. Dividiremos las tarjetas de presentación en dos categorías: resultados publicitarios y resultados de recomendaciones naturales. En la etapa de clasificación, dos módulos de procesamiento en serie se dividirán en dos tipos diferentes de resultados para mezclar y clasificar.

-
Resultados publicitarios : La publicidad adopta principalmente una estrategia de visualización dinámica de boxes. Al llamar al servicio de visualización dinámica proporcionado por la publicidad, decide qué boxes mostrar anuncios, qué resultados publicitarios se muestran específicamente y la facturación publicitaria correspondiente. El objetivo de la toma de decisiones es una comercialización óptima. . valor. Al tomar decisiones, todos los conjuntos de candidatos recomendados se ingresarán como características contextuales, pero no se decidirá el orden de los resultados naturales. -
Resultados naturales : el proceso de reorganización de los resultados naturales no utiliza el conjunto de candidatos publicitarios como características contextuales para tomar decisiones. De manera similar, no toma decisiones adicionales sobre la clasificación de los conjuntos de candidatos publicitarios. Solo reorganiza dentro de los resultados naturales, para obtener la secuencia de clasificación del valor óptimo para el usuario.
▐Hay un problema
-
Las estrategias algorítmicas tienen objetivos inconsistentes y no pueden obtener resultados óptimos globales : la estrategia de visualización de publicidad se basa más en el valor comercial y se da menos consideración al valor para el usuario de los resultados naturales, aunque la sustitución de indicadores se puede lograr ajustando la compensación. coeficiente entre los dos. , pero obviamente no puede obtener un resultado de secuencia globalmente óptimo. -
Existe un alto acoplamiento entre la iteración de la estrategia del algoritmo y la iteración de la lógica de negocios : en el enlace actual, los estudiantes de algoritmos deben desarrollar conjuntamente el mismo conjunto de código con los estudiantes de ingeniería. Al mismo tiempo, los diversos módulos de políticas involucrados están dispersos en diferentes etapas de la canalización, como El servicio de valor ecpm de publicidad en el que se basa el servicio de orientación dinámica de publicidad se llamará durante la fase de finalización, mientras que los resultados de la orientación dinámica real se procesarán durante la programación mixta, lo que dará como resultado una mayor complejidad del sistema general y una mayor estabilidad. costos de mantenimiento.
▐Solución _
-
Ajuste del objetivo de la estrategia de reproducción aleatoria : El servicio de reproducción aleatoria debe considerar de manera integral el valor del usuario y el valor comercial, y maximizar el valor general de la página como objetivo de la estrategia de reproducción aleatoria. Estrategia de desacoplamiento y negocio : extraiga la lógica de la estrategia de mezcla del enlace comercial del lado del servidor y conéctelo como un servicio independiente. Los colegas del algoritmo mantendrán actualizaciones iterativas posteriores en el nuevo servicio y la estrategia del algoritmo se repetirá. Es independiente de la iteración comercial del vínculo de ingeniería, haciendo más clara la división del trabajo en el desarrollo y reduciendo los costos de mantenimiento correspondientes.
Plan de implementación específico
▐Selección técnica
Este nuevo servicio de fusión híbrida elige xrec como marco de código. xrec es un marco empresarial basado en el motor gráfico tpp, que incluye principalmente las siguientes ventajas:
Componentización recomendada de procesos comerciales : el marco xrec puede abstraer los nodos comerciales del enlace en componentes. Los desarrolladores solo necesitan implementar el negocio de cada nodo de acuerdo con las especificaciones de implementación del componente acordadas por el marco y pasar un archivo json de formato fijo Al organizar procesos, no es necesario considerar la orquestación de procesos de negocio a nivel de código.
Optimización del rendimiento de concurrencia totalmente asíncrona : a diferencia del proceso de ejecución simplificado del marco TPE utilizado en el enlace de ingeniería original, el marco xrec mejora el rendimiento de la escena al automatizar la concurrencia multicanal y encapsular operaciones de datos, y utiliza una estructura gráfica para describir el proceso de negocio. Para que los usuarios no necesiten aprender programación concurrente, puede lograr una concurrencia segura y a gran escala. Al mismo tiempo, la serialización / deserialización de datos, la conversión de datos y las llamadas de servicios externos comunes se encapsulan en operaciones del operador para su uso, y Los módulos de plataforma de rendimiento optimizado se utilizan para reemplazar el código de usuario de rendimiento pulido no utilizado.
El marco xrec ahorra mucho trabajo a los desarrolladores de algoritmos, pero también impone más restricciones a las reglas de codificación. El proceso de desarrollo debe llevarse a cabo estrictamente de acuerdo con las reglas del marco.
▐Esquema de enlace
Solución de enlace de servicio mixto
Basado en el marco xrec, creamos un servicio TPP independiente (xhuffle) para llevar a cabo la lógica de la estrategia de mezcla integrada de toda la publicidad y los resultados naturales. El enlace general del servicio es el siguiente. El servicio xhuffle llama internamente al servicio de estimación de valor ecpm publicitario y al modelo de valor unificado recomendado en paralelo para obtener la información de valor de la publicidad y los resultados naturales. El módulo del mecanismo de mezcla de fusión resumirá la información del valor de la publicidad y los resultados naturales y tomará decisiones sobre la clasificación. resultados de todas las tarjetas., dada la posición en boxes de la tarjeta o reordenando las tarjetas, y finalmente llamando al servicio de facturación de publicidad para obtener información de facturación de publicidad para los resultados de publicidad.
-
En el enlace de ingeniería original, los módulos de servicio que son mixtos y dependientes están dispersos en diferentes etapas del proceso. Después de crear un nuevo servicio, la lógica relevante de mezcla y clasificación se integra en un servicio independiente y se puede iterar por separado en el nuevo servicio, lo que reduce en gran medida los costos de desarrollo y mantenimiento. -
El modelo de valor unificado de recomendación y el servicio de estimación de ecpm publicitario se mantienen mediante recomendación y publicidad respectivamente, y cada uno es responsable de obtener puntos de valor de recomendación y puntos de valor publicitario. -
El módulo del mecanismo de mezcla integrado es mantenido e iterado conjuntamente por los lados de publicidad y recomendación. -
El servicio de facturación de publicidad lo mantiene la parte de publicidad. Al llamar al servicio de publicidad EADS, la generación de cadenas de facturación de publicidad converge dentro del servicio de publicidad para garantizar la seguridad de la información.

Además, dado que todavía existen algunas estrategias de orientación empresarial en el flujo de información posterior a la adquisición, como temas en la nube, orientación de vídeos cortos, etc., esta parte de la estrategia no se consideró en la estrategia de acuerdo mixto original. De la orientación empresarial, la estrategia de barajado aún puede determinar las posiciones de los boxes, lo que hará que estas tarjetas de boxes comerciales interfieran con los resultados de la mezcla, lo que afectará directamente los indicadores de datos comerciales. En el servicio xhuffle, proporcionamos esta parte de la información del pozo comercial como entrada de servicio al módulo de barajado y evitamos proactivamente esta parte del pozo, asegurando que los resultados de la mezcla y los resultados del pozo comercial no interfieran entre sí.
Plan de llamadas de servicio de enlace de ingeniería
Opción 1: dividir la fase de clasificación y llamar a los servicios en paralelo
-
Etapa de clasificación previa : esta etapa realiza principalmente un filtrado de tarjetas de clasificación previa. Después de obtener la secuencia de tarjetas prefiltrada, inicie llamadas paralelas al servicio aleatorio y otros servicios externos del enlace de ingeniería. -
Etapa posterior a la clasificación : en esta etapa, la secuencia de tarjetas se ordenará y truncará según los resultados de la mezcla para determinar la secuencia de tarjetas final que debe adaptarse para la salida.

方案二:串行调用服务

这种调用方式对链路的RT压力会更大,由于是串行执行,服务调用的耗时会直接体现到整体链路耗时上。为了缓解RT的压力,我们采取了以下两个方面的措施:
xhuffle服务本身的链路优化。混排服务中耗时占比最大的是推荐统一价值模型的调用,在最初的方案中是通过调用外部tpp服务进行处理,目前已优化为在服务中直接进行RTP调用来处理,同时调用所需的qinfo数据直接使用商品召回的缓存数据,不用重新生成。
购后工程链路在不影响用户体验的前提下,适当放宽超时限制,以此降低端上的超时率。目前,各场景均将场景超时限制放宽50ms。
两种方案对比
优点 |
缺点 |
并行调用对链路整体的RT影响较小 |
将工程链路其他处理前置,会带来下游服务承接的卡片数量增长三至四倍,带来冗余的资源消耗 |
链路改造成本小,无冗余资源消耗 |
服务耗时会直接体现在链路整体耗时上,对系统稳定性的压力更大 |
经过综合考虑后,我们认为方案一带来的冗余资源消耗是不可接受的,最终选择了方案二作为正式的链路改造方案。

▐ 链路稳定性结果
-
混排服务场景指标:入口场景的服务调用平均RT保持在30ms以内,P99保持在70ms以内。服务调用超时率稳定在0.5%以内。 -
入口场景整体的系统稳定性指标:链路整体耗时可控,整体超时率保持在0.3%以内。 -
端上用户体验指标:由于各场景均扩了超时RT限制,我们通过端上接口的耗时变化来反映对用户体感上的影响。从扩RT前后分端接口耗时来看,用户体感上没有明显的变化。
▐ 未来展望
-
短视频、直播等业务的混排策略升级,减少业务定坑对混排的约束。 -
类目打散等规则化策略的融入。 -
建设通用化的混排服务链路接入方案,以同一套方案为更多场景提供混排策略服务。

这里有巨大的流量,可以满足你对高并发大规模分布式系统练手的畅想;
这里有前沿的算法应用场景,可以玩转各种智能创新;
这里有严苛的系统指标要求,可以让你感受到优化复杂系统化的快感~
本文分享自微信公众号 - 大淘宝技术(AlibabaMTT)。
如有侵权,请联系 [email protected] 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。