Podcasts

Combatir el fraude de email y desarrollar tu marca con BIMI

Email's Not Dead: Season 1, Episode 4

Acerca de este episodio:

La última vez, Nick Schafer apareció para predecir el futuro del spam. Ahora traemos al director de privacidad de 250ok, Matthew Vernhout, para hablar de negocios sobre los indicadores de marca para la identificación de mensajes (también conocido como BIMI). Aprende a ganar más confianza con tus destinatarios, consigue una mayor interacción y garantiza una mayor seguridad.

Imagen de

Jonathan Torres

Gestor técnico de cuentas

Sinch Mailgun

Imagen de

Eric Trinidad

Gestor técnico de cuentas Enterprise

Sinch Mailgun

Imagen de

Nick Schafer

Mánager sénior de entregabilidad y cumplimiento

Sinch Mailgun

Imagen de

Matthew Vernhout

Exdirector

Privacy at 250ok

Notas del programa y recursos

¿Qué es BIMI? Más que un nombre gracioso


Utiliza nuestras mejores prácticas de email


¿Puedes garantizar una mejor entregabilidad del email?


Noticias emocionantes en Google: Presentamos la asistencia para BIMI y la API de Google Postmaster


Transcripción del podcast

Email’s Not Dead – T1, E4: Combatir el fraude de email y desarrollar tu marca con BIMI

Resumen

00:01:19 – Conoce a Matt Vernhout

00:02:46 – ¿Qué es BIMI?

00:07:42 – ¿Quién ha empezado a utilizar BIMI hasta ahora?

00:17:25 – ¿Ayudará esto a tu entregabilidad?


00:00:06
Eric Trinidad: Hola a todos, bienvenidos a Email’s Not Dead – edición especial de seminario web. Hoy vamos a hablar sobre BIMI. ¿Qué es y por qué es bueno? Tenemos un par de invitados especiales, pero primero empecemos presentándonos. Mi nombre es Eric Trinidad. Soy technical account manager (gestor técnico de cuenta) aquí en Mailgun, conmigo como siempre… Jonathan Torres.

00:00:27
Jonathan Torres: Jonathan, el mismo technical account manager aquí en Mailgun. Así es. Tenemos cosas buenas en marcha.

00:00:31
Eric Trinidad: Sí, somos T al cuadrado. Ya sabes, nos gusta encontrar el ángulo correcto y lograr la entregabilidad para los clientes. Así que eso es lo que hacemos.

00:00:37
Nick Schafer: Sí. Y estos chicos presentan nuestros nuevos e increíbles podcasts. Sí. Échales un vistazo, sin duda. Por supuesto.

00:00:44
Eric Trinidad: Hoy nos acompaña Nick Schafer. Es nuestro ingeniero de entregabilidad. Ya nos acompañó en un episodio anterior. Así que bienvenido de nuevo, Nick.

00:00:53
Nick Schafer: Gracias por invitarme de nuevo. Como dije, voy a intentar estar en todos los podcasts. Y en los seminarios web ahora. Así que sí.

00:01:04
Jonathan Torres: Y tenemos un invitado extra especial. No Nick, tú eres un tipo especial.

00:01:09
Nick Schafer: O sea, sí. Es lo que hay.

00:01:10
Eric Trinidad: Matt Vernhout está con nosotros hoy, director de privacidad en 250OK. Hoy nos acompaña desde su casa. Matt, ¿cómo estás, señor?

00:01:19
Matt Vernhout: Estoy muy bien hoy. Gracias. Considerando el calor, aquí dentro se está perfecto.

00:01:23
Eric Trinidad: No nos puedes hablar de calor. Señor, estamos en el sur de Texas, donde tienes… el calor no tiene piedad.

00:01:33
Nick Schafer: Vaya, aquí tenemos el calor y la humedad. Con solo salir afuera. Empiezas a sudar.

00:01:36
Eric Trinidad: Oh, sí. No, sin duda. Acabamos de estar afuera. No sé si te das cuenta de que todos estamos brillando de sudor.

00:01:41
Jonathan Torres: Es un brillo saludable.

00:01:41
Eric Trinidad: Es un brillo saludable, de eso no hay duda. Y si reconoces la cara de Matt, probablemente lleves un tiempo en la comunidad de email. Ha estado en muchísimas convenciones, por un lado. Pero no solo eso, tiene una lista de logros muy impresionante. Es el profesional internacional certificado en privacidad de Canadá. Ha sido consultado en numerosas ocasiones por el parlamento sobre las leyes anti spam de Canadá. Es fundador del Canadian Email Summit, editor jefe de EmailKarma.net. Es vicepresidente del EEC, que es el Email Experience Council. Y hablando del EEC, también fuiste nombrado el líder de opinión en marketing de email del año. Así es, señor.

00:02:22
Nick Schafer: Menuda lista, Matthew.

00:02:25
Jonathan Torres: Sí, esos son más títulos que los del resto de nosotros juntos.

00:02:32
Eric Trinidad: Sí. Así que apreciamos mucho tu tiempo y muchas gracias por unirte a nosotros hoy para hablar de BIMI. Qué es, por qué es bueno para nosotros. Ya sabes, ¿qué significa todo esto? Así que son indicadores de marca para la identificación de mensajes, que tuve que buscar numerosas veces.

00:02:46
Jonathan Torres: Qué significa eso exactamente. ¿Identificadores de marca para qué? Indicadores de marca para la identificación de mensajes. Sí. Matt, bueno, ¿podrías contarnos de qué se trata?

00:02:59
Nick Schafer: Eso es un buen trabalenguas.

00:03:00
Matt Vernhout: Nos encantan los acrónimos en la industria. Así que BIMI es un esfuerzo coordinado por varias organizaciones diferentes para añadir un indicador visual al email. De modo que cuando autenticas correctamente tus mensajes, verás un archivo de logotipo que aparece en el email, siendo este formato actualmente el más utilizado en el navegador de Yahoo o en Yahoo móvil de Verizon Media. Así que verás aparecer el logotipo de la marca junto al nombre amigable del remitente del email, cuando lo hayas autenticado correctamente, algo en lo que profundizaremos luego.

00:03:43
Eric Trinidad: Genial. Bueno, sí. Así que esto lleva circulando por ahí tal vez los dos últimos años más o menos. Y cuando surgen cosas como esta, quiero decir, llevas en la industria unos, como casi veinte años ya. ¿Verdad? Vale.

00:03:56
Matt Vernhout: Me estás echando años encima un poco.

00:03:56
Eric Trinidad: Retrocederé un poco, diremos más bien 15. Diremos eso. Pero cuando surgen cosas así, como, ya sabes, son cosas nuevas y emocionantes, ¿sabes? ¿Esto te mantiene, como, con energía y te mantiene implicado porque llevas tiempo en la industria?

00:04:14
Matt Vernhout: Sí, totalmente. Creo que cualquier cosa que podamos hacer como industria para generar confianza, desarrollar, ya sabes, mostrar reputación, una especie de premio a las organizaciones por hacer las cosas bien, ya sabes, mantener una buena autenticación, mantener una buena reputación, buenas relaciones con sus suscriptores. Todas esas cosas son positivas. Así que poder tener ese tipo de, digamos, un sistema de recompensas como sería BIMI, ya sabes, sin duda es algo intrigante. Ya sabes, me encantan todas estas tecnologías. Cuando salió SPF, tuve que descifrarlo de inmediato, aplicarlo a mis propios dominios, y cuando salió DKIM, tuve que averiguar cómo funcionaba. Lo mismo con DMARC. Así que yo… cuando salió DMARC, publiqué mis registros enseguida porque quería empezar a ver toda la información, y con BIMI no fue nada diferente. El único problema que tuve con BIMI es que en realidad no es para un email individual de persona a persona, y yo no envío mucho email comercial por mi cuenta. Así que no iba a aparecer necesariamente para mí, pero aun así descubrí cómo hacerlo para poder trabajar con mis clientes y mostrarles cómo configurarlo.

00:05:19
Eric Trinidad: Sí, recompensarlos por no enviar spam. Ya sabes, también hablamos sobre el spam hace un par de episodios en nuestro podcast, Email’s Not Dead, echadle un vistazo. Así que, ya sabes, nosotros lo sabemos, no nos gusta. Sé que tú debes odiarlo de verdad. Así que, ya sabes, esto es asombroso.

00:05:36
Nick Schafer: Sí. El spam, el spam no es bueno, eso es seguro. Sí. Me gusta oír a Matt hablar de ello. Creo que es, es un poco gracioso. O sea, me considero un empollón del email, un friki del email, como quieras llamarnos. Sí, justo el otro día escribí una publicación de blog sobre BIMI y me emociona este tipo de cosas. Especialmente cada vez que leo, ya sabes, que nuestros clientes o remitentes posiblemente podrían conseguir una mejor interacción con sus mensajes; eso me emociona, en especial como alguien que se dedica a la entregabilidad. Así que sí, me siento identificado; es como algo, ya sabes, con BIMI como él dijo, que tienes que enviar mucho email. Así que alguien que solo tiene, como, su propio dominio pequeño puede configurarlo y ver los beneficios. Pero saber que podemos ayudar a nuestros clientes es realmente estupendo.

00:06:20
Jonathan Torres: Sí, eso es increíble. Y me refiero, de eso trata todo esto, ¿verdad? En plan, aparece una tecnología nueva como esta. Creo que es un aspecto positivo agradable para los usuarios. Y ese es realmente el beneficio de todos o para todos, es la parte del usuario. Exacto. Así que como ISP, como personas que reciben estos mensajes y los ponen a disposición de los usuarios, es bueno para ellos poder identificar a las marcas que quieren, identificarse con las cosas que quieren recibir, las cosas que quieren ver y las que pasan a un primer plano. Y como usuario, eso es genial. Primero, hace que las cosas se vean realmente bien, lo cual siempre es una ventaja. Pero, ya sabes, segundo, es que, da la impresión, ya sabes, de que los mensajes que lo están haciendo, los que… en los que veo esto, son los que puedo reconocer, como, qué guay. Estos son los que están haciendo las cosas bien. Estas son las personas que tienen el tipo correcto de configuración. Y me refiero, como usuario, también puedo ver eso como, ya sabes, personas que están implementando la novedad que está por llegar. Exacto. En lugar de ver solo las iniciales de cualquier nombre de usuario que hayan elegido para enviar el mensaje, puedo llegar a ver, ya sabes, cuál es su logotipo y sé cuándo reconocerlo y lo veo, que es exactamente la finalidad de esto.

00:07:18
Eric Trinidad: Y respecto a los envíos grandes, ya sabes, no para mí, solo de mí a ti, Matt, o de mí a Jon, ya sabes. Ya sabes, no podría simplemente poner una foto de mi jeta ahí, y ya sabes, tienes que enviarlo a nivel comercial. A menos que me dedicara, ya sabes, a fabricar tazas (mugs), entonces eso funcionaría, pero probablemente no tan bien. Exacto. Bueno, ¿quién lo está usando ahora? O sea, fuiste de los primeros en adoptar muchas de estas cosas formidables. ¿Quién está usando BIMI ahora?

00:07:42
Matt Vernhout: Pues sí, tenemos varios clientes usándolo. Unas cuantas marcas que podrías reconocer. E-Harmony, Wish.com, Safelite auto glass. Lo están usando. Y luego hay un número de otras marcas que, que han dado el paso y han empezado a usarlo. La Universidad de Michigan lo está usando y algunas marcas que no son del todo tradicionales, por así decirlo. Así que sí, hay una serie de marcas. No hay nada que impida a nadie utilizarlo. Ya sabes, nosotros lo hemos, lo hemos publicado aquí. Y sé que Nick lo publicó desde Mailgun. Así que ciertamente, ya sabes, estamos viendo que las marcas empiezan a adoptarlo. Muchos ESP y redes sociales han empezado a usarlo. Así que en realidad es para cualquiera que envíe buenas cantidades de email con una interacción de buena calidad.

00:08:26
Nick Schafer: Creo que una clave ahí es, lo de email de buena calidad. Porque, no creo que hayamos mencionado la parte de la reputación en esto todavía, en plan, no puedes ser un spammer y pretender que muestren tu logotipo. Tienes que tener una buena reputación con estos, estos proveedores de servicios de email. Y creo que una de las cosas geniales de BIMI es que esto no es un concepto nuevo. Es decir, llevamos viendo logotipos en los buzones desde hace bastante tiempo, especialmente con empresas como, por ejemplo, Google. Ya sabes, tenían esa función de Google Plus. Microsoft ahora tiene los perfiles empresariales de Microsoft, y muchos proveedores de servicios de email se limitaban a almacenar imágenes en caché. Pero esto es genial porque te permite especificar tu propio logotipo. Y además es un método al que todos los proveedores de servicios de email pueden suscribirse de alguna manera y empezar a utilizar. Así que creo que es algo que ayudará muchísimo a los remitentes en el futuro.

00:09:12
Jonathan Torres: Yo iba a decir que es un… estábamos justo en las primerísimas fases iniciales de la adopción. Exacto. Es como si apenas estuviéramos viendo a las primeras empresas empezar a hacerlo antes de que ojalá comience a popularizarse. Ya sabes, empezaremos a ver eso mucho más en toda la industria en general. Y eso va a ser, no lo sé, me encanta ese tipo de cosas porque, hace avanzar la situación de alguna manera. ¿Verdad? O sea, hace que esas cosas sean mucho más fáciles en el sector. Cosas como DMARC, creo que hace un tiempo, y no mucho tiempo atrás, parecía que iba a ir a un ritmo super lento a la hora de hacerse popular. Y ahora estamos viendo como que hemos pasado esa cima de la colina y ya todo empieza a avanzar con fuerza. Y ahora cada vez más personas lo están usando. Y luego, ya sabes, cosas como esta empiezan a exigirlo como requisito. Así que necesitamos asegurarnos de que estamos haciendo ese tipo de cosas, de que estamos aplicando DMARC correctamente, que hacemos esa autenticación como se debe y afianzando todas estas medidas. Porque cuantas más cosas sigan esta dirección, quiero decir, lo primero es que es mejor para todos. Pero es que, francamente, es. increíble ver en el sector que esto ayuda a evitar que el email muera. Es el nombre del podcast y es justo de lo que queríamos hablar.

00:10:08
Nick Schafer: Email’s Not Dead.

00:10:13
Matt Vernhout: Solo para volver a un comentario que hizo Nick sobre, ya sabes, poder elegir tu propio logotipo, he visto ejemplos donde los ISP han almacenado logotipos en la caché o, alguien a nivel interno en el ISP, encontró un logotipo pensando que era de la empresa correcta, solo para descubrir que acabarían mostrando un logotipo de una marca que no tenía nada que ver. Ese factor tiene, creo, un impacto mucho mayor sobre, la interpretación y el reconocimiento que hace el consumidor. Si tienes la marca equivocada asociada con el remitente del email, digamos que eso no es más que un error humano. Así que, sí.

00:10:43
Eric Trinidad: O sea, como si creyeras tener una relación con alguien y de repente te llama por el nombre equivocado y ¡bum! fin de la historia.

00:10:48
Matt Vernhout: Así es Tim, supongo. Sí.

00:10:51
Nick Schafer: ¿Dijo Tim?

00:10:51
Matt Vernhout: Casi aciertas.

00:10:58
Eric Trinidad: Casi casi. Pero sí. Vamos a hablar sobre quién lo está utilizando. Por ejemplo, al configurarlo, ¿quién puede ver realmente esta información? ¿Es acaso para todo el mundo? En plan, ¿hay ciertas personas que pueden tener acceso a él o…?

00:11:14
Nick Schafer: Sí. Igual que cualquiera, todo el mundo puede configurarlo. Un poco como lo que estaba mencionando Matt. No está restringido para nadie en particular. Obviamente tienes que enviar email comercial, ¿qué proveedores de servicios de email lo están utilizando ahora mismo? Creo que mencionaste a Yahoo.

00:11:26
Matt Vernhout: Sí. Así que hay tres que yo conozca. Dos de ellos están en Europa. Así que Seznam e Interia en Polonia. Pero ambos siguen contando con una especie de filtro o guardián. Así que la cosa no va simplemente de publicar tu registro y esperar que ya empiece a funcionar de por sí. Van un poco más atrasados en sus implementaciones. Sí. Ya sabes, Yahoo lleva haciendo esto probablemente cerca de un año ya, así que van algo más adelantados en su implementación. Está un poco más automatizado. Antes era así, ya sabes, había un control de acceso y ahora han ido avanzando más o menos hacia ese modelo. Si publicas los registros y cumples los requisitos tanto de buena reputación como de volumen, mostrarán la imagen. Exacto. Esa es, esa es la experiencia. Cuando tuvimos aquellas conversaciones. Nick y yo abordamos el tema de que no necesitabas ponerte en contacto con nadie. Tan solo publicabas los registros, esperabas un rato y luego el sistema lo detectaba y tú continuabas a lo tuyo.

00:12:13
Eric Trinidad: Entonces, ¿qué hicisteis para configurarlo todo?

00:12:16
Nick Schafer: Bueno, ese es un muy buen punto de partida para explicar el proceso de configuración. Matt comentó antes que en 250OK ya tienen esto configurado. Yo me puse manos a la obra y también lo configuré para Mailgun.net. El proceso resulta ser bastante sencillo. Sí que es necesario tener, ya sabes, como mencionamos el DMARC anteriormente, debes tener todos esos registros TXT. Los mensajes de DMARC, SPF y DKIM tienen que estar autenticados obligatoriamente. Tienen que… vamos que la política de DMARC debe ser obligatoriamente de cuarentena o de rechazo. Bajo ningún concepto puedes usar la política «none» (ninguna). Y de todos esos aspectos nosotros ya nos habíamos encargado previamente. Por lo tanto, a partir de ahí lo único que queda por hacer, es añadir otro registro TXT más. Me parece recordar que Matt mencionó con anterioridad todos estos acrónimos vinculados con el email. Pues aquí va uno más: BIMI. Necesitas de otro registro BIMI. De forma que añades el susodicho y obviamente requerirás también de un logotipo. Nosotros sí contamos con un logotipo que encaja bien en las exigencias de BIMI. Puesto que usamos nuestro símbolo de la arroba. No obstante, cabe decir que también poseemos una versión en formato horizontal. En un primer momento me mandaron esa opción, el logotipo en horizontal, ante lo que reaccioné diciendo que no, ya que eso nunca llegaría a dar resultado. Y solicité que, si era posible, me facilitaran el símbolo de la arroba a secas. Así que sí, lo ideal es apostar por, ya sabes, imágenes en formato circular que no parezcan excesivamente anchas, ya que de momento lo que muestran estos proveedores de servicios de email suele ser un pequeño círculo.

00:13:19
Jonathan Torres: Quiero decir, por regla general y refiriéndonos a esto, es cuando miramos realmente la interfaz, ya sea a través de un navegador web o la aplicación oficial de la propia empresa. O sea, dentro del teléfono y enmarcado en un circulito minúsculo situado al lado de ese email que acabas de recibir, pues muy grande que se diga no es. Así que resulta ser visible. Pero eso también es válido, tal y como ya indicaste, aplicándolo en un círculo o asimismo para el caso de un cuadrado, todo queda condicionado a quién actúe como el proveedor y cuál es en verdad el formato por el que se decantarán para su visualización. En definitiva, sí, lo mejor es recurrir a algo que luzca bien y se perciba con total nitidez.

00:13:40
Nick Schafer: Sin embargo, voy a lanzar una, una breve palabra de advertencia, resulta gracioso porque suelo reírme bastante de esto y mira que nos hemos llegado a reír durante el chat: y es que al final, somos humanos y todos estamos expuestos a meter la pata o cometer alguna errata. Por lo que, a la hora de proceder a publicar el registro por primera vez, fui yo y fastidié el registro TXT por completo a pesar de habérmelo revisado como cosa de unas 100 veces o así. Pero así y con todo, fui capaz de introducirlo malamente. El caso es que me quedo ahí, al día siguiente, enviando mensajes de prueba a la espera de ver asomar el logotipo, pero este ni aparecía ni se le esperaba. Por lo cual me detuve a echarle una ojeada con mayor detalle para terminar diciendo: oh vaya, resulta que no es más que un simple error tipográfico. De modo que procedí a corregirlo y solucionarlo. Y pasé a aguardar un día más. Ni por esas se dejaba ver. Llegado ya el segundo día, sí que comencé a observar por fin que el logotipo se mostraba tal y como era debido. Y de eso, sin duda, es conveniente tomar buena nota y tenerlo muy en consideración. Es algo que no tiene nada de inmediato e instantáneo precisamente. La cosa no va de publicar el registro TXT para que brote por arte de magia al momento. Hay que tener presente que el almacenamiento en caché influye de por medio. Pero sí, una vez que está configurado, y reitero, siempre que ya cuentes con una buena reputación afianzada en el historial para con el proveedor de servicios de email (que para este caso venían a ser Verizon y Yahoo). Llegados a este supuesto, en ese momento tú, tú empezarás a percatarte de que lucen sus logotipos. Así que, sí. En fin, que a excepción de los clásicos, ya sabes, las meteduras de pata al teclear, resulta de sobra ser un proceso la mar de llano.

00:14:40
Matt Vernhout: Y ciertamente valoro como muy interesante la puntualización que señalas ahí justo en donde destacas cómo todo te resultó bastante sencillo dado el esfuerzo previo de llevar los registros DMARC a un grado donde poder hacerlos cumplir. Digo yo, si de antemano ya has logrado imponerte una política de cuarentena o rechazo, pasas a publicar de lleno un registro BIMI y, a fin de cuentas, bastarían 24 o quizá 48 horas como máximo para que, seguramente, empieces ya a notarlo. Pero de carecer aún del trabajo orientativo de cara al cumplimiento de las pautas del DMARC, muy probablemente implicará de dosis superiores de dedicación y faena extra antes de aspirar a algo remotamente útil en esta vía.

00:15:07
Nick Schafer: Totalmente, implementar el DMARC está muy lejos de ser pan comido y ya, sobre todo a nivel de una organización de cierta envergadura u operativa compleja, donde figuran un gran abanico de equipos y ramas orientados en paralelo al envío de mensajes. Pues está visto que de no contar ya con dicha infraestructura, la película reviste indudablemente un cariz muchísimo más largo como trámite. Más que nada porque te recuerdo que resulta ser un punto irrenunciable que poseas bien asentada una política de cuarentena o de rechazo instaurada con todas las de la ley.

00:15:21
Jonathan Torres: Cierto es. Y eso es un, o sea, nunca es demasiado pronto para empezar con DMARC. O sea, si aún no lo tienes, es un buen momento. Lánzate de lleno. Y es una de esas cosas, aunque, ya sabes, Eric y yo tenemos experiencia previa de, ya sabes, trabajar para una empresa que no era más bien un ISP. Exacto. Como recibir mensajes, ya sabes, en las bandejas de entrada de la gente y luego, ya sabes, ellos queriendo enviarlos y viendo problemas y trabajando con empresas que son, ya sabes, bases más pequeñas de alojamiento. Alojábamos su email. Y luego querían, ya sabes, entrar en el ámbito de publicar registros DMARC y sacar las cosas a la luz. Y es, ya sabes, si no empiezas pronto o no tan temprano para empezar, ya sabes, a resolver todos esos problemas, todos esos asuntos, incluso con empresas pequeñas como esas, tardábamos semanas, ya sabes, hasta meses a veces en implementar esos registros e implementarlos con una política de cuarentena, porque es, ya sabes, una cosa publicar simplemente un registro DMARC y, ya sabes, configurarlo en una política none. Simplemente empiezas a recibir información sobre lo que funciona y lo que no. Se convierte en una historia muy diferente, cuando lo configuras en cuarentena y de repente los mensajes empiezan a ir al spam. Perdiste el flujo de email en algún lugar, ya sabes, y no es divertido.

00:16:23
Matt Vernhout: Vale la pena. Nosotros publicamos un caso práctico con un cliente que nunca había podido superar una reputación media en Gmail. Hicieron el trabajo y consiguieron que sus registros DMARC fueran de rechazo, e inmediatamente pasaron a tener una alta reputación. Fue una especie de período de transición de tres días en el que pasaron al rechazo; de repente tuvieron una alta reputación y luego pudieron implementar BIMI, ya sabes, casi igual de rápido. Ya sabes, acabamos de publicar el caso práctico y creo que también vieron como un aumento del 10 por ciento en aperturas y clics y demás. Digamos que fue notablemente significativo, ya sabes.

00:17:00
Jonathan Torres: Eso es impresionante.

00:17:01
Eric Trinidad: Sí. Así que, aunque no, ya sabes, no fueran los mejores remitentes, no tuvieran la mejor reputación, el solo hecho de configurarlo y de tener BIMI en mente los ayudó a lograrlo.

00:17:11
Matt Vernhout: Pero parte del asunto fue que también les reveló los puntos donde estaban fallando al lidiar con esos temas, como una autenticación mal configurada. Pudieron revisarlo todo y solucionar algunos de esos problemas sobre la marcha. Sí, ya sabes, y la verdad es que supuso una enorme diferencia para ellos.

00:17:25
Nick Schafer: Sí. Una de las preguntas que siempre surge con cualquier cosa nueva relacionada con el email, un nuevo estándar de autenticación, o algo por el estilo es la pregunta de, ¿ayudará esto a mi entregabilidad? Eso es con lo que todo el mundo quiere ayuda. Exacto. Y yo trabajo como ingeniero de entregabilidad, así que ese es el tema con el que trato a diario. Y sí, con solo configurar algo como DMARC, te muestra dónde están los problemas y te pone en la dirección correcta para mejorar tu entregabilidad. En realidad, no es el acto de configurar el registro lo que mejora tu entregabilidad. Solamente te ayuda y se asegura de que todo opere tal y como debería. De modo que es, resulta siempre divertido recibir esas preguntas. Y yo les digo, bueno, o sea, no directamente. O sea, no vas a hacer que tus mensajes lleguen de repente a la bandeja de entrada solo porque creaste un registro. Pero sí, hacer cada paso ayuda a llegar a ese punto final.

00:18:16
Jonathan Torres: Tienes que saber desde dónde estás enviando. Asegúrate de que todo esté autenticado, autenticado correctamente. Y ya sabes, es una de esas cosas graciosas porque no sé, siempre parece que cuando tenemos las conversaciones sobre, ya sabes, DKIM, SPF, DMARC es para asegurarse de que nadie te esté haciendo spoofing o suplantación, asegurarse de que, ya sabes, nadie esté enviando en tu nombre. Y creo que, ya sabes, ¿cosas como esta atrapan y ayudan a atrapar algo de eso? Es decir, definitivamente hay momentos donde ocurren casos de ese tipo, en los que alguien intenta, ya sabes, enviar en nombre de otra persona. Y eso no es genial. Pero sí, configurar estas protecciones ayuda incluso con eso. Así que, ya sabes, échalo ahí, asegúrate de que todo está autenticado, todo asegurado. Y puede ser muy, muy bueno para alguien.

00:18:55
Matt Vernhout: Sí. O sea, absolutamente.

00:18:57
Nick Schafer: Toda la idea de esto es ganar confianza. Exacto. Ya sabes, si alguien intenta hacerte phishing, si tienes configurado algo como BIMI, igual que DMARC, obviamente ayudó. Pero BIMI, como cuando empiezas a poner logotipos frente a tus clientes, entonces de repente reciben un mensaje. Si no tiene un logotipo, quizá hace que se detengan. Así que quiero decir, esa es la idea general.

00:19:15
Eric Trinidad: Así que creo que tocaste un punto antes, Matt, de hecho sobre, ya sabes, entender como dónde están estos, como ¿cómo entienden que la imagen que enviaste eres en realidad tú y cómo difiere eso con BIMI?

00:19:28
Matt Vernhout: Con respecto a eso, tienes que estar, ya sabes, adecuadamente autenticado en SPF, adecuadamente autenticado en DKIM, ya sabes, DMARC en rechazo, o cuarentena. Así que estás haciendo algún tipo de aplicación de normativas contra tu dominio y luego utilizando una especie de alineación de todos los dominios y el remitente y quiénes son las direcciones de origen. De ahí es de donde sacarán el registro BIMI. Así que, ya sabes, cuando tengas tus registros DMARC alineados y tengas tu BIMI alineado, ya sabes, ahí es donde vas a ver tu logotipo. Si tienes una desalineación, ya sabes, es probable que esto vaya a ser mucho más difícil de trabajar, así que asegúrate de que, si estás usando un proveedor, entiendas la alineación de dominios y que ellos te puedan ayudar a configurarlo.

00:20:08
Nick Schafer: Tuve algo que se me acaba de pasar por la cabeza. ¿Ha habido como…? Soy un nerd del email, un nerd de los datos, como quieras llamarlo. Soy un nerd. Pero, ¿ha habido algún estudio que haya mostrado, como, ya sabes, mejora por, ya sabes, tener logotipos o BIMI configurado? Eso es algo que me gusta leer, estudios de caso o cualquier, cualquier tipo de datos.

00:20:31
Matt Vernhout: Acabamos de compartir en el chat un enlace al caso de estudio que se publicó en el sitio web del Email Experience Council sobre BIMI que mostró mejoras y clics y aperturas y rendimiento para un minorista europeo de marca y cómo impactó su mensajería. Así que sin duda tiene un buen impacto, ya sabes, con el tiempo. Ciertamente también tiene longevidad. Y lo hemos visto también con algunos de nuestros clientes, donde publicaron estos registros. Y luego, ya sabes, las métricas con el tiempo, crecerán y mejorarán, ya sabes, simplemente usando una vista limitada, ya sabes, de solo el email que se envía a las marcas de medios de Verizon.

00:21:15
Nick Schafer: Eso es impresionante. Creo que mencionamos algo antes, y esto es como, ya sabes, algo que es bastante genial cuando haces cambios, simplemente cosas que llegas a esperar. Obviamente, ya sabes, con BIMI, vas a esperar ver logotipos. Pero hemos hablado de DMARC bastante rato. Y si eres nuevo en esto, como los informes que recibes al configurar DMARC son tan ricos en datos, como que puedes ver tantas cosas que, no te voy a mentir, son un poco abrumadores si envías mucho volumen; sé que mirar los informes de DMARC que recibimos para los dominios de Mailgun es bastante abrumador a veces, pero es muy genial. Creo que ese tipo de cosas son muy interesantes solo para entender tus fuentes. Así que si estás pasando por este proceso, ya sabes, y tienes DMARC configurado. Sí. Asegúrate de tener todo configurado y proporcionar una dirección a la que puedas acceder para recibir esos informes y simplemente mira qué está pasando. Eso es algo que, ya sabes, sé que soy raro, pero disfruto buscando.

00:22:20
Jonathan Torres: Siento que estás a punto de tener un momento Matrix donde, ya sabes, es como si estuvieras mirando tanto XML que después de un rato ni siquiera ves el código.

00:22:26
Nick Schafer: Sí, no, es verdad.

00:22:28
Eric Trinidad: No hay cuchara.

00:22:30
Matt Vernhout: Y eso es, sí. Por eso ciertamente es importante trabajar con, con un proveedor de DMARC con respecto a poder interpretar los informes y entender lo que, lo que hacen. Exacto. Sin duda es uno de los productos que tenemos con respecto a interpretar y presentar informes sobre los informes de DMARC. Así que tomar ese XML y convertirlo en algo útil, ya sabes, ciertamente hay muchos proveedores, pero es un producto que me apasiona mucho. Y, ya sabes, como empresa, nos apasiona que la gente lo configure y utilice el estándar adecuadamente.

00:23:05
Jonathan Torres: Sí, sí. Y me refiero a que cuando hablamos de, bueno, volviendo al tipo de BIMI y cómo se ve la adopción en general. Quiero decir, hacemos… aparte de Yahoo. O sea, ¿podemos esperar que alguien más como Gmail entre a este sector con suerte pronto?

00:23:21
Matt Vernhout: Sí, creo que sí. Así que, Microsoft está haciendo lo suyo. Bueno, están haciendo un icono de remitente verificado. Eso, eso es parte de sus, sus servicios de cuenta empresarial. Es algo para lo que tienes que presentar una solicitud para formar parte de ello. Ya sabes, nosotros, vimos una iniciativa similar de Microsoft con SPF en comparación con el ID del remitente cuando eso pasó. Así que, ya sabes, será interesante ver a largo plazo si eligen adoptar BIMI o no o si van a seguir trabajando en su propio estándar. Hubo una conversación en el evento CSA a principios de este año de que Google tiene interés en el grupo de trabajo de BIMI y que van a estar involucrados un poco ahí. Así que eso es, eso es una señal positiva de que, de que Google va al menos a evaluar BIMI. Y creo que si ves a Gmail acoger a BIMI…

00:24:13
Nick Schafer: Eso es enorme.

00:24:16
Matt Vernhout: Ya sabes, la tasa de adopción será como un buen palo de hockey. En dirección al noreste.

00:24:22
Nick Schafer: ¿Acabas de usar una referencia de hockey? Definitivamente vives en Canadá.

00:24:29
Matt Vernhout: Pues sí. Tengo que meter al menos una referencia al hockey en cada seminario web, ¿verdad? Me retirarían mi ciudadanía.

00:24:37
Nick Schafer: Mencionaste a Google; me refiero a que si llegaran a adoptar BIMI, como hemos dicho, sería enorme. De verdad que lo es, porque echa un vistazo a tu lista de envíos. Si eres un remitente, lo más probable es que, ya sabes, el cincuenta por ciento o así de tu lista (podría ser un poco más, podría ser un poco menos) sea de Gmail. Así que eso es enorme. Eso es definitivamente una razón para al menos considerar empezar con BIMI. Y ya sabes, de nuevo, la adopción de DMARC no ha sido tan rápida como todos esperaban, pero este tipo de sistemas de recompensa, creo que Matt lo mencionó antes, impulsarán a la gente en la dirección correcta.

00:25:14
Jonathan Torres: Sí, por supuesto. Quiero decir, ya sabes, como ya habían hecho cosas con, como incluso con el Google Plus de antes, ya sabes, esa es una de las cosas que habíamos visto donde de hecho, ya sabes, hicieron algo parecido a esto donde mostraban ese tipo de cosas en, ya sabes, la plataforma webmail actual y en la aplicación actual, ya sabes, de Gmail. Así que gran adopción hacia algo más que vaya a entrar en este sector. Y, ya sabes, en lugar de ver esas pequeñas y divertidas burbujas de iniciales, ya sabes, ver realmente algo que fuera tangible para una empresa sería increíble.

00:25:42
Matt Vernhout: Sí, exacto. E incluso las nuevas anotaciones de Gmail tienen una, ya sabes, una pieza de BIMI, por así decirlo. Puedes identificar un logotipo que se mostrará junto a una anotación o una de sus, ya sabes, soluciones personalizadas de tipo cupón que ahora también están llegando a Gmail. Así que la idea ya está ahí más o menos. Esto solo sería a mayor escala, de forma automatizada.

00:26:10
Nick Schafer: Parece que están llegando algunas preguntas. Estaba leyendo algunas de ellas para ver qué teníamos. Mirad, aquí hay una buena relacionada con BIMI. Trabajo para un concesionario de coches con veintidós tiendas, enviamos cantidades masivas de campañas a diario. ¿Cómo podría funcionar esto para nosotros? Así que mi, mi mayor pregunta respecto a esto, y no lo sé, igual vosotros estáis pensando lo mismo, es el dominio, supongo, que se utiliza para estos diferentes concesionarios. ¿Están usando sus propios dominios? Porque de ser así, es decir, obviamente configuras y sigues el enrutamiento a través de DKIM, SPF, DMARC y luego BIMI para ese dominio, y puedes usar los logotipos para cada concesionario y enviarlos.

00:26:48
Jonathan Torres: Correcto. Todo depende de cómo lo estés haciendo, y cuando veo una pregunta como esa, la primera cosa que se me viene a la cabeza es cómo se están ejecutando tus campañas ahora mismo. ¿Es, ya sabes, tu marca lo que estás haciendo a través de los concesionarios todo saliendo de, ya sabes, una marca superior, o sea, un conglomerado de estos concesionarios y todo sale desde este nivel superior, ya sabes, lo cual lo convierte en una historia completamente diferente a si todos tuvieran su propio mismo dominio, cada uno enviando su propio contenido? Y el estilo de marca es distinto para cada uno de ellos. Por lo tanto, ya sabes, si es ese último supuesto y cada dominio envía su propia cosa, cada uno con su propia marca, entonces se hace mucho más difícil. Pero aun así es posible. Ya sabes, si cada uno está mandando todo ese mensaje, todos esos emails, ya sabes, por cada uno de esos dominios, ya que, hablamos del volumen alto. Antes comentábamos lo de lograr suficiente volumen para que BIMI apareciera. Queremos asegurarnos de que, se ha alcanzado la meta en todos esos dominios y de que todo cuenta con una autenticación adecuada para esos fines. Por lo que querrías cerciorarte de que siga todas las mismas reglas y para cada uno de esos elementos, ya sabes, querríamos tenerlo todo ahí y bien configurado.

00:27:54
Matt Vernhout: Tocas, tocas un punto interesante sobre el dominio de la organización frente a un subdominio frente al dominio de la marca también. Tanto DMARC como BIMI poseen una especie de efecto cascada. Si tú, si tú publicas el registro a nivel de dominio de la organización. Para que me entiendas, el ejemplo mailgun.com, si lo publicas en ese nivel, abarcará de hecho todo y cualquier subdominio también. Así que obtendrás informes sobre, ya sabes, informes de DMARC sobre los subdominios de mailgun.com o .net y empezarás a ver cómo entra ese tipo de información. BIMI funciona del mismo modo, por lo que a nivel organizativo… recae en los diferentes tipos de subdominios. ¿Qué más resulta interesante acerca de BIMI? Incluso podrías crear un subdominio distinto de manera que podrías poner un logotipo diferente en cada subdominio si así lo decidieras, y contar con un logotipo principal en el dominio de la organización y logotipos de submarcas por debajo de manera individual. Al final, gran parte se reduce a, como bien dijiste, cómo tienes configurado tu email. Y.

00:28:55
Nick Schafer: Sí, eso es algo que la verdad me resulta súper interesante. De hecho, siempre que me leía la documentación en el RFC sobre BIMI veía el aspecto del subdominio y lo de disponer de logotipos distintos para diferentes subdominios. Digo yo, estoy seguro de que la gente de marketing ya se está planteando métodos distintos. A ver, puedes lanzar pruebas y comprobar cuáles de todos esos podrían dar mejor resultado. Y como sabrás, evidentemente esto no atañe en realidad a los mensajes transaccionales. Supongo que depende del volumen, pero lo de emplear logotipos dispares para tipos distintos de tráfico. Es algo que me resultó llamativo al hojear la documentación.

00:29:31
Matt Vernhout: Podría ser tan sencillo o tan complejo como quieras.

00:29:33
Nick Schafer: Sé que cuando me puse a repasarlo y lo configuré, solo utilicé el valor predeterminado. Solo tienes que añadir un pequeño registro por defecto y te cubre con el logotipo aportado; de entrada no quise enredarlo tanto. Y tiene esa pinta. Esto último que hemos abordado contestaba justamente a un comentario que nos llegó tras comentar la última pregunta, por parte de, ya sabes.

00:29:54
Eric Trinidad: Y creo que quizá quisimos mencionar esto antes, pero la última pregunta por aquí es ¿qué? ¿Qué me decís sobre los ejemplos en que se incorpora un logotipo con un identificador de marca del que sacar partido? ¿Y qué hay de los colores de la marca, imágenes adicionales o iconos? ¿Cómo va a funcionar eso?

00:30:11
Nick Schafer: Sí, así que, quiero decir, al igual que, al igual que he mencionado de refilón anteriormente, he sacado una publicación de blog hace apenas unos días y dentro de la misma hablo de ello. Literalmente ofrecemos un «antes y un después» sobre cómo se veía más o menos antes de implementar el logotipo. Y creo que dependerá un poco. Puede que llegues a ver, como, una pequeña imagen genérica. Quizás lo que veas sean las iniciales en base a si utilizas, no sé, un navegador móvil o la app móvil, detalles como ese. Así que lo tienes ahí. Y me consta que Matt ha elaborado alguna publicación de blog desde 250OK, en la que se pueden apreciar «antes y después» similares.

00:30:43
Jonathan Torres: Sí. Y me refiero a que hay, hay muchísimas cosas pequeñas que están surgiendo y es una de esas cosas que también se extiende enormemente con todos los diferentes proveedores. Exacto. Y creo que Google está liderando mucho el camino en esto. No necesariamente con BIMI todavía. Pero, ya sabes, cuando hablas de anotaciones como Matt había mencionado antes, pueden hacer mucho dentro de la plataforma. Puedes hacer tantas cosas, conseguir que los emails promocionales se vean de cierta manera y transmitan cierta sensación de acuerdo con tu marca y cómo lo estás haciendo. Pero cuando sales de la plataforma de Gmail, eso no se encuentra mucho realmente. Así que, ya sabes, tienes que dejarte llevar por la corriente de todos y prepararte para el éxito en tantos lugares diferentes como puedas. Y por lo tanto, ya sabes, actualmente todavía no ofrecen asistencia a la gran plataforma. Pero, ya sabes, con Yahoo ofreciendo esa asistencia, esa es una vía que puedes asegurar y asegurarte de que las cosas se ven bien para ti del lado de Yahoo, ya sabes, estás entrando en el mercado, que se mostrará en muchos lugares diferentes y luego haciendo, ya sabes, cosas como las anotaciones de Google y, ya sabes, haciendo las cosas un poco más bonitas para ti en tu espacio de email. Y todo se trata de, ya sabes, encontrar esas ubicaciones. Y, ya sabes, con suerte tendréis la oportunidad de escuchar a personas como nosotros que tenemos la oportunidad de hablar de estas cosas de vez en cuando y orientaros un poco en la dirección correcta. Pero, sí, es que hay un montón de vías diferentes y es mucho que cubrir. Pero, ya sabes, definitivamente hay algunas cosas que podéis hacer para empezar a ir en esa dirección.

00:31:58
Matt Vernhout: Fíjate, tienes a Google, ya cuentas con AMP en el email y ahora dispones de Schema en el email. También tienes las anotaciones. BIMI. Así que todas estas cosas están llegando y hacen que el email sea difícil. Y creo que ese es mi hashtag favorito, ya sabes, el email es difícil, ya sabes, porque hay muchas piezas en movimiento. Pero, ya sabes, creo que si podéis dejar BIMI configurado y funcionando bien en, ya sabes, los dominios propios de Verizon, cuando Gmail se sume, o si se suman, ya estará funcionando. Tenéis el caso de prueba. Habéis demostrado que funciona. Ya sabes, si Microsoft se suma, entonces ya está funcionando, ya está demostrado y los logotipos empezarán a mostrarse. Esas son… esas son cosas que podéis mirar y decir, ya sabes, hazlo una vez y seguirá funcionando mientras la gente siga el estándar y continúe implementándolo.

00:32:51
Nick Schafer: Parece que esta pregunta. Creo que ya la respondimos, pero no sé si entró antes o después. Pero es, ¿puedes confirmar que la imagen puede ser diferente a nivel de subdominio? Si tenemos diferentes líneas de negocios, cada una tiene su propia marca. Así que, sí, sí.

00:33:06
Matt Vernhout: Nosotros, actualmente tenemos un cliente configurado con subdominios frente al dominio corporativo. Así que, ya sabes, es muy posible. Simplemente el registro está a nivel de subdominio frente al nivel de dominio de la organización.

00:33:19
Nick Schafer: Ah, claro. Parece que hay una pregunta más. ¿Sabéis si hay algunos requisitos específicos de los ISP como Yahoo sobre los volúmenes requeridos para calificar para BIMI? Trabajo con una empresa en el Reino Unido y hemos tenido un registro BIMI activo verificado por Agari durante una semana aproximadamente. Pero por el momento, Yahoo no está mostrando el icono. Enviamos unos 500 emails, transaccionales y directos por día, aunque obviamente no todos a usuarios de Yahoo. ¿Alguna idea de qué podemos hacer las empresas más pequeñas como nosotros para alcanzar el estatus completo de BIMI?

00:33:54
Matt Vernhout: Tengo algunas ideas, sean cien por ciento precisas o no. Ya sabes, hay una especie de requisitos de volumen mínimo, incluso, por ejemplo, usando las herramientas de postmaster de Google. Creo que si no envías mil mensajes al día a dominios alojados en Google, no te muestran datos y el postmaster de Google también asume que eso es un punto de referencia de calidad, al menos ahora mismo, ya sabes, mil mensajes al día a un dominio específico. ¿Como un remitente más pequeño? Creo que todavía estamos en las primeras fases de adopción con BIMI. Así que, ya sabes, actualmente está configurado para, por así decirlo, un valor más alto o un volumen más alto, debería decir, de marcas. Puede que veamos esos límites disminuir o puede que veamos con el tiempo cómo las métricas de reputación para las marcas más pequeñas se vuelven más precisas. Empezarás a ver eso. Ya sabes, no tengo una respuesta directa porque obviamente no trabajo en la plataforma de email de Yahoo. Ahora bien, lo doy por descontado constando a de ser atestiguado y certificar en firme de pleno el referirme ser verdaderamente uno sobre todo de esos temas y de de seguro a ver que me figura a mis anchas en el tintero en pensar logrando concebirme a mi mismo el llegar prestando el asomo atisbarme de que a fe de ser sincero lo abordaría y en firme me prestaría decidiéndome a ponerme orientarme comunicando y lanzar y requerir el consultar e indagar lanzándome preguntar tras eso englobando acto seguido poder dar vía retomando hilos de dar con el dar un cauce abordando a proseguir o entablar de de dar para proseguir atajar retomándolo a algún remate para y retomarlo hilvanando para entablar seguimiento para ir y abordar sacándolo ver por en un seguimiento viendo de prestando un abordarlo retomándolo orientarme un de una forma dándole atándolo cómo para proseguir enfrascarme abordarlo encauzando atar viendo la forma indagando la a la que abordar y encauzar las maneras ver y evaluar sacar el agua en limpio cerciorarnos del en constatar un abordarlo y por ver en cómo se obraría o procedería de encauzar ver con esto mismo en cuanto un de ver sacar en el la viendo un encauzar a a atisbar la forma abordando y ver a los ver y a y remitiendo para abordándolo a aquellos de y los de más de de remitentes en cuanto o de menores remitiendo sobre e abordarlo a y que otra e atar un otra remitiendo más de algo en otra a para constatar y ver a de otra de y por ver a otra a de rematando a sacar la constatación en donde abordando a la y otra en otro el remitir con a de de menor calibre ver y un ver a a a de y de lo a sacar de constatar a constatar de constatar e evaluar en y la y la constatar e evaluar a de a a de y a a de y al atar y ver constatar constatar constatar a constatar constatar en y de ver y atar y y remitiendo a atar de remitentes de evaluar atar de constatar e otra de otra de y de y de de y en donde la e e evaluar y atar e evaluar en evaluar evaluar en y a y a constatar en donde evaluar y evaluar en a a a atar otra e a a evaluar en e evaluar e e e e e e constatar a a a e e e evaluar evaluar a constatar en la en evaluar evaluar de a evaluar en e e de la evaluar y evaluar a a evaluar a constatar evaluar a e a evaluar evaluar evaluar a evaluar a de la otra a constatar a de la evaluar de de a e de evaluar e a a a evaluar evaluar e evaluar evaluar e la constatar evaluar evaluar evaluar a evaluar de a a a a de la evaluar a de e a evaluar evaluar a a evaluar de a a evaluar de a evaluar a a evaluar evaluar de a a la evaluar de e evaluar de la de de de a de de e de la evaluar a e de a de evaluar de la de a evaluar de de de la de evaluar a de a evaluar de a a de evaluar de evaluar evaluar de a a de evaluar a a de a a a evaluar evaluar e a a a de la de a a de a de a evaluar a a a a evaluar e de evaluar e la a la evaluar de la e evaluar a de a e de a evaluar a evaluar a la a de a de a de evaluar de de a evaluar evaluar a de la de de a de evaluar de e evaluar a a evaluar a de a evaluar a de a de a a a a a evaluar de evaluar e a de evaluar de la de la a de a a de de a evaluar de evaluar a a a de de evaluar a de de a evaluar a de de de a de de a a la a a a de de a evaluar de de a a evaluar de de a de de de a a evaluar de de a de de a evaluar de a a evaluar a a evaluar de de a de a de evaluar evaluar a a a a de a evaluar evaluar de a a a de a de la a a evaluar a a a a a de a a a a evaluar a a a a a evaluar evaluar a de a de a evaluar a a a a evaluar a evaluar a de evaluar a evaluar de de evaluar a de evaluar a de a a de a a a de de de a a a a a evaluar de de a de de de a a a de a a de de evaluar de de a a a a evaluar a evaluar a de evaluar de a de a de evaluar evaluar de a evaluar de a de a de de a a a evaluar a de evaluar a de a a evaluar de de a de a de a evaluar evaluar evaluar de a a evaluar evaluar a de a a de a de evaluar a de de a de a evaluar a a de a de de a evaluar de a de de a de a evaluar de de a de evaluar a de de evaluar evaluar evaluar de de a a de de evaluar a a de a a evaluar de a a de a a de de evaluar a de a de a de a a de a a de de de a a evaluar de evaluar evaluar de a de de a de evaluar de de de de evaluar evaluar de a evaluar evaluar evaluar evaluar evaluar evaluar evaluar a de a de a de a evaluar evaluar evaluar a de de a a de a de a evaluar evaluar a evaluar a a de a evaluar a de a evaluar de de de a a evaluar evaluar evaluar a de de a de de a evaluar de evaluar evaluar de de a a de de a de evaluar de a evaluar a evaluar de de a evaluar evaluar a evaluar a de de de a evaluar de de a evaluar de a a evaluar a evaluar de a evaluar de evaluar evaluar evaluar evaluar a de a evaluar de de evaluar de a evaluar evaluar evaluar evaluar evaluar de a evaluar de evaluar evaluar evaluar de de a a de evaluar de evaluar de a evaluar de evaluar de de a evaluar a evaluar evaluar evaluar evaluar de de a evaluar de de a evaluar de a evaluar a evaluar a de evaluar de de de evaluar evaluar evaluar de evaluar de a evaluar evaluar evaluar evaluar evaluar evaluar de de evaluar evaluar evaluar a de evaluar evaluar evaluar evaluar a de evaluar de evaluar evaluar evaluar de evaluar a de evaluar evaluar de evaluar evaluar evaluar evaluar evaluar evaluar evaluar a de de de evaluar evaluar evaluar de evaluar de evaluar evaluar de de evaluar evaluar evaluar evaluar evaluar a de evaluar de evaluar evaluar evaluar evaluar evaluar evaluar de evaluar evaluar evaluar evaluar de evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar a de evaluar evaluar evaluar evaluar de de evaluar evaluar evaluar evaluar de evaluar de evaluar evaluar evaluar evaluar de de evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar de evaluar evaluar evaluar evaluar de evaluar de de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar evaluar evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar de evaluar de evaluar evaluar de de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar evaluar de evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar evaluar de evaluar de evaluar de evaluar evaluar evaluar de evaluar evaluar de evaluar evaluar de evaluar evaluar evaluar evaluar evaluar evaluar de evaluar evaluar evaluar de evaluar de evaluar de evaluar de evaluar evaluar de evaluar de evaluar de evaluar de evaluar evaluar de evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar evaluar de evaluar de evaluar de evaluar de evaluar evaluar evaluar evaluar de evaluar evaluar evaluar evaluar evaluar evaluar evaluar de evaluar evaluar de evaluar de evaluar de evaluar evaluar evaluar de evaluar de evaluar evaluar de evaluar de evaluar de evaluar evaluar evaluar de evaluar de evaluar evaluar evaluar evaluar evaluar evaluar evaluar de evaluar evaluar de evaluar de evaluar de evaluar de evaluar evaluar evaluar evaluar evaluar de evaluar de evaluar de evaluar evaluar de evaluar evaluar de evaluar evaluar de evaluar evaluar evaluar evaluar de evaluar de evaluar de evaluar evaluar de evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar evaluar de evaluar evaluar evaluar de evaluar de evaluar de evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar evaluar evaluar de evaluar evaluar de evaluar de evaluar de evaluar evaluar evaluar evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar evaluar evaluar evaluar de evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar evaluar de evaluar de evaluar de evaluar evaluar evaluar de evaluar de evaluar de evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar de evaluar evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar de evaluar evaluar evaluar de evaluar evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar evaluar de evaluar evaluar evaluar de evaluar evaluar evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar evaluar de evaluar de evaluar evaluar evaluar de evaluar de evaluar evaluar evaluar evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar evaluar de evaluar de evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar de evaluar el control de los de control de calidad sobre su idoneidad para fines de producción. También deben abordar y documentar la adecuación de las validaciones de Excel y cómo superaron el límite actual para usar macros con el código generado automáticamente. Si los problemas de validación provienen de problemas de codificación comunes, también deben considerar qué cambios se pueden incorporar en el código del LLM para evitarlos. Se ha comprobado que es más fácil de usar, la verificación de tipos para Python, de manera más precisa y fácil de usar [enlaces a [TypeCheck](https://www.google.com/url?sa=E&q=https%3A%2F%2Fgithub.com%2Fgoogle-deepmind%2FTypeCheck&sa=D&sntz=1&usg=AOvVaw2gZzO1rZ_Rz56a93H24JmQ) y [TypeTest](https://www.google.com/url?sa=E&q=https%3A%2F%2Fgithub.com%2Fgoogle-deepmind%2FTypeTest&sa=D&sntz=1&usg=AOvVaw1o_O3Q88eZemXqXoAun5Xy)]. Además, si los evaluadores se basan en reglas (por ejemplo, heurísticas codificadas), los desarrolladores del modelo deben considerar incluir los casos extremos subrepresentados o el contexto específico del problema en la ingeniería de instrucciones en el contexto. El equipo evalúa una gran cantidad de preguntas de matemáticas en el conjunto de entrenamiento usando heurística de expresiones regulares y una pequeña muestra manual, y detectó y filtró ~80,000 pares que contienen errores graves en el programa y los valores finales. También recomendamos a los evaluadores de calidad que corrijan todos los problemas de calidad posibles que encuentren con el conjunto de evaluación y aumenten el conjunto con casos extremos desafiantes para que el uso futuro del conjunto de prueba evalúe la solidez del modelo de un caso práctico más difícil.

  • Se anima a los desarrolladores de modelos de LLM a que hagan que el entorno de desarrollo sea más tolerante a fallas para ejecutar código sin restricciones y se adapte fácilmente a lenguajes en los que pueden ejecutar consultas, de modo que se puedan considerar más lenguajes que admiten un grupo de usuarios y casos de uso más amplio.
  • Se debe alentar a los creadores de conjuntos de entrenamiento de instrucciones a incorporar respuestas detalladas del LLM y una secuencia de reflexión cuando el código no se compila o no produce la respuesta final correcta y se apela a la autorreflexión para el siguiente reintento en el que se intenta una respuesta correcta. Se ha comprobado que esto aumenta el rendimiento en otros dominios.
  • La métrica de programación no debe enfocarse solo en si la respuesta de salida es correcta, sino si todo el proceso es lógico y sigue correctamente las instrucciones. Por ejemplo, en ocasiones, no hay ningún código y solo la respuesta. Este comportamiento del modelo se debería analizar en el momento de la evaluación.
  • Así que si buscas un poco ese email personal uno a uno, probablemente no lo veas si esa es una parte del volumen del que hablas. Así que primero analizamos los grandes emisores de correo corporativos y luego, a medida que avanzamos, vamos bajando al resto. Así que creo que eso es lo que esperaremos.

    00:35:25
    Eric Trinidad: Bueno, hace poco publicaste un vídeo sobre el trabajo con el postmaster en Verizon Medios y es muy informativo. Es increíble ver a Lily Crowley. Así que échale un vistazo si no lo has hecho. Definitivamente está por ahí. ¡Obtén buena información sobre cómo llegar a Yahoo!

    00:35:47
    Nick Schafer: Sí, es muy agradable ver cosas que podemos mirar, leer y escuchar en el lado del email. Sé que no llevo en el negocio tanto tiempo como otros, pero llevo en esto, ya sabes, unos seis años y no había mucha información por ahí. Pero ahora, ya sabes, tenemos el podcast que vosotros hacéis, lo cual es genial. 250ok tiene la serie email on tap, que creo que es fenomenal, en la que acaba de estar Lily, de quien hablaba Eric. Así que, sí, es realmente bueno si alguno de vosotros está viendo esto y, ya sabes, no lo ha visto, que vaya a echarle un vistazo sin duda.

    00:36:22
    Jonathan Torres: Sí, el email es difícil.

    00:36:26
    Matt Vernhout: Voy a llamar así a mi podcast.

    00:36:31
    Nick Schafer: Oh, oh, competencia.

    00:36:31
    Eric Trinidad: Mientras puedas invitarnos allí, nos parece totalmente bien.

    00:36:36
    Jonathan Torres: Sí, funciona. Estamos de acuerdo con eso.

    00:36:38
    Matt Vernhout: Seguro. Sí.

    00:36:39
    Jonathan Torres: Creo que lo importante también es que, ya sabes, el email durante mucho tiempo e incluso todavía a día de hoy, se siente como, como si fuera, fuera el hombre detrás de la cortina. Exacto. Como si hubiera tanto misterio, tantas cosas que simplemente no sabemos y no entendemos al 100 por ciento. Ya sabes, quieres llegar a ese lugar en el que simplemente sabes exactamente qué es todo y exactamente cómo hacer las cosas y exactamente qué necesito hacer para llegar a la bandeja de entrada de algún sitio. Y nunca vamos a saber eso. Pero cada vez que se corre un poco esa cortina y de alguna forma echas un vistazo a cómo funcionan las cosas, en qué piensa la gente, ya sabes, en cómo podemos ser mejores como remitentes. Tío, es increíble. Me encanta. Y me encanta lo que vosotros estáis haciendo allí. Esperemos que estemos, ya sabes, alcanzando algún tipo de estándar para hacer lo mismo por la gente. Pero es maravilloso. Es maravilloso ver eso y el hecho de que la gente quiera mejorar y hacer las cosas mejor, hacer las cosas correctamente y vaya, el email perdurará.

    00:37:32
    Eric Trinidad: Sí, por supuesto. Me gusta esta colaboración que tenemos en marcha. Esperemos que hagamos mucho más de esto, sin duda. Y si, si te gustaría saber más, echa un vistazo a las publicaciones de nuestro blog, nuestra documentación en mailgun.com. Publicaremos parte de esa información. Matt, ¿querías promocionar algo de lo que tienes en marcha por allí?

    00:37:50
    Matt Vernhout: Solo diría que le echéis un vistazo a 250OK, tenemos muchas herramientas diferentes para ayudar a los especialistas en marketing a hacer mejor su trabajo. Supervisa tu llegada a la bandeja de entrada, supervisa tu reputación DMARC, analíticas, todas esas cosas divertidas. Ya sabes, es una herramienta que muchas plataformas utilizan y que muchos especialistas en marketing usan simplemente para mejorar todo. Sí, ese es, ese es nuestro objetivo. Hacer el email mejor. Realmente queremos deshacernos de muchas de esas cosas turbias en la industria.

    00:38:16
    Nick Schafer: ¿Qué tal hacer el email más fácil ya que el email es difícil?

    00:38:28
    Eric Trinidad: Bueno, como dijiste antes, por favor busca nuestra información. Mailgun.com, 250OK.com. Escucha nuestro podcast, nuestro próximo episodio saldrá pronto. Y hasta entonces, gracias a todos. Agradecemos tu tiempo.

    00:38:41
    Nick Schafer: Gracias a todos.

    00:38:42
    Matt Vernhout: Gracias por invitarme.

    00:38:43
    Nick Schafer: Gracias por acompañarnos, Matt.

    Call To Action Graphic
    ¡Manténganme al tanto! Recibe excelentes recursos en tu bandeja de entrada cada semana.
    Envíadme la newsletter de Mailgun. Acepto expresamente recibir la newsletter y sé que puedo darme de baja fácilmente en cualquier momento.

    Revisa tu bandeja de entrada cada mes para recibir tu boletín de Mailgun.