Comprensión de las bases de datos vectoriales: la base de las aplicaciones modernas de IA

¿Qué son las bases de datos vectoriales?

Las bases de datos vectoriales forman la columna vertebral de las aplicaciones de aprendizaje automático e inteligencia artificial. A diferencia de las bases de datos tradicionales que manejan datos estructurados, estas bases de datos almacenan y administran grandes cantidades de datos de alta dimensión en un formato de incrustación vectorial, lo que permite un almacenamiento, recuperación y procesamiento eficiente de información compleja.

¿Pero qué es un vector? Un vector en el contexto de una base de datos vectorial se refiere a una representación basada en incrustación de un objeto, como imágenes, audio y texto, comúnmente utilizada en tareas de aprendizaje automático. Estas representaciones vectoriales no son más que matrices numéricas de alta dimensión que capturan los rasgos o características esenciales de los objetos.

Casos de uso para bases de datos vectoriales

Cuando se les solicita una consulta de búsqueda de una representación vectorial de una imagen o audio, las bases de datos vectoriales pueden recuperar rápidamente incrustaciones de la base de datos de una manera similar a la consulta rápida. Las bases de datos vectoriales utilizan modelos como el enfoque K-vecino más cercano aproximado (utilizando internamente métodos de similitud como la similitud del coseno o la distancia euclidiana) para encontrar similitudes entre incrustaciones.

Procesamiento de imágenes y reconocimiento de voz

Los ejemplos industriales de Vector DB para la búsqueda de imágenes incluyen el uso del servicio OpenSearch por parte de Amazon. Amazon utiliza OpenSearch Vector Search Collection como una base de datos vectorial para búsquedas de imágenes, lo que permite a los usuarios consultar el motor de búsqueda con medios enriquecidos como imágenes. La implementación es similar a la búsqueda semántica, donde se utilizan modelos de aprendizaje profundo, como ResNets, para convertir imágenes en incrustaciones de vectores. OpenSearch proporciona una búsqueda eficiente de similitudes de vectores al ofrecer índices especializados y admite un motor escalable que puede manejar la búsqueda de vectores con baja latencia y hasta miles de millones de vectores.

Otro ejemplo es Voyager de Spotify lanzado en diciembre de 2023. Voyager es una base de datos vectorial de código abierto para reconocimiento de voz que permite la búsqueda por similitud de pistas de música en colecciones de vectores en memoria, sucediendo a Annoy como la biblioteca de búsqueda de vecinos más cercanos recomendada por Spotify para uso en producción. Esto permite a Spotify recomendar nuevas canciones a los usuarios según sus preferencias de escucha y también ayuda a identificar y eliminar pistas duplicadas.

Chatbots y RAG

La IA generativa ha permitido a los chatbots entablar conversaciones más naturales y contextualmente relevantes, brindando una experiencia personalizada a los usuarios y, en algunos casos, se ha observado que es más eficiente en la resolución de problemas que un agente humano.

Sin embargo, uno de los desafíos clave en la creación de chatbots es garantizar que brinden respuestas precisas y relevantes a las consultas de los usuarios. Aquí es donde entran en juego los RAG. La recuperación de generación aumentada (RAG) es un método utilizado para mejorar la confiabilidad de los chatbots de IA generativa. Básicamente, RAG combina el poder de los modelos generativos y una base de conocimiento externa para mejorar la calidad y relevancia de las respuestas generadas por los chatbots.

Sistemas de recomendación

Los sitios web de comercio electrónico utilizan incrustaciones de productos para personalizar las recomendaciones de productos. Estas incorporaciones se crean en función de las características y relaciones de los productos y el historial de pedidos de millones de otros usuarios.

Ejemplos de bases de datos vectoriales

Bases de datos de código abierto exclusivamente vectoriales

1. Chroma: Chroma es una base de datos vectorial de código abierto diseñada para el almacenamiento y la recuperación eficiente de datos vectoriales de alta dimensión. Proporciona soporte para la búsqueda de similitudes y es adecuado para una amplia gama de aplicaciones, incluidos sistemas de recomendación y búsqueda basada en contenido. Usar Chroma para incrustaciones de vectores es tan simple como hacer `pip install chroma` y ejecutar el servidor Chroma.
2. Vespa: Vespa es un motor de servicio y procesamiento de big data de código abierto que incluye soporte para manejar y consultar datos vectoriales de alta dimensión. Lo utilizan varias organizaciones para tareas como recomendaciones de contenido personalizadas, sistemas de respuesta a preguntas y sugerencias de escritura anticipada.
3. Milvus: Milvus es una base de datos vectorial de código abierto optimizada para sistemas de recomendación y búsqueda de similitudes. Proporciona una variedad de funciones para gestionar datos vectoriales a gran escala, incluida la indexación, el almacenamiento y el procesamiento de consultas. Milvus es utilizado por empresas como Nvidia y Roblox.

Código fuente disponible y bases de datos comerciales solo de vectores

1. Pinecone: Pinecone es una base de datos vectorial que proporciona código fuente abierto y una plataforma comercial para gestionar datos vectoriales de alta dimensión. Ofrece funciones como indexación en tiempo real, búsqueda de similitudes y numerosas integraciones con flujos de trabajo de aprendizaje automático. Los desarrolladores pueden acceder a Pinecone utilizando plataformas en la nube como AWS, GCP y Azure. También pueden generar incrustaciones de vectores con integraciones de terceros como Hugging Face, Databricks y Cohere mientras monitorean el uso y el rendimiento mediante DataDog y NewRelic.
2. Weaviate: Weaviate es un sistema de gráficos de conocimiento de código abierto que incluye soporte para administrar y consultar datos vectoriales de alta dimensión. Ofrece funciones para búsqueda semántica, sistemas de recomendación y aplicaciones de procesamiento de lenguaje natural. Weaviate es utilizado por empresas como Stack Overflow para crear una experiencia de búsqueda intuitiva.

Bases de datos con capacidades de búsqueda de vectores

Varias bases de datos tradicionales han agregado soporte para manejar y consultar datos vectoriales de alta dimensión, que incluyen:

1. Open Search: anteriormente conocida como Open Distro para Elasticsearch, Open Search incluye soporte para la búsqueda de similitud de vectores utilizando el algoritmo k-NN (k-vecinos más cercanos). Los desarrolladores también pueden optar por utilizar Amazon OpenSearch Service, que es un servicio administrado por AWS que les permite ejecutar y escalar clústeres de OpenSearch sin tener que preocuparse por administrar, monitorear y mantener su infraestructura, ni tener que desarrollar una experiencia profunda en la operación de clústeres de OpenSearch.
2. PostgreSQL: PostgreSQL ha introducido soporte para indexar y consultar vectores de alta dimensión utilizando extensiones como pgvector que permiten a los desarrolladores almacenar, consultar e indexar vectores.
3. Cassandra: Apache Cassandra incluye soporte para almacenar y consultar datos vectoriales de alta dimensión, lo que lo hace adecuado para casos de uso como análisis de series temporales y sistemas de recomendación.
4. Redis: Redis también se puede utilizar como una base de datos vectorial para casos de uso como sistemas de recomendación, generación aumentada de recuperación (RAG) y almacenamiento en caché semántico LLM. Por ejemplo, Superlinked utiliza la base de datos Vector de Redis Enterprise para crear productos con recomendaciones personalizadas y contenido relevante.
5. SingleStore: SingleStore ofrece soporte para el manejo de datos vectoriales de alta dimensión a través de su plataforma de base de datos SQL distribuida, lo que permite aplicaciones de aprendizaje automático y análisis en tiempo real.

Sistemas de búsqueda de vectores creados por la industria

Voyager de Spotify: Voyager es un sistema distribuido de búsqueda y recomendación a gran escala creado por Spotify para manejar incrustaciones de música de alta dimensión. Permite tareas como recomendaciones de música, listas de reproducción personalizadas y deduplicación de pistas de música.
Pintext de Pinterest: Pintext es un sistema de incrustación de texto multitarea desarrollado por Pinterest para manejar representaciones de texto de alta dimensión. Impulsa varias aplicaciones basadas en texto dentro de Pinterest, incluida la recomendación de contenido y la búsqueda semántica.

Conclusión

En esta era de aplicaciones habilitadas para IA, las bases de datos vectoriales forman la columna vertebral de numerosas aplicaciones con las que interactuamos a diario. Estos incluyen recomendaciones de música en nuestras listas de reproducción, chatbots que pueden ser asistentes de inteligencia artificial que pueden resolver nuestros problemas y agentes humanos. La sinergia entre las bases de datos vectoriales y los modelos de aprendizaje profundo prepara el escenario para un futuro en el que la IA realmente comprenda los matices del lenguaje humano, la información visual y el sonido.

El potencial es inmenso y las posibilidades realmente ilimitadas. A medida que las bases de datos vectoriales y los modelos de aprendizaje profundo se vuelvan más sólidos y refinados, las líneas entre lo que las máquinas pueden entender y cómo los humanos interactúan con la información seguirán difuminándose. Estamos un paso más cerca de un futuro en el que las aplicaciones impulsadas por IA aumenten nuestras capacidades, lo que conducirá a una mejor comprensión de nuestro mundo.

Referencia: Roller, J. (2024, mayo 15). Understanding Vector Databases: The Foundation of Modern AI Applications. IEEE Computer Society. https://www.computer.org/publications/tech-news/community-voices/vector-databases-and-ai-applications/

Lo que nadie te dice de Worldcoin, la criptomoneda QUE TE PAGA por escanear tu ojo

 1. ¿Qué es Worldcoin?

La empresa detrás de este proyecto se llama Tools for Humanity (herramientas para la humanidad) y fue fundada en 2019 por Sam Altman y Alex Blania. Según su página web, es una compañía tecnológica que busca un sistema económico más justo.

Dos años después, en 2021, Altman hizo la primera mención en X (Twitter) acerca del proyecto Worldcoin. Altman dijo que se trataba de una nueva criptomoneda que sería distribuida de forma justa a la mayor cantidad posible de personas, junto a un link al sitio web worldcoin.org y una foto del orb, la máquina con la que la empresa escanea los ojos.

Sin embargo, Edward Snowden, el ex agente de la NSA que en 2013 reveló lo que ya todos sospechábamos (el espionaje masivo que hace Estados Unidos a personas en todo el mundo) y que desde entonces es un activista de la privacidad, respondió diciendo

Parece que esto produce una base de datos mundial de los hashes de los ojos escaneados de las personas. Y ellos se libran de las impliciaciones diciendo “borramos los escaneos”. Claro, pero conservan los hashes que pueden usarse para emparejar futuros escaneos.

Si no sabes qué son esos “hashes”, te lo explico en un momento.

El proyecto Worldcoin ha escaneado los ojos de más de 2 millones de personas hasta el momento. Que si bien es un número grande, está bastante lejos de los 8 mil millones que hay en el mundo (y que dicen que es su meta).

Y aunque ha estado en fase de pruebas desde 2022, este 24 de julio fue lanzado oficialmente, lo que significa empezar a operar en 35 ciudades alrededor de más de 20 países en el mundo y poner su criptomoneda WLD en circulación.

Mientras que en New York o España, el lanzamiento recibió algunos curiosos sin provocar mucho alboroto, en países como India o Kenia, ha sido un fenómeno nacional donde la gente abarrotaba las calles y centros comerciales haciendo que el gobierno interviniera. ¿Y por qué la diferencia? Porque en estos países te pagan el equivalente a 50 dólares (en su criptomoneda) por el escaneo. Y hay un mercado negro que vende escaneos de iris por 30 dólares.

¿Pero qué es exactamente Worldcoin? ¿Las bolas esas para escanear los ojos, la criptomoneda, la empresa, todas las anteriores?

Según ellos, Worldcoin es tres cosas:

Una identidad digital que puede usarse globalmente y que resuelve los problemas de identificación personal.

Una criptomoneda (el token WLD) que, donde la ley lo permita, se distribuirá gratuitamente a las personas, solo por el hecho de ser humanos.

Una app mundial de identificación. Que permitirá pagar, comprar, hacer transacciones en dinero fiat y cryptos, e incluso, autenticarte en sitios web.

Suena muy bonito y filantrópico. ¿Será tan bueno como lo pintan? Veamos como funciona.

2. El escaneo de los ojos y World ID

Según la fundación (sin fines de lucro) Worldcoin y que opera desde las islas Caimán, hay dos objetivos con este proyecto:

Crear un método de identificación mundial para las personas (el World ID) que nos dé más seguridad frente a bots, inteligencia artificial y estafas.

Crear un sistema financiero mundial que ayude a las personas que perderán su empleo por la Inteligencia Artificial.

Para conseguirlo, la empresa distribuye orbs, que son unos dispositivos esféricos, del tamaño de una cabeza humana que se encargan de escanear los ojos. Según Worldcoin, su objetivo no era construir estos dispositivos, sino distribuir gratuitamente su criptomoneda para crear una nueva economía mundial, pero luego se dieron cuenta de que la biometría era la única forma de conseguir dicho objetivo.

En su sitio web hay un interesante artículo de como funciona Orb y sus componentes internos.

Ahora, bien, ¿cómo es el proceso para escanearte los ojos y llevarte tus 50 dólares? Veámoslo paso a paso.

Vas a la App Store o a Google Play y descargas WorldApp. Al registrarte se genera una llave pública y privada desde la App. Si quieres saber más de como funcionan estas llaves puedes ver este video.

Luego debes ir personalmente a un centro donde haya un orb y escanearte el ojo. Si no hay en tu ciudad, te toca esperar. Por ahora solo está en Argentina, Chile, Francia, Alemania, Hong Kong, Japón, Corea, México, Portugal, Singapur, España, Arabia, Reino Unido y Estados Unidos.

Una vez ahí, le muestras al orb el código QR que genera la app en tu teléfono y luego te escaneas el ojo mirando a la máquina, la cual se asegura de que seas humano y no una suplantación (por ejemplo, una foto).

Entonces, usando una prueba criptográfica de conocimiento cero, se genera un hash que es una llave cifrada que no se puede revertir. Es decir, a partir del escaneo del iris puedes obtener el hash, pero a partir del hash no puedes obtener el escaneo del iris. Nuevamente, ve a este video para saber un poco más del tema.

Y eso es todo, ya tienes tu World ID, que es algo así como el Apple ID que te permite pagar o autenticarte en sitios web. Con la diferencia de que World ID está en la cadena de bloques, así que te permite hacer transacciones en blockchain y moverte en la web3.

A la fecha se han creado más de 2 millones de World ID y la empresa asegura que todos los escaneos son borrados y ellos solo almacenan los hashes, así que tu privacidad está garantizada.

3. La criptomoneda WLD

La otra parte de esta ecuación es la criptomoneda con la que se te paga por escanearte los ojos. Pero, en los países donde la ley lo permita. De hecho, en Kenia, que fue uno de los países donde se hacían filas de horas (e incluso de días) para escanearse los ojos y cobrar los 50 dólares, el gobierno ha prohibido Worldcoin e incluso han allanado sus almacenes.

Lo curioso de todo esto, es que nadie recibía dinero real, sino el token WLD, una criptomoneda en la billetera digital dentro de WorldApp que no podías vender porque no estaba en circulación en el mercado. Pero sí podías canjearla con otros usuarios de la app por bienes o servicios. Y teniendo en cuenta que Kenia es un país con una grave crisis económica, se entiende por qué fue tan grande el furor. Aunque a nadie le importaba el proyecto de Sam Altman ni la identidad mundial. Solo los 50 dólares (25 WLD).

Esta criptomoneda ha entrado en circulación recién el 24 de julio (el día del lanzamiento oficial de Worldcoin) y cualquier persona puede comprarla o venderla. Aunque su precio está a la baja actualmente. Pues de valer 3.1 dólares a su salida al mercado, hoy está en 1.69.

4. Polémicas

Que un proyecto de este tipo venga de un multimillonario, con una empresa en un paraíso fiscal como las Islas Caiman, que es la misma persona detrás de ChatGPT, obviamente causa muchísimas preguntas y preocupaciones.

Como ya te conté, Kenia ha prohibido a Worldcoin y ha allanado sus oficinas, mientras que Francia y Alemania han abierto investigaciones por sus preocupaciones por la privacidad.

Buzzfeed News publicó un reportaje con los problemas de la implementación de Worldcoin, de como los orbs fallaban, las malas condiciones laborales de los trabajadores y de personas que se sintieron estafadas. Mientras que el MIT Tecnhnology Review publicó un artículo similar sobre las tácticas de marketing engañosas que al parecer usó la empresa para captar a su primer medio millón de personas.

Aunque, por otro lado, Otka, uno de los mayores proveedores de autenticación en el mundo con Auth0, anunció que ya acepta Worldcoin para iniciar sesión. Y el plan es que los gobiernos adopten Worldcoin para sistemas de identificación.

Fuente: Lo que nadie te dice de Worldcoin, la criptomoneda QUE TE PAGA por escanear tu ojo. (2024, marzo 17). https://ed.team/blog/lo-que-nadie-te-dice-de-worldcoin-la-criptomoneda-que-te-paga-por-escanear-tu-ojo