En quelques mots sur les Embeddings

En quelques mots sur les Embeddings

Эмбеддинги (от англ. embedding — вложение, внедрение) — это способ перевода слов, картинок или смыслов на язык, который понимают компьютеры: язык чисел.

1. Карта смыслов.

Представим огромное пространство (как карту мира). На этой карте похожие по смыслу слова живут рядом, а разные — далеко друг от друга:
Король и Королева будут находиться в «квартале монархов»
Собака и Кошка будут в «парке домашних животных»
А слово Трактор улетит на другой конец карты в «промзону».

2. Многомерные характеристики.

Для компьютера слово — это не набор букв, а список координат. Каждое число в этом списке отвечает за какой-то скрытый признак. Допустим, у нас есть всего 3 характеристики (в реальности их сотни):
Насколько это живое? (от -1 до 1)
Насколько это большое? (от -1 до 1)
Насколько это съедобное? (от -1 до 1).
Тогда слово «Лев» может выглядеть так: [0.9, 0.8, -0.5]
А слово «Яблоко» так: [-0.2, 0.1, 0.9].

Эти списки чисел и есть эмбеддинги.

3. Магия математики: «Король — Мужчина + Женщина = Королева».

Самое крутое в эмбеддингах — это то, что с ними можно проводить арифметические операции. Поскольку смыслы превратились в числа, компьютер может буквально вычислять отношения между ними.
Если мы возьмем координаты слова «Король», вычтем из них признаки Мужчины и добавим признаки Женщины, то в пространстве мы окажемся в точке, максимально близкой к слову Королева.

Благодаря эмбеддингам нейросети понимают не просто буквы, а контекст. Они «чувствуют», что «холодный прием» и «низкая температура» — это разные «холода», потому что у этих фраз разные координаты в смысловом пространстве.