Привет! Как поставщик трансформатора, я получал много вопросов о том, как позиционные кодировки используются в трансформаторе. Итак, я подумал, что понадобится время, чтобы разбить его для вас так, чтобы это было легко понять.
Во -первых, давайте поговорим о том, что такое трансформатор. Если вы находитесь в мире электрического мира, как я, трансформатор - это устройство, которое передает электрическую энергию между двумя или более цепей посредством электромагнитной индукции. Но в контексте машинного обучения трансформатор - это тип архитектуры нейронной сети, которая действительно хороша для обработки последовательных данных, таких как текст. Он был введен в статье «Внимание - это все, что вам нужно», и с тех пор стал основным продуктом в задачах обработки естественного языка.
Теперь позиционные кодировки. В трансформаторе входные данные обычно представляют собой последовательность токенов, как слова в предложении. Но вот в чем дело: сама архитектура трансформатора не имеет никакой построенной - чтобы понять порядок этих токенов. В отличие от некоторых других архитектур нейронной сети, таких как рецидивирующие нейронные сети (RNN), которые обрабатывают данные последовательно, трансформатор обрабатывает все токены в последовательности одновременно. Вот где входят позиционные кодировки.
Позиционные кодировки - это способ ввести информацию о положении каждого токена в последовательность в модель. Они добавляются в входные встроены токенов. Идея состоит в том, чтобы дать модели ощущение, где каждый токен находится в последовательности.
Одним из распространенных способов создания позиционных кодировков является использование функций SINE и COSINE. Позиционное кодирование для токена в положении (POS) в последовательности и измерении (i) рассчитывается следующим образом:
Для даже измерений ((i = 2k)):
(Pe _ {(pos, 2k)} = \ sin \ left (\ frac {pos} {10000^{\ frac {2k} {d_ {model}}}} \ right)))
Для нечетных размеров ((i = 2k + 1)):
(Pe _ {(pos, 2k+1)} = \ cos \ leal (\ frac {pos} {10000^{\ frac {2k} {d_ {model}}}} \ right)))
Здесь (D_ {model}) является измерением встроенных модели. Этот подход имеет несколько преимуществ. Во -первых, это позволяет модели изучать относительные позиции между токенами. Например, разница между позиционными кодировками двух токенов зависит только от их относительных положений, а не от их абсолютных положений в последовательности. Во -вторых, он вычислительно эффективен и может обрабатывать последовательности произвольной длины.
Итак, как трансформатор использует эти позиционные кодировки? Что ж, после того, как позиционные кодировки генерируются, они просто добавлены элемент - мудрый для встраиваний токенов. Таким образом, if (e_ {pos}) является позиционным кодированием токена в положении (POS) и (T_ {Pos}) - это встроенный токен, вход в кодер трансформатора или слоя декодера для этого токена (i_ {pos} = t_ {pos}+e_ {pos}).
После того, как ввод с позиционной информацией подается в трансформатор, механизм самоотдача может начать работать. Механизм самостоятельного внимания позволяет модели весить важность разных токенов в последовательности при обработке каждого токена. С позиционными кодировками модель теперь может учитывать не только семантическое значение токенов, но и их позиции в последовательности.
Допустим, вы работаете над задачей перевода текстового перевода. Без позиционных кодировков модель может изо всех сил пытаться понять правильный порядок слов в предложении. Например, на английском языке предложение «собака преследует кошка», имеет другое значение от «Кошка преследует собаку». Позиционные кодирования помогают модели различать эти две разные последовательности и генерировать более точные переводы.
В бизнесе электрических трансформаторов мы также имеем дело с различными типами трансформаторов, чтобы удовлетворить различные потребности. Например, у нас есть167 KVA Трансформатор телефонного шестаПолем Этот тип трансформатора предназначен для установки на телефонных столбах и подходит для определенных приложений с низким уровнем распределения напряжения.
Мы также предлагаем20 кВ Трехфазовая масля - погруженные распределительные трансформаторыПолем Эти трансформаторы используются в трехфазных энергосистемах и погружаются в нефть для лучшей изоляции и охлаждения. И если вы ищете что -то с более низким рейтингом напряжения, нашНефть 10 кВ - погруженные распределительные трансформаторыотличный вариант. Они широко используются в локальных распределительных сетях.
Теперь, если вы находитесь на рынке для трансформаторов, будь то для вашего исследования машинного обучения или вашей электрической инфраструктуры, мы здесь, чтобы помочь. У нас есть широкий спектр высококачественных трансформаторов на выбор. Наша команда экспертов может помочь вам в выборе правильного трансформатора для ваших конкретных требований. Не стесняйтесь обращаться к консультации, и давайте начнем разговор о ваших потребностях. Мы готовы работать с вами, чтобы найти лучшие решения.
Ссылки:
- Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, AN, ... & Polosukhin, I. (2017). Внимание - это все, что вам нужно. Достижения в области систем обработки нейронной информации,