Synthetic Bootstrapped Pretraining - видео

В данном документе представлена Синтетическая Самообучающаяся Предварительная Тренировка SBP новый метод предварительной тренировки языковой модели. SBP моделирует взаимосвязи между документами в наборе данных для предварительной тренировки чтобы синтезировать новый более крупный корпус для обучения. Этот подход направлен на улучшение стандартной предварительной тренировки которая в основном фокусируется на корреляциях токенов внутри документов. SBP определяет семантически похожие пары документов...
Источник видео: RuTube.ru (Обучение)