06:00

Что такое трансформеры? (машинное обучение)

Где они используются? Трансформеры изначально позиционировались как нейросеть для обработки и понимания естественного языка. За четыре года с момента их появления они обрели популярность и появились во множестве сервисов, используемых ежедневно миллионами людей. Одним из самых простых примеров является языковая модель BERT компании Google, разработанная в 2018 году. 25 октября 2019 году техногигант объявил о начале использования алгоритма в англоязычной версии поисковика на территории США. Спустя полтора месяца компания расширила список поддерживаемых языков до 70, включая русский, украинский, казахский и белорусский. Оригинальную англоязычная модель обучали на датасете BooksCorpus из 800 млн слов и статьях из «Википедии». Базовая BERT содержала 110 млн параметров, а расширенная — 340 млн. Другой пример популярной языковой модели на базе трансформеров — это GPT (Generative Pre-trained Transformer) компании OpenAI. На сегодня самая актуальная версия модели — это GPT-3. Ее обучили на датасете размером 570 Гб, а количество параметров составило 175 млрд, что делает ее одной из крупнейшей языковых моделей. GPT-3 может генерировать статьи, отвечать на вопросы, использоваться в качестве основы для чат-ботов, производить семантический поиск и создавать краткие выжимки из текстов. Также на базе GPT-3 был разработан ИИ-помощник для автоматического написания кода GitHub Copilot. В его основе лежит специальная версия GPT-3 Codex AI, обученная на наборе данных из строчек кода. Исследователи уже посчитали, что с момента релиза в августе 2021 года 30% нового кода на GitHub написано с помощью Copilot. Кроме этого, трансформы все чаще стали применять в сервисах «Яндекса», например, «Поиске», «Новостях» и «Переводчике», продуктах Google, чат-ботах и прочее. А компания «Сбер» выпустила собственную модификацию GPT, обученную на 600 Гб русскоязычных текстов.

• 13:37 Капитализация токена HYPE превысила $1,5 млрд в день запуска
• 13:21 Центробанк рассказал об успешной борьбе с нелегальным оборотом криптовалют
• 13:21 Ущерб от взлома DEXX увеличился до $30 млн
• 12:39 В Matrixport увидели предпосылки «DeFi-ренессанса» из-за возвращения Трампа
• 12:20 Аирдроп Nodepay: подключите кошелек для получения наград до 1 декабря
• 12:05 Киты теряют интерес к Cardano: ADA может столкнуться с коррекцией
• 11:24 Аналитики назвали страны-лидеры по провалам и скаму среди криптопроектов
• 11:07 Ученые создали ИИ-устройство для восстановления речи

И еще 14