GPT-3 - GPT-3

Генеративный предварительно обученный трансформатор 3 (GPT-3)
Оригинальный автор (ы)OpenAI[1]
изначальный выпуск11 июня 2020 г. (бета)
Репозиторий
Отредактируйте это в Викиданных
ТипАвторегрессия Трансформатор языковая модель
ЛицензияКод недоступен, доступен только через платный API
Интернет сайтOpenai.com/ блог/ openai-api
Часть серии по
Искусственный интеллект

Генеративный предварительно обученный трансформатор 3 (GPT-3) является авторегрессия языковая модель который использует глубокое обучение для создания текста, похожего на человеческий. Это модель прогнозирования языка третьего поколения в серии GPT-n, созданная OpenAI, базирующаяся в Сан-Франциско искусственный интеллект исследовательская лаборатория.[2] Полная версия GPT-3 имеет емкость 175 миллиардов параметры машинного обучения. GPT-3, который был представлен в мае 2020 года и с июля 2020 года находится в стадии бета-тестирования,[3] является частью тенденции в обработка естественного языка (НЛП) системы предварительно обученных языковых представлений.[1] До выпуска GPT-3 самая большая языковая модель была Microsoft Turing NLG, представленный в феврале 2020 года, с пропускной способностью 17 миллиардов параметров, или менее 10 процентов по сравнению с GPT-3.[4]

Качество текста, созданного GPT-3, настолько высокое, что его трудно отличить от текста, написанного человеком, который имеет как преимущества, так и риски.[4] Тридцать один исследователь и инженер OpenAI представили исходный документ от 28 мая 2020 года, представляющий GPT-3. В своей статье они предупредили о потенциальных опасностях GPT-3 и призвали к исследованиям для снижения риска.[1]:34 Дэвид Чалмерс Австралийский философ описал GPT-3 как «одну из самых интересных и важных систем искусственного интеллекта, когда-либо созданных».[5]

22 сентября 2020 года Microsoft объявила, что лицензировала «эксклюзивное» использование GPT-3; другие по-прежнему могут использовать общедоступный API для получения вывода, но только Microsoft имеет контроль над исходным кодом.[6]

Фон

В соответствии с Экономист, улучшенные алгоритмы, мощные компьютеры и рост цифровых данных вызвали революцию в машинное обучение, с появлением новых методов в 2010-х годах, которые привели к «быстрому улучшению задач», включая манипулирование языком.[7] Модели программного обеспечения обучаются обучению с использованием тысяч или миллионов примеров в "структуре". ... основанный на нейронной архитектуре мозга ".[7] Одна архитектура, используемая в обработка естественного языка (НЛП) - это нейронная сеть на основе глубокое обучение модель, которая была впервые представлена ​​в 2017 году - Трансформатор.[8] Модели GPT-n основаны на этой архитектуре нейронной сети с глубоким обучением на основе Transformer. Существует ряд систем НЛП, способных обрабатывать, анализировать, организовывать, связывать, противопоставлять, понимать и генерировать ответы на вопросы.[9]

11 июня 2018 г. исследователи и инженеры OpenAI опубликовали свою оригинальную статью о генеративные модели - языковые модели - системы искусственного интеллекта - которые можно было бы предварительно обучить с помощью огромного и разнообразного корпус текста через наборы данных, в процессе, который они назвали генеративное предварительное обучение (ГП).[10] Авторы описали, как характеристики понимания языка при обработке естественного языка (NLP) были улучшены в GPT-n посредством процесса «генеративного предварительного обучения языковой модели на разнообразном корпусе немаркированного текста, за которым следует отличительный тонкая настройка под каждую конкретную задачу ». устранена необходимость в наблюдении со стороны человека и для ручной маркировки, требующей больших затрат времени.[10]

В феврале 2020 года Microsoft представила свое поколение естественного языка Тьюринга (T-NLG), которое на тот момент было «крупнейшей из когда-либо опубликованных языковых моделей с 17 миллиардами параметров».[11] Он лучше, чем любая другая языковая модель, справлялся с множеством задач, включая обобщающие тексты и отвечая на вопросы.[11]

Возможности

28 мая 2020 г. arXiv препринт группы из 31 инженера и исследователя OpenAI[а] описал разработку GPT-3, "современной языковой модели" третьего поколения.[1][4] Команда увеличила мощность GPT-3 более чем на два порядка по сравнению с его предшественником, GPT-2.[12] сделать GPT-3 самым крупным нередким[требуется дальнейшее объяснение ] языковая модель на сегодняшний день.[1]:14[2] Большее количество параметров GPT-3 обеспечивает более высокий уровень точности по сравнению с предыдущими версиями с меньшей емкостью.[13] Вместимость ГПТ-3 в десять раз больше, чем у Microsoft Тьюринг NLG.[4]

Шестьдесят процентов взвешенного набора данных до обучения для GPT-3 поступает из отфильтрованной версии Обычное сканирование состоящий из 410 миллиардов закодированный парой байтов жетоны.[1]:9 Другими источниками являются 19 миллиардов токенов из WebText2, что составляет 22% от взвешенной суммы, 12 миллиардов токенов из Книги1, что составляет 8%, 55 миллиардов токенов из Книги2, что составляет 8%, и 3 миллиарда токенов из Википедии, что составляет 3%.[1]:9 GPT-3 был обучен сотням миллиардов слов и способен кодировать, среди прочего, CSS, JSX, Python.[3] Поскольку данные обучения GPT-3 были всеобъемлющими, они не требовали дальнейшего обучения для выполнения различных языковых задач.[3]

11 июня 2020 года OpenAI объявил, что пользователи могут запрашивать доступ к удобному для пользователя GPT-3. API - «набор инструментов машинного обучения» - чтобы помочь OpenAI «изучить сильные и слабые стороны» этой новой технологии.[14][15] В приглашении описывалось, как этот API имеет универсальный интерфейс «ввод текста - вывод текста», который может выполнять практически «любую англоязычную задачу» вместо обычного единственного варианта использования.[14] По словам одного пользователя, у которого был доступ к закрытому раннему выпуску OpenAI GPT-3 API, GPT-3 «устрашающе хорош» в написании «удивительно связного текста» с помощью всего лишь нескольких простых подсказок.[16]

Поскольку GPT-3 может «генерировать новостные статьи, которые оценщикам трудно отличить от статей, написанных людьми»,[4] GPT-3 обладает «потенциалом для продвижения как полезных, так и вредных приложений языковых моделей».[1]:34 В своей статье от 28 мая 2020 года исследователи подробно описали потенциальные «вредные эффекты GPT-3».[4] которые включают "дезинформацию, спам, фишинг, злоупотребление судебными и государственными процедурами, мошенническое академическое эссе письмо и социальная инженерия предлог ".[1] Авторы обращают внимание на эти опасности и призывают к исследованию снижение риска.[1]:34

Отзывы

В своем обзоре от 29 июля 2020 г. Нью-Йорк Таймс, Фархад Манджу сказал, что GPT-3, который может генерировать компьютерный код и поэзию, а также прозу, не только «удивительно», «жутко» и «унизительно», но также «более чем немного устрашающе».[17]

Daily Nous представил серию статей девяти философов по GPT-3.[18] Австралийский философ Дэвид Чалмерс описал GPT-3 как «одну из самых интересных и важных систем искусственного интеллекта, когда-либо созданных».[5]

Обзор в Проводной сказал, что GPT-3 "вызывает мурашки по Силиконовая долина ".[19]

Статья в К науке о данных заявил, что GPT-3 был обучен сотням миллиардов слов и может кодировать на CSS, JSX, Python и других языках.[3]

В Обзор национального законодательства сказал, что GPT-3 является «впечатляющим шагом в более широком процессе», при этом OpenAI и другие находят «полезные приложения для всей этой мощи», продолжая «работать над более Общее интеллект".[20]

Статья в Обзор технологий MIT, написано критиком Deep Learning Гэри Маркус,[21] заявил, что GPT-3 «понимание мира часто серьезно неверно, а это означает, что вы никогда не можете действительно доверять тому, что он говорит».[22] По словам авторов, GPT-3 моделирует отношения между словами, не понимая смысла каждого слова.

Джером Пезенти, глава Facebook A.I. lab, заявил, что GPT-3 «небезопасен», указывая на сексистские, расистские и другие предвзятые и негативные выражения, порождаемые системой, когда ее просили обсудить евреев, женщин, чернокожих и Холокост.[23]

Приложения

  • GPT-3 использовался Эндрю Мэйн за Писатель AI, который позволяет людям переписываться с историческими личностями по электронной почте.
  • GPT-3 использовался Джейсон Рорер в ретро-тематическом проекте чат-ботов под названием Проект Декабрь, который доступен в Интернете и позволяет пользователям общаться с несколькими ИИ, используя технологию GPT-3.
  • GPT-3 использовался Хранитель написать статью о безвредности ИИ для человека. Он получил несколько идей и выпустил восемь разных эссе, которые в конечном итоге были объединены в одну статью.[24]
  • GPT-3 используется в AI Dungeon, который генерирует текстовые приключенческие игры.

Примечания

  1. ^ Браун, Том Б .; Манн, Бенджамин; Райдер, Ник; Суббия, Мелания; Каплан, Джаред; Дхаривал, Прафулла; Нилакантан, Арвинд; Шьям, Пранав; Састры, Гириш; Аскелл, Аманда; Агарвал, Сандхини; Герберт-Восс, Ариэль; Крюгер, Гретхен; Хениган, Том; Чайлд, Ревон; Рамеш, Адитья; Ziegler, Daniel M .; Ву, Джеффри; Зима, Клеменс; Гессен, Кристофер; Чен, Марк; Сиглер, Эрик; Литвин, Матеуш; Грей, Скотт; Шахматы, Бенджамин; Кларк, Джек; Бернер, Кристофер; Маккэндлиш, Сэм; Рэдфорд, Алек; Суцкевер, Илья; Амодеи, Дарио

Рекомендации

  1. ^ а б c d е ж грамм час я j Браун, Том Б .; Манн, Бенджамин; Райдер, Ник; Суббия, Мелания; Каплан, Джаред; Дхаривал, Прафулла; Нилакантан, Арвинд; Шьям, Пранав; Састры, Гириш; Аскелл, Аманда; Агарвал, Сандхини; Герберт-Восс, Ариэль; Крюгер, Гретхен; Хениган, Том; Чайлд, Ревон; Рамеш, Адитья; Ziegler, Daniel M .; Ву, Джеффри; Зима, Клеменс; Гессен, Кристофер; Чен, Марк; Сиглер, Эрик; Литвин, Матеуш; Грей, Скотт; Шахматы, Бенджамин; Кларк, Джек; Бернер, Кристофер; Маккэндлиш, Сэм; Рэдфорд, Алек; Суцкевер, Илья; Амодеи, Дарио (22 июля 2020 г.). «Языковые модели - немногие изучающие». arXiv:2005.14165.
  2. ^ а б Шид, Сэм (23 июля 2020 г.). «Почему все говорят о текстовом генераторе искусственного интеллекта, выпущенном лабораторией, поддерживаемой Илоном Маском». CNBC. Получено 31 июля, 2020. С 28 мая по 22 июля 2020 года было выпущено четыре препринта.
  3. ^ а б c d Бусслер, Фредерик (21 июля 2020 г.). "Убьет ли GPT-3 кодирование?". К науке о данных. Получено 1 августа, 2020.
  4. ^ а б c d е ж Сагар, Рам (3 июня 2020 г.). «OpenAI выпускает GPT-3, самую крупную модель на данный момент». Журнал Analytics India. Получено 31 июля, 2020.
  5. ^ а б Чалмерс, Дэвид (30 июля 2020 г.). Вайнберг, Джастин (ред.). «ГПТ-3 и общая разведка». Daily Nous. Философы о GPT-3 (обновлено ответами GPT-3). Получено 4 августа, 2020.
  6. ^ Хао, Карен (23 сентября 2020 г.). «OpenAI предоставляет Microsoft эксклюзивный доступ к своей языковой модели GPT-3». Обзор технологий MIT. Получено 25 сентября, 2020. Компании заявляют, что OpenAI продолжит предлагать свой общедоступный API, который позволяет выбранным пользователям отправлять текст в GPT-3 или другие модели OpenAI и получать его результат. Однако только Microsoft будет иметь доступ к базовому коду GPT-3, что позволит ему встраивать, перепрофилировать и изменять модель по своему усмотрению.
  7. ^ а б «Понимание ограничений ИИ начинает оседать». Экономист. 11 июня 2020. ISSN  0013-0613. Получено 31 июля, 2020.
  8. ^ Полосухин Илья; Кайзер, Лукаш; Gomez, Aidan N .; Джонс, Ллион; Uszkoreit, Jakob; Пармар, Ники; Шазир, Ноам; Васвани, Ашиш (12 июня 2017 г.). «Внимание - все, что вам нужно». arXiv:1706.03762 [cs.CL ].
  9. ^ "Обработка естественного языка". Получено 31 июля, 2020.
  10. ^ а б Рэдфорд, Алек; Нарасимхан, Картик; Салиманс, Тим; Суцкевер Илья (11 июня 2018 г.). «Улучшение понимания языка с помощью генеративного предварительного обучения» (PDF). п. 12. Получено 31 июля, 2020.
  11. ^ а б Стерлинг, Брюс (13 февраля 2020 г.). «Веб-семантика: Microsoft Project Turing представляет технологию Turing Natural Language Generation (T-NLG)». Проводной. ISSN  1059-1028. Получено 31 июля, 2020.
  12. ^ «Языковые модели - это многозадачные учащиеся без учителя» (PDF). Получено 4 декабря, 2019. GPT-2, это трансформатор параметров 1.5B Цитировать журнал требует | журнал = (помощь)
  13. ^ Рэй, Тирнан (1 июня 2020 г.). «Гигантский GPT-3 OpenAI намекает на пределы языковых моделей для ИИ». ZDNet. Получено 31 июля, 2020.
  14. ^ а б «OpenAI API». OpenAI. 11 июня 2020.
  15. ^ «TechCrunch - Новости стартапов и технологий». TechCrunch. 11 июня 2020 г.. Получено 31 июля, 2020. Если вы когда-нибудь хотели опробовать хваленый набор инструментов машинного обучения OpenAI, это стало намного проще. Компания выпустила API, который позволяет разработчикам использовать свои инструменты искусственного интеллекта для «практически любой англоязычной задачи».
  16. ^ Аррам (9 июля 2020 г.). «GPT-3: ИИ, который устрашающе хорош в написании почти всего». Аррам Сабети. Получено 31 июля, 2020.
  17. ^ Манджу, Фархад (29 июля 2020 г.). "Откуда вы знаете, что это написал человек?". Нью-Йорк Таймс. ISSN  0362-4331. Получено 4 августа, 2020.
  18. ^ Вайнберг, Джастин, изд. (30 июля 2020 г.). «Философы о GPT-3 (обновлено ответами GPT-3)». Daily Nous. Получено 31 июля, 2020.
  19. ^ Симонит, Том (22 июля 2020 г.). «Этот заголовок написал человек или машина?». Проводной. ISSN  1059-1028. Получено 31 июля, 2020.
  20. ^ Клейпул, Теодор (30 июля 2020 г.). «Новый инструмент ИИ GPT-3 поднимается к новым вершинам, но доказывает, как далеко нам еще предстоит пройти». Обзор национального законодательства. Получено 4 августа, 2020.
  21. ^ Маркус, Гэри (1 декабря 2018 г.). «Самая глубокая проблема глубокого обучения». Середина. Получено 29 сентября, 2020.
  22. ^ Маркус, Гэри; Дэвис, Эрнест (22 августа 2020 г.). «GPT-3, Bloviator: генератор языков OpenAI не понимает, о чем он говорит». Обзор технологий MIT. Получено 23 августа, 2020.
  23. ^ Мец, Кейд (24 ноября 2020 г.). «Встречайте GPT-3. Он научился кодировать (и вести блог, и спорить)». Нью-Йорк Таймс. ISSN  0362-4331. Получено 24 ноября, 2020.
  24. ^ GPT-3 (8 сентября 2020 г.). «Робот написал всю статью. Тебе еще не страшно, человек? | GPT-3». Хранитель. ISSN  0261-3077. Получено 15 сентября, 2020.

внешняя ссылка