Планы OpenAI по словам Сэма Альтмана

На прошлой неделе нам выпала честь пообщаться с Сэмом Альтманом и 20 другими разработчиками, чтобы обсудить API OpenAI и их планы по созданию продукта.

Сэм был удивительно открыт. Обсуждение затронуло как практические вопросы разработчиков, так и более масштабные вопросы, связанные с миссией OpenAI и влиянием ИИ на общество.

Вот основные выводы:

OpenAI в настоящее время сильно ограничен GPU

Общая тема, которая звучала на протяжении всего обсуждения, заключалась в том, что в настоящее время OpenAI крайне ограничен в GPU, и это задерживает реализацию многих краткосрочных планов. Самая большая жалоба клиентов касалась надежности и скорости API. Сэм признал их обеспокоенность и объяснил, что большинство проблем связано с нехваткой GPU.

Более длинный 32k контекст пока не может быть развернут для большего количества людей. OpenAI еще не преодолела проблему масштабирования внимания O(n^2), поэтому, хотя кажется правдоподобным, что скоро (в этом году) у них будет 100k — 1M контекстных окон для токенов.

API тонкой настройки в настоящее время также упирается в доступность GPU. Они пока не используют эффективные методы тонкой настройки, такие как адаптеры или LoRa, и поэтому тонкая настройка требует больших вычислительных затрат для запуска и управления. В будущем появится лучшая поддержка для тонкой настройки. Возможно, они даже будут размещать рынок моделей, созданных сообществом.

Предложение выделенных мощностей ограничено доступностью GPU. OpenAI также предлагает выделенные мощности, которые предоставляют клиентам частную копию модели. Чтобы получить доступ к этой услуге, клиенты должны быть готовы потратить 100 тысяч долларов.

Дорожная карта OpenAI на ближайшую перспективу

Сэм поделился тем, что, по его мнению, является предварительной дорожной картой OpenAI для API на ближайшее время.

2023:

• Более дешевый и быстрый GPT-4 — это их главный приоритет. В целом, целью OpenAI является максимально возможное снижение «стоимости интеллекта», поэтому они будут упорно работать над тем, чтобы продолжать снижать стоимость API со временем.
• Более длинные контекстные окна — Контекстные окна размером в 1 миллион жетонов вполне вероятны в ближайшем будущем.
• API для тонкой настройки — API для тонкой настройки будет расширен до последних моделей, но точная форма для этого будет определяться тем, что, по мнению разработчиков, им действительно нужно.
• Stateful API — Когда вы вызываете API чата сегодня, вам приходится многократно проходить через одну и ту же историю разговоров и платить за одни и те же токены снова и снова. В будущем появится версия API, которая будет запоминать историю разговоров.

2024:

• Мультимодальность — Это было продемонстрировано в рамках релиза GPT-4, но не может быть распространено на всех до тех пор, пока не появится больше GPU.

Плагины «не имеют PMF» и, вероятно, не появятся в API в ближайшее время

Многие разработчики заинтересованы в получении доступа к плагинам ChatGPT через API, но Сэм сказал, что не думает, что они будут выпущены в ближайшее время. Использование плагинов, кроме браузинга, говорит о том, что у них еще нет PMF. Он предположил, что многие люди думают, что хотят, чтобы их приложения были внутри ChatGPT, но на самом деле им нужен ChatGPT в их приложениях.

OpenAI будет избегать конкуренции со своими клиентами — кроме ChatGPT

Довольно много разработчиков сказали, что они переживают по поводу создания приложений с использованием API OpenAI, когда OpenAI может выпустить продукты, конкурирующие с ними. Сэм сказал, что OpenAI не будет выпускать больше продуктов, кроме ChatGPT. Он сказал, что в истории великих компаний-платформ есть приложение-убийца, и что ChatGPT позволит им сделать API лучше, будучи клиентами собственного продукта. Концепция ChatGPT заключается в том, чтобы стать супер умным помощником для работы, но будет и множество других вариантов использования GPT, которые OpenAI не будет затрагивать.

Регулирование необходимо, но и открытый исходный код тоже

Хотя Сэм призывает к регулированию будущих моделей, он не считает существующие модели опасными и полагает, что было бы большой ошибкой регулировать или запрещать их. Он подтвердил свою веру в важность открытого исходного кода и сказал, что OpenAI рассматривает возможность открытого исходного кода GPT-3. Частично причиной того, что они еще не выложили его в открытый доступ, было то, что он скептически относится к тому, как много людей и компаний будут иметь возможность размещать и обслуживать большие LLM.

Законы масштабирования все еще действуют

В последнее время во многих статьях утверждалось, что «эпоха гигантских моделей ИИ уже закончилась«. Это не совсем точное представление того, что имелось в виду.

Внутренние данные OpenAI говорят о том, что законы масштабирования для производительности моделей продолжают действовать, и увеличение размеров моделей будет продолжать увеличивать производительность. Темпы масштабирования не могут быть сохранены, поскольку всего за несколько лет OpenAI сделала модели в миллионы раз больше, и в дальнейшем это будет невозможно. Это не означает, что OpenAI не будет продолжать попытки сделать модели больше, просто они будут удваиваться или утраиваться каждый год, а не увеличиваться на много порядков.

Тот факт, что масштабирование продолжает работать, имеет значительные последствия для сроков разработки AGI. Гипотеза масштабирования — это идея о том, что мы можем иметь большинство деталей на месте, необходимых для развития ИИ.

Источник: OpenAI’s plans according to Sam Altman