Представляем контекстное окно на 100K токенов11.05.2023 00:00

Мы расширили контекстное окно Claude с 9K до 100K токенов, что соответствует примерно 75 000 слов! Это означает, что теперь компании могут передавать Claude сотни страниц материалов для обработки и анализа, а беседы с Claude могут длиться часами или даже днями.

В среднем человек тратит на чтение 100 000 токенов текста около 5+ часов[1], после чего ему может потребоваться значительно больше времени на осмысление, запоминание и анализ этой информации. Claude теперь справляется с этим менее чем за минуту. Например, мы загрузили весь текст «Великого Гэтсби» в Claude-Instant (72K токенов) и изменили одну строку так, чтобы мистер Каррауэй оказался «инженером-программистом, который работает над инструментами машинного обучения в Anthropic». Когда мы попросили модель найти отличия, она выдала правильный ответ всего за 22 секунды.

Помимо простого чтения длинных текстов, Claude может помочь извлекать информацию из документов, обеспечивающих работу вашего бизнеса. Вы можете поместить в промпт несколько документов или даже книгу целиком, а затем задавать Claude вопросы, требующие синтеза знаний из разных частей текста. Для сложных вопросов это, вероятнее всего, будет работать значительно лучше, чем подходы на основе векторного поиска. Claude может следовать вашим инструкциям и возвращать именно то, что вы ищете, совсем как человеческий помощник!

Наши партнеры воодушевлены тем, что увеличение контекстного окна означает для их бизнеса. 100K токенов соответствуют примерно 6 часам аудио. Компания AssemblyAI представила отличную демонстрацию этого: они расшифровали длинный подкаст в текст объемом 58K слов, а затем использовали Claude для создания краткой выжимки и ответов на вопросы. Вы можете посмотреть полную демонстрацию здесь. С контекстным окном на 100K токенов вы можете:

• Обрабатывать, резюмировать и объяснять сложные документы, такие как финансовые отчеты или научные статьи
• Анализировать стратегические риски и возможности компании на основе ее годовых отчетов
• Оценивать плюсы и минусы законодательных актов
• Выявлять риски, темы и различные формы аргументации в юридических документах
• Прочитывать сотни страниц документации для разработчиков и находить ответы на технические вопросы
• Быстро создавать прототипы, помещая в контекст всю кодовую базу целиком, и интеллектуально дорабатывать или изменять ее

Контекстное окно на 100K токенов теперь доступно в нашем API. Если вы уже работаете с Claude, вы можете узнать подробнее о том, какие версии моделей вызывать, здесь. Если вы еще не работаете с Claude, вы можете запросить доступ здесь.

[1] https://www.sciencedirect.com/…