САН-ФРАНЦИСКО, 15 февраля 2024 года — ЛэнгЧейн (LangChain) открыла всем разработчикам доступ к ЛэнгСмит (LangSmith) без списка ожидания. Коммерческая платформа помогает создавать, отлаживать, оценивать и контролировать приложения на базе больших языковых моделей. Одновременно компания объявила о раунде Series A на $25 млн во главе с Sequoia Capital.

Запуск переводит LangSmith из ограниченного доступа в обычный производственный режим. В сообщении об общей доступности LangChain назвала платформу инфраструктурой для команд, которым необходимо понимать поведение LLM-приложения после того, как прототип начинает работать с реальными задачами, данными и пользователями.

Общая доступность отменяет список ожидания

Разработчики получили возможность начать работу без приглашения. Это важно, поскольку эксперимент из блокнота становится труднее анализировать, когда в нём появляются промпты, поиск данных, инструменты, обращения к моделям и прикладная логика. Производственной команде нужно видеть весь путь запроса, а не только окончательный ответ.

LangSmith записывает трассы таких путей, позволяя изучать входные и выходные данные, задержку, ошибки и последовательность операций. Платформа помогает находить слабый компонент, сравнивать изменения и наблюдать за поведением во времени. Она не делает модель детерминированной и не гарантирует правильность ответа.

Возможности, доступные на момент запуска

  • трассировка и отладка многоэтапных запусков LLM-приложений;
  • наборы данных и оценки для проверки промптов, моделей и версий приложения;
  • процессы экспертной обратной связи и автоматизированной оценки;
  • производственный мониторинг задержек, ошибок и поведения приложения;
  • совместная проверка результатов продуктовыми, инженерными и отраслевыми специалистами.

Платформа отделена от открытого фреймворка

LangChain известна одноимённым фреймворком с открытым исходным кодом, который связывает модели с источниками данных, инструментами и многоэтапной логикой. LangSmith — отдельный облачный продукт. Компания сообщила, что его можно использовать как с приложениями на LangChain, так и с решениями, созданными без этого фреймворка.

Такое разделение расширяет запуск за пределы одного технологического стека. Команда может сохранить существующую оркестрацию и выборочно внедрить трассировку и оценку. Покупателю при этом следует отдельно проверить обработку данных, права доступа, сроки хранения и объём интеграционных работ.

Светящиеся трассы приложения проходят через прозрачную призму отладки, три шлюза оценки и контролируемую производственную камеру в техническом конвейере без текста
Последовательность видимых этапов проверки показывает переход от экспериментального обращения к модели к наблюдаемому производственному приложению.

Ранние показатели описывают масштаб, но не результат

LangChain сообщила более чем о 80 тысячах регистраций в LangSmith, свыше 5 тысяч ежемесячно активных команд и более 40 млн трасс, записанных в январе. Эти предоставленные компанией показатели характеризуют активность к моменту запуска и не являются независимо подтверждённой оценкой пользы для клиентов или качества приложений.

Объём трасс может указывать на спрос на инфраструктуру наблюдаемости, но не показывает, сколько приложений дошли до производства или улучшили результат. Командам по-прежнему нужны критерии, связанные с конкретной задачей, репрезентативные наборы данных и процедура расследования сбоев.

Оценка становится постоянной инженерной задачей

Обычные программные тесты часто ожидают стабильный результат для заданного ввода. LLM-приложение может менять формулировку или ход рассуждений, поэтому полезная проверка способна объединять точные условия, оценку моделью, экспертный просмотр и специализированные метрики. LangSmith предоставляет среду для организации таких проверок и сравнения версий.

Мониторинг переносит ту же дисциплину в производство. Команда может отслеживать задержки, долю ошибок, обратную связь и распределение запросов. В промпты и трассы могут попадать конфиденциальные сведения, поэтому внедрению необходимы понятные права, подходящие сроки хранения и проверка требований безопасности и приватности.

Новый капитал поддерживает коммерческий запуск

Раунд Series A на $25 млн возглавила Sequoia Capital. LangChain объявила о финансировании вместе с общей доступностью LangSmith и связала инвестиции с расширением команды и продуктовой инфраструктуры. Капитал даёт ресурсы, но не доказывает соответствие платформы всем корпоративным требованиям и не гарантирует коммерческий результат.

Регрессионное тестирование, выборочные онлайн-оценщики, улучшенная фильтрация, размещённый сервис LangServe и дополнительные средства корпоративного администрирования были названы направлениями будущей работы. На дату сообщения это были элементы дорожной карты, а не функции февральского запуска.

О LangChain

LangChain разрабатывает открытое программное обеспечение и коммерческую инфраструктуру для приложений на базе больших языковых моделей. LangSmith поддерживает трассировку, отладку, оценку и производственный мониторинг на протяжении жизненного цикла приложения.

Контакты компании
LangChain
Общая информация и сведения о запуске
URL: https://www.langchain.com/blog/langsmith-ga