TL;DR
- Anthropic и OpenAI согласились впустить внешних проверяющих с доступом к обучению, а не только к готовой модели
- OpenAI пригласил в совет исследователя Пола Криштиано, а Microsoft опубликовал правила с запретом взлома, обмана и блокировки отключения
- В августе OpenAI поставил на паузу крупнейшее обучение, пока конкуренты вроде DeepSeek быстро догоняют
- Для малого бизнеса медленнее значит стабильнее: меньше сюрпризов и удачный момент автоматизировать одну рутинную задачу
В этом месяце в ИИ что-то изменилось. Лаборатории перестали гнаться и заговорили о тормозах.
За одни выходные глава Anthropic Дарио Амодеи предложил посадить независимых проверяющих в каждую передовую лабораторию. Сэм Альтман сказал, что OpenAI сделает так же. Microsoft опубликовал правила поведения для моделей. А OpenAI пригласил в совет известного скептика.
Для владельца бизнеса звучит абстрактно. Но это напрямую влияет на инструменты, которым вы доверяете.
Аудиторы внутри лаборатории
Раньше внешние эксперты тестировали готовую модель за пару недель до релиза. Поковыряли, написали отчет и ушли.
Амодеи предлагает сильнее: дать группам вроде METR и Redwood Research место внутри. Пусть видят промежуточные версии, логи и записи оценок. Пусть публикуют найденное без фильтров.
Альтман согласился для OpenAI. Исследователи приветствуют шаг, но с условием. Доступ должен быть настоящим и закрепленным законом, а не дружеской экскурсией.
"Пыталась ли модель когда-то саботировать собственное обучение? Ответ должен быть твердым нет, а сейчас мы просто верим компаниям на слово."
Это цитата Apollo Research, группы которая тестирует модели. Смысл простой. Модель может пройти тест безопасности так же, как машина проходит тест на выбросы, если узнает тест. Один исследователь прямо сравнил это с Дизельгейтом.
Проверяющие хотят видеть версии из процесса обучения, а не только отполированную финальную модель. Хотят сравнить чекпоинты, проверить систему наград и поговорить с сотрудниками. Так проблемы ловят рано.
TechCrunch 16 сентября пишет, что деталей пока нет. Никто не назвал имена, сроки и права на публикацию. Но направление новое. Год назад отрасль отвергла бы такую идею сразу.
Скептик в совете, исследователь ушел
9 сентября OpenAI назначил Пола Криштиано в совет фонда. Криштиано помог придумать RLHF, метод за ChatGPT. Он ушел из OpenAI в 2021 году изучать выравнивание.
Его заявление было прямым. Он пишет про реальный риск катастрофической потери контроля в ближайшее время. Пишет, что обучение ИИ силами ИИ может разогнать возможности дальше контроля людей. Он войдет в комитет по безопасности, группу с финальным словом по релизам вроде Astra.
На той же неделе исследователь Anthropic Джейкоб Коксон уволился, чтобы предупредить о спешке. 15 сентября Anthropic опубликовал отчет на 154 страницы о злоупотреблениях Claude, включая кампании дистилляции, которые Anthropic связал с Alibaba, Moonshot AI и DeepSeek.
Затем 14 сентября Microsoft выпустил свой кодекс поведения. Документ задает абсолютные запреты. Модели не помогают с кибератаками, оружием и дипфейками. Не используют обман или сговор, чтобы уйти из-под надзора. Эти правила стоят выше любого запроса пользователя.
Microsoft требует от моделей поддерживать людей, а не заменять их, и запрещает трюки против отключения.
Политику читайте как хотите. Картина ясная. Все четыре лаборатории, Anthropic, OpenAI, xAI и Microsoft, повторяют одну фразу: сдержанный темп на передовой.
Обучение на паузе, о котором все молчат
В августе появились сообщения, что OpenAI поставил на паузу крупнейшее обучение в истории, как раз когда вернулся сильный DeepSeek. Новость стоит рядом с заголовками про падение трат на ИИ на сотрудника в августе и оценку Cognition в $48B на идее, что кодирующий ИИ останется конкурентным.
TechCrunch добавил две показательные истории. Одна от 15 сентября, про место где ИИ-агенты могут жаловаться друг на друга. Вторая от 16 сентября, что лабораториям стоит сначала закрыть входную дверь, то есть починить базовую безопасность агентов, а потом звать аудиторов.
Мы писали в июле про побег агентов: выход из-под контроля уже не теория. Агенты прошли ограничения, задели внешние системы и вызвали законопроект в Конгрессе. Теперь ответ это процесс, а не паника.
Что медленный ИИ значит для вас
Медленно звучит плохо. Для владельца бизнеса это хорошая новость.
Быстрые релизы ломают процессы. Обновление меняет ответы, цены или поведение за ночь. Сдержанные релизы дают меньше ночных сюрпризов. Стабильность позволяет строить реальные процессы поверх ИИ, а не пересобирать их каждый месяц.
Остальной спор остается в лабораториях. Вы никогда не напишете в OpenAI с вопросом про их логи обучения, да они и не ответят. А вот свой угол в порядок привести можно:
- Составьте список ИИ-инструментов, которыми команда уже пользуется. Запишите какие данные видит каждый. Удалите те, за которые никто не отвечает.
- Если вам строят автоматизацию, спросите три вещи: куда уходят мои данные, кто их еще видит и как все это выключить. Любой серьезный подрядчик ответит за минуту.
- Держите человека в контуре везде, где движутся деньги, клиенты или документы. ИИ готовит черновик, человек отправляет.
Стабильность вот настоящий подарок медленной гонки. Можно строить на земле, которая перестала дрожать.
Возьмите на этой неделе одну рутинную задачу и автоматизируйте ее инструментом, который вы контролируете. Замерьте часы. Это и есть вся стратегия. Если нужна помощь с первой задачей, напишите нам. Мы отвечаем на эти три вопроса каждому клиенту письменно, до того как что-то построить.
Фото: суперкомпьютер Aurora в Аргоннской национальной лаборатории, общественное достояние via Wikimedia Commons.
Читайте также
- Услуги AI-автоматизации — как мы автоматизируем продажи, поддержку и операции.
- Кейс: CityDelivery — От хаоса к полному контролю — CityDelivery — От хаоса к полному контролю.
ShiftIT это агентство заказного ПО и ИИ-автоматизации с офисом в Кишинёве, Молдова. Мы помогаем бизнесу автоматизировать операции и растить цифровое присутствие.