x xronocode / notebook
← all essays
Oct 26, 2026 · grace · ai-agents · verification · 8 min read

Поведенческие примеры в GRACE: что они уточняют и чего не доказывают

Независимое исследование исходников, 26 контролируемых наблюдений и обоснование изменений GRACE — от примеров в спецификации до проверки реализации.

RU — reading now EN translation ↗

Правило «отклонять резервирование, если товара недостаточно» оставляет немало возможностей для ошибки. Должен ли пройти запрос ровно на весь остаток? Может ли отклонённый запрос изменить остаток до возврата ошибки? Должны ли остаться неизменными другие товары? Несколько продуманных примеров помогают обнаружить эти вопросы ещё до написания кода.

PR #63 в GRACE закрепляет этот подход в инструкциях по подготовке спецификации, планированию, выполнению и проверке изменений. Он обновляет навыки и шаблоны, добавляет сквозной пример и исправляет вводящие в заблуждение рекомендации по XML. Используются существующий формат артефактов GRACE 4.0 и средства запуска тестов самого проекта. Семантика выполнения и валидации CLI остаётся прежней.

Описанные изменения предложены в PR #63 и привязаны к указанной ниже ревизии. Статья не заявляет о выпуске новой версии GRACE.

За изменениями стоит исследование исходного кода, контролируемые эксперименты и обзор первичных работ о примерах в промптах и тестировании. Его результаты объясняют и практические решения, и границы доступных свидетельств.

Что исследовали

Исходный код изучался на коммите upstream 70f5ec4305bb2cc6ed82dea9470a3b810603874b: версия пакета 4.2.1, версия грамматики артефактов 4.0. Это разные номера для разных сущностей. Описанные здесь изменения методологии зафиксированы в ревизии PR 11d15732.

Анализ исходников, эксперименты с выполнением и обзор литературы поручили отдельным агентным контекстам. Агенты, изучавшие код и литературу, сначала работали с первичными материалами и лишь затем читали предыдущее предложение; экспериментальный стенд был написан отдельно. Это уменьшило влияние общей исходной трактовки. Статистически независимыми рецензентами агенты от этого не стали, и человеческую проверку такая организация не заменяет.

Набор проверок зафиксировал 26 наблюдений с автоматической проверкой результата за 42 запуска подпроцессов, включая подготовку и проверку идентичности исходников. Среда — macOS arm64 и Bun 1.3.14. Эти числа описывают ограниченное исследование механизма, а не независимые статистические выборки. Воспроизводимость на Linux и Windows не установлена; сравнение результативности агентов не проводилось. Подробные свидетельства и ограничения доступны в исследовательских заметках и архиве для воспроизведения.

Четыре роли одного примера

Один конкретный случай может появляться в нескольких местах, но задачи у них разные:

РольЗадача
Общее правилоОпределить требуемое поведение во всей поддерживаемой области входных данных.
Демонстрация в промптеПомочь агенту понять правило через конкретное различие между случаями.
Тестовые данные и привязка к тестуВыполнить операцию и сопоставить наблюдения с независимо заданным ожиданием.
Свидетельства запускаЗафиксировать, что действительно выполнялось, с каким результатом и на каких исходниках.

Пример в утверждённой спецификации становится обязательством. Если для промпта исполнителя выбраны два примера, полный набор принятых обязательств от этого не сокращается. Привязка к тесту определяет способ проверки обязательства; она не должна незаметно вводить новое продуктовое правило. Успешный журнал фиксирует результат выполнения с теми ограничениями, которые задают средство запуска и его метаданные.

Это различие определяет и место хранения. Принятые правила и примеры находятся в spec.xml. Обоснования и альтернативы могут храниться в design-context.xml. После централизованного применения изменений действующие правила должны оказаться в контракте модуля, которому они принадлежат, а принятые сценарии и привязки — в его записи верификации. Обязательства, которых изменение не касается, должны сохраниться.

Что проверяет существующий CLI

MustVerify требует наличия записи верификации для модуля. Он не запускает её команды и не устанавливает, что её сценарии прошли. Выполнение команд обеспечивают выбранные утверждения MustPassCommand при явном включении --run-commands. Это различие видно в реализации проверочных утверждений.

Для сквозного примера проверка после внесения изменений выглядит так:

grace lint --path PROJECT --change C-RESERVE-STOCK --assertions target --run-commands

К этому моменту необходимые изменения постоянного графа и записей верификации уже должны быть централизованно согласованы и внесены. Соответствующая проверка с --assertions final --run-commands оценивает целевое состояние вместе с полным lint проекта перед архивированием изменения. Проверки задач выполняются по ходу реализации; при планировании эти будущие проверки только описывают, не выдавая их за выполненные.

В одном контролируемом эксперименте ошибочную реализацию проверяла команда, которая ничего существенного не делала и завершалась успешно. Выбранная команда прошла. После её замены настоящим поведенческим тестом ошибка обнаружилась; исправление реализации позволило тесту пройти. Это подтверждает контракт средства запуска: оно опирается на код завершения. Сила поведенческой проверки зависит от того, что именно утверждает команда проекта и охватывает ли она все обязательные случаи.

У парсера есть ещё одна важная граница. Обычные элементы Scenario могут содержать дочерние Given, When и Then. Проекция верификации собирает их текст, но не вычисляет истинность ожидания. Переименование поля в Scenario-CART-ADD может оставить XML допустимым и при этом убрать его из проекции сценариев, которая ищет точное имя Scenario.

Прежняя справка по уникальным тегам также показывала семантические якоря с атрибутами как допустимые, хотя грамматика такие атрибуты отвергает. PR #63 исправляет это различие: зарегистрированные семантические якоря остаются без атрибутов, а обычные повторяющиеся поля сохраняют ожидаемые имена. Локальные названия записываются текстом в полях вроде Name. Учебные фрагменты XML нужно экранировать или помещать в CDATA там, где обход дочерних элементов иначе может принять их за действующую структуру.

Зарезервировать три единицы, затем попробовать четыре

Новый сквозной пример выделяет одно правило резервирования. Его область — один вызов с положительным целым количеством и неотрицательным начальным остатком. Авторизация, проверка остальных входных данных, конкурентные обращения и сбои хранения требуют собственных применимых контрактов.

Правило допускает количество, не превышающее доступный остаток, возвращает reserved и вычитает это количество из остатка выбранного SKU. Превышение остатка возвращает insufficient-stock и не выполняет ни одной записи остатков. Другие SKU не меняются; операция не создаёт и не удаляет SKU.

Каждый случай начинается с A=3 и B=7:

СлучайДействиеОбязательные наблюдения
exact-boundaryЗарезервировать 3 единицы Areserved; A=0; B=7; нет новых SKU и отрицательных остатков.
rejected-overdrawЗарезервировать 4 единицы Ainsufficient-stock; A=3; B=7; нет частичного резервирования и записей остатков.

Первый случай выявляет ошибочно строгую границу. Второй проверяет отказ и его последствия. Проверка только возвращённой ошибки пропустила бы реализацию, которая меняет остатки перед отказом. Даже одинаковые снимки состояния до и после не доказывают отсутствие записи: запись того же значения или запись с последующим восстановлением оставят итоговые значения прежними. Если принятое правило запрещает записи, наблюдать нужно саму границу записи.

Спецификация использует повторяющиеся поля Criterion и Scenario с обычными дочерними полями Name, Given, When, Then, Unchanged и Forbidden. Это соглашения об оформлении в пределах грамматики 4.0. План связывает оба случая с именованными тестами в tests/reserve-stock.test.ts, командой их запуска и ожидаемыми наблюдениями. Ожидаемые значения выводятся из утверждённого правила. Если для получения ожидаемого ответа вызвать тот же производственный расчёт резервирования, его возможная ошибка повторится и в проверке.

Два примера всё равно не перечисляют все входные данные. Общее правило продолжает действовать и для остальных значений, как и прежние обязательства по регрессионным проверкам. Проверки границ, сбоев, конкурентных обращений и свойств должны соответствовать реальным рискам поведения. Чистой функции не нужны выдуманные поля аудита или восстановления ради заполнения формы.

Что требуют изменения методологии

Обновлённый навык подготовки спецификации требует правил и небольшого набора различающихся примеров для изменяемого поведения. Противоречия между правилом и примером блокируют утверждение. Неопределённые ожидания остаются в черновике, а не превращаются в неявные решения внутри тестовых данных.

План должен учитывать каждый принятый критерий и пример: через задачи, тестовые файлы, селекторы или имена тестов, исполняемые команды и ожидаемые свидетельства. При выполнении исполнитель может получить компактную подборку примеров как контекст, но контроллер отвечает за полный набор обязательных проверок. Верификация и ревью проверяют фактические результаты на отсутствующие, пропущенные, отфильтрованные и ослабленные случаи. Изменение принятых обязательств проходит существующий цикл замены утверждённой версии и согласования.

Сохраняются ограничения затрат на команды и различие между быстрыми проверками и дорогими приёмочными тестами. Тестам, зависящим от семантики базы данных, транзакций или авторизации, нужна соответствующая реальная граница системы. Перенос нестабильного обязательного теста в карантин требует согласованной отсрочки; сам по себе карантин не означает прохождения приёмки. Эти инструкции реализованы в навыках и шаблонах. Встроенного учёта отдельных случаев, нового профиля грамматики и автоматической проверки ожиданий, записанных обычным текстом, в изменении нет.

Что подтверждает литература

Brown и соавторы показали полезные результаты обучения по нескольким примерам без обновления параметров на исследованных языковых задачах. Подбор примеров имеет значение: Liu и соавторы обнаружили преимущества поиска релевантных демонстраций на своих наборах задач. Lu и соавторы показали существенную чувствительность к порядку демонстраций. Эти результаты дают основание внимательно выбирать примеры. Они не устанавливают универсальное их количество и не показывают измеренного улучшения для агентов GRACE.

Min и соавторы обнаружили значительный вклад формата, распределения входных данных и набора меток в задачах классификации и выбора ответа — иногда даже при случайно назначенных метках демонстраций. Это предостерегает от объяснения любого улучшения усвоением требуемого соответствия между входом и ответом. Оснований использовать неверные ожидаемые результаты в программных тестах из этого не следует.

Исследования тестирования добавляют другое предупреждение. EvalPlus выявил ошибочные сгенерированные программы, которые пропускали меньшие наборы тестов. QuickCheck показывает, как исполняемые свойства и управляемая генерация входных данных расширяют проверку за пределы перечисленных примеров. Качество генератора и правильность проверяющей логики при этом остаются предпосылками. Мутационное тестирование проверяет, обнаруживают ли тесты выбранные искусственно внесённые ошибки; число обнаруженных или пропущенных мутаций не даёт процента корректности программы.

Чего не устанавливает запись об успешном запуске

GRACE записывает результаты команд и исходную Git-идентичность: HEAD, ветку и флаг наличия незакоммиченных изменений. Этот флаг не идентифицирует каждый изменённый байт. В экспериментах разные незакоммиченные содержимые имели одинаковый набор этих трёх значений. Другая команда сначала проверила корректный код, затем изменила его и успешно завершилась. В записи осталась исходная идентичность чистого дерева, а новый процесс тестирования обнаружил внесённую регрессию. Реализация журнала запусков не обещает неизменяемый снимок среды выполнения.

Эти наблюдения обосновывают повторную проверку после существенных для неё изменений и точное описание зафиксированных свидетельств. Они не показывают молчаливого повторного использования сохранённых успешных результатов: прежний успешный запуск не удовлетворяет новое командное утверждение без явного разрешения выполнения. Хеши могли бы усилить идентификацию содержимого, но для более сильных выводов всё равно понадобятся определённые границы входных данных и предпосылки доверия к выполнению.

Что ещё предстоит измерить

Будущий эксперимент с обучающими примерами может сравнить один и тот же явно заданный контракт в трёх вариантах: без демонстраций, со случайными демонстрациями и с подобранными примерами, различающими верное и ошибочное поведение. Следует оставить новые задачи для подтверждения результата, заранее объявить главным сравнение подобранных примеров с одним контрактом, выровнять бюджеты выполнения и проверить новые значения в рамках тех же правил. При оценке неопределённости повторные запуски нужно группировать по задачам. Затраты, неудачные запуски и попытки исправления тоже должны войти в результаты.

Отдельный эксперимент с учётом случаев может проверить собственный проверяющий инструмент проекта на пропусках, устаревших отчётах, дубликатах и допустимо изменённых входных данных. Перед добавлением встроенной поддержки этот инструмент должен стать базой сравнения затрат на сопровождение, пропущенных ошибок и ложных отказов. Улучшение от промптов само по себе не установит ценность новой встроенной схемы.

Эти эксперименты ещё не проведены. Текущее изменение предлагает рабочий процесс, который уже можно применять и оценивать: утверждённые правила с различающими примерами, полное сопоставление с тестами и свидетельства, точно описывающие выполненные проверки.