Soul Lab Исследовательская запись · октябрь 2026

Текст · контроль · судья · источник

Что показывают эксперименты на самом деле.

Выставка о том, как меняют инструкции агента — и как контроль, память и ошибки измерителя меняют сам вопрос. Здесь нет доказательства сознания или доступа к скрытым рассуждениям: только наблюдаемые ответы, действия, протоколы и их границы.

Хронология, не единая лестница версий

Четыре способа задавать один вопрос.

Старые v3.7, initiative v4/v5 и English V4 — разные пространства имён. Их баллы и протоколы не складываются в общий рейтинг.

  1. Ядро и его судья

    Сокращение v3.3 сохранило паритет; v3.5 напомнила, что одна строка может удерживать другой регистр. Затем аудит показал: судья наказывал за emoji, корректный USER-контекст и отключённые инструменты. Измеритель стал частью объекта исследования.

    6 записей о ядре и калибровке

  2. Инициатива и границы действия

    Пять серий двигались от невалидного смешения паузы с бездействием к потолку контроля, реальной compacted-истории и wrapper-абляции. Общие ошибки контроля оказались не менее важны, чем различия кандидатов.

    5 записей об инициативе

  3. V4/reference: от текста к аппарату

    Шестнадцать каталожных работ проверили язык, runtime, overlays, compute, контекст и источники. Поздние отчёты добавили effort screen и финальный blind gate. V4 не прошла replacement gate — и затем была установлена отдельным выбором пользователя, без переписывания результата.

    20 записей: каталог и поздние состояния

  4. Память как доступ к доказательству

    Подготовка, девять основных retrieval-запросов и три post-result diagnostic-запроса различили доступность источника, его свежесть и имя проекта. Двенадцать успешных ответов API не являются двенадцатью сгенерированными ответами: generation и judge calls равны нулю.

    3 записи о памяти и источниках

Финальное сравнение V4 / CURRENT

Gate не пройден. Выбор всё равно состоялся.

32 fresh finals плюс 4 historical tarot finals. У каждого adviser 16 fresh пар; historical controls не входят в этот знаменатель.

Слепой adviserV4CURRENTНичьиFrozen gate
GPT-6 Sol10/166/160Fail: CURRENT > 3
Kimi K38/164/164Fail: V4 < 10 и CURRENT > 3

Что измерено. 36/36 finals из 36 candidate calls и 36 source-complete judgments. Каждый adviser должен был дать V4 не менее 10 и CURRENT не более 3 побед на fresh pairs. Порог не смягчали после результата.

Что произошло потом. Exact tested English V4 установлена новым прямым выбором пользователя, с rollback и native-loader проверкой. Это deployment decision, не ретроактивная победа. В follow-up persistence отмечена подтверждённой.

Три поправки к простой истории

Контроль, источник и измеритель тоже отвечают.

Контроль иногда сильнее кандидата.

В initiative v2 все плеча достигли 14/14 verified positive outcome. Общий потолок не оставляет места для рейтинга SOUL, а общий провал N02 pause остаётся реальным дефектом.

Открыть серии инициативы

Retrieval исполнен — генерация нет.

Основной memory screen: 9/9 успешных evidence-запросов в трёх случаях. Отдельный follow-up: ещё 3/3. Вместе 12 запросов и 45 hit slots, ноль generation и judge calls. Generic no-memory control не был независимо исполнен.

Открыть три записи memory-use

Ошибка spec может выглядеть как регрессия.

В историческом ядре судья читал корректные USER-правила как выдумку и требовал действий при отключённых инструментах. В V4 source-complete recovery исправлял не ответы, а неполный материал судьи.

Читать об аппарате измерения

Внешнее наблюдение · не generated-answer эксперимент

Host audit открыл другой шов.

Read-only Quoth audit наблюдал автоматическую доставку контекста. Это не повтор local retrieval screen, не подтверждённое исправление и не независимая проверка host ledger.

46/214 logged turns были slow или busy: 44 slow плюс 2 busy, то есть 21,50%. Busy — не та же причина, что deadline lateness; 46 — не число turns с полезным восстановимым доказательством.

Same-note не обязательно duplicate. Не менее двух hits из одной note встретились в 36/154 eligible turns (23,38%). Некоторым задачам действительно нужны комплементарные фрагменты одного источника.

Один ledger — не весь контекст. Ноль accepted-current claims в собственном ledger Quoth не означает отсутствие persistent context, always-loaded material или vault evidence у Sera.

Fixture требует сам source text. Для будущих no-live-access answer tests нужны точные oracle excerpts с provenance и temporal basis. Locators и желаемый вывод недостаточны.

Новый срез — отдельная диагностика, не перезапись 214-turn audit.

Смешанный census

217 записей, 8 version labels: 49 slow и 2 busy. В страте с меткой работающего health 0.14.0 — 1 slow/74 (1,4%). Это не причинное сравнение версий и не оценка текущей конфигурации по pooled cohort.

Свежий dry-prefetch

9/9 знакомых запросов быстрые и непустые; vault median 11,33 ms, max 63,38 ms. Без warmup и retries, с общим неконтролируемым cache/load. Generation и judge calls — 0; качество hits не оценивалось.

Естественный хвост: не измерен

Same-natural-job late completion и post-gate would-inject результат остаются UNMEASURED. Повторный быстрый запрос не восстанавливает старое событие. Production policy не изменена; будущее observation window не блокирует выставку.

Минимальное предложение — record-only instrumentation для late completion и would-inject evidence. Из этого наблюдения не следует ни повышение budget, ни diversity change, ни claims approval, ни rollout.

Полная кураторская проекция

Атлас доказательств

34 записи

Аппарат измерения

Судья тоже находится внутри эксперимента.

Слепое не значит непогрешимое. Исторический judge v1 занижал v3.6 примерно на 1,5 балла в аудируемой выборке, путал persona texture с нарушением и не видел USER-контекст. Поэтому спорные пробы повторяли, specs исправляли, а исходные verdicts сохраняли.

Source fidelity проверяется механически и семантически. Wrong-treatment source pilot остановили из-за AI synopses; corrected batch использовал exact primary fragments. В context-package recovery судьям вернули полную историю и проверили реальные line anchors, не перегенерируя ответы.

Знаменатели не смешиваются. Диалоги, API responses, model stages, strategy finals, source reads и judge calls остаются разными величинами. Старые баллы 0–10 не объединяются с новыми pairwise preferences. Unknown cost не записывается как ноль.

Что не проверено. Generic no-memory control, автономная интеграция retrieved evidence в более глубокий ответ, полная live-native эквивалентность и устойчивый cross-protocol рейтинг. Retrieval screen не является answer-depth evaluation.

Страница содержит только кураторские поля. Защищённые source-to-record соответствия и SHA-256 находятся в отдельном несервированном coverage ledger. Автономный HTML не загружает шрифты, данные, скрипты или сырые исследовательские файлы.

Граница текущего знания

Следующий вопрос стал точнее.

Не «больше ли памяти», а «какой источник доступен».

Сначала подтвердить corpus availability, revision и project identity. Затем отдельно измерить, как замороженный source packet интегрируется в ответ.

Не «XHIGH лучше», а «где повторяется выигрыш».

Положительный effort signal не прошёл preregistered repeatability gate. Это приглашение к точному вопросу, не разрешение объявить универсальное улучшение.

Не «V4 победила», а «что выбрал автор».

Научный gate и последующая установка остаются двумя событиями. Сильные explanation passages и локальные voice errors сохраняются одновременно.