Глубокий анализ: спор о сэмплерах в /ai/ треде #11

Дата: 2026-07-09
Источник обсуждения: https://2ch.su/ai/res/1646390.html (посты #1648568, #1648872 и окружающая цепочка)
Метод: четырёхступенчатый аналитический конвейер deep-analyze (сбор → критический сбор → верификация → синтез)

Summary

Перед нами спор двух анонимных участников имиджборды 2ch.su, в котором столкнулись две философии развития AI. Пост #1648568 утверждает: open-source разработчики (oobabooga, ExLlamaV2, «пажилой Киркоров») обгоняют frontier-компании (OpenAI, Anthropic, Google) по инструментарию сэмплеров — алгоритмов выбора следующего токена при генерации текста — и академия их игнорирует. Пост #1648872 — развёрнутая критика, утверждающая, что сэмплеры в принципе находятся на неправильном уровне для решения проблем языковых моделей, что это противоречит «Горькому уроку» Рича Саттона, и что в больших моделях проблема переходит с токен-уровня на семантический — сэмплеры там бессильны.

Фактологическая проверка показала: оба поста содержат значительную долю правды, но в разных плоскостях. #1648568 эмпирически точен: open-source экосистема действительно опережает frontier по количеству и инновационности параметров сэмплирования (деcятки параметров против 0–7). Anthropic ушёл дальше, чем утверждал автор — параметры удалены не только из Opus, но из всей новой линейки (Sonnet 5, Fable 5, Mythos 5). #1648872 теоретически обоснован: академическая работа мая 2026 года (arxiv 2605.17193) независимо подтверждает, что семантический коллапс существует, 12 типов вмешательств — включая параметры декодирования — не восстановили семантическое разнообразие, и это, вероятно, внутреннее свойство авторегрессивной генерации. Однако самое сильное риторическое заявление #1648872 — что Gwern «уже прошёлся по этим даунам» (kalomaze и Sam Paech) — не подтверждено ни одним источником. Это не подрывает теоретический аргумент автора, но указывает на ненадёжность его личных атрибуций.

Limitations and Risks

Ключевая неверифицированная статья. Центральный аргумент #1648872 — что mode collapse в современных моделях является «geometric collapse» внутренней траектории в representation space, а не токен-уровневым феноменом — опирается на arxiv 2605.00435. Эта работа (май 2026) не была доступна через веб-поиск на момент анализа. Её существование plausible — указанный ID корректен по формату arxiv, и другая работа с близким ID (2605.17193) подтверждена. Но содержание 2605.00435 остаётся непроверенным. Это снижает confidence по утверждению о «geometric collapse» до LOW — до тех пор, пока работа не будет извлечена напрямую с arxiv.org.

Утверждение о Gwern не подтверждено. Пост #1648872 заявляет: «Гверн, хоть и похож на них, уже прошёлся по этим даунам.» Веб-поиск по трём провайдерам, а также независимый поиск обоих сборщиков (primary и critical collection), не обнаружил ни одного публичного заявления Gwern Branwen, в котором он бы критиковал kalomaze или Sam Paech поимённо. Философская позиция Gwern действительно противостоит hand-crafted-подходу (он многократно писал о преимуществах скейлинга над ручными эвристиками), но личный конфликт не подтверждён. Возможные объяснения: (а) автор #1648872 экстраполирует общую позицию Gwern на конкретных людей; (б) обсуждение происходило в приватных каналах (Discord, личные сообщения) и не индексируется; (в) автор преувеличил или придумал для риторического усиления. Confidence: LOW — source not found.

Отсутствие объективных бенчмарков качества. Сравнение числа параметров сэмплирования между open-source и frontier — объективно и верифицируемо. Сравнение качества генерации при использовании этих параметров — нет. Ни сборщики, ни верификатор не обнаружили независимых бенчмарков, сравнивающих creative writing через oobabooga/ExLlamaV2 с полным набором сэмплеров против frontier-API с их ограниченными параметрами. Все утверждения о «превосходстве» основаны на пользовательских свидетельствах и авторских заявлениях разработчиков, но не на контролируемых экспериментах. Confidence в любых сравнительных утверждениях качества — MEDIUM.

Асимметрия коллекций. Primary collection (сбор позитивных evidence) существенно объёмнее critical collection. Critical collection идентифицировал ~15 проблем и ограничений, что может отражать либо подлинную нехватку документированных проблем у community-сэмплеров, либо недостаточное покрытие поиска. Аргументы #1648872, поддержанные академическими работами 2025–2026 по semantic collapse, частично компенсируют эту асимметрию на теоретическом уровне.

1. Что такое сэмплер — доступное объяснение

Когда языковая модель генерирует текст, она делает это не словом за словом, а токен за токеном (токен — это кусочек слова, примерно 3/4 слова). На каждом шаге модель вычисляет вероятность для каждого токена из своего словаря (типично 50 000–200 000 вариантов). Сэмплер — это алгоритм, который решает, какой именно токен выбрать из этого распределения вероятностей.

Простейший сэмплер — greedy decoding: всегда брать самый вероятный токен. Это даёт осмысленный, но скучный и повторяющийся текст. Чтобы добавить разнообразия, придумали:

• Temperature — «разглаживает» или «заостряет» распределение вероятностей. Высокая температура делает редкие токены более вероятными → больше случайности. Низкая — наоборот.
• Top-K — оставляет только K самых вероятных токенов, остальные отбрасывает.
• Top-P (nucleus sampling) — накапливает наиболее вероятные токены, пока их суммарная вероятность не достигнет порога P, остальные отсекает.

Это три «классических» параметра. Они есть практически везде. И на этом инструментарий frontier-компаний в основном заканчивается.

Почему это тема спора. Сэмплер находится «снаружи» модели. Он получает от модели только числа (логиты — числовые оценки для каждого токена) и на основе этих чисел принимает решение. Он не «понимает», что модель хотела сказать — только распределение вероятностей. Сторонники сэмплеров говорят: «модель хорошая, но без правильного сэмплера она генерирует кашу — мы донастраиваем выход». Противники говорят: «если модель внутри сломана, никакой сэмплер её не починит — это лечение симптомов, а не болезни».

Этот спор и разворачивается в постах #1648568 (pro-сэмплеры) и #1648872 (anti-сэмплеры).

2. Горький урок (The Bitter Lesson) — почему он здесь релевантен

The Bitter Lesson — эссе Рича Саттона (Richard Sutton), одного из основателей reinforcement learning, опубликованное 13 марта 2019 года. Основная мысль: за 70 лет истории AI везде и всегда побеждали общие методы, использующие рост вычислительных мощностей, а не те, в которые человек встраивал свои знания о предметной области.

Саттон приводит три исторических примера:

• Шахматы. DeepBlue победил Каспарова не потому, что программисты закодировали шахматные знания гроссмейстеров, а потому что использовал массированный поиск по дереву ходов.
• Распознавание речи. Скрытые марковские модели (HMM, статистический метод) вытеснили экспертные системы, построенные на ручных правилах фонетики и знаниях лингвистов.
• Компьютерное зрение. Свёрточные нейросети (CNN) победили методы, основанные на hand-crafted признаках вроде SIFT и ручного детектирования границ.

Две стратегии, которые масштабируются с вычислениями — search (поиск) и learning (обучение). Всё остальное, по Саттону, даёт краткосрочный выигрыш, но в долгосрочной перспективе plateau-ит и тормозит прогресс — потому что усилия уходят на «встраивание того, как мы думаем, что мы думаем» вместо масштабирования вычислений.

Релевантность к спору. #1648872 использует Bitter Lesson напрямую: сэмплеры — это «ручные эвристики» (какие токены оставить, какие забанить, какие оштрафовать), то есть «human knowledge baked in». Это противоречит принципу Саттона. Решением, по логике #1648872, должно быть не усложнение сэмплеров, а улучшение модели через масштабирование вычислений и данных.

Контраргумент (выраженный в посте #1648844 и поддерживаемый критикой в ICLR 2026 blogpost): в NLP Bitter Lesson имеет «лазейку» — язык является человеческим артефактом, и некоторая зависимость от человеческого знания при работе с языком неизбежна. Сам Саттон в подкасте Dwarkesh признал: «It's an interesting question whether LLMs are a case of the bitter lesson.» То есть даже автор принципа не уверен, применим ли он к LLM напрямую.

Это превращает отсылку к Bitter Lesson из железного аргумента в предмет дискуссии. #1648872 не «неправ», но и не «очевидно прав» — он занял одну из двух обоснованных позиций в незакрытом философском вопросе.

3. Кто есть кто: kalomaze, Sam Peach, Gwern

kalomaze

Псевдонимный open-source разработчик, активный в LLM-сообществе с 2023 года. На 2026 год работает в Prime Intellect.

Подтверждённый вклад [VERIFIED, GitHub]:

• Создал min_p sampler (PR #3841 в llama.cpp, октябрь 2023) — динамический метод отсечения, альтернатива Top-P. Отсекает токены, чья вероятность меньше чем min_p × вероятность самого вероятного токена, адаптируясь к энтропии распределения.
• Разработал quadratic sampling (PR #233 в aphrodite-engine) и dynamic temperature (issue #3483 в llama.cpp).
• Автор gist «LLM Samplers Explained» — наиболее цитируемый community-справочник по сэмплерам (создан в феврале 2024, обновлён в феврале 2026).

Нюанс атрибуции. kalomaze заявляет: «Min P is a sampler I designed.» Однако академическая публикация Nguyen et al. (2024, arxiv 2407.01082) приписывает оригинальную идею Andrew Baker, который «conceived the original idea of min-p sampling, tested and shared it with hobbyists within the open-source LLM community.» Возможно, kalomaze и Andrew Baker — одно лицо; возможно, независимое изобретение. Это несущественная деталь для сути спора, но заслуживает упоминания.

Sam Peach (Sam Paech)

Разработчик из Мельбурна, Австралия. На 2026 год работает в Liquid AI (evals).

Подтверждённый вклад [VERIFIED, multi-source]:

• Создатель Antislop framework — системы подавления «слопа» (шаблонных, повторяющихся фраз) в выдачах LLM. Состоит из трёх компонентов:
  1. Antislop Sampler — использует backtracking (обнаружив запрещённый паттерн, откатывается и перегенерирует). Поддерживает бан-лист из 8000+ паттернов, но ценой падения throughput на 69–96%.
  2. FTPO (Final Token Preference Optimization) — метод файнтюнинга, корректирующий логиты модели в точках генерации слопа. Достигает 90% подавления без деградации на бенчмарках (GSM8K, MMLU, creative writing).
  3. Автоматизированный profiling pipeline — генерирует training data, сравнивая частоту паттернов в выдачах модели и human baseline.
• Опубликовал академическую работу «Antislop: A Comprehensive Framework for Identifying and Eliminating Repetitive Patterns in Language Models» на OpenReview (2025) с соавторами Allen Roush, Judah Goldfeder, Ravid Shwartz-Ziv.
• Создатель бенчмарков EQ-Bench и DiploBench.

Gwern (Gwern Branwen)

Псевдонимный независимый исследователь, автор gwern.net — одного из наиболее влиятельных long-form блогов в AI/рационалистском сообществе. Ранний предсказатель скейлинговых траекторий LLM.

Подтверждённые позиции [VERIFIED, multi-source]:

• В статье «The Scaling Hypothesis» (2020) доказывал, что рост моделей и данных решает большинство проблем AI.
• В статье «Mode Collapse» (2023) детально разобрал, как RLHF делает модели скучными и некреативными через mode collapse: «people mistake the RLHF training deliberately making the model boring & uncreative for some sort of meaningful measure of LLM capabilities.»
• Сформулировал принцип: «sampling can prove the presence of knowledge but not the absence» — сэмплинг может показать, что модель что-то знает, но не может доказать, что она чего-то не знает.
• Предупреждает против использования «mode-collapsed small models» для творческих задач.

Утверждение #1648872: «Гверн… уже прошёлся по этим даунам [kalomaze и Sam Paech].»
Верификация: NOT FOUND [UNVERIFIED]. Ни один из трёх поисковых провайдеров (включая deep-content поиск) не обнаружил публичных заявлений Gwern с критикой kalomaze или Sam Paech поимённо. Философское противостояние Gwern подходу «hand-crafted samplers» реально, но личный конфликт не подтверждён.

Дополнительно: p-e-w и Iwan Kawrakow

Эти разработчики не названы в #1648872, но критически важны для контекста.

p-e-w (Philipp Emanuel Weidmann) [VERIFIED, multi-source] — математик и software engineer с 15-летним опытом. Создал DRY и XTC — два наиболее влиятельных community-сэмплера. Также создатель Heretic, инструмента для удаления safety alignment из LLM. В обсуждении PR #6839 в llama.cpp выразил разочарование: «my two previous sampler-related PRs have received very little maintainer feedback… I don't enjoy putting effort into a black hole» — что подтверждает тезис #1648568 об игнорировании community-разработок мейнстримом.

Iwan Kawrakow («пажилой Киркоров») [VERIFIED, multi-source] — PhD-физик, бывший руководитель Georgi Gerganov (создателя llama.cpp). Создал K-quants (PR #1684, июнь 2023) — серию методов 2–6-битной квантизации (Q2_K через Q6_K) и IQ-серию без единой научной публикации. Его форк ik_llama.cpp (2851★) содержал SOTA-методы, которые академические бенчмарки игнорировали два года (2023–2025), пока в январе 2026 не вышла статья, включившая K-quants в систематическое сравнение. Это сильнейший пример «community-разработчик обгоняет академию» — ключевой тезис #1648568.

4. Что такое DRY, XTC, min_p, Antislop, Constrained Decoding — кратко

DRY (Don't Repeat Yourself) [VERIFIED, multi-source]

Алгоритм подавления повторов от p-e-w (март 2024). Отслеживает окончание текущей последовательности токенов в контексте: если токен продолжил бы повтор, накладывает штраф, растущий экспоненциально с длиной совпадения. Формула: multiplier × base^(match_length − allowed_length). Использует sequence breakers (по умолчанию: перенос строки, двоеточие, кавычки) чтобы не штрафовать структурные элементы. Ключевое преимущество над традиционным repetition_penalty: DRY штрафует только длинные повторы (≥3 токена по умолчанию), не трогая артикли, предлоги и пунктуацию — традиционные penalty «делают модели тупее», потому что штрафуют всё подряд. Реализован в llama.cpp, ExLlamaV2, vLLM, KoboldCpp.

XTC (Exclude Top Choices) [VERIFIED, single-source — PR, с corroboration через adoption]

Алгоритм от p-e-w (август 2024). «Переворачивает логику»: вместо отсечения маловероятных токенов, с заданной вероятностью (xtc_probability) удаляет наиболее вероятные токены выше порога (xtc_threshold), оставляя минимум один для связности. Эффект: ломает клише и предотвращает не-дословные (парафразные) повторы. По заявлению автора, «первый сэмплер, способный предотвращать не-verbatim повторение.» Реализован в llama.cpp, ExLlamaV2, KoboldCpp.

min_p [VERIFIED, multi-source]

Динамический порог от kalomaze/Andrew Baker (октябрь 2023). На каждом шагу отсекает токены, чья вероятность меньше чем min_p × max_prob. Когда модель уверена (top token ~90%), порог высок — допускаются только близкие конкуренты. Когда неуверена — порог низок, много вариантов. Уникален тем, что имеет и community-происхождение, и академическую валидацию: Nguyen et al. (arxiv 2407.01082, 2024) подтвердили улучшение качества и разнообразия на моделях от 1B до 123B параметров. Принят в HuggingFace Transformers, VLLM и других фреймворках.

Antislop [VERIFIED, single-source — OpenReview paper]

Фреймворк Sam Paech (2025). Состоит из (1) Antislop Sampler — backtracking-механизм инференса, (2) profiling pipeline для генерации training data, (3) FTPO — хирургическая корректировка логитов при файнтюнинге. Бан-лист до 8000+ паттернов (включая regex). Throughput penalty 69–96%. FTPO достигает 90% подавления слопа без деградации на бенчмарках.

Constrained Decoding [VERIFIED, multi-source]

Принудительное соблюдение грамматики/JSON-схемы через маскирование токенов, которые привели бы к невалидному выводу. Используется в OpenAI Structured Outputs, Anthropic tool use, Outlines, XGrammar, llguidance. Важно: в отличие от DRY/XTC/Antislop, constrained decoding не «улучшает» качество прозы — он гарантирует формальную корректность. #1648872 явно признаёт это областью, где «уровень сэмплинга работает хорошо» и «уже используется.» Однако академические работы (NeurIPS 2024 — Grammar-Aligned Decoding, 2025 — CRANE) показывают, что constrained decoding может искажать распределение модели и снижать reasoning capabilities.

5. Модальный коллапс и семантический коллапс — ключевой аргумент #1648872

Это центральный пункт анализа, потому что здесь теоретический аргумент анонимного участника имиджборды неожиданно совпадает с peer-reviewed академической работой.

Модальный коллапс (Mode Collapse) [VERIFIED, multi-source]

Феномен, при котором генеративная модель теряет разнообразие выходов — начинает повторяться, зацикливаться, коллапсирует к узкому набору паттернов. Gwern (2023) показал, что RLHF-тренировка намеренно вызывает mode collapse в современных LLM, делая модели «скучными и некреативными»: «mode collapse makes the temperature sampling hyperparameter useless, due to flattened logits, which makes it harder to search for correct answers.»

Важный нюанс: Gwern критикует именно RLHF-индуцированный mode collapse, а не community-сэмплеры. Его позиция: проблема в том, как тренируют модели, а не в том, как их сэмплируют. Это частично созвучно и #1648568 (проблема есть), и #1648872 (проблема не на уровне сэмплера), но по разным причинам.

Семантический коллапс (Semantic Collapse) [VERIFIED, single-source — arxiv abstract]

arxiv 2605.17193 (май 2026): в multi-LLM системах наблюдается «systematic convergence in semantic representations despite apparent lexical variation» — модели говорят разными словами, но СМЫСЛ одинаков. 12 стратегий вмешательства — decoding parameters, prompt design, agent composition, activation engineering, reinforcement learning — не смогли восстановить семантическое разнообразие. Вывод: феномен «consistent with intrinsic properties of autoregressive generation» — то есть это не баг, а фундаментальное свойство того, как работают LLM.

Совпадение с #1648872. Автор поста пишет:

«Большие модели оперируют концептами и модальный коллапс в них превращается в семантический, выучивание маппинга идей 1:1. Поэтому попытка пердолить шизосэмплеры заставляет их говорить синонимами, но суть получается той же.»

Это практически дословный пересказ вывода arxiv 2605.17193. Модель, которую «разнообразят» сэмплерами, начинает перефразировать — но семантически остаётся в той же колее. Это и есть семантический коллапс: лексическая вариация без семантического разнообразия.

Почему это ключевой аргумент. Потому что он атакует саму идею сэмплеров в их сильнейшей точке. Сторонники сэмплеров говорят: «мы добавляем разнообразие, ломаем повторы.» Противники — #1648872 и arxiv 2605.17193 — отвечают: «вы добавляете синонимы, а не новые идеи. Разнообразие без семантического разнообразия — иллюзия.»

6. Кто прав — оценка на основе фактов

Пост #1648568 (pro-сэмплеры, pro-open-source)

Что подтверждено [HIGH confidence]:

• Open-source сэмплеры (oobabooga, ExLlamaV2) имеют на порядок больше параметров, чем frontier API — десятки против 0–7. Это не вопрос интерпретации: достаточно посчитать поля в API и полях классов.
• Все инновации в сэмплерах (DRY, XTC, min_p, dynamic temperature, quadratic sampling, sampler priority) пришли от независимых разработчиков (p-e-w, kalomaze/Andrew Baker), а не от Big Tech. Ни один из этих методов не имеет аналога в API OpenAI, Anthropic или Google.
• Anthropic удалил temperature/top_p/top_k не только из Opus, но из всей линейки reasoning-моделей (Opus 4.7, Opus 4.8, Sonnet 5, Fable 5, Mythos 5). Это шире, чем утверждал автор #1648568.
• Iwan Kawrakow создал K-quants и IQ-серию без научных публикаций, и академические бенчмарки игнорировали их около двух лет. Community-разработчик действительно обогнал академию в конкретной нише.

Что не подтверждено или проблематично:

• Утверждение «академические трясунчики боялись включить в бенчмарки» — мотивационная атрибуция, неверифицируема [UNVERIFIED].
• «Генерация будет не калом, которая будет говном» — эмоциональная гипербола, не factual claim.

Пост #1648872 (anti-сэмплеры, pro-scaling)

Что подтверждено [MEDIUM-HIGH confidence]:

• Сэмплеры — «неправильный уровень для фикса проблем нейронок» — подтверждено направленно. arxiv 2605.17193 показывает, что decoding parameters не восстанавливают семантическое разнообразие. Это не значит, что сэмплеры бесполезны на 100% — они решают токен-уровневые проблемы (повторы фраз), но не семантические.
• Сэмплеры не могут декодить семантику — верно по определению. Они оперируют logits (числовыми вероятностями токенов), а не embeddings (векторами смысла). Это структурный факт, не нуждающийся в верификации.
• Семантический коллапс в больших моделях реален — подтверждено arxiv 2605.17193.
• Antislop-сэмплер (инференс-часть) — «ручные регэксы, которые не масштабируются» — подтверждено. Throughput penalty 69–96%, зависимость от ручного бан-листа из 8000+ паттернов. Однако это критика ранней версии; FTPO (тренировочная часть Antislop) — это метод файнтюнинга, а не регэксы, и он решает throughput-проблему.
• Сэмплеры противоречат Bitter Lesson — это валидная интерпретация, но не единственная (ICLR 2026 blogpost, сомнения самого Саттона).

Что не подтверждено:

• «Гверн… уже прошёлся по этим даунам [kalomaze и Sam Paech]» — NOT FOUND [UNVERIFIED]. Самое слабое factual-утверждение поста.
• arxiv 2605.00435 (mode collapse как geometric collapse) — не удалось проверить. Если содержание работы соответствует описанию в #1648872, она бы сильно укрепила аргумент. Если нет — часть аргументации висит в воздухе.

Интегральная оценка

Оба поста содержат значительную долю правды, и противоречие между ними — в философии, а не в фактах.

1648568 наблюдает эмпирическую реальность и оказывается прав: open-source community действительно создала инструментарий, которого нет у frontier-компаний. Сэмплеры действительно решают осязаемые проблемы (повторы, клише, слоп) на доступных моделях. Это реально работающие инструменты, которые используют тысячи людей.

1648872 смотрит на ту же реальность через призму Bitter Lesson и видит: этот инструментарий — лечение симптомов. Проблема глубже, она в том, как модели представляют смысл, и сэмплеры принципиально не могут туда добраться. Более того, академическая наука начинает подтверждать его правоту: semantic collapse — не баг сэмплинга, а свойство архитектуры.

Практический итог: #1648568 прав сегодня, #1648872 — о том, что будет работать завтра. Сэмплеры полезны ровно до тех пор, пока модели несовершенны. Когда (и если) модели станут достаточно хороши, чтобы не страдать от mode collapse и semantic collapse на уровне архитектуры, сэмплеры станут не нужны — как предсказывает Bitter Lesson. Но мы находимся в промежуточной точке, где модели ещё не настолько хороши, и сэмплеры остаются необходимым костылём.

Сам #1648872 это признаёт в финальном предложении: «Там где уровень сэмплинга работает хорошо, он уже и так используется» — constrained decoding. То есть он не против сэмплеров вообще. Он против иллюзии, что сэмплерами можно «починить» модель. И в этом, судя по arxiv 2605.17193, он прав.

7. Источники и их статус

8. Что осталось неизвестным

1. Содержание arxiv 2605.00435. Если geometric collapse — это реальный, подтверждённый феномен, аргумент #1648872 становится значительно сильнее. Рекомендуется прямая загрузка с arxiv.org.
2. Существование личного конфликта Gwern—kalomaze—Sam Paech. Не подтверждено ни одним публичным источником. Может быть частным обсуждением или преувеличением.
3. Объективные бенчмарки creative writing с разными сэмплерами. Не обнаружены. Сравнительные утверждения о «качестве» генерации остаются на уровне пользовательских свидетельств.
4. Внутренние сэмплеры frontier-компаний. OpenAI и Anthropic могут использовать непубличные методы сэмплирования, не exposed через API. Их отсутствие в API не обязательно означает их отсутствие в продукте.
5. Являются ли LLM случаем Bitter Lesson. Сам Саттон не уверен. Это философский вопрос, который остаётся открытым.