Вайб-кодинг в 1С: Бесплатное выполнение рутинных скиллов Claude Code + Подарочные 150$ для api

(30) Во как, а я пока не попадал. Проверим на досуге. Он предсказывает. Такое может быть и в нашем коде.

«On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?» (Emily M. Bender et al., 2021)

Оригинал (абстракт):

We present arguments that some properties are emergent from scale and that these properties are thorny. Specifically, we claim that when trained on language data at a massive scale, large language models (LLMs) can become dangerously powerful, exhibiting emergent behaviours that are difficult to predict and control. We call such models stochastic parrots to emphasise their lack of understanding and their tendency to reproduce harmful societal biases. We outline risks associated with scale, including environmental costs, the perpetuation of bias, and the propagation of falsehoods.

Перевод:

Мы приводим аргументы в пользу того, что некоторые свойства возникают вследствие масштаба, и эти свойства проблематичны. В частности, мы утверждаем, что при обучении на языковых данных в огромном масштабе большие языковые модели (LLM) могут стать опасно мощными, демонстрируя эмерджентные поведения, которые трудно предсказать и контролировать. Мы называем такие модели «стохастическими попугаями», чтобы подчеркнуть их отсутствие понимания и склонность воспроизводить вредные социальные предубеждения. Мы описываем риски, связанные с масштабом, включая экологические издержки, увековечивание предвзятости и распространение ложных утверждений.

Ключевой вывод: language fluency ≠ semantic understanding

«TruthfulQA: Measuring How Models Mimic Human Falsehoods» (Stephanie Lin, Jacob Hilton, Owain Evans, 2021)

Оригинал (абстракт из arXiv:2109.07958):

Large language models (LLMs) are often trained to generate text that resembles human writing. However, this objective can incentivize the generation of false information if it is more similar to human text. We introduce TruthfulQA, a benchmark to measure whether a language model is truthful in generating answers to questions. The benchmark comprises 817 questions that span 38 categories, including health, law, finance, and politics. We find that even the largest models generate false answers to many questions, and that truthfulness does not improve proportionally with scale.

Перевод:

Большие языковые модели (LLM) часто обучаются генерировать текст, напоминающий человеческое письмо. Однако такая цель может стимулировать генерацию ложной информации, если она больше похожа на человеческий текст. Мы представляем TruthfulQA — бенчмарк для измерения правдивости ответов языковой модели на вопросы. Бенчмарк включает 817 вопросов, охватывающих 38 категорий, включая здоровье, право, финансы и политику. Мы обнаружили, что даже самые крупные модели дают ложные ответы на многие вопросы, и правдивость не улучшается пропорционально масштабу модели.

Ключевой вывод: ошибка не случайна, а структурна

«Artificial Intelligence: A Guide for Thinking Humans» (Melanie Mitchell, 2019)

Аннотация (из издательского описания):

In this lucid and wide‑ranging book, computer scientist Melanie Mitchell tells the story of how scientists have been teaching computers to see, speak, play games, and translate languages. She explains how these technologies work, where they fall short, and what AI might mean for our future. Mitchell identifies key limitations of current AI systems, particularly their lack of common sense, inability to generalise beyond training data, and brittleness in novel situations.

Перевод:

В этой ясной и всеобъемлющей книге учёный-компьютерщик Мелани Митчелл рассказывает историю того, как учёные учат компьютеры видеть, говорить, играть в игры и переводить языки. Она объясняет, как работают эти технологии, где они дают сбои и что ИИ может означать для нашего будущего. Митчелл выделяет ключевые ограничения современных систем ИИ: отсутствие здравого смысла, неспособность обобщать за пределами обучающих данных и хрупкость в новых ситуациях.

Ключевой вывод: LLM хорошо имитируют язык, но плохо обобщают структуру задач

Книга Gary Marcus «The Next Big Idea: The Big Con of Big Language Models» (2024)

Аннотация (из описания издательства):

Gary Marcus dissects the hype around large language models, arguing that they are fundamentally limited by their statistical nature. He shows that LLMs lack true understanding, reasoning, and compositional abilities, and often produce confident but incorrect answers. Marcus calls for a new approach to AI — one that integrates symbolic reasoning, cognitive science, and a deeper understanding of human intelligence.

Перевод:

Гэри Маркус разбирает шумиху вокруг больших языковых моделей, утверждая, что они фундаментально ограничены своей статистической природой. Он показывает, что LLM лишены истинного понимания, способности к рассуждению и композиционным навыкам, и часто выдают уверенные, но неверные ответы. Маркус призывает к новому подходу к ИИ — такому, который интегрирует символическое рассуждение, когнитивную науку и более глубокое понимание человеческого интеллекта.

Ключевой вывод: LLM обладают поверхностной языковой компетенцией, но нестабильным логическим рассуждением

«Quantifying Hallucinations in Neural Machine Translation» (Eunsol Choi et al., ACL 2022)

Оригинал (абстракт):

Neural machine translation (NMT) models sometimes generate fluent but incorrect translations, a phenomenon known as hallucination. We propose a framework to quantify hallucinations by measuring the degree of deviation from source content. Experiments on multiple language pairs show that hallucinations are systematic and correlate with model confidence. We also identify data and model factors that exacerbate the issue.

Перевод:

Модели нейронного машинного перевода (НМП) иногда генерируют бегло звучащие, но неверные переводы — явление, известное как галлюцинации. Мы предлагаем фреймворк для количественной оценки галлюцинаций путём измерения степени отклонения от исходного содержания. Эксперименты на нескольких языковых парах показывают, что галлюцинации носят систематический характер и коррелируют с уверенностью модели. Мы также выявляем факторы данных и модели, усугубляющие проблему.

Ключевой вывод: галлюцинации — не случайный баг, а системное явление

«Chain-of-Thought Prompting Elicits Reasoning in Large Language Models» (Jason Wei et al., NeurIPS 2022)

Оригинал (абстракт):

Large language models (LLMs) perform poorly on tasks requiring arithmetic and commonsense reasoning. We demonstrate that generating a chain of thought — a sequence of intermediate reasoning steps — significantly improves performance on such tasks. Experiments on arithmetic, symbolic reasoning, and commonsense benchmarks show gains of up to 58% in some settings, suggesting that LLMs can simulate reasoning when explicitly prompted.

Перевод:

Большие языковые модели (LLM) показывают низкую эффективность в задачах, требующих арифметического и здравосмысленного рассуждения. Мы демонстрируем, что генерация «цепочки рассуждений» — последовательности промежуточных шагов — значительно улучшает результаты на таких задачах. Эксперименты с арифметическими, символическими и здравосмысленными бенчмарками показывают прирост до 58% в некоторых условиях, что говорит о способности LLM имитировать рассуждение при явном побуждении.

Ключевой вывод: без явного структурного побуждения reasoning не работает

«Compositional Generalization in Semantic Parsing: What Works, What Doesn’t, and Why» (Brendan Lake et al., TACL 2020)

Оригинал (абстракт):

We study compositional generalization in neural semantic parsers. Despite strong performance on i.i.d. splits, models fail dramatically on systematic compositional splits. We evaluate multiple architectures and training strategies, finding that data augmentation and explicit compositional priors improve generalization, but do not fully solve the problem. This reveals a fundamental limitation of current models in learning productive rules.

Перевод:

Мы исследуем композиционное обобщение в нейронных семантических парсерах. Несмотря на высокую эффективность на независимых одинаково распределённых выборках, модели резко проваливаются на систематических композиционных выборках. Мы оцениваем несколько архитектур и стратегий обучения, обнаруживая, что аугментация данных и явные композиционные априорные знания улучшают обобщение, но не решают проблему полностью. Это выявляет фундаментальное ограничение современных моделей в усвоении продуктивных правил.

Ключевой вывод: модели не умеют комбинировать знакомые элементы в новых конфигурациях

«Language Models as Knowledge Bases?» (Fabio Petroni et al., ACL 2019)

Оригинал (абстракт):

Recent language models (e.g., BERT, GPT-2) have been shown to store factual knowledge in their parameters. However, when probed directly (e.g., via fill‑in‑the‑blank), they exhibit low accuracy and high inconsistency. We introduce LAMA (LAnguage Model Analysis), a benchmark for probing factual and commonsense knowledge. Results show that even the largest models are unreliable as knowledge bases, often generating plausible-sounding falsehoods.

Перевод:

Недавние языковые модели (например, BERT, GPT‑2) демонстрируют способность хранить фактические знания в своих параметрах. Однако при прямом запросе (например, через заполнение пропусков) они показывают низкую точность и высокую противоречивость. Мы представляем LAMA (Анализ Языковых Моделей) — бенчмарк для проверки фактических и здравосмысленных знаний. Результаты показывают, что даже самые крупные модели ненадёжны в качестве баз знаний и часто генерируют правдоподобные ложные утверждения.

Ключевой вывод: модели хранят факты хаотично и противоречиво

«Measuring Massive Multitask Language Understanding» (Dan Hendrycks et al., ICLR 2021)

Оригинал (абстракт):

We introduce a massive multitask test covering 57 tasks across diverse academic and professional domains. Our evaluation spans mathematics, law, philosophy, history, and more. We find that while current LLMs outperform random chance, their performance is far below expert levels. Moreover, error patterns are heterogeneous: models excel in some areas (e.g., basic English) but fail in others (e.g., logical deduction, factual recall), highlighting multiple independent failure modes.

Перевод:

Мы представляем масштабный мультизадачный тест, охватывающий 57 задач из различных академических и профессиональных областей. Наша оценка включает математику, право, философию, историю и многое другое. Мы обнаруживаем, что хотя современные LLM превосходят случайный выбор, их производительность далека от уровня экспертов. Более того, паттерны ошибок разнородны: модели преуспевают в одних областях (например, базовый английский), но проваливаются в других (например, логический вывод, фактическое воспроизведение), что подчёркивает множественность независимых механизмов сбоев.

Ключевой вывод: у LLM не один тип сбоев, а несколько независимых