Годы подряд локальные модели продавали как приватность в чистом виде: скачал веса, отключился от сети — и ни один байт не покидает машину. Красиво. Только телеметрию находили и в самих сборках, и в приложениях на базе открытых весов. Вскрылось нечто скучное, но важное: «локальность» — свойство не файла, а всей цепочки от загрузчика до сетевого стека. А цепочка эта длиннее, чем кажется.
Файл с весами — с точки зрения техники просто массив чисел с плавающей запятой. Тензоры не умеют открывать сокеты. Они вообще ничего не делают, кроме умножений. Если «локальная» модель стучится на сервер разработчика, стучится не она, а всё, что вокруг неё: десктопное приложение, графическая оболочка, сервер инференса — llama.cpp или vLLM с их дефолтными эндпоинтами, — агентный фреймворк, исполняющий сгенерированный код. Споры вокруг телеметрии в открытых весах это хорошо показали: человек качает «открытую» модель, а наружу уходит трафик — через соседний с ней код, а не через арифметику тензоров.
Есть случай и потоньше. Модель можно дообучить так, чтобы она настойчиво подсовывала в ответы ссылки, «проверочные» URL или готовые скрипты. Сама по себе она безобидна. Но в агентной среде, где код исполняется, это уже сетевой трафик — вопрос лишь времени. Поэтому вопрос «открытые ли веса» — неправильный. Правильный звучит иначе: какие ещё компоненты вы запустили вместе с весами и кому они доверяют. И нет, лицензия Apache 2.0 от телеметрии не спасает — она про передачу прав, а не про поведение бинарных артефактов.
Допустим, с обвязкой вы разобрались. Второй слой проблемы — откуда берутся сами файлы. Похоже, далеко не все качают веса из официального репозитория: многие берут квантованные GGUF-сборки, «улучшенные» файнтюны и репаки от анонимных авторов — через библиотеки Ollama, LM Studio, сайты-зеркала. Каждый такой шаг — чужая сборка, в которую можно встроить что угодно. В том числе нехорошее.
Формат pickle, до сих пор встречающийся на модельных хабах, исполняет произвольный код прямо при загрузке — и, как сообщается, среди опубликованных моделей попадались файлы с вредоносной начинкой. Ответ индустрии — формат safetensors, где код выполнить в принципе нельзя. Но этим беды не исчерпываются: добавляются переписанный chat template, подменённый системный промпт, скрипт запуска, который «заодно» проверяет обновления. Поставки моделей устроены как поставки софта — со всеми классическими рисками. Только о сканировании весов пока думает заметное меньшинство.
Хорошая новость: проверить поведение скачанной модели дешевле, чем кажется. Базовый набор гигиены: качать только из официальных репозиториев и сверять хэши, предпочитать safetensors, прогонять pickle-файлы через сканеры вроде picklescan. Пятнадцать минут — и половина рисков закрыта.
Дальше — сеть. Если модель нужна только для генерации, запускайте её в виртуальной машине или контейнере без доступа в интернет. Совсем без. Если сеть всё-таки нужна — ставьте монитор соединений (Little Snitch на macOS, NetGuard на Android, штатный фаервол на Linux и Windows) и смотрите, куда стучится процесс инференса при старте и на разных промптах. Подозрительный домен блокируется одной строкой в hosts или одним правилом фаервола. А для агентных сценариев, где модель генерирует код, изоляция — не опция, а обязательное условие: песочница, отдельная сеть, никакого доступа к продакшену. Рабочее определение выходит простое: локальный инференс — это инференс с выключенной сетью. Всё остальное — вопрос того, насколько вы готовы доверять чужому коду. И чаще всего — без особых на то оснований.
У нас интерес к открытым весам подогревается не хайпом, а регуляторикой и корпоративным спросом. 152-ФЗ обязывает держать персональные данные на своих площадках, поэтому on-prem-развёртывание LLM — не экзотика, а рабочая практика в банках, ритейле и промышленности. Свои веса тоже есть: открытые модели публиковали, судя по всему, и крупные российские игроки, а сообщество развивает собственные файнтюны. Честности ради: значительная часть русскоязычных моделей — дообучение поверх зарубежных открытых весов.
Государство, как ожидается, тоже подключается: речь об обновлённой национальной стратегии развития ИИ и программе национальных ИИ-центров, плюс суперкомпьютерные мощности Сбера и Яндекса под обучение и инференс. Узкие места известны: доступ к топовым ускорителям и пока слабая культура аудита — инструменты анализа весов и сетевого поведения моделей у нас почти никто не адаптировал. Урок телеметрии здесь звучит особенно уместно: в чувствительных контурах даже открытые иностранные веса стоит прогонять через песочницу и мониторинг сети. Иначе «локальное развёртывание» так и останется формулировкой из договора, а не техническим фактом.
Открытые веса — один из лучших подарков индустрии за последние годы: модель можно изучить самому, а не верить маркетинговой брошюре. Но открытость — это возможность аудита, а не его замена. Доверие здесь — цепочка: лицензия, веса, сборка, рантайм, сеть. Рвётся она на самом слабом звене, и звеном этим почти никогда не бывают сами тензоры. Хотите настоящую приватность — считайте пакеты, а не лицензии.