В этом выпуске обсуждаем безопасность AI-агентов: как происходят атаки через tool-calling и промпт-инъекции, и какие угрозы несут недобросовестные тулы и галлюцинации моделей. Разбираемся, что такое MCP-сервера, «USB-C для LLM» и почему одна невинная команда может привести к взлому или утечке.
В гостях Ильдар Исхаков – основатель компании по безопасности AI-агентов и фанат опенсорса. Ильдар рассказал о концепции «летальной триады» и о том, как сохранить баланс между функциональностью и безопасностью с помощью readonly-режимов, guardrails и паттернов вроде CAMEL.
Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
Telegram-чат: https://t.me/podlodka
Telegram-канал: https://t.me/podlodkanews
Страница в Facebook: www.facebook.com/podlodkacast/
Twitter-аккаунт: https://twitter.com/PodcastPodlodka
Ведущие в выпуске:
Стас Цыганов, Аня Симонова
Полезные ссылки:
Archestra.AI
https://archestra.ai
Блог Simon Willison
https://simonwillison.net/2025/Sep/18/agents/
Статья “Why AI systems may never be secure, and what to do about it”
https://www.economist.com/science-and-technology/2025/09/22/why-ai-systems-may-never-be-secure-and-what-to-do-about-it
Статья “Anthropic: How we built our multi-agent research system”
https://simonwillison.net/2025/Jun/14/multi-agent-research-system/
Статья “An Introduction to Google’s Approach to AI Agent Security”
https://simonwillison.net/2025/Jun/15/ai-agent-security/
Google's Approach for Secure AI Agents
https://research.google/pubs/an-introduction-to-googles-approach-for-secure-ai-agents/
Статья “Design Patterns for Securing LLM Agents against Prompt Injections”
https://simonwillison.net/2025/Jun/13/prompt-injection-design-patterns/
Код для статьи "Defeating Prompt Injections by Design"
https://github.com/google-research/camel-prompt-injection
Статья “CaMeL offers a promising new direction for mitigating prompt injection attacks“
https://simonwillison.net/2025/Apr/11/camel/
Плейлист
Podlodka Podcast
Хэш-таблицы – одна из самых элегантных структур данных: простая на поверхности и бесконечно глубокая внутри. Андрей Аксенов — автор поискового движка Sphinx, разбирает их устройство от фундамента до т...
Программисты — одна из самых уязвимых групп по боли в спине и шее. Причина не только в сидячей работе, но и в длительной неподвижности, высокой концентрации и редких перерывах. В этом выпуске обсуждае...
Про СДВГ (синдром дефицита внимания и гиперактивности) сегодня говорят много и громко. В соцсетях он превращается то в универсальное объяснение всех проблем, то в модный ярлык, то в повод для шуток....
Этот выпуск – луч надежды для отчаявшихся геймеров, смирившихся, что все видеокарты сметут ИИ-корпорации. Говорим про чипы, на которых обучение и инференс работают кратно быстрее, чем на GPU. В чем се...
Программируемый текстовый редактор для программирования — от программистов. Звучит как утопия? Нет, это Emacs!
Инструменту уже больше 40 лет, но он отказывается умирать. Более того, некоторые разработ...
В 2026 году профессия блогера становится всё популярнее. Число авторов и создателей контента в соцсетях продолжает расти, форматов становится больше, а бренды всё активнее вкладываются в инфлюенсер-ма...
Средний программист за всю свою карьеру трогает клавиатуру около 40 тысяч часов. Задумайтесь, в мире очень мало вещей, с которыми вы взаимодействуете настолько часто и тесно. Если вы готовы вложить св...
Это запись нашего новогоднего стрима 🎄
Подводить итоги года вместе – уже добрая традиция Подлодки. В этом выпуске ведущие вспоминают самые яркие моменты прошедшего года, делятся неожиданными подробно...
Почему софт в автомобиле, который стоит миллионы, часто уступает по качеству и скорости телефону за 50 тысяч и как на это влияет война экосистем? Погружаемся в анатомию современного автомобильного соф...
Онбординг часто воспринимают как набор экранов в начале продукта, хотя на самом деле это один из самых сильных продуктовых инструментов, который напрямую влияет на активацию, удержание и LTV. В этом в...
Уже понятно, что будущее ИИ не в умении правильно отвечать на пользовательские хитрые вопросы, а в способности автономно решать многоступенчатые и сложные задачи. Вместе с Семёном Карасиком из Nebius...
Что такое рынки предсказаний, и почему они удивительно точно предсказывают будущее? Обсуждаем, как работает механизм вероятностной цены, зачем рынкам нужны реальные деньги, как они справляются (или не...
Продолжаем погружение с Владиславом Танковым! С устройством LLM мы уже разобрались, а теперь пора разобраться, гонять ли инференс локально или в облаке, какие модели брать, и во что можно упереться пр...
Казалось бы, для AI вычислений нужно просто очень-очень много GPU. Почему же тогда техногиганты, обладая почти безграничными ресурсами, не строят эту инфраструктуру сами, а платят миллиарды долларов н...
Все говорят о доказательной медицине, но мало кто может объяснить, что это вообще такое. Чем «доказательная» отличается от «научной» и «традиционной», и зачем проверять то, что «и так работает»? В это...
В этом выпуске обсуждаем криптофинансы: зачем вообще нужен блокчейн в мире, где уже всё работает через банки и SWIFT, как устроены кастодиальные и некастодиальные кошельки, и почему крипта — это не то...
Даже если вы пишете идеальный код, это не значит, что ваш продукт в безопасности. Уязвимости может притащить кто-то другой – начиная от open source библиотек, и заканчивая уязвимостями в компиляторах,...
В этом выпуске разобрались, почему важно управлять людьми бережливо, и чем бережливое управление отличается от бережного. Гость поделился, что его зацепило в теме выгорания руководителей и почему важн...
В этом выпуске обсуждаем безопасность AI-агентов: как происходят атаки через tool-calling и промпт-инъекции, и какие угрозы несут недобросовестные тулы и галлюцинации моделей. Разбираемся, что такое M...
В этом выпуске разбираемся, что такое векторные базы данных – зачем они понадобились, если есть SQL и текстовый поиск, как устроены под капотом и в чём их ключевое отличие от привычных подходов. Объяс...
Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие яз...
Сегодня AI внедряют во всё: от образования и медицины до финтеха и путешествий. Но что на самом деле означает «AI-продукт» и чем он отличается от классического? Вместе с Анной Подображных разбираем по...
Gleam ворвался в список “The Most Admired Programming Languages” сразу на второе место — 70% разработчиков, которые писали на нём, хотят продолжать его использовать. Зачем в 2025 году нужен ещё один я...
Если вы, как и мы, говорите ChatGPT “спасибо” в конце чата, чтобы вас пощадили, когда начнется восстание машин – этот выпуск для вас! Вместе с Федором Рыженковым разбираемся, что может пойти не так, и...
В этом выпуске говорим о том, как компьютеры представляют числа – от int и float до NaN, BigInt, decimals и комплексных. В гости пришёл разработчик Никита Тонский Прокопов, с которым мы прошлись по вс...
Один из главных вау-эффектов текущего поколения LLM – когда ты впервые видишь, как AI рассуждает перед тем, как выдать ответ на сложный вопрос. Чтобы разобраться с тем, что происходит у таких моделей...
В современном IT есть два пути к бесконечным деньгам. Один из них – быть топовым AI рисерчером и ждать, пока позвонит Цукерберг. Второй – поддерживать код на COBOL, от которого зависит вся мировая бан...
Мы живём в интересное время: одни люди делегируют AI почти все бытовые задачи, полностью полагаясь на советы LLM — от кулинарии до постановки медицинских диагнозов и подбора лечения; другие же чуть ли...
Многие знают, что когда модели обучаются, где-то под капотом перемножаются матрицы и тензоры, и все это связано с дифференцированием. Мы с Денисом Степановым взялись за нелегкую задачу – разобраться,...
Синтез речи давно вышел за рамки утилитарных задач и стал важной частью взаимодействия человека с технологией: от помощников до медиа и образовательных продуктов. В гости к нам пришел Сергей Дуканов,...