22 февраля 2023
Генеративные сети: ChatGPT, LaMDA, виды обучения, нейроны и всякое другое сложное
0
7
Содержание выпуска
— Как воспользоваться ChatGPT из России без регистрации.
— Что такое обучение вообще и машинное обучение (machine learning) в частности.
— Когда и кто ввёл термин «машинное обучение».
— Чем машинное обучение отличается от искусственных нейронных сетей и почему это не одно и то же.
— В чём заключается парадокс исследований мозга. Имитируют ли искусственные нейросети настоящие нейроны. Как устроен искусственный и естественный нейрон. Зачем отдельные нейроны объединяют в сети. Что означает понятие «скрытый слой» сети.
— Сколько нейронов в мозге человека и животных. Определяется ли качество работы искусственных нейросетей только их размером.
— Чем глубокое обучение (deep learning) отличается от обычного.
— Какие пять типов задач можно решить с помощью нейронных сетей.
— Как выглядит изнутри процесс обучения искусственных нейросетей.
— Что такое синаптические веса, обучающие пары, ошибка обучения, шаг коррекции, обратное распространение ошибки (backpropagation).
— Что такое эпоха обучения. Зачем данные делят на обучающий, проверочный (CV, cross validation) и тестовый наборы.
— Что такое переобучение (overfitting) и переспециализация (overspecialization) сети.
— Обучение с учителем (supervised learning) и без учителя (unsupervised learning), обучение с подкреплением (reinforcement learning). Чем различаются эти методы и где они применяются.
— Как готовят датасеты для машинного обучения: разметка данных, фильтрация, нормирование, извлечение знаний, формализуемые и слабоформализуемые знания.
— Что такое пространство признаков, решающая граница (decision boundary), линейно сепарабельные и несепарабельные задачи, проклятие размерности.
— Почему простейшая задача «Исключающее ИЛИ» (XOR) отбросила нейросети на 10 лет назад.
— Чем машинное обучение принципиально отличается от систем, основанных на правилах.
— Философские различия понятий «дедукция» и «индукция» в контексте ИИ и нейронных сетей.
— Где брать обучающие данные, наборы данных. Что даёт процесс аугментации данных.
— Почему отсутствие открытых датасетов тормозит развитие ИИ в мировом масштабе. LAION-5B как пример важного открытого датасета, появившегося в 2022 году.
— Как обучали ChatGPT и модель GPT-3.5, на которой основан этот бот. Зачем OpenAI привлекла к обучению людей.
— Как ChatGPT связан с сетью InstructGPT. Что за метод (RLHF, reinforcement learning from human feedback) применили для её обучения.
— История и конкуренты ChatGPT.
— Внедрение ChatGPT в Bing. Защита нейросетей от зловредного обучения пользователями.
— Авторский метод обучения нейросетей.
— Как устроена в России охрана интеллектуальной собственности, связанной с IT. В чём различия свидетельства о регистрации программы для ЭВМ, регистрации базы данных, патента на изобретение, на полезную модель. Можно ли запатентовать изобретение в России абсолютно бесплатно.
— Что такое нейропакеты и можно ли без программирования создать нейросеть.
Гость: Александр Цуриков, автор статей про IT-технологии, преподаватель, доцент, инженер и журналист, кандидат технических наук.
Полезные ссылки
Статьи Александра Цурикова https://skillbox.ru/media/authors/alexandr-tsurikov
Все ссылки из подкаста https://bit.ly/3m0cmMj
Предложить тему, стать гостем подкаста, похвалить или поругать выпуск: code.media@skillbox.ru, t.me/tym83.
Стартовать в программировании вместе со Skillbox: skillbox.ru/code
Плейлист
Люди и код
Содержание
— Что такое Vue.js? Кто и зачем его придумал
— Чем single page application (SPA) отличается от обычного веб-приложения
— Какие основные концепции лежат в основе фреймворка. Что такое реакти...
Содержание:— Какая роль у Тимура в Ænix
— Какие ещё есть роли в команде
— На каком этапе Тимур присоединился к стартапу
— О платформе Ænix и её пользователях
— Как искали первых клиентов
— Почему сраз...
Содержание:— Чем Picodata отличается от других СУБД и какие задачи помогает решить— Что понимают под «исследованиями» и «разработкой» в контексте R&D— Какой профит исследовательская деятельность даёт...
Содержание:
— У кого в IT подросла зарплата
— Сегодня в IT рынок работодателя или соискателя?
— Что имеют в виду, когда говорят о кадровом голоде в российском IT
— Почему бизнес не хочет нанимать...
Содержание
— Что такое мягкие навыки
— Мифы вокруг этой темы
— Что ошибочно причисляют к софт-скиллам
— Если софты — это навыки, значит, их можно прокачать?
— Как проверяют мягкие навыки на собеседова...
Содержание
— Насколько активным пользователем «Хабра» Артём был до того, как туда устроился
— Кто и когда создал «Хабр». В чём была уникальность площадки в то время
— На чём была написана первая верси...
Содержание
— Откуда Константин узнал о книге и какое впечатление она на него произвела
— Кто такой Роберт Мартин
— О чём книга и что такое чистый код
— Кому она нужна и как правильно её читать
— Прим...
Содержание
— Что изменилось в карьере Тимура в 2024 году
— Новая волна интереса к AR/VR и выход Apple Vision Pro 2024. Какое будущее у технологии виртуальной реальности
— ИИ продолжает набирать оборот...
Содержание
— Почему Илья пошёл в веб-разработку
— Что такое Bitrix Framework? Какие приложения на нём можно создавать
— Какова доля Bitrix на рынке PHP-фреймворков в России, СНГ и других регионах? Кто...
Содержание:— Что такое техподдержка? Какие «линии» существуют и в чём между ними разница— Какие знания и навыки нужны специалистам техподдержки разных линий— Как происходит синхронизация продукта и ко...
Содержание
— Что такое видеоаналитика— Чем «интеллектуальная видеоаналитика» отличается от обычной
— История видеоаналитики
— С какими запросами к Александру и Ивану приходят клиенты
— Как компании мо...
Содержание
— Как Андрей пришёл к менторству
— Как программисту понять, что уже можно учить других программистов
— Кто такой ментор
— Как расти в доходах
— Какие плюсы даёт менторство, кроме денег
— Ка...
Содержание
— Чем крут маркетинг? В каких компаниях и на каких позициях Александр успел поработать до запуска стартапа
— Как маркетологи предсказывают наши желания и помогают бизнесу на этом зарабатыва...
Содержание
— История Golang: кто, когда и зачем его создал
— Философия Роба Пайка и проект Plan 9
— Общая характеристика Golang, тулинг и киллер-фичи
— Golang — это только про микросервисы или он ис...
Содержание
— Почему важно правильно выбрать ОС
— По каким критериям выбирать ОС, и как выбор ОС зависит от технических параметров железа
— В каких случаях выбор ОС может быть продиктован особенностями...
Содержание
— Как образование помогло Сергею в карьере? Нужно ли высшее образование IT-специалисту сегодня
— Первая работа: как нашёл, насколько тяжело было устроиться в начале 2000-х, с какими техно...
Содержание
— Кто такой проджект-менеджер и как строится его рабочий день. Какие задачи он закрывает на разных этапах работы над проектом
— Чем проджект-менеджер отличается от продакт-менеджера
— Каку...
Содержание: — Какой была мобильная разработка в 2000-х? На каких языках программирования писали приложения и какие инструменты использовали
— Когда появились сторонние разработчики мобильных приложен...
Содержание
— Как Игорь увлёкся искусственным интеллектом
— ИИ, который в реальном времени определяет уровень стресса собеседника: зачем он нужен и как он устроен
— Насколько глубоко разработчикам прих...
Содержание
Что такое смартстаффинг
Почему и когда Руслана заинтересовала тема Open Source
Почему важно развивать Open Source в отдельно взятой стране
Какие инициативы в этом направлении предпринимало...
Содержание
— Какой технический бэкграунд был у Александра, когда он решил сменить профессию
— Почему не пошёл по технической стезе во время или после учёбы в универе
— По каким курсам и книгам учился...
Содержание
— Что мотивирует Станислава преподавать в государственном вузе
— Почему новая книга посвящена Dart. Чем крут этот язык и в какой нише используется
— Что такое мультиагентные системы
— Зачем...
Осторожно: акустические помехи!Оказывается, примерно на 10-й минуте кулер на компе гостей загудел подобно авиамотору, но увлеченные беседой мы этого, увы, не заметили. На монтаже постарались максималь...
Содержание
— Как маленький магазин автозапчастей стал местом знакомства с программированием
— Как COVID-19 «помог» освоить Python
— Спортивная травма, которая «помогла» сделать выбор между футболом и...
Вопросы
— Как Михаил ушёл из разработки в SEO
— Что такое SEO и чем занимается SEO-специалист
— Как менялись подходы к продвижению сайтов в поисковых системах от зари веба до наших дней
— Про чёрные...
Содержание
— Как преподавали программирование в техникуме
— Почему Игорь так и не стал программистом после выпуска, а ушёл на завод махать лопатой
— Про работу «тыжпрограммистом» за 12 тысяч рублей в...
Содержание
— Какие существуют архитектуры, кроме монолитной, микросервисной и облачной
— Как эволюционировали подходы к построению веб-приложений и зачем пришлось выдумывать принципы и паттерны
— Ч...
Содержание— Почему важно осознанно подходить к профессиональному росту
— Про два типа разработчиков
— Гибкие методологии: когда они лучше waterfall, а когда наоборот
— Почему бизнес ценит разработчико...
Содержание
— Почему Александр перешёл с Java на PHP? Каким был язык и его экосистема в те времена
— Как Александр попал в Yii core team и дорос до руководителя команды фреймворка
— Как выглядит процес...
Содержание
— Какие врачи занимаются проблемами спины: неврологи, вертебрологи, мануальные терапевты, остеопаты и другие
— Почему остеопатию не считают медицинской специальностью
— К какому специалисту...