22 февраля 2023
Генеративные сети: ChatGPT, LaMDA, виды обучения, нейроны и всякое другое сложное
0
7
Содержание выпуска
— Как воспользоваться ChatGPT из России без регистрации.
— Что такое обучение вообще и машинное обучение (machine learning) в частности.
— Когда и кто ввёл термин «машинное обучение».
— Чем машинное обучение отличается от искусственных нейронных сетей и почему это не одно и то же.
— В чём заключается парадокс исследований мозга. Имитируют ли искусственные нейросети настоящие нейроны. Как устроен искусственный и естественный нейрон. Зачем отдельные нейроны объединяют в сети. Что означает понятие «скрытый слой» сети.
— Сколько нейронов в мозге человека и животных. Определяется ли качество работы искусственных нейросетей только их размером.
— Чем глубокое обучение (deep learning) отличается от обычного.
— Какие пять типов задач можно решить с помощью нейронных сетей.
— Как выглядит изнутри процесс обучения искусственных нейросетей.
— Что такое синаптические веса, обучающие пары, ошибка обучения, шаг коррекции, обратное распространение ошибки (backpropagation).
— Что такое эпоха обучения. Зачем данные делят на обучающий, проверочный (CV, cross validation) и тестовый наборы.
— Что такое переобучение (overfitting) и переспециализация (overspecialization) сети.
— Обучение с учителем (supervised learning) и без учителя (unsupervised learning), обучение с подкреплением (reinforcement learning). Чем различаются эти методы и где они применяются.
— Как готовят датасеты для машинного обучения: разметка данных, фильтрация, нормирование, извлечение знаний, формализуемые и слабоформализуемые знания.
— Что такое пространство признаков, решающая граница (decision boundary), линейно сепарабельные и несепарабельные задачи, проклятие размерности.
— Почему простейшая задача «Исключающее ИЛИ» (XOR) отбросила нейросети на 10 лет назад.
— Чем машинное обучение принципиально отличается от систем, основанных на правилах.
— Философские различия понятий «дедукция» и «индукция» в контексте ИИ и нейронных сетей.
— Где брать обучающие данные, наборы данных. Что даёт процесс аугментации данных.
— Почему отсутствие открытых датасетов тормозит развитие ИИ в мировом масштабе. LAION-5B как пример важного открытого датасета, появившегося в 2022 году.
— Как обучали ChatGPT и модель GPT-3.5, на которой основан этот бот. Зачем OpenAI привлекла к обучению людей.
— Как ChatGPT связан с сетью InstructGPT. Что за метод (RLHF, reinforcement learning from human feedback) применили для её обучения.
— История и конкуренты ChatGPT.
— Внедрение ChatGPT в Bing. Защита нейросетей от зловредного обучения пользователями.
— Авторский метод обучения нейросетей.
— Как устроена в России охрана интеллектуальной собственности, связанной с IT. В чём различия свидетельства о регистрации программы для ЭВМ, регистрации базы данных, патента на изобретение, на полезную модель. Можно ли запатентовать изобретение в России абсолютно бесплатно.
— Что такое нейропакеты и можно ли без программирования создать нейросеть.
Гость: Александр Цуриков, автор статей про IT-технологии, преподаватель, доцент, инженер и журналист, кандидат технических наук.
Полезные ссылки
Статьи Александра Цурикова https://skillbox.ru/media/authors/alexandr-tsurikov
Все ссылки из подкаста https://bit.ly/3m0cmMj
Предложить тему, стать гостем подкаста, похвалить или поругать выпуск: [email protected], t.me/tym83.
Стартовать в программировании вместе со Skillbox: skillbox.ru/code
Плейлист
Люди и код
Содержание
— Почему Александр перешёл с Java на PHP? Каким был язык и его экосистема в те времена
— Как Александр попал в Yii core team и дорос до руководителя команды фреймворка
— Как выглядит процес...
Содержание
— Какие врачи занимаются проблемами спины: неврологи, вертебрологи, мануальные терапевты, остеопаты и другие
— Почему остеопатию не считают медицинской специальностью
— К какому специалисту...
Содержание
— Как Михаил пришёл к открытию веб-студии и сколько он до этого проработал в найме
— Сколько денег агентство приносит Михаилу и его партнеру
— Кому и почему не стоит идти в этот бизнес
—...
Содержание
— Как проводится собеседование на позицию тестировщика и из каких этапов оно состоит
— Почему важно создать комфортную атмосферу на интервью
— Как интервьюер готовится к интервью с кандида...
Содержание
— Как Илья начал участвовать в соревнованиях
— В чём соревнуются участники чемпионатов по спортивному программированию
— Какие виды соревнований бывают
— О ролях в команде и важности лидерс...
Содержание
— Что такое аутентификация, авторизация и идентификация
— Что такое факторы аутентификации и какими они бывают
— Как эволюционировали подходы к аутентификации от первых простых сайтов до со...
Содержание:
— С чего у Антона началось погружение в виртуальную реальность. Что такое «360-фильмы» и кому они нужны
— Сервис аренды отелей в VR: как он был устроен, как снимался контент и почему проек...
Содержание
— X5 Tech. Что это за подразделение и чем оно занимается.
— Какие аналитики есть в X5 Tech и какие задачи они решают.
— Что является результатом работы аналитика.
— Кто ставит задачи анал...
Содержание
— Что привлекало Костю в финансах и фондовом рынке. Как строился рабочий день трейдера в 2000-е.
— Как он перешёл в алгоритмическую торговлю. Что такое торговая система.
— Почему Костя пром...
Содержание
— Краткое введение в тестирование: что такое тесты и какие виды тестов существуют.
— Должен ли разработчик писать тесты?
— Что такое TDD и почему Катя решила попробовать эту методику.
— «Ут...
Содержание
— Как Вова готовился к ЕГЭ и учил математику в вузе.
— Математика — развлечение для интеллектуалов или всего лишь один из инструментов инженера?
— Кринжовый анекдот про математику.
— Нужны...
Содержание:— Что такое developer relations и почему в компаниях термин по-разному трактуют.
— Чем developer advocate отличается от DevRel.
— Из каких профессиональных областей можно перейти в техничес...
Содержание— Какие технологии лежали в основе первой версии «ВКонтакте».
— В какой части сайта возникли первые проблемы с ростом нагрузки.
— Для чего команда «ВКонтакте» писала свои собственные СУБД.
—...
Содержание
— По каким книгам Гриша начинал изучать программирование.
— Как перешёл из техписов в бэкенд-разработчики.
— Хватало ли информации, которую дают в универе, или приходилось обращаться к книг...
Содержание
— Что такое системы контроля версий и для чего они нужны. Какие VCS существуют и чем они различаются.
— История VCS: когда появились первые системы, какие они были и как развивались.
— Как...
Содержание
— Почему Perl называли изолентой интернета.
— Для чего Ларри Уолл создал Perl.
— Как богословское и лингвистическое образование сочетается с программированием на Perl.
— Ностальгируем о вре...
Содержание
— «Поменял номер телефона в шапке сайта и стал верстальщиком»: зачем предприниматель пошёл в веб-разработку и начал учить этому других.
— Как Артём обучался вёрстке и нашёл ментора.
— Первы...
Содержание— Статический и динамический анализаторы кода — что это такое и для чего они нужны.— Чем статический анализатор кода лучше динамического, а чем хуже.— Как работает статический анализатор код...
Содержание выпуска
— В каких направлениях частные и государственные компании используют решения на основе NLP.
— Что такое NLP. Cпойлер: НЕ нейролингвистическое программирование.
— История обработ...
Содержание выпуска
— Частные космические компании в России? Да, они существуют!
— Про линию Кармана, оптические и радиолокационные спутники, а также российский аналог Starlink.
— Частный космос и госу...
Содержание выпуска
— Что такое доступность (она же accessibility, она же A11y) и как она связана с юзабилити.
— Почему интерфейсы должны быть доступными. Выгодно ли это бизнесу.
— Что такое эффект ск...
Содержание выпуска
— Что такое геоинформационные системы и для чего они нужны. Какие из них мы используем ежедневно.
— Первые ГИС появились в XIX веке. Что?!
— Геология, градостроение, сельское хозяй...
Содержание выпуска
— Как нейросети помогают сделать игровую индустрию great again и экономят время игроделов.
— Где и кем еще применяются графические нейросети.
— Почему ИИ не отберёт у нас работу.
—...
Содержание выпуска
— Что такое многопоточность и где она используется.
— Зачем исторически понадобилось распараллеливать вычисления.
— Какие физические ограничения процессоров позволяет обойти многопо...
Содержание выпуска
— Что такое SQL: зачем и когда он появился, как развивался и какой он сегодня.
— Какие принципы лежат в основе SQL и реляционных баз данных. Что такое декларативная парадигма програ...
Содержание выпуска
— Что такое DevOps, как и зачем придумали эту методологию, какие инструменты в ней задействованы.
— Цепочки поставок программного обеспечения: что это такое и из чего они состоят.
—...
Содержание выпуска:— Как Symfony связан с Laravel, Drupal, Magento и другими фреймворками и CMS.
— Краткая история Symphony: когда, кто и для чего его создал.
— Какую эволюцию фреймворк прошёл от пер...
Содержание выпуска
— Что такое Linux.org.ru? Для чего он существует и что на нём обсуждают?
— Краткая история LOR: кто и когда его основал, почему он стал популярен у разработчиков?
— Самые интересные...
Гость. Женя Князев, CEO Antro. Содержание выпуска— Что такое интерфейс в широком и узком смысле слова.— Какими бывают интерфейсы.— Как дизайнер работает над интерфейсом, как получает техзадание в идеа...
Гость. Андрей Тукаев, музыкант, создающий электронную музыку (Tyowa), Ghost-продюсер. Содержание выпуска— Как менялись методы и стоимость создания своей музыки.— Какие программы используются для созда...