10 сентября 2021
Хабр ПРО // Конвейер для «нового золота»: что можно сделать с большими данными
0
13
В этом выпуске мы обсуждаем сложности сбора и обработки данных. Работа с Big Data и получение из них ценности — это конвейер, на котором трудятся целые команды. Как идёт работа в начале и конце этого пути, нам расскажут два разных специалиста: data engineer и product owner.
О том, как и какими инструментами добываются данные, мы узнаем от Дмитрия Захарова — дата-инженера и тимлида разработки витрины данных в Сбере.
А Игнат Постный, исполнительный директор TAG Consulting, поведает, какие задачи он решает с помощью инструментов AI и какие барьеры есть на проде.
Содержание:
1:10 Кто есть кто: чем занимаются data engineer и product owner в Big Data
4:30 Этапы обработки больших данных в крупной финансовой компании
10:30 Особенности работы с естественным языком и неструктурированными документами
17:00 Как обойти проблему «Garbage in — garbage out» и дорогостоящих ошибок
22:00 Отсутствие стандартов и другие боли дата-сатанистов
28:20 Как строится витрина данных
30:50 Корпоративный ресурс vs творческий подход
34:00 Как объём данных влияет на качество их обработки
35:40 Сможет ли нейросеть понять естественный язык
40:30 Как попасть на «конвейер» Big Data, важен ли математический бэкграунд
47:30 Минимальный объём скиллов для дата-инженера
52:10 Правильный T-shape для дата-сайентиста
54:55 Каких прорывов больше всего ожидают в Data Science
1:00:55 Нерешённые проблемы и тенденции индустрии
Запись прямого эфира можно посмотреть тут: https://www.youtube.com/watch?v=fjBcIvVVkF4
Плейлист
Хабр Подкасты
В этом выпуске Хабр ПРО мы обсудили NFC: как работает эта технология, почему широко применяется в оплате и как будет развиваться.
Гости:
Андрей Ковригин, директор по продажам СБП (АО «НСПК»)
Александр...
В вашей компании команды разработки и управления продуктом тоже никак не могут договориться? В этом выпуске обсудим, как достичь дзена между лебедем и щукой:
Технический директор «Дзена» Дима Кондраш...
Когда-то на создание новых ML-продуктов уходили недели и месяцы, а теперь результат должен быть в течение пары дней. В этом выпуске Хабр ПРО мы обсудили, как создать свою MLOps-платформу. Про то, как...
Давным-давно, на заре эпохи Хэйсэй, Масахиро Хара придумал QR-код — новый формат меток для отслеживания деталей на автомобильном конвейере. Технология оказалась удачной, и спустя 30 лет продолжает про...
Старт карьеры в ИТ похож на гонки на выживание: и там и там цели достигают не все. В этом выпуске — те, кто её достиг. Мы поговорили с Junior-разработчиками о том, как они строили карьеру, что им помо...
В книгах и фильмах про пиратов всегда были карты сокровищ. В современном мире карты и дополняющие их данные — сокровища сами по себе.
В этом выпуске говорим о геоданных и о том, как разработчики их ис...
Контент — сложный и часто неблагодарный труд, но что-то толкает людей становиться авторами. И дело не только в амбициях — если бы контент не приносил технарям пользу, постов на Хабре бы на порядок мен...
Кто-то называет прогресс движением по кругу, кто-то заменой одних неприятностей другими, а кто-то считает его законом природы. В IT это чувствуется особенно сильно — и в этом выпуске мы обсудим, какой...
Важен ли вуз для карьеры?.. Однажды в начале 2000-х сисадмин одного регионального оператора связи три дня не мог починить биллинг. Ошибка была очень странной: в некоторых блоках упорно лезла дата 1970...
Искушённые хабраюзеры кривят губы при виде чересчур простого контента. «Это всё для джунов и домохозяек, где наш технохардкор?» Но разве простота и доступность автоматически делают текст плохим?
Разо...
Однажды ты понял, как снизить затраты на продукт и улучшить его качество. Но идея так и осталась идеей: задача затерялась, а ты превратился в механического исполнителя тикетов из Jira. Мириться с этим...
Кто-то при слове Agile вспоминает мемы, кто-то вечный статус «в раннем доступе» у игр, кто-то — постоянные спринты.
Мы заглянем чуть глубже и с помощью наших гостей узнаем, когда Agile эффективен, а...
В этом выпуске мы обсудили, как перейти от монолита к микросервисной архитектуре и построить свою платформу с теми, кто встал на этот путь. Рассказываем, как микросервисная архитектура меняет организа...
Настраивать и контролировать процессы в IT-компании не проще, чем пилить код. Преуспеть в этом помогает DevOps, естественным продолжением которого в сфере информационной безопасности стал DevSecOps. О...
Открытый код или коробочное решение? Open Source — вот он, бери и делай, только допиливать нужно будет самому. С другой стороны, коробки — проверенный временем вариант, хотя и дорого.
В этом выпуске...
Сколько нужно DevOps, чтобы выкрутить одну лампочку? В этом выпуске мы ответили на этот и другие более практические вопросы о работе с микросервисами, которые наши пользователи оставляют на Хабр Q&A....
Сцилла и Харибда современной разработки: с одной стороны, приложения должны быть стабильными и цельными, с другой — надо использовать актуальные инструменты. Приходится балансировать между усложнением...
Десять лет назад на прилавках появилась новинка от Apple — iPhone 4S, и два друга — Илья и Руслан — решили заняться iOS-разработкой. Прошло время. Илья Меркулов теперь Head of Mobile в FUNCORP, а Русл...
IT — как Зазеркалье: чтобы оставаться на месте, надо идти, чтобы двигаться — бежать. В IT-компаниях это понимают, и потому одни разработчики учат других. В этот выпуск Хабр Про мы пригласили тех, кто...
В этом выпуске мы обсуждаем сложности сбора и обработки данных. Работа с Big Data и получение из них ценности — это конвейер, на котором трудятся целые команды. Как идёт работа в начале и конце этого...
Рассказываем, что из себя представляют практики MLops и как они помогают поставить работу с данными на поток. Мы разберём этот вопрос на двух этапах: посмотрим, с какими задачами и вопросами надо обра...
Мало кто ожидал, что удалёнка затянется: скоро год, как пандемия перевернула формат работы айтишников. Многие верят, что им выпал шанс пожить так, как давно мечталось — и обсуждают, как использовать с...
Облака давно покрывают небо IT, но осознанно ли они используются? Может, популярность облачных сервисов – это дань моде, а на самом деле вся инфраструктура так и живёт на прикроватных серверах? Или вс...
Где работают айтишники? Кажется, чуть ли не везде. Но даже в ряду тех, где все равны, иногда кто-то все-таки ровнее. Остались ли предубеждения к каким-то отраслям? Как себя ощущают сотрудники в тех сф...
0:43 YaC: новая конференция, Станция Макс и прикольные сервисы, habr.com/p/529786/
13:20 89% взаимодействий со смартфоном пользователи начинают сами, а не из-за пуш-уведомлений, habr.com/p/530118/
2...
Новый подкаст Хабра под названием ПРО — это аудиоверсия наших видкастов на Ютубе. Здесь новые ведущие, новые актуальные темы и новые гости. Причем гостей всегда двое, чтобы взглянуть на вопрос с разны...
Новый подкаст Хабра под названием ПРО — это аудиоверсия наших видкастов на Ютубе. Здесь новые ведущие, новые актуальные темы и новые гости. Причем гостей всегда двое, чтобы взглянуть на вопрос с разны...
1:14 Яндекс опубликовал внутренние принципы, habr.com/p/528908/
19:58 Вы безумны, остановитесь пока не поздно, habr.com/p/528678/
39:13 Playstation 5 официально в продаже в России, но ее не купить...
1:01 Новый чип Apple M1 на архитектуре ARM, habr.com/p/527416/
16:22 Palm TX — редкий гость в 2020 году, habr.com/p/527002/
28:22 RuVDS и их ЦОД в бомбоубежище, habr.com/p/527152/
35:51 Минимализм...
1:24 Маск: «Марс — свободная планета, там не действуют законы Земли», habr.com/p/525962/
13:53 Rocket Lab запустит в космос гнома из Half-Life, habr.com/p/526240/
18:33 Мышление письмом, habr.com/...