Этап 2 из 18 · ≈ 8 ч

Данные — NumPy и pandas

Полезно знать с Junior

Минимум работы с данными — подготовить датасет, посчитать метрики, разобрать логи.

ИИ-инженер регулярно работает с табличными данными: собирает набор вопросов для оценки качества, разбирает логи запросов, считает метрики по экспериментам, готовит данные для дообучения.

Что важно знать

  • NumPy: массивы и векторные операции — эмбеддинги это массивы чисел, косинусное сходство — скалярное произведение нормированных векторов.
  • pandas: чтение CSV и JSON, фильтрация, groupby, объединение таблиц.
  • Циклы и apply медленные — векторные операции быстрее в десятки раз.
  • Jupyter-ноутбуки — для исследования и прототипов, но не для продакшен-кода.

Критерии освоения

Junior ≈ 8 ч

  • Загружает логи запросов в pandas, фильтрует, группирует и строит сводную таблицу
  • Считает косинусное сходство векторов в NumPy без циклов
  • Использует ноутбук для исследования и переносит готовый код в модули

Практика. По логу из 10 тысяч запросов к ассистенту посчитать распределение тем, среднюю стоимость и долю ошибок по дням.

Проверка знаний

Войдите, чтобы пройти тест: сданный тест отмечает тему пройденной на карте и в ИПР.

Вопросы с собеседований

Смотреть все
Как работают groupby и merge в pandas и какие у них ловушки?Junior

groupby — разбить, применить агрегат, собрать (split-apply-combine): df.groupby("city")["amount"].agg(["sum", "mean"]). merge — соединение таблиц по ключам, как SQL JOIN (how="left", on=). Ловушки: размножение строк при дублях ключа, NaN-ключи отбрасываются в…

Полный разбор
Почему apply и циклы в pandas медленные и как писать быстрее?Middle

Векторные операции над столбцами (df["a"] df["b"], np.where, .str, .dt) выполняются в C над массивами. apply по строкам и циклы iterrows вызывают Python-функцию на каждую строку — медленнее в десятки–сотни раз. Для больших данных: правильные типы (category…

Полный разбор
Как вы проводите разведочный анализ данных (EDA)?Junior

Цель EDA — понять данные до модели: структура (строки, столбцы, типы, единицы, что такое одна строка), качество (пропуски, дубли, выбросы, ошибки ввода), распределения признаков и целевой переменной, связи между признаками и с целевой, время (тренды…

Полный разбор
Как работать с пропущенными значениями в данных?Junior

Сначала понять, почему значение пропущено: технический сбой, «не применимо» (нет второго адреса), пользователь не захотел указывать. Пропуск часто несёт информацию. Варианты: исключить строки (если пропусков мало и они случайны), заполнить (медианой…

Полный разбор
Как найти похожие тексты по эмбеддингам — что такое косинусное сходство?Junior

Косинусное сходство — косинус угла между векторами: 1 — направлены одинаково (тексты близки по смыслу), около 0 — не связаны. Считается как скалярное произведение, делённое на произведение длин; для нормализованных векторов (длина 1) это просто скалярное…

Полный разбор
Что такое массивы NumPy и как считать без циклов?Junior

ndarray — массив чисел одного типа в непрерывной памяти; операции над ним (a + b, a 2, np.sqrt(a), a @ b) выполняются в C над всем массивом сразу — в десятки раз быстрее цикла Python. Broadcasting — правило, по которому массивы разной формы приводятся друг к…

Полный разбор

Документация

← Вся карта «ИИ-инженер»

Партнёр платформы

Разбор собеседования с sotto

После собеседования sotto разбирает разговор: оценка, каждый вопрос — хорошо, частично или слабо, чего не хватило в ответе и над чем поработать к следующему разу. Первые 30 минут бесплатно.

Разбор собеседования