Автоматизировать обработку и представление производственных показателей

Техническое задание на проверку концепции (PoC) Цель: Автоматизировать обработку и представление производственных показателей из 6 таблиц Excel для руководителя через AI-агента с отправкой сводки в Telegram, включая разработку структуры Google Sheets, обход региональных ограничений и детальный анализ бизнес-данных. Описание задачи Исполнители регулярно отправляют руководителю 6 отдельных Excel-таблиц с производственными показателями. Требуется создать автоматизированный процесс переноса данных из Excel в Google Sheets, анализ через ChatGPT API и отправку сводки в Telegram с учетом блокировок сервисов в России и необходимости глубокого понимания бизнес-логики данных. Технический стек • Сбор данных: Google Sheets + Google Apps Script для импорта Excel; • Обработка: ChatGPT API (GPT-4о) через прокси; • Отправка: Telegram Bot API через прокси или Cloudflare Worker; • Обход блокировок: VPN/прокси для API, сервисы смены региона; • Этапы реализации PoC Этап 0. Анализ и изучение исходных данных Интервьюирование ключевых сотрудников • Провести структурированные интервью с исполнителями, которые формируют 6 типов отчетов Excel; • Применить T-модель вопросов: начать с общего контекста (цель отчетов, частота обновления, получатели), затем перейти к деталям каждой таблицы; • Задать открытые вопросы (80% от всех): "Какие бизнес-процессы отражает эта таблица?", "Как вы сейчас формируете эти данные?", "Какие показатели наиболее критичны?" • Использовать ситуационные вопросы: "Что происходит, если показатель X превышает норму?", "Как руководитель использует эти данные для принятия решений?" • Документирование структуры данных • Создать карту данных: для каждой из 6 таблиц описать столбцы, типы данных, источники, правила расчета; • Выявить зависимости между таблицами и связанные показатели; • Определить ключевые метрики (KPI), на которые обращает внимание руководитель; • Выяснить у сотрудников: какие данные требуют особого внимания, где возможны ошибки, какие столбцы можно игнорировать; • Согласовать глоссарий терминов для единого понимания показателей; • Изучение бизнес-логики • Провести дополнительное интервью с руководителем для понимания: что именно он хочет видеть в итоговой сводке; • Определить формат сводки: какие показатели в приоритете, какие сравнения нужны (с прошлым периодом, с планом), какие отклонения критичны; • Создать mock-up (образец) итоговой сводки и согласовать с руководителем; • Валидация понимания • Подготовить документ "Описание данных и бизнес-логики" с детализацией каждой таблицы; • Провести валидационную встречу с исполнителями для подтверждения корректности понимания; • Зафиксировать edge-cases (особые случаи): отсутствующие данные, нулевые значения, выбросы; Этап 1. Разработка структуры Google Sheets Проектирование архитектуры таблицы • Создать основную Google таблицу с 8 вкладками: 6 для исходных данных + "Сводка" + "Лог импорта" • Разработать единую структуру данных на основе результатов интервью: столбцы с названиями показателей, значениями, датами, комментариями, источником • Добавить расчетные столбцы для метрик, которые интересуют руководителя (динамика, % выполнения плана, отклонения) • Настроить валидацию данных и форматирование для унификации входящих данных (форматы дат, числовые форматы, справочники) Создание вкладки "Сводка" • Разработать структуру сводной вкладки согласно mock-up, утвержденному с ответственными сотрудниками; • Реализовать формулы для агрегирования данных из 6 исходных таблиц; • Добавить условное форматирование для визуального выделения критичных отклонений; • Создать pivot-таблицы для группировки данных по ключевым измерениям; Этап 2. Автоматизация импорта Excel Разработка скрипта импорта • Создать функцию в Google Apps Script для автоматического импорта Excel-файлов с Google Drive; • Реализовать конвертацию Excel в Google Sheets формат через Drive API с сохранением форматирования; • Настроить маппинг данных: связать столбцы исходных таблиц с целевой структурой на основе карты данных из Этапа 0; • Добавить обработку исключений: пропущенные файлы, неполные данные, измененная структура Excel; Логирование и мониторинг • Создать систему логирования импорта на отдельной вкладке: дата, время, источник, количество записей, статус, ошибки; • Реализовать валидацию импортированных данных: проверка на пустые значения, выход за диапазон, дубликаты; • Настроить уведомления при ошибках импорта через email или Telegram; Автоматизация запуска • Создать триггер для автоматического запуска при добавлении файлов в определенную папку Drive; • Настроить расписание проверки новых файлов (например, каждые 2 часа или ежедневно утром) Этап 3. Обход блокировок OpenAI API Вариант 1: Прокси-сервер для API запросов • Настроить HTTP/HTTPS прокси-сервер с IP-адресом разрешенной страны (США, Европа); • Использовать сервисы типа Bright Data, Smartproxy или собственный VPS с прокси в Google Cloud/AWS; • Интегрировать прокси в Google Apps Script через параметры UrlFetchApp.fetch() • Тестировать стабильность соединения и скорость отклика API Вариант 2: Сервисы-посредники OpenAI • Использовать российские сервисы-агрегаторы API (например, openrouter.ai, neuroapi.host) • Настроить эндпоинт через сервис, который работает как прокси для OpenAI API • Проверить совместимость формата запросов и ответов Вариант 3: Cloudflare Workers в качестве прокси • Развернуть Cloudflare Worker в качестве промежуточного звена между Apps Script и OpenAI API • Настроить маршрутизацию запросов через Worker с подменой геолокации • Добавить кэширование часто повторяющихся запросов для экономии Оплата OpenAI API из России • Использовать виртуальные карты зарубежных банков (Wise, Revolut) для оплаты подписки; • Альтернатива: криптовалютная оплата через партнерские сервисы; • Настроить мониторинг баланса и лимитов использования API; Этап 4. Интеграция с ChatGPT API Разработка промпта для анализа • Создать структурированный промпт на основе требований руководителя из Этапа 0; • Включить в промпт: контекст бизнеса, описание каждой таблицы, ключевые метрики, формат ожидаемой сводки; • Добавить инструкции по выявлению аномалий и критичных отклонений; • Указать формат вывода: структурированный текст с разделами, bullet points, выделение важного; Реализация функции вызова API • Открыть Extensions → Apps Script в Google Sheets; • Создать функцию getOpenAIAnalysis() с передачей агрегированных данных из вкладки "Сводка"; • Настроить параметры: модель (gpt-4-turbo), температура (0.3 для стабильности), max_tokens (2000-3000); • Добавить обработку ошибок: таймауты, превышение лимитов, некорректные ответы; • Реализовать повторные попытки при сбоях с экспоненциальной задержкой; Тестирование и оптимизация • Провести тестирование с реальными данными и проверить качество сводок с руководителем; • Оптимизировать промпт на основе обратной связи; • Измерить стоимость одного запроса и спрогнозировать месячные расходы; Этап 5. Обход блокировок Telegram API Настройка прокси для Telegram Bot • Использовать SOCKS5 или MTProto прокси для обеспечения стабильной работы бота; • Настроить прокси в коде Apps Script при вызове Telegram Bot API; • Альтернатива: развернуть бота на зарубежном сервере (Heroku, Railway, Vercel) с webhook; Регистрация и настройка бота • Зарегистрировать Telegram-бота через @BotFather (доступен в России), получить API токен; • Настроить описание бота и команды для управления подпиской на сводки; • Получить chat_id руководителя для персональной отправки сообщений; Этап 6. Интеграция с Telegram Bot Разработка функции отправки • Создать функцию sendTelegramMessage() для отправки сводки через Telegram Bot API; • Реализовать форматирование текста с использованием Markdown/HTML для читабельности; • Добавить разбивку длинных сообщений (лимит 4096 символов) на несколько частей; • Реализовать отправку таблиц как изображений при превышении лимита текста; Настройка уведомлений • Создать систему уведомлений о статусе обработки: начало импорта, завершение анализа, отправка сводки; • Добавить команды бота для ручного запроса сводки, просмотра истории, настройки расписания; Этап 7. Автоматизация полного цикла Создание главной функции • Разработать функцию main() которая последовательно выполняет: импорт Excel → обновление сводки → анализ ChatGPT → отправка в Telegram; • Добавить логирование каждого шага с временными метками; • Реализовать rollback при критических ошибках; Настройка расписания • Настроить временной триггер для автоматического запуска main() по расписанию (например, ежедневно в 9:00); • Создать дополнительный триггер при изменении данных в таблице для оперативных сводок; Мониторинг и алерты • Настроить систему алертов при сбоях на любом этапе; • Создать дашборд для мониторинга: время последнего успешного выполнения, статистика использования API, история ошибок; Критерии успешности PoC Технические критерии • Успешное подключение всех API (Google Sheets, ChatGPT, Telegram) через прокси; • Корректный импорт данных из 6 Excel-таблиц в целевую структуру с валидацией; • Стабильная работа ChatGPT API с временем ответа до 30 секунд; • Доставка сводки в Telegram с форматированием и читабельностью; • Время выполнения полного цикла не более 3 минут; Бизнес-критерии • Сводка содержит все ключевые показатели, согласованные с руководителем на Этапе 0; • AI корректно интерпретирует бизнес-данные и выявляет значимые отклонения; • Руководитель подтверждает удобство и полноту итоговой сводки; • Экономия времени руководителя составляет минимум 60% по сравнению с ручным анализом 6 таблиц; Ожидаемые результаты Артефакты PoC • Документ "Описание данных и бизнес-логики" с результатами интервью. • Настроенная Google таблица с импортированными данными из 6 источникв; • Работающий прототип интеграции: Google Sheets → ChatGPT (через прокси) → Telegram • Коллекция из 5-10 примеров сгенерированных сводок с оценкой качества от руководителя; • Документ с технической архитектурой и настройками обхода блокировок; Финансовая оценка • Расчет стоимости токенов ChatGPT API на месяц при регулярной эксплуатации; • Стоимость прокси-сервисов для OpenAI; • ROI: экономия рабочего времени vs затраты на инфраструктуру; Риски и ограничения Технические риски • Нестабильность прокси-соединений может прерывать работу API; • Лимиты и стоимость OpenAI API при больших объемах данных (10-100 токенов на запрос); • Изменение структуры исходных Excel-таблиц потребует обновления маппинга; • Блокировка прокси-серверов и необходимость их ротации; Бизнес-риски • Неполное понимание бизнес-логики на этапе интервью может привести к некорректным сводкам; • AI может неправильно интерпретировать edge-cases и специфичные ситуации; • Необходимость регулярного обновления промпта при изменении приоритетов руководителя; Организационные риски • Сопротивление исполнителей изменению процесса работы с данными; • Необходимость обучения сотрудников единообразной загрузке файлов;