Образовательный ресурс edu.irnok.net

This page is read only. You can view the source, but not change it. Ask your administrator if you think this is wrong.
====== Аналитические информационные системы ======

Курс преследует целью научить студента разрабатывать аналитические подсистемы для информационных систем (ИС). Согласно одному из определений **информатики**, науке об обработке информации, основная задача обработки информации - подготовить данные (информацию) для принятия решения. В учреждениях, где функционируют ИС, эту задачу решают аналитические подсистемы этих ИС. Данные ИС извлекаются, трансформируются, сохраняются в промежуточные хранилища, и, затем, обрабатываются. В результате обработки необходимо получить сводные данные, оформленные в виде, например, отчетов, понятных лицам, принимающим решение.
===== Лекции =====

Лекции четыре штуки:

  - Вводно-обзорная (не нарезана). Можно посмотреть 2-ю и затем [[https://www.youtube.com/watch?v=-UhLFTjFAm8&list=PLDmve33tqgotCnO9xo_LNjFMkXDvT-GEI&index=3|эту]]. 
  - Извлечение, трансформация, сохранение в промежуточную базу [[https://youtu.be/iJUUAYHWOv0|данных]].
  - Хранилища данных, представление данных, гиперкуб, OLAP [[https://youtu.be/xJqQmbC-KgQ|-->]].
  - Аналитическая обработка данных в хранилище
    - Многомерный статистический анализ (МСА) данных: [[https://youtu.be/LtalQndOQP8|Регрессия, Классификация, Таксономия]]
    - МСА данных: [[https://youtu.be/LtalQndOQP8|анализ информативной емкости, временные ряды]]
    - Использование [[https://www.youtube.com/watch?v=Vh2rbQZ0vkY|FRiS-функции]] для решения задач МСА


Весь [[https://www.youtube.com/playlist?list=PLDmve33tqgotCnO9xo_LNjFMkXDvT-GEI|плей-лист]].

===== Лабораторная =====

**Цель** лабораторной работы - выполнить все шаги разработки аналитической части к информационной системе:

  - Извлечение, трансформация, сохранение извлечённых данных в промежуточную БД (в хранилище данных, ХД).
  - Представление (извлечение из ХД) исходной таблицы данных для МСА, организация этого извлечения в виде гиперкуба, озера и т.п.
  - Проведение аналитики (МСА), или разработки подсистемы выдачи "отчета", или разработать умную процедуру выдачи "гибкого отчета" (сложная задача), или идентификация модели (суперкруто, хотя зависит от сложности модели), или создать страницу (dash board BI) в Metabase и т.п.

===== Соединение с сервером =====

Для выполнения работ необходимо войти в виртуальную сеть (VPN) при помощи программы [[https://www.zerotier.com/|Zerotier]], адрес сети находится в канале, здесь я его публиковать не буду.

  - Качаете программу, устанавливаете (в современных дистрибутивах Linux пакет называется zerotier-one),
  - Выполняете подключение своего компьютера командой ''join <hex-идентификатор сети>'' или через интерфейс в трее Windows.

==== Сервисы сервера 192.168.191.46 (kuber) ====

**все работает, если работает сервер в ИРНИТУ**

Сервер находится в ИрНИТУ, ([[https://www.istu.edu/|Научно-исследовательский иркутский государственный технический университет]]). Объем дискового пространства - 1.1 T, оперативной памяти - 58 Гигабайт + 58 Гигабайт swap.

  - СУБД Postgres-14 (стандартный порт 5432) с доступом к нему из командной строки (пользователь ''leti'' с паролем) в терминале ''ssh'' или через ''ssh''-туннель.
     - ''pgsql -U leti <имя БД или leti>'', 
     - ''pgcli <имя БД или leti> leti'' - командная строка с автодополнением.
  - К PostgreSQL в сети VPN есть доступ при помощи [[https://www.pgadmin.org/|pgAdmin4]] http://192.168.191.46:8888/, пользователь ''leti@etu.ru'', пароль сообщу в канал.
     - Доступ в DBeaver через ''ssh'' - туннель с данными учетной записи.
  - Сервер поддерживает ''Docker''.
  - В командной строке работает ''pyenv'' [[https://github.com/pyenv/pyenv|github repo]] и plug-in ''pyenv-virtualenv''.
  - Веб-приложение [[https://www.metabase.com/|Metabase]] http://192.168.191.46:3000/ .
  - Веб-приложение [[https://jupyter.org/|Jupyter Lab]] http://kuber.isclan.ru:8880/lab (**пароль обычный**). //в консоли можно добавлять новые модули ''pip install <модуль>''//. Установлены следующие модули:
     - Математические библиотеки ''numpy'', ''pandas'', ''scipy'', ''matplotlib'';
     - Object-relational mapper ''sqlalchemy'' https://docs.sqlalchemy.org/en/20/orm/quickstart.html 
     - модуль для **PostgreSQL** (''psycopg2''), https://docs.sqlalchemy.org/en/20/dialects/postgresql.html ;
     - ... **MySQL/MariaDB** (''mysqlclient'', но локального сервера нет, заказывайте), https://docs.sqlalchemy.org/en/20/dialects/mysql.html ;
     - ... **MS SQL Server** (''pymssql'', ''PyODBC'', не тестировал), https://docs.sqlalchemy.org/en/20/dialects/mssql.html .
     - ... **SQLite3** (встроен в Python, ''sqlite3''), https://docs.sqlalchemy.org/en/20/dialects/sqlite.html .

==== Удаленный доступ к серверу по ssh ====

''

ssh 192.168.191.46 -l leti 

''

===== Варианты задач =====

Комбинируем вариант базы данных:

  - ''northwind''
  - ''dvdrental''
  - ''airflies''
  - можно взять любую другую БД или CSV-файл даже

Метод многомерного анализа данных (МСА):

  - Регрессионный анализ,
  - Классификация,
  - Таксономия (aka Кластерный анализ),
  - Анализ информативной емкости атрибутов и/или объектов (aka Метод главных компонент),
  - (**Не пробовал на базах данных**) Планирование эксперимента,
  - Задачи 1-5, примененные к временным рядам и биоинформатическим данным.

В Теории вероятностей есть задачи на
  -  Построение гистограмм и тестирования гипотез.


===== Полезные ссылки =====

  - [[https://www.youtube.com/watch?v=sGNggTV2zo8|Обзор Metabase]]


Создайте себе папку и там работайте, если требуется отдельный пользователь, пишите в Telegram @eugeneai.