Differences

This shows you the differences between two versions of the page.

--- mag:ais [2023/05/19 17:31] – [Удаленный доступ к серверу по ssh] eugeneai
+++ mag:ais [2024/05/14 08:47] (current) – [Сервисы сервера 192.168.191.46 (kuber)] eugeneai
@@ Line 1: / Line 1: @@
 ====== Аналитические информационные системы ======
+Курс преследует целью научить студента разрабатывать аналитические подсистемы для информационных систем (ИС). Согласно одному из определений **информатики**, науке об обработке информации, основная задача обработки информации - подготовить данные (информацию) для принятия решения. В учреждениях, где функционируют ИС, эту задачу решают аналитические подсистемы этих ИС. Данные ИС извлекаются, трансформируются, сохраняются в промежуточные хранилища, и, затем, обрабатываются. В результате обработки необходимо получить сводные данные, оформленные в виде, например, отчетов, понятных лицам, принимающим решение.
+===== Лекции =====
+Лекции четыре штуки:
+  - Вводно-обзорная (не нарезана). Можно посмотреть 2-ю и затем [[https://www.youtube.com/watch?v=-UhLFTjFAm8&list=PLDmve33tqgotCnO9xo_LNjFMkXDvT-GEI&index=3|эту]].
+  - Извлечение, трансформация, сохранение в промежуточную базу [[https://youtu.be/iJUUAYHWOv0|данных]].
+  - Хранилища данных, представление данных, гиперкуб, OLAP [[https://youtu.be/xJqQmbC-KgQ|-->]].
+  - Аналитическая обработка данных в хранилище
+    - Многомерный статистический анализ (МСА) данных: [[https://youtu.be/LtalQndOQP8|Регрессия, Классификация, Таксономия]]
+    - МСА данных: [[https://youtu.be/LtalQndOQP8|анализ информативной емкости, временные ряды]]
+    - Использование [[https://www.youtube.com/watch?v=Vh2rbQZ0vkY|FRiS-функции]] для решения задач МСА
+Весь [[https://www.youtube.com/playlist?list=PLDmve33tqgotCnO9xo_LNjFMkXDvT-GEI|плей-лист]].
+===== Лабораторная =====
+**Цель** лабораторной работы - выполнить все шаги разработки аналитической части к информационной системе:
+  - Извлечение, трансформация, сохранение извлечённых данных в промежуточную БД (в хранилище данных, ХД).
+  - Представление (извлечение из ХД) исходной таблицы данных для МСА, организация этого извлечения в виде гиперкуба, озера и т.п.
+  - Проведение аналитики (МСА), или разработки подсистемы выдачи "отчета", или разработать умную процедуру выдачи "гибкого отчета" (сложная задача), или идентификация модели (суперкруто, хотя зависит от сложности модели), или создать страницу (dash board BI) в Metabase и т.п.
 ===== Соединение с сервером =====
@@ Line 11: / Line 34: @@
 ==== Сервисы сервера 192.168.191.46 (kuber) ====
-**я сначала пишу документацию, потом настрою сервисы**
+**все работает, если работает сервер в ИРНИТУ**
 Сервер находится в ИрНИТУ, ([[https://www.istu.edu/|Научно-исследовательский иркутский государственный технический университет]]). Объем дискового пространства - 1.1 T, оперативной памяти - 58 Гигабайт + 58 Гигабайт swap.
-  - СУБД Postgres-14 (стандартный порт 5432) с доступом к нему из командной строки (пользователь ''leti'' с паролем) в терминале ''ssh'' или через ''ssh''-туннель (не тестировал).
+  - СУБД Postgres-14 (стандартный порт 5432) с доступом к нему из командной строки (пользователь ''leti'' с паролем) в терминале ''ssh'' или через ''ssh''-туннель.
      - ''pgsql -U leti <имя БД или leti>'',
      - ''pgcli <имя БД или leti> leti'' - командная строка с автодополнением.
-  - К PostgreSQL в сети VPN есть доступ при помощи [[https://www.pgadmin.org/|pgAdmin4]] http://192.168.191.46:8888/, пользователь leti@etu.ru, пароль сообщу в канал.
+  - К PostgreSQL в сети VPN есть доступ при помощи [[https://www.pgadmin.org/|pgAdmin4]] http://192.168.191.46:8888/, пользователь ''leti@etu.ru'', пароль сообщу в канал.
-  - СУБД Microsoft SQL Server (стандартный порт ....), доступ из командной строки ''sqlcmd -C -U leti'', также ''mssql-cli -C -U leti'' (еще не установил).
+     - Доступ в DBeaver через ''ssh'' - туннель с данными учетной записи.
   - Сервер поддерживает ''Docker''.
   - В командной строке работает ''pyenv'' [[https://github.com/pyenv/pyenv|github repo]] и plug-in ''pyenv-virtualenv''.
@@ Line 41: / Line 64: @@
 ===== Варианты задач =====
-Создайте себе папку и там работайте, если требуется отдельный пользователь, пишите в Telegram @eugeenai.
+Комбинируем вариант базы данных:
+  - ''northwind''
+  - ''dvdrental''
+  - ''airflies''
+  - можно взять любую другую БД или CSV-файл даже
+Метод многомерного анализа данных (МСА):
+  - Регрессионный анализ,
+  - Классификация,
+  - Таксономия (aka Кластерный анализ),
+  - Анализ информативной емкости атрибутов и/или объектов (aka Метод главных компонент),
+  - (**Не пробовал на базах данных**) Планирование эксперимента,
+  - Задачи 1-5, примененные к временным рядам и биоинформатическим данным.
+В Теории вероятностей есть задачи на
+  -  Построение гистограмм и тестирования гипотез.
+===== Полезные ссылки =====
+  - [[https://www.youtube.com/watch?v=sGNggTV2zo8|Обзор Metabase]]
+Создайте себе папку и там работайте, если требуется отдельный пользователь, пишите в Telegram @eugeneai.