CAMaaS preliminary wiki - Вклад [ru]

Веб-сервер

2016-07-04T23:01:10Z

Kulikser: /* Установка */

{{NavBar|{{Системная иерархия:Веб-сервер}} }}

Веб-сервер должен принимать HTTP запросы, формируемые JS-скриптом на стороне клиента и содержащие запакованные входные параметры вызова серверной функции и идентификатор этой функции. В зависимости от значения идентификатора функции сервер должен обрабатывать запрос самостоятельно<ref>зачем?</ref> либо делегировать вызов внутрипроцессному серверу (DLL, SO) с известной точкой входа:

<source lang=c>
return_code entry_point( //возвращается код ошибки chsvlib (ноль в случае успешного завершения)
uint ID, //идентификатор операции
byte in_params[in_byte_count], //набор байт, содержащий упакованные входные параметры
uint in_byte_count, //байтовый размер упакованных данных
byte** out_params[out_byte_count], //буфер, который выделяется внутрипроцессным сервером и инициализируется ответом на запрос.
uint* out_byte_count //На выходе - размер выходных данных
);
</source>

Внутрипроцессный сервер, в свою очередь, выполняет функции [[Подсистема управления | управляющей подсистемы]].
Также задана функция освобождения памяти, выделенной внутрипроцессным сервером:
<source lang=c>
return_code_t FreeData( //возвращается код ошибки chsvlib (ноль в случае успешного завершения)
void* pData // указатель на буфер, выделенный внутрипроцесным сервером,
// т.е. возвращенный точкой входа entry_point через параметр out_params
);
</source>

Коды ошибок, возвращаемых функциями внутрипроцессного сервера, могут быть преобразованы в текстовое описание ошибки с помощью следующей функции:
<source lang=c>
const char* GetErrorDescription( // возвращается read-only utf-8 C-строка, содержащая текстовое описание ошибки
uint code, // код ошибки, на основе которого формируется текстовое описание
uint* pSize // опциональный указатель на 32-битовую переменную, которой функцией присваивается длина строки в байтах. Если длина не нужна, параметр может быть NULL.
);
</source>

Кроме этого, возможно ведение журнала ошибок, возникающих на стороне управляющей подсистемы (но не на стороне предметной области, если та не возвращает коды ошибок управляющей подсистеме).
Следующая функция позволяет задать файл журнала ошибок в текстовом формате (utf-8) веб-сервером для записи туда событий об ошибок, возникающих на стороне внутрипроцессного сервера.
<source lang=c>
return_code_t SetErrorLogFile( // возвращается код ошибки chsvlib (ноль в случае успешного завершения)
const char* pszFileName, //относительный или абсолютный путь к файлу журнала. Строка должна либо завершаться терминальным нулем (в этом случае cchFileName должен быть равен -1),
//либо должна быть длины, равной значению cchFileName.
std::size_t cchFileName, //длина строки pszFileName, либо -1, если строка заканчивается терминальным символов
bool fEraseContent //флаг удаления содержимого файла, если файл уже существует. Если файл существует, и флаг сброшен, сервер будет дополнять его новыми данными
);
</source>

==Пример запроса к внутрипроцессному серверу==

<source lang=cpp>
auto simulation = CAMaaS::make_package(CAMaaS::sequence_to_pack("Node name"), CAMaaS::sequence_to_pack(strModelName));
char* pProcessName;
std::uint32_t cchProcessName;
std::uint32_t nErr = entry_point(StartSimulationId, simulation.data(), simulation.size(), (void**) &pProcessName, &cchProcessName);
if (nErr != 0)
{
std::cerr << "Error " << nErr << " was returned by the server: " << GetErrorDescription(err, nullptr) << ".\n";
return "";
}else
{
auto ret = std::string(pProcessName, cchProcessName);
FreeData(pProcessName);
return ret;
}
</source>

==Установка==
1. Для установки веб-сервера необходимо загрузить следующие пакеты из репозитория с помощью команды apt-get:
<code>sudo apt-get install nginx uwsgi postgresql python-psycopg2 git python-dev uwsgi-plugin-python</code>

2. Скачиваем свежий репозиторий django:
<code>git clone git://github.com/django/django.git django-trunk</code>

3. Добавляем в файл <code>/usr/lib/python2.7/dist-packages/django.pth</code> строку с абсолютным путем до скачанного репозитория

4. Делаем для удобства ссылку в /usr/local/bin на django-admin.py с помощью команды ln.

5. Установим утилиту setuptools:
<code>wget https://bootstrap.pypa.io/ez_setup.py -O - | sudo python</code>

6. В папке репозитория django запустим скрипт для установки:
<code>sudo python setup.py build install</code>

7. Настроим postgresql на прием всех запросов на порт 5433, для этого в файле /etc/postgresql/9.3/main/postgresql.conf поправим строчку <code>listen_addresses = '*'</code> и <code>port = 5433</code>, затем перезапустим командой <code>sudo service postgresql restart</code>.

8. Заходим в psql под пользователем postgres с помощью команды <code>sudo -u postgres psql</code> и создаем базу данных командой <code>CREATE DATABASE chsv_test WITH OWNER postgres ENCODING 'utf-8';</code>, затем меняем пароль пользователя postgres командой <code>\password <chsvtest></code> и выходим командой <code>\q</code>

9. Переходим в репозиторий django, создаем новый проект командой <code>django-admin startproject CAMaaS1_web</code>, затем копируем в создавшуюся папку содержимое репозитория web-сервера.

Веб-сервер

2016-07-04T12:23:56Z

Kulikser: /* Установка */

{{NavBar|{{Системная иерархия:Веб-сервер}} }}

Веб-сервер должен принимать HTTP запросы, формируемые JS-скриптом на стороне клиента и содержащие запакованные входные параметры вызова серверной функции и идентификатор этой функции. В зависимости от значения идентификатора функции сервер должен обрабатывать запрос самостоятельно<ref>зачем?</ref> либо делегировать вызов внутрипроцессному серверу (DLL, SO) с известной точкой входа:

<source lang=c>
return_code entry_point( //возвращается код ошибки chsvlib (ноль в случае успешного завершения)
uint ID, //идентификатор операции
byte in_params[in_byte_count], //набор байт, содержащий упакованные входные параметры
uint in_byte_count, //байтовый размер упакованных данных
byte** out_params[out_byte_count], //буфер, который выделяется внутрипроцессным сервером и инициализируется ответом на запрос.
uint* out_byte_count //На выходе - размер выходных данных
);
</source>

Внутрипроцессный сервер, в свою очередь, выполняет функции [[Подсистема управления | управляющей подсистемы]].
Также задана функция освобождения памяти, выделенной внутрипроцессным сервером:
<source lang=c>
return_code_t FreeData( //возвращается код ошибки chsvlib (ноль в случае успешного завершения)
void* pData // указатель на буфер, выделенный внутрипроцесным сервером,
// т.е. возвращенный точкой входа entry_point через параметр out_params
);
</source>

Коды ошибок, возвращаемых функциями внутрипроцессного сервера, могут быть преобразованы в текстовое описание ошибки с помощью следующей функции:
<source lang=c>
const char* GetErrorDescription( // возвращается read-only utf-8 C-строка, содержащая текстовое описание ошибки
uint code, // код ошибки, на основе которого формируется текстовое описание
uint* pSize // опциональный указатель на 32-битовую переменную, которой функцией присваивается длина строки в байтах. Если длина не нужна, параметр может быть NULL.
);
</source>

Кроме этого, возможно ведение журнала ошибок, возникающих на стороне управляющей подсистемы (но не на стороне предметной области, если та не возвращает коды ошибок управляющей подсистеме).
Следующая функция позволяет задать файл журнала ошибок в текстовом формате (utf-8) веб-сервером для записи туда событий об ошибок, возникающих на стороне внутрипроцессного сервера.
<source lang=c>
return_code_t SetErrorLogFile( // возвращается код ошибки chsvlib (ноль в случае успешного завершения)
const char* pszFileName, //относительный или абсолютный путь к файлу журнала. Строка должна либо завершаться терминальным нулем (в этом случае cchFileName должен быть равен -1),
//либо должна быть длины, равной значению cchFileName.
std::size_t cchFileName, //длина строки pszFileName, либо -1, если строка заканчивается терминальным символов
bool fEraseContent //флаг удаления содержимого файла, если файл уже существует. Если файл существует, и флаг сброшен, сервер будет дополнять его новыми данными
);
</source>

==Пример запроса к внутрипроцессному серверу==

<source lang=cpp>
auto simulation = CAMaaS::make_package(CAMaaS::sequence_to_pack("Node name"), CAMaaS::sequence_to_pack(strModelName));
char* pProcessName;
std::uint32_t cchProcessName;
std::uint32_t nErr = entry_point(StartSimulationId, simulation.data(), simulation.size(), (void**) &pProcessName, &cchProcessName);
if (nErr != 0)
{
std::cerr << "Error " << nErr << " was returned by the server: " << GetErrorDescription(err, nullptr) << ".\n";
return "";
}else
{
auto ret = std::string(pProcessName, cchProcessName);
FreeData(pProcessName);
return ret;
}
</source>

==Установка==
1. Для установки веб-сервера необходимо загрузить следующие пакеты из репозитория с помощью команды apt-get:
<code>sudo apt-get install nginx uwsgi postgresql python-psycopg2 git python-dev</code>

2. Скачиваем свежий репозиторий django:
<code>git clone git://github.com/django/django.git django-trunk</code>

3. Добавляем в файл <code>/usr/lib/python2.7/dist-packages/django.pth</code> строку с абсолютным путем до скачанного репозитория

4. Делаем для удобства ссылку в /usr/local/bin на django-admin.py с помощью команды ln.

5. Установим утилиту setuptools:
<code>wget https://bootstrap.pypa.io/ez_setup.py -O - | sudo python</code>

6. В папке репозитория django запустим скрипт для установки:
<code>sudo python setup.py build install</code>

7. Настроим postgresql на прием всех запросов на порт 5433, для этого в файле /etc/postgresql/9.3/main/postgresql.conf поправим строчку <code>listen_addresses = '*'</code> и <code>port = 5433</code>, затем перезапустим командой <code>sudo service postgresql restart</code>.

8. Заходим в psql под пользователем postgres с помощью команды <code>sudo -u postgres psql</code> и создаем базу данных командой <code>CREATE DATABASE chsv_test WITH OWNER postgres ENCODING 'utf-8';</code>, затем меняем пароль пользователя postgres командой <code>\password <chsvtest></code> и выходим командой <code>\q</code>

9. Переходим в репозиторий django, создаем новый проект командой <code>django-admin startproject CAMaaS1_web</code>, затем копируем в создавшуюся папку содержимое репозитория web-сервера.

Веб-сервер

2016-06-15T03:17:50Z

Kulikser: /* Установка */

{{NavBar|{{Системная иерархия:Веб-сервер}} }}

Веб-сервер должен принимать HTTP запросы, формируемые JS-скриптом на стороне клиента и содержащие запакованные входные параметры вызова серверной функции и идентификатор этой функции. В зависимости от значения идентификатора функции сервер должен обрабатывать запрос самостоятельно<ref>зачем?</ref> либо делегировать вызов внутрипроцессному серверу (DLL, SO) с известной точкой входа:

<source lang=c>
return_code entry_point( //возвращается код ошибки chsvlib (ноль в случае успешного завершения)
uint ID, //идентификатор операции
byte in_params[in_byte_count], //набор байт, содержащий упакованные входные параметры
uint in_byte_count, //байтовый размер упакованных данных
byte** out_params[out_byte_count], //буфер, который выделяется внутрипроцессным сервером и инициализируется ответом на запрос.
uint* out_byte_count //На выходе - размер выходных данных
);
</source>

Внутрипроцессный сервер, в свою очередь, выполняет функции [[Подсистема управления | управляющей подсистемы]].
Также задана функция освобождения памяти, выделенной внутрипроцессным сервером:
<source lang=c>
return_code_t FreeData( //возвращается код ошибки chsvlib (ноль в случае успешного завершения)
void* pData // указатель на буфер, выделенный внутрипроцесным сервером,
// т.е. возвращенный точкой входа entry_point через параметр out_params
);
</source>

Коды ошибок, возвращаемых функциями внутрипроцессного сервера, могут быть преобразованы в текстовое описание ошибки с помощью следующей функции:
<source lang=c>
const char* GetErrorDescription( // возвращается read-only utf-8 C-строка, содержащая текстовое описание ошибки
uint code, // код ошибки, на основе которого формируется текстовое описание
uint* pSize // опциональный указатель на 32-битовую переменную, которой функцией присваивается длина строки в байтах. Если длина не нужна, параметр может быть NULL.
);
</source>

Кроме этого, возможно ведение журнала ошибок, возникающих на стороне управляющей подсистемы (но не на стороне предметной области, если та не возвращает коды ошибок управляющей подсистеме).
Следующая функция позволяет задать файл журнала ошибок в текстовом формате (utf-8) веб-сервером для записи туда событий об ошибок, возникающих на стороне внутрипроцессного сервера.
<source lang=c>
return_code_t SetErrorLogFile( // возвращается код ошибки chsvlib (ноль в случае успешного завершения)
const char* pszFileName, //относительный или абсолютный путь к файлу журнала. Строка должна либо завершаться терминальным нулем (в этом случае cchFileName должен быть равен -1),
//либо должна быть длины, равной значению cchFileName.
std::size_t cchFileName, //длина строки pszFileName, либо -1, если строка заканчивается терминальным символов
bool fEraseContent //флаг удаления содержимого файла, если файл уже существует. Если файл существует, и флаг сброшен, сервер будет дополнять его новыми данными
);
</source>

==Пример запроса к внутрипроцессному серверу==

<source lang=cpp>
auto simulation = CAMaaS::make_package(CAMaaS::sequence_to_pack("Node name"), CAMaaS::sequence_to_pack(strModelName));
char* pProcessName;
std::uint32_t cchProcessName;
std::uint32_t nErr = entry_point(StartSimulationId, simulation.data(), simulation.size(), (void**) &pProcessName, &cchProcessName);
if (nErr != 0)
{
std::cerr << "Error " << nErr << " was returned by the server: " << GetErrorDescription(err, nullptr) << ".\n";
return "";
}else
{
auto ret = std::string(pProcessName, cchProcessName);
FreeData(pProcessName);
return ret;
}
</source>

==Установка==
1. Для установки веб-сервера необходимо загрузить следующие пакеты из репозитория с помощью команды apt-get:
<code>sudo apt-get install nginx uwsgi postgresql python-psycopg2 git python-dev</code>

2. Скачиваем свежий репозиторий django:
<code>git clone git://github.com/django/django.git django-trunk</code>

3. Добавляем в файл <code>/usr/lib/python2.7/dist-packages/django.pth</code> строку с абсолютным путем до скачанного репозитория

4. Делаем для удобства ссылку в /usr/local/bin на django-admin.py с помощью команды ln.

5. Установим утилиту setuptools:
<code>wget https://bootstrap.pypa.io/ez_setup.py -O - | sudo python</code>

6. В папке репозитория django запустим скрипт для установки:
<code>sudo python setup.py build install</code>

7. Настроим postgresql на прием всех запросов на порт 5433, для этого в файле /etc/postgresql/9.3/main/postgresql.conf поправим строчку <code>listen_addresses = '*'</code> и <code>port = 5433</code>, затем перезапустим командой <code>sudo service postgresql restart</code>.

8. Заходим в psql под пользователем postgres с помощью команды <code>sudo -u postgres psql</code> и создаем базу данных командой <code>CREATE DATABASE chsv_test WITH OWNER postgres ENCODING 'utf-8';</code>

9. Переходим в репозиторий django, создаем новый проект командой <code>django-admin startproject CAMaaS1_web</code>, затем копируем в создавшуюся папку содержимое репозитория web-сервера.

Верхнеуровневая архитектура

2015-07-08T22:34:58Z

Kulikser: /* Обсужденная архитектура */

== Обсужденная архитектура ==

[[Файл:New_Top_Struct_Design-1.jpg|thumb|Верхнеуровневая архитектура]]

Use case, в котором все данные передаются через централизованную управляющую подсистему.

# Пользователь через браузер подключается к управляющей подсистеме
# Пользователь загружает необходимые скрипты
# Пользователь создает модельный проект (загружает его с локального хранилища, подключается к работе над существующим проектом, ''загружает его с БД2?''
# Пользователь создает/изменяет геометрическую модель.
# Управляющая подсистема делегирует вызов подсистеме геометрического моделирования
# Подсистема геометрического моделирования фактически изменяет параметры геометрической модели
# ''Подсистема геометрического моделирования сохраняет модель в СУБД 2?''
# Подсистема геометрического моделирования передает модель управляющей подсистеме
# Управляющая подсистема передает полученные данные графической подсистеме.
# Графическая подсистема передает данные для визуализации пользователю
# Браузер выполняет визуализацию модели
# Пользователь обращается к управляющей подсистеме с запросом на ассоциацию данных из СУБД1 с компонентами геометрической модели для выбранной предметной области
# Управляющая подсистема делегирует запрос подсистеме предметной области.
# Подсистема предметной области запрашивает управляющую подсистему на получение данных из СУБД1.
# Управляющая подсистема, обращаясь к СУБД1, считывает данные и передает их ответом подсистеме предметной области.
# Подсистема предметной области считывает данные и задает их ассоциацию с компонентами геометрической модели.
# Подсистема предметной области возвращает ответ управляющей подсистеме
# Управляющая подсистема возвращает ответ пользователю
# Пользователь посылает запрос на запуск процедуры моделирования управляющей подсистеме.
# Управляющая подсистема делегирует вызов подсистеме предметной области

* 3A В случае создания нового проекта, или если пользователь решает выполнить новое моделирование в выбранной им предметной области
** 1. Пользователь обращается к управляющей подсистемой с запросом на получение списка подсистем предметных областей (т.е. списка самих предметных областей).
** 2. Пользователь выбирает предметную область

== Исходная архитектура ==

Система состоит из следующих компонентов, распределенных по сети:

[[Файл: Top_struct.jpg|thumb|Верхнеуровневая структурная диаграмма системы моделирования]]

* ''[[Подсистема геометрического моделирования]]'' реализует хранение геометрической модели среды, в которой моделируется поле. Каждая модель ассоциирована с экземпляром [[сцены|сцена]] - хранилищем объектов. Подсистема реализует функционал сцены и хранения экземпляров сцены. Доступ к экземпляру осуществляется клиентом по имени модельного проекта. Компонент частично реализован в проекте chsvgrphc, в виде DLL-библиотеки и в совокупности с предметно-независимой визуализацией сцены. '''Новое:''' Предполагается разделить существующую реализацию следующим образом: хранилище геометрической модели выделить в удаленный сервер, а визуализацию проводить целиком на стороне клиента, выполняя репликацию геометрической модели при возникновении изменений на сервере.

* ''[[Банк данных с системой управления | Система управления базами данных]]'' Разделяемый доступ компонентов CAM к постоянным справочным данным, необходимым при расчетах должен предоставляться отдельной обслуживающей подсистемой – банком данных. Информационное наполнение банка составляют данные, необходимые для проведения каждого имитационного эксперимента, например сведения о типичных источниках поля, о физических свойствах среды распределения поля для заданного набора внешних условий, количественные сведения, характеризующие поведение поля на границах раздела сред. Поскольку информационное наполнение определяется предметной областью, в которой выполняется моделирование, для каждой предметной области создается собственная база данных. В настоящий момент реализован базовый функционал СУБД в виде локального COM-сервера (проекты amdb_inner и amdb_outer), с прокси и заглушкой (amdv_outer_inner, amdb_outer_proxy). Поэтому теоретически реализация должна работать корректно и для удаленного сервера. На 07.07.2015 реализация может портить данные при большом количестве элементов данных и параллельных клиентов. Реализация ориентирована на быструю обработку поступающих параллельно запросов, с высокой вероятностью того, что доступ будет ограничен чтением. Также существует написанный мной сырой клиент СУБД, брошенный во времена написания диссертации "посередине", поэтому пока он не выложен в репозиторий.

* ''[[Клиент доступа к системе моделирования]]'' Пользовательский клиент, через который осуществляется доступ к системе моделирования. Сегодня клиент фактически представляет из себя простое окошко с визуализацией 3D модели сцены и [[командной строкой | командная строка клиента]]. Предоставляет пользователю интерфейс для ввода параметров моделирования и анализа в систему: объекты, степень их аппроксимации, физические размеры, которым соответствует моделируемое пространство, параметры среды распространения моделируемого физического поля, а также положение секущих плоскостей, на которых рассчитываются распределения характеристик поля.

* ''[[Подсистема управления]]'' Централизованное управление узлами распределенной CAM, а также политика безопасности в CAM должны реализовываться сервером безопасности и управления доступными вычислительными узлами, задачей которого является хранение и предоставление адресов всех узлов системы, а также гарантия их подлинности и их авторизация. При развертывании CAM узлы системы должны регистрироваться на сервере, при этом идентификатор, адрес и ключи аутентификации регистрируемого узла должны быть занесены во внутренние базы данных сервера согласно протоколам определенным разработчиком. При необходимости клиент сервера по идентификатору должен получать адрес запрашиваемого узла лишь в том случае, если подлинность последнего подтверждена. При этом сервер исключается из набора участников информационного обмена между авторизированными узлами, таким образом, на него не налагаются требования по защите передаваемой между его клиентами информации. Это, во-первых, снижает информационную нагрузку на сервер, во-вторых, снижает роль сервера как арбитра, что является причиной недостатков множества существующих систем и протоколов безопасности [57, 92]. Этой же либо выделенной отдельно подсистемой должно осуществляться распределение нагрузки между аутентифицированными подсистемами предметной области. При этом возможно использование следующего протокола. Для каждой отдельно взятой предметной области создается реестр адресов моделирующих подсистем, не занятых выполнением моделирования. Также для каждой предметной области подсистемой создается список задач по выполнению отдельного имитационного эксперимента. Во время проведения процедуры моделирования, если реестр адресов подсистем предметной области не пуст, параметры одного имитационного эксперимента из совокупности задач, которые необходимо выполнить для осуществления моделирования, передаются по одному из адресов из реестра. Если реестр пуст, параметры заносятся в список задач, выполнение которых осуществляется по мере освобождения подсистем предметной области. Подобные схемы управления нагрузкой в параллельных и распределенных системах имитационного моделирования являются предметом исследований в работах [25, 76], посвященных принципам PDES. В соответствующих терминах сервер осуществляет хранение списка событий, которыми являются сообщения о появлении задач по проведению имитационного эксперимента с заданными параметрами. В зависимости от требований к нагрузке на CAM и к стоимости развертывания системы сервер безопасности и подсистема управления доступными вычислительными узлами могут быть включены в одну из базовых подсистем. В этом случае такая подсистема назначается основной. Тогда остальные базовые подсистемы включаются в CAM через обращение к ней. ''Сегодня управления нет, центральной является система геометрического моделирования.''

* ''[[Предметно-ориентированная подсистема]]'' Включает в себя подсистемы предметной области, реализованные с участием эксперта предметной области. Также включает в себя параллельный вычислительный ресурс, регистрируемый в подсистеме управления.