Современные технологии, используемые в работе с данными

Человечество сегодня переживает информационный взрыв. Объем информации, поступающей к человеку через все информационные средства, непрерывно растет. Поэтому для каждого человека, живущего в информационном обществе, очень важно овладение средствами оптимального решения задачи накопления, упорядочения и рационального использования информации.

Возможности человека в обработке информации резко возросли с использованием компьютеров. В применении ЭВМ для решения задач информационного обслуживания можно выделить два периода:

· начальный период, когда решением задач обработки информации, организацией данных занимался небольшой круг людей - системные программисты. Этот период характерен тем, что создавались программные средства для решения конкретной задачи обработки данных. При этом для решения другой задачи, в которой использовались эти же данные, нужно было создавать новые программы;

· период системного применения ЭВМ. Для решения на ЭВМ комплекса задач создаются программные средства, оперирующие одними и теми же данными, использующие единую информационную модель объекта. Эти средства не зависят от характера объекта, его модели, их можно применять для информационного обслуживания различных задач. Человечество пришло к организации информации в информационных системах.

Информационными системами (ИС) называют большие массивы данных вместе с программно-аппаратными средствами для их обработки. Различают следующие виды ИС: фактографические, документальные и экспертные системы.

Фактографическая ИС - это массив фактов - конкретных значений данных об объектах реального мира.

Информация в фактографической ИС хранится в четко структурированном виде, поэтому она способна давать однозначные ответы на поставленные вопросы, например: «Кто является победителем Чемпионата России по гимнастике в 1999 году?», «Кому принадлежит автомобиль марки AUDI 80 с регистрационным номером РА899Р77?», «Какой номер телефона в бухгалтерии МГУ?», «Кто стал Президентом России на выборах в марте 2002 года?» и т. д. Фактографические ИС используются буквально во всех сферах человеческой деятельности - в науке, материальном производстве, на транспорте, в медицине, государственной и общественной жизни, торговле, криминалистике, искусстве, спорте.

Документальные информационные системы обслуживают принципиально иной класс задач, которые не предполагают однозначного ответа на поставленный вопрос. Базу данных таких систем образует совокупность неструктурированных текстовых документов (статьи, книги, рефераты, тексты законов) и графических объектов, снабженная тем или иным формализованным аппаратом поиска. Цель системы, как правило, - выдать в ответ на запрос пользователя список документов или объектов, в какой-то мере удовлетворяющих сформулированным в запросе условиям. Например, выдать список всех статей, в которых встречается слово «Пушкин». Принципиальной особенностью документальной системы является ее способность, с одной стороны, выдавать ненужные пользователю документы (например, где слово «Пушкин» употреблено в ином смысле, чем предполагалось), а с другой - не выдавать нужные (например, если автор употребил какой-то синоним или ошибся в написании). Документальная система должна уметь по контексту определять смысл того или иного термина, например, различать «ромашка» (растение), «ромашка» (тип печатающей головки принтера).

Экспертные системы (ЭС) — интеллектуальные системы, призванные играть роль «советчика», построены на базе формализованного опыта и знаний эксперта. Ядром ЭС являются базы знаний, в которых собраны знания экспертов (специалистов) в определенной области, на основе которых ЭС позволяет моделировать рассуждения специалистов из данной предметной области.

Указанная классификация и отнесение ИС к тому или иному типу устарели, так как современные фактографические системы часто работают с неструктурированными блоками информации (текстами, графикой, звуком, видео), снабженными структурированными описателями.

Сравнительно давно в АСУ ТП обмен данными между программами и устройствами осуществляется с использованием стандарта OPC. Стандарт разработан ассоциацией OPC Foundation. По сути стандарт является аналогом технологии PlugnPlay для программного обеспечения в сфере промышленной автоматизации. В настоящее время в ассоциации более 500 членов, и поддержка стандарта осуществляется всеми крупными производителями аппаратных и программных средств АСУ ТП и промышленными ассоциациями. Технология OPC позволяет различным программным модулям, разработанным самостоятельно или другими компаниями, взаимодействовать друг с другом через унифицированный интерфейс. Стандарт OPC описывает два типа интерфейсов для приложений. Первый тип интерфейса предназначен для обмена большими объёмами информации при высокой пропускной способности. Это специализированный интерфейс OLE custom interface. Второй тип интерфейса – OLE Automation interface – позволяет получать доступ к данным более простым способом. Он предназначен для использования в программах, написанных на языках Visual Basic (VB) и Visual Basic для приложений (VBA). Основным объектом данной технологии является OPCсервер, который отвечает за получение данных, запрошенных клиентом, от соответствующего устройства управления процессом. На каждом сервере имеется некоторое количество OPCгрупп, объединяющих наборы данных, запрос на получение которых поступил от клиента. Группы на сервере могут быть доступны нескольким клиентам одновременно или только одному клиенту. OPC группа содержит набор OPCэлементов, в которых хранятся данные, поступившие от соответствующего устройства управления процессами. Клиент может произвольно объединять элементы в группы. Схематично это изображено на рис. 1. В основе стандарта ОРС лежит технология DCOM (Distributed Component Object Model). Эта технология, встроенная в Windows, предназначена для организации взаимодействия между различными приложениями, в том числе и между приложениями, работающими на разных компьютерах. В настоящее время DCOM является основным средством взаимодействия программ в системе. Благодаря этой технологии между программами происходит двусторонний обмен, который позволяет не только клиенту вызывать функции сервера, но и серверу вызывать функции клиента.

Но при передаче данных на большие расстояния, что безусловно необходимо для АСУ ТП, DCOM имеет серьёзные недостатки. Один из главных недостатков — неприспособленность для работы в глобальной сети Интернет. Основная причина — это применение межсетевых экранов, или брандмауэров, которые защищают компьютер от несанкционированного доступа извне. Защита организована таким образом, что весь обмен по сети проходит через брандмауэр. Сетевой экран анализирует передаваемые пакеты, и если информация не соответствует настройкам системы безопасности, их прохождение блокируется. Технология DCOM может использовать различные транспортные протоколы для передачи данных, но преимущественно применяется TCP/IP. Обычно брандмауэры настраивают таким образом, чтобы максимально ограничить количество портов для выхода в глобальную сеть. Порты, используемые DCOM, чаще всего не являются разрешёнными для обмена данными, и открытие их существенно ослабляет защищённость от несанкционированного доступа. Для решения этой проблемы можно использовать технологию туннелинга (tunneling) TCP, с помощью которой осуществляется передача данных через стандартный 80й порт брандмауэра. Этот порт обычно используется для передачи данных по HTTPпротоколу (протокол передачи гипертекста), и поэтому он, как правило, открыт. Но для осуществления туннелинга и передачи данных требуется установка специального программного обеспечения, входящего в Windows, COM Internet Services и IIS webсервер (Internet Information Server). Успешный доступ через DCOM происходит в том случае, когда компьютеры находятся в одном домене или в одной рабочей группе, что указывает на возможность использования туннелинга TCP соответствующим образом настроенными брандмауэрами в пределах одного домена. Кроме проблем, связанных с передачей данных, существуют проблемы с аутентификацией клиента.

В настоящее время СУБД в основном приобретаются для использования со сложными и дорогостоящими программными продуктами, ориентированными на автоматизацию корпоративных бизнес-процессов - типичным примером здесь являются системы класса ERP. Большинство таких продуктов имеют высокую критичность для бизнеса, что обуславливает зависимость компаний от функционирования СУБД, серверов баз данных и качества обслуживания инфраструктуры. В свою очередь это выдвигает повышенные требования к выбору СУБД, который зависит не столько от ее функциональных возможностей, сколько от набора приложений, с которыми она будет взаимодействовать, а также от стоимости лицензий и наличия подготовленного персонала для ее администрирования.

Разработчики СУБД прилагают значительные усилия для развития целого ряда технологических направлений, среди которых основными являются масштабируемость и быстродействие. Современный бизнес генерирует огромные объемы данных, количество которых увеличивается в геометрической прогрессии. Очевидно, что хранение и обработка такие колоссальных объемов данных предъявляет серьезные требования к скорости работы и масштабируемости СУБД. Внедрение кластерных технологий в СУБД позволяет компаниям сделать масштабирование системы более легким, а также существенно повысить надежность системы, не затрачивая при этом большие средства на развитие инфраструктуры предприятия.

За универсальность, надежность и общую высокую производительность современных СУБД приходится платить. Ведущие СУБД превратились в очень сложные, объемные и дорогостоящие программные комплексы, функционал которых в угоду универсальности настолько разросся, что даже современные высоконагруженные аналитические приложения редко используют более трети всех доступных функций. Проектирование, поддержка и обслуживание баз данных под управлением современных СУБД далеко нетривиальная задача, требующая наличия высококвалифицированных разработчиков и администраторов БД, что также ощутимо сказывается на общей стоимости владения подобными системами.

Сам рынок СУБД за последнее время значительно фрагментировался. В свою очередь, быстро меняющиеся потребности современного бизнеса постоянно повышают требования к приложениям и инфраструктуре. Появились целые секторы, в которых использование универсальных СУБД либо слишком дорого, либо неэффективно. Для решения конкретного спектра задач в определенных отраслях становится более подходящим использование специализированные СУБД, " заточенные" под выполнение определенных функций. Более эффективными становятся специализированные продукты, которые можно вывести на рынок уже через год-два после начала разработки. Благодаря этому количество различных специализированных СУБД растет с каждым годом, и они начинают занимать уже достаточно весомую долю рынка

В целом, за последние 40 лет в области управления данными была выполнена громадная исследовательская работа, результаты которой можно успешно применять как для развития универсальных СУБД, так и для разработки специализированных систем. К настоящему моменту индустрия СУБД добилась значительного прогресса в технологиях обработки и хранения данных. Современные технологии позволяют работать с базами данных петабайтного размера, при этом выполнять обработку анализ данных в реальном времени. Очевидно, что подобные возможности найдут достойное применение во всех отраслях мировой экономики.

Технология «Клиент-сервер» — технология, разделя­ющая приложение СУБД на две части: клиентскую (ин­терактивный графический интерфейс, расположенный на компьютере пользователя) и сервер, собственно осуществ­ляющий управление данными, разделение информации, администрирование и безопасность, находящийся на вы­деленном компьютере. Взаимодействие «клиент — сер­вер» осуществляется следующим образом: клиентская часть приложения формирует запрос к серверу баз данных, на котором выполняются все команды, а результат исполне­ния запроса отправляется клиенту для просмотра и ис­пользования. Данная технология применяется, когда раз­меры баз данных велики, когда велики размеры вычисли­тельной сети, и производительность при обработке данных, хранящихся не на компьютере пользователя.

OLE (Object Linking and Embedding — связывание и внедрение объектов) — стандарт, описывающий правила интеграции прикладных программ. Применяется для ис­пользования возможностей других приложений. OLE ис­пользуется для определения и совместного использова­ния объектов несколькими приложениями, которые под­держивают данную технологию.

OLE Automation (автоматизация OLE) — компонент OLE, позволяющий программным путем устанавливать свойства и задавать команды для объектов другого при­ложения. Позволяет без необходимости выхода или пере­хода в другое окно использовать возможности нужного приложения. Приложение, позволяющее другим приклад­ным программам использовать свои объекты, называется OLE-сервером. Приложение, которое может управлять объектами OLE-серверов, называется OLE-контроллер или OLE-клиент.

RAD (Rapid Application Development — быстрая раз­работка приложений) — подход к разработке приложе­ний, предусматривающий широкое использование готовых компонентов и/или приложений и пакетов (в том числе от разных производителей).

ODBC (Open Database Connectivity — открытый дос­туп к базам данных) — технология, позволяющая исполь­зовать базы данных, созданные другим приложением при помощи SQL.

SQL (Structured Query Language — язык структуриро­ванных запросов) — универсальный язык, предназначен­ный для создания и выполнения запросов, обработки дан­ных как в собственной базе данных приложения, так и с базами данных, созданных другими приложениями, под­держивающими SQL. Также SQL применяется для управ­ления реляционными базами данных.

VBA (Visual Basic for Applications — Visual Basic для приложений) — разновидность (диалект) объектно-ори­ентированного языка программирования Visual Basic, встраиваемая в программные пакеты.

Тема " Современные технологии, используемые в работе с данными" изучается на стыке сразу нескольких взаимосвязанных дисциплин. Для современного состояния науки характерен переход к глобальному рассмотрению проблем тематики " Современные технологии, используемые в работе с данными".

Вопросам исследования посвящено множество работ. В основном материал, изложенный в учебной литературе, носит общий характер, а в многочисленных монографиях по данной тематике рассмотрены более узкие вопросы проблемы " Современные технологии, используемые в работе с данными". Однако, требуется учет современных условий при исследовании проблематики обозначенной темы.

Высокая значимость и недостаточная практическая разработанность проблемы " Современные технологии, используемые в работе с данными" определяют несомненную новизну данного исследования.

Дальнейшее внимание к вопросу о проблеме " Современные технологии, используемые в работе с данными" необходимо в целях более глубокого и обоснованного разрешения частных актуальных проблем тематики данного исследования.

Актуальность настоящей работы обусловлена, с одной стороны, большим интересом к теме " Современные технологии, используемые в работе с данными" в современной науке, с другой стороны, ее недостаточной разработанностью. Рассмотрение вопросов, связанных с данной тематикой носит как теоретическую, так и практическую значимость.

Результаты могут быть использованы для разработки методики анализа " Современные технологии, используемые в работе с данными".

Теоретическое значение изучения проблемы " Современные технологии, используемые в работе с данными" заключается в том, что избранная для рассмотрения проблематика находится на стыке сразу нескольких научных дисциплин.

Объектом данного исследования является анализ условий " Современные технологии, используемые в работе с данными".

При этом предметом исследования является рассмотрение отдельных вопросов, сформулированных в качестве задач данного исследования.

Целью исследования является изучение темы " Современные технологии, используемые в работе с данными" с точки зрения новейших отечественных и зарубежных исследований по сходной проблематике.

В рамках достижения поставленной цели автором были поставлены и решения следующие задачи:

1. Изучить теоретические аспекты и выявить природу " Современные технологии, используемые в работе с данными".

2. Сказать об актуальности проблемы " Современные технологии, используемые в работе с данными" в современных условиях.

3. Изложить возможности решения тематики " Современные технологии, используемые в работе с данными".

4. Обозначить тенденции развития тематики " Современные технологии, используемые в работе с данными".

Работа имеет традиционную структуру и включает в себя введение, основную часть, состоящую из 3 глав, заключение и библиографический список.

Во введении обоснована актуальность выбора темы, поставлены цель и задачи исследования, охарактеризованы методы исследования и источники информации.

Глава первая раскрывает общие вопросы, раскрываются исторические аспекты проблемы " Современные технологии, используемые в работе с данными". Определяются основные понятия, обуславливается актуальность звучание вопросов " Современные технологии, используемые в работе с данными".

В главе второй более подробно рассмотрены содержание и современные проблемы " Современные технологии, используемые в работе с данными".

Глава третья имеет практический характер и на основе отдельных данных делается анализ современного состояния, а также делается анализ перспектив и тенденций развития " Современные технологии, используемые в работе с данными".

По результатам исследования был вскрыт ряд проблем, имеющих отношение к рассматриваемой теме, и сделаны выводы о необходимости дальнейшего изучения/улучшения состояния вопроса.

Таким образом, актуальность данной проблемы определила выбор темы работы " Современные технологии, используемые в работе с данными", круг вопросов и логическую схему ее построения.

Теоретической и методологической основой проведения исследования явились законодательные акты, нормативные документы по теме работы.

Источниками информации для написания работы по теме " Современные технологии, используемые в работе с данными" послужили базовая учебная литература, фундаментальные теоретические труды крупнейших мыслителей в рассматриваемой области, результаты практических исследований видных отечественных и зарубежных авторов, статьи и обзоры в специализированных и периодических изданиях, посвященных тематике " Современные технологии, используемые в работе с данными", справочная литература, прочие актуальные источники информации.

Рассмотрим более подробно программные продукты компании Microsoft, а именно Visual FoxPro 3.0, Visual Basic 4.0, Visual С++, Access 7.0, SQL Server 6.5. Наиболее интересной чертой этих пакетов являются их большие возможности интеграции, совместной работы и использования данных, так как данные пакеты являются продуктами одного производителя, а также используют сходные технологии обмена данными.

Visual FoxPro отличается высокой скоростью, имеет встроенный объектно-ориентированный язык программирования с использованием xBase и SQL, диалекты которых встроены во многие СУБД. Имеет высокий уровень объектной модели. При использовании в вычислительных сетях обеспечивает как монопольный, так и раздельный доступ пользователей к данным. Применяется для приложений масштаба предприятия для работы на различных платформах: Windows 3.x, Windows 95, Macintosh... Минимальные ресурсы ПК: для Visual FoxPro версии 3.0 – процессор 468DX, Windows 3.1, 95, NT, объем оперативной памяти 8 (12) Мб, занимаемый объем на ЖМД 15-80 Мб, а для Visual FoxPro версии 5.0 (выпущена в 1997 году) – Windows 95 или NT, 486 с тактовой частотой 50 МГц, 10 Мб ОЗУ, от 15 до 240 Мб на ЖМД.

Access входит в состав самого популярного пакета Microsoft Office. Основные преимущества: знаком многим конечным пользователям и обладает высокой устойчивостью данных, прост в освоении, может использоваться непрофессиональным программистом, позволяет готовить отчеты из баз данных различных форматов. Предназначен для создания отчетов произвольной формы на основании различных данных и разработки некоммерческих приложений. Минимальные ресурсы ПК: процессор 468DX, Windows 3.1, 95, NT, объем оперативной памяти 12 (16) Мб, занимаемый объем на ЖМД 10-40 Мб.

Visual Basic – это универсальный объектно-ориентированный язык программирования, диалекты которого встроены в Access, Visual FoxPro. Преимущества: универсальность, возможность создания компонентов OLE, невысокие требования к аппаратным ресурсам ЭВМ. Применяется для создания приложений средней мощности, не связанных с большой интенсивностью обработки данных, разработки компонентов OLE, интеграция компонентов Microsoft Office. Минимальные ресурсы ПК: процессор 368DX, Windows 3.1, 95, NT, объем оперативной памяти 6 (16) Мб, занимаемый объем на ЖМД 8-36 Мб.

Visual C++ – наиболее мощный объектно-ориентированный язык программирования, обладает неограниченной функциональностью. Предназначен для создания компонентов приложений для выполнения операций, критичных по скорости.

SQL Server – сервер баз данных, реализует подход «клиент-сервер» и взаимодействует с указанными пакетами. Главные достоинства: высоая степень защиты данных, мощные средства для обработки данных, высокая производительность. Область применения: хранение больших объемов данных, хранение высокоценных данных или данных, требующих соблюдения режима секретности. Минимальные ресурсы ПК: процессор 468DX-33МГц, Windows NT, объем оперативной памяти 16 (32) Мб, занимаемый объем на ЖМД 80 Мб.

Указанные программные продукты имеют возможности визуального проектирования интерфейса пользователя, то есть разработчик из готовых фрагментов создает элементы интерфейса, программирует только их изменения в ответ на какие-либо события.

Заключение

Современные СУБД являются объектно-ориентированными и реляционными. Основной единицей является объект, имеющий свойства, и связи между объектами. СУБД используют несколько моделей данных: иерархическую и сетевую (с 60-х годов) и реляционную (с 70-х). Основное различие данных моделей в представлении взаимосвязей между объектами.

Иерархическая модель данных строится по принципу иерархии объектов, то есть один тип объекта является главным, все нижележащие – подчиненными. Устанавливается связь «один ко многим», то есть для некоторого главного типа существует несколько подчиненных типов объектов. Иначе, главный тип именуется исходным типом, а подчиненные – порожденными. У подчиненных типов могут быть в свою очередь подчиненные типы. Наивысший в иерархии узел (совокупность атрибутов) называют корневым.

Сетевая модель данных строится по принципу «главный и подчиненный тип одновременно», то есть любой тип данных одновременно может одновременно порождать несколько подчиненных типов (быть владельцем набора) и быть подчиненным для нескольких главных (быть членом набора).

Реляционная модель данных объекты и связи между ними представляются в виде таблиц, при этом связи тоже рассматриваются как объекты. Все строки, составляющие таблицу в реляционной базе данных должны иметь первичный ключ. Все современные средства СУБД поддерживают реляционную модель данных.

Объект (Сущность) – элемент какой-либо системы, информация о котором сохраняется. Объект может быть, как реальным (например, человек), так и абстрактным (например, событие – поступление человека в стационар).

Атрибут – информационное отображение свойств объекта. Каждый объект характеризуется набором атрибутов.

Таблица – упорядоченная структура, состоящая из конечного набора однотипных записей.

Первичный ключ – атрибут (или группа атрибутов), позволяющий однозначным образом определить каждую строку в таблице.

Напротив, альтернативный ключ – атрибут (или группа атрибутов), не совпадающая с позволяющий первичным ключом и однозначным образом определяющий каждую строку в таблице.

Список использованной литературы

1. Градостроительный кодекс Российской Федерации (Федеральный закон от 29.12.2004 г. № 190-ФЗ) База нормативной документации: www.complexdoc.ru 569

2. Основы нормативной базы в строительстве. С. А. Синенко, С. А. Мамочкин, Б. В. Жадановский, 2016г.

3. ТСН 12-316-2002 Санкт-Петербург. Приемка и ввод в эксплуатацию законченных строительством объектов недвижимости.

4. Хаметов ТИ. Геодезическое обеспечение проектирования, строительства и эксплуатации зданий, сооружений. - М.: Изд-во Ассоциации строительных вузов, 2000, 200 с.

5. СНиП 10-01-94 – Система нормативных документов в строительстве. Основные положения.

6. ГОСТ Р 1.0-92 " Государственная система стандартизации Российской Федерации. Основные положения".

7. https://www.skonline.ru/digest/682.html? page=1

8. https://www.def.nsk.su/quality/quality.php

9. https://www.google.ru/url

10. СП 48.13330.2011Градостроительный кодекс РФ от 29.12.2004 N 190-ФЗ;

11. Федеральный закон от 27.12.2002 N 184-ФЗ «О техническом регулировании»;

12. Ватолина М.В. Организация работы с документами Р-на-Д., 2004;

13. Б. Богумирский Эффективная работа на IBM PC в среде Windows 95 СПб, «Питер», 1997, 1000с.

14. Д. Вейскас Эффективная работа с Microsoft Access 7.0 «Microsoft Press», 1997, 864с.

15. Дж. Вудкок, М. Янг Эффективная работа с Microsoft Office 95 «Microsoft Press», 1000с.

16. А. Горев, С. Макашарипов, Р. Ахаян Эффективная работа с СУБД СПб, «Питер», 1997, 704с.

17. А. В. Потапкин Основы Visual Basic для пакета Microsoft Office М, «Эком», 1995, 256с.