Аппаратные и програмные средства разработки мультимедийных продуктов

1.2.5       3D звук.

Существует несколько технологий создания 3D-звука. У Creative это EAX, y Aureal - A3D, y Microsoft это DirectSound3D, реализованный в библиотеках DirectX. Все они позволяют воспроизводить настолько реалистичный звук, что его трудно отличить от настоящего. Поэтому для более глубокого погружения в виртуальные миры все HMD снабжены наушниками. Сейчас ими стали снабжать и некоторые стереоочки.

Трехмерный звук заставляет воспринимать игру по-другому. Ощущения становятся  настолько реалистичными... эти голоса и выстрелы в тонелях и трубах меняются при выходе на открытые пространства, переливаются на ветру... в общем лучше один раз услышать, чем сто раз прочитать.

1.2.6       Vr - перчатки.

Пока что перчатки для виртуальной реальности не заняли таких прочных позиций, как некоторые очки. Их технологии еще слишком дороги для развлечений, хотя и могут быт доступны в некоторых виртуальных залах от Electronic Visualization Lab. Хотя чаще всего они используются не для игр.

Отслеживать движения пальцев им помогает сложная система эластичных световодов и пара десятков датчиков. Как только палец начинает сгибаться, световод сужает просвет, а датчики улавливливают падение интенсивности света на каком-либо участке. Адекватно этим изменениям ведет себя кисть в виртуальном пространстве. Естественно, эта технология разработана больше для научных исследований, нежели для игр. Посудите сами: зачем в 3DAction'e (тем более в RTS) отслеживать движения пальцев?

1.2.7       Датчики кисти.

Помимо перчаток существуют и другие устройства слежения за перемещениями кисти. В самые простые встроен только position tracker, отслеживающий перемещения небольшого кубика, который нужно держать в одной из рук. По сравнению с остальной продукцией это устройство стоит дешево-от 20 до 40 долларов.

1.2.8       VR-костюм.

Самым полным набором оборудования для виртуальной реальности является виртуальный костюм. Он состоит из обтягивающего комбинезона со множеством магнитных сенсоров, которые отслеживают движения всех частей тела. К нему добавляется HMD, датчик(и) кисти (реже перчатка) и провода для присоединения всего этого к компьютеру. Тогда уж точно будет полный комплект ощущений. Единственное, чего не хватает, так это ForceFeedback VR-костюмов. Хотя кто знает, может, работы по созданию таких кстройств уже ведутся?

Технологии виртуальной реальности сегодня очень быстро развиваются. Сама ВР применяется во многих сферах жизни. Роботы, которыми управляет человек из виртуальной реальности, выполняют опасную или тонкую работу. Для создания игр широко применяется технология Motion Capture, позволяющая "снять" движения с человека и присвоить их трехмерной модели. К примеру, этот метод применялся в некоторых играх благодаря чему мы можем видеть и крадущегося вора, и танцующих скелетов. Та же технология исползуется и при оживлении рисованных персоныжей в голивудских фильмах. Ну и наконец виртуальная реальность может использоваться для развлечений, ведь она помогает представить себя в другой роли и в другом обличии. Кто бы отказался поплавать рыбкой в коралловых рифах? Или воспарить птицей над небесами?

Все это заставляет стремительно развиваться VR-технологии. Многие из них стоят больших денег, но кто знает, может быть описаные в статье устройства завтра станут обыденностью, а затем и вовсе вытеснятся новыми.

1.3       Носители информации (CD-ROM)

Лазерные диски, CD-ROM

В связи с ростом объемов и сложности прграмного обеспечения, широким внедрением мультимедиа приложений, сочетающих движущиеся изображения, текст и звук, огромную популярность в последнее время приобрели устройства для чтения компакт- дисков CD-ROM. Эти устройства и сами диски, относительно недорогие, очень надежны и могут хранить весьма большие объемы информации (до 650 Мбайт), поэтому они очень удобны для поставки программ и данных большего объема, например каталогов, энциклопедий, а также обучающихся, демонстрационных и игровых программ. И многие программы полностью или частично поставляются на CD-ROM.

История развития. Компакт- диски изначально разработанные для любителей высоко качественного звучания, прочно вошли на рынок компьютерных устройств. Оптические компакт- диски перешли на смену виниловым в 1982 году. Было решено что стандарт рассчитан на 74 минуты звучания "Red Book". Когда 74 минуты пересчитали в байты получилось 640 Мбайт.

Первые приводы имели единичную скорость (Single speed) равную 150 Кбайт/с. Модели накопителей с удвоенной скоростью появились в 1992 году. Приводы с утроенной и с учетверенной скоростью в начале 1994 году. Сегодня речь уже идет о скорости увеличенной в шесть и даже восемь раз. Коэффициент увеличения скорости не обязательно целый.

Принцип действия. Как и в компакт-дисках, применяемых в бытовых СD-плейерах, информация на компьютерных компакт-дисках кодируется посредством чередования отражающих и не отражающих свет участков на подложке диска. При промышленном производстве комакт-дисков эта подложка выполняется из алюминия, а не отражающие свет участки делаются с помощью продавливания углублений в подложке специальной пресформой. При единичном производстве компакт-дисков (так называемых СD-R дисков, см. ниже) подложка выполняется из золота, а нанесение информации на нее осуществляетя лучом лазера. В любом случае сверху от подложки на компакт-диске находится прозрачное покрытие, защищающее занесенную на компакт-диск информацию от повреждений.

Хотя по внешнему виду и размеру используемые в компьютерах компакт-диски не отличаются от дисков, применяемых в бытовых СD плейерах, однако компьютерные устройства для чтения компакт-дисков стоят существенно дороже. Это не удивительно, ведь чтение программ и компьютерных данных должно выполняться с гораздо высокой надежностью, чем та, которая достаточна при воспроизведении музыки. Поэтому чтение используемых в компьютере компакт-дисков осуществляется с помощью луча лазера небольшой мощности. Использование такой технологии позволяет записывать на компакт-диски очень большой объем информации (650 Мбайт), и обеспечивает высокую надежность информации.

1.4       Видеоадаптеры

При смешении сигналов основные проблемы возникают с видео–изоб­ражением. Различные ТВ–стандарты, существующие в мире (NTSC, PAL, SE­CAM), применение разных мониторов и видеоконтроллеров диктует разнообразие подходов в разрешении возникающих проблем. Однако в лю­бом случае требуется синхронизация двух изображений, для чего служит устройство генлок (genlock). С его помощью на экране монитора могут быть совмещены изображение, сгенерированное компьютером (анимированная или неподвижная графика, текст, титры), и “живое” видео. Если добавить еще одно устройство — кодер (encoder), компьютерное изо­бражение может быть преобразовано в форму ТВ–сигнала и записано. "Настольные видео–студии”, являющиеся одним из примеров применения систем мультимедиа, позволяют готовить совмещенные видео–компьютерные клипы, титры для видеофильмов, помогают при монтаже кинофильмов.

Системы такого рода не позволяют  как-то обрабатывать или редак­тировать само аналоговое изображение. Для того, чтобы это стало воз­можным, его необходимо оцифровать и ввести в память компьютера. Для этого служат так называемые платы захвата (capture board, frame grab­bers). Оцифровка аналоговых сигналов порождает огромные массивы дан­ных. Так, кадр стандарта NTSC (525 строк), преобразованный платой типа Truevision, превращается в компьютерное изображение с разрешением 512x482 пиксель. Если каждая точка представлена 8 битами, то для хранения всей картинки требуется около 250 Кбайт памяти, причем падает качество изображения, так как обеспечивается только 256 различных цветов. Считается, что для адекватной передачи исходного изображения требуется 16 млн. оттенков, поэтому используется 24-битовый формат хранения цветной картинки, а необходимый размер памяти возрастает. Оцифрованный кадр может затем быть изменен, отредактирован обычным графическим редактором, могут быть убраны или добавлены  детали, изменены цвета, масштабы, добавлены спецэффекты, типа мозаики, инверсии и т.д. Естественно, интерактивная экранная обработка возможна лишь в пределах разрешения, обеспечиваемого данным конкретным видеоадаптером. Обработанные кадры могут быть записаны на диск в каком–либо графическом формате и затем использоваться в качестве реалистического неподвижного фона для компьютерной анимации. Возможна также   покадровая  обработка исходного изображения и вывод обратно на видеопленку для создания псевдореалистического мультфильма.

Запись последовательности кадров в цифровом виде требует от компьютера больших объемов внешней памяти: частота кадров в американском ТВ–стандарте NTSC — 30 кадров/с (PAL, SECAM — 25 кадров/с), так что для запоминания одной секунды полноцветного полноэкранного видео требуется 20–30 Мбайт, а оптический диск емкостью 600 Мбайт вместит менее полминуты изображения. Но последовательность кадров недостаточно только запомнить, ее надо еще вывести на экран в соответствующем темпе. Чтобы выводить на экран компьютера оцифрованное видео, приходится идти на уменьшение объема передаваемых данных, (вывод уменьшенного изображения в небольшом окне, снижение частоты кадровой развертки до 10–15 кадров/с, уменьшение числа бит/пиксель), что, в свою очередь приводит к ухудшению качества изображения.

Более радикально обе проблемы — памяти и пропускной способности — решаются с помощью методов сжатия/развертки данных, которые позволяют сжимать информацию перед записью на внешнее устройство, а затем считывать и разворачивать в реальном режиме времени при выводе на экран. Так, для движущихся видео–изображений существующие адаптивные разностные алгоритмы могут сжимать данные с коэффициентом порядка 100:1— 160:1, что позволяет разместить на CD–ROM около часа полноценного озвученного видео. Работа этих алгоритмов основана на том, что обычно последующий кадр отличается от предыдущего лишь некоторыми деталями, поэтому, взяв какой–то кадр за базовый, для следующих можно хранить только относительные изменения. При значительных изменениях кадра, например, при монтажной склейке, наезде или панорамировании камеры, автоматически выбирается новый базовый кадр. Для статических изображений коэффициент сжатия, естественно, ниже — порядка 20–30:1. Для аудиоданных применяют свои методы компрессии.

При использовании специальных видео–адаптеров (видеобластеров)  мультимедиа–ПК становятся центром бытовой видео–системы, конкурирующей с самым совершенным телевизором.

Новейшие видеоадаптеры имеют средства связи с источниками телевизионных сигналов и встроенные системы захвата кадра (компрессии / декомпрессии видеосигналов) в реальном масштабе времени, т.е. практически мгновенно. Видеоадаптеры имеют быструю видеопамять до 512 Мбайт и специальные графические 3D-ускорители процессоры. Это позволяет получать до 100 кадров в секунду и обеспечить вывод подвижных полноэкранных изображений.

Имеется большое количество устройств, предназначенных для работ с видеосигналами на IBM PC совместимых компьютеров. Условно можно разбить на несколько групп: устройства для ввода и захвата видеопоследовательностей (Cupture play), фреймграбберы (Framegrabber), TV-тюнеры, преобразователи сигналов VGA-TV и др..

TVтюнеры

Эти устройства выполняются обычно в виде карт или бокса (небольшой коробочки). Они преобразуют аналоговый видеосигнал поступающий по сети кабельного телевидения или от антенны, от видеомагнитофона или камкодера (camcorder). TV-тюнеры могут входить в состав других устройств таких как MPEG-плейеры или фреймграбберы.

Некоторые из них имеют встроенные микросхемы для преобразования звука. Ряд тюнеров имеют возможность для вывода телетекста.

MPEG-плейеры

Данные устройства позволяют воспроизводить последовательности видеоизображения (фильмы) записываемых на компакт- дисках, качеством VNS Cкорость потока сжатой информации не превышает обычно 150 Кбайт/с.

Основная сложность задачи решаемой MPEG кодером, состоит в определении для каждого конкретного видеопотока оптимального соотнашения между тремя видами изображения: (I)ntra, (P)redicted и (B)idirectional. Первым MPEG -плейерам была плата Reel Magic компании Sigina Desing в 1993 году.

2Программные средства создания проектов

Существует большое множество программных средств для разработки мультимедийных приложений. К сожалению, перечисление всех невозможно, остановимся только на наиболее распространенных программ. Их можно разделить на несколько категории:

1.      Средства создания и обработки изображения;

2.      Средства создания и обработки анимации, 2D, 3D – графики;

3.      Средства создания и обработки видеоизображения (видеомонтаж, 3D-титры);

4.      Средства создания и обработки звука;

2.1       Средства создания и обработки изображения

Один из способов представления изображения в компьютере — растровая графика (bitmap). В этом случае изображение делится на элементы (pixels), которые определяют размер картинки — X пикселов по ширине и Y пикселов по высоте. Важной характеристикой является цветовое разрешение растровой графики, определяемое числом битов, используемых для кодирования цвета каждого пиксела (его называют также числом битовых плоскостей). Понятно, что чем больше битовых плоскостей в файле, тем больше места требуется на диске для его сохранения.

Существуют следующие варианты представления цвета в графических файлах:

256-цветный файл использует 8 бит на каждый пиксел и имеет соответствующую таблицу цветов, называемую палитрой.

16-битный цветной файл не использует палитру, а для сохранения красных, зеленых и синих цветовых компонентов каждого пиксела отводится 16 бит. Имеется два варианта: RGB555 (32768 цветов), RGB565 (65536 цветов).

24-битный цветной файл отводит по 8 бит для цветовых компонентов каждого пиксела. Использует 16,7 млн. возможных цветовых сочетаний, и поэтому самые маленькие отличия между ними могут быть едва замечены глазом.

32-битный цветной файл отводит по 8 бит для цветовых компонентов и 8 бит для альфа-канала каждого пиксела. Альфа-канал определяет уровень прозрачности каждого пиксела в изображении. Он используется программным обеспечением для применения масок, чтобы отображать видеоданные или изображения одно за другим.

Черно-белые полутоновые изображения могут быть записаны в 8-битный файл с 256 оттенками серого цвета (градации от белого до черного).

Другой способ представления — векторные изображения, которые сохраняются в виде геометрического описания объектов, составляющих рисунок. Эти изображения могут также включать в себя данные в формате растровой графики. В векторных форматах число битовых плоскостей заранее не определено.