ПОД: Ответы старые
Материал из eSyr's wiki.
(Новая: = 1. Информация и её измерения. = Термин "информация" происходит от латинского слова "informatio", что означ...) |
|||
Строка 1: | Строка 1: | ||
- | = | + | = Информация и её измерения. = |
Термин "информация" происходит от латинского слова "informatio", что означает сведения, разъяснения, изложение. Несмотря на широкое распространение этого термина, понятие информации является одним из самых дискуссионных в науке. В настоящее время наука пытается найти общие свойства и закономерности, присущие многогранному понятию информация, но пока это понятие во многом остается интуитивным и получает различные смысловые наполнения в различных отраслях человеческой деятельности: | Термин "информация" происходит от латинского слова "informatio", что означает сведения, разъяснения, изложение. Несмотря на широкое распространение этого термина, понятие информации является одним из самых дискуссионных в науке. В настоящее время наука пытается найти общие свойства и закономерности, присущие многогранному понятию информация, но пока это понятие во многом остается интуитивным и получает различные смысловые наполнения в различных отраслях человеческой деятельности: | ||
Строка 39: | Строка 39: | ||
В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд. | В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд. | ||
- | = | + | = Арифметические вычисления до эры ЭВМ. = |
- | = | + | = Эволюционная классификация ЭВМ. = |
- | = | + | = Принципы фон Неймановской архитектуры. = |
- | = | + | = Виды запоминающих устройств. = |
- | = | + | = Адресация ОЗУ. = |
- | = | + | = Расслоение оперативной памяти. = |
- | = | + | = Ассоциативная память. = |
- | = | + | = Виртуальная память. = |
- | = | + | = Алгоритмы управления страницами ОЗУ. = |
- | = | + | = Использование в ЭВМ принципа локальности вычислений. = |
- | = | + | = Полностью ассоциативная кэш-память. = |
- | = | + | = Кэш-память с прямым отображением. = |
- | = | + | = Частично-асссоциативная кэш-память. = |
- | = | + | = Изменение данных в кэш памяти. = |
- | = | + | = Учет параметров кэша при программировании задач. = |
- | = | + | = Конвейерная обработка данных. = |
- | = | + | = Внеочередное выполнение команд. = |
- | = | + | = Производительность конвейеров. = |
- | = | + | = Векторно-конвейерные вычислители. = |
- | = | + | = Конвейерная обработка команд. = |
- | = | + | = Конвейерные конфликты. = |
- | = | + | = Спекулятивное выполнение команд. = |
- | = | + | = Статическое предсказание условных переходов. = |
- | = | + | = Механизмы динамического предсказания переходов. = |
- | = | + | = Обработка условных операторов в EPIC. = |
- | = | + | = Эволюция системы команд микропроцессоров. = |
- | = | + | = Суперскалярные микропроцессоры. = |
- | = | + | = Широкоформатные команды для параллельной обработки данных. = |
- | = | + | = Проект EPIC. = |
- | = | + | = Мультитредовые, многоядерные вычислители. = |
- | = | + | = Классификация параллельных вычислителей по Флинну. = |
- | = | + | = Статические коммутационные сети. = |
- | = | + | = Динамические коммутаторы. = |
- | = | + | = Метакомпъютинг. = |
- | = | + | = Вычислительные кластеры. = |
- | = | + | = Матричные параллельные мультипроцессоры. = |
- | = | + | = Симметричные мультипроцессоры. = |
- | = | + | = Архитектура памяти cc-NUMA. = |
- | = | + | = Парадигмы программирования для параллельных вычислителей. = |
- | = | + | = Нетрадиционные вычислители. = |
- | = | + | = Организация вычислений на графе. = |
- | = | + | = Реализация потоковых машин. = |
- | = | + | = Нейронные сети как вычислители. = |
- | = | + | = Измерения производительности ЭВМ. = |
- | = | + | = Реальная и полная производительность вычислителей. = |
- | = | + | = Пакеты для измерения производительности вычислительных систем. = |
- | = | + | = Параметры рейтинга ТОР500. = |
- | = | + | = Закон Амдала. = |
- | = | + | = Параллельные алгоритмы. Метрики. = |
- | = | + | = Параллельные алгоритмы редукции. = |
- | = | + | = Распараллеливание алгоритмов рекурсии первого порядка. = |
- | = | + | = Векторизация последовательных программ. = |
- | = | + | = Синхронизация параллельных процессов. = |
- | = | + | = Исполняемые комментарии в языках программирования. = |
- | = | + | = Система Open MP. = |
- | = | + | = Пакет MPI. = |
- | = | + | = Язык Фортран-GNS. = |
- | = | + | = Порождение параллельных процессов. Идентификация абонентов. = |
- | = | + | = Протоколы передачи сообщений. = |
- | = | + | = Учет топологии кластера в МР программировании. = |
- | = | + | = Язык Фортран-DVM. = |
- | = | + | = Система программирования НОРМА. = |
- | = | + | = Особенности машинной арифметики. = |
- | = | + | = Погрешности параллельных вычислений. Оценить ошибки суммирования. = |
- | = | + | = Алгоритмы оптимизации программ, влияющие на точность вычислений. = |
Версия 18:27, 19 января 2010
Информация и её измерения.
Термин "информация" происходит от латинского слова "informatio", что означает сведения, разъяснения, изложение. Несмотря на широкое распространение этого термина, понятие информации является одним из самых дискуссионных в науке. В настоящее время наука пытается найти общие свойства и закономерности, присущие многогранному понятию информация, но пока это понятие во многом остается интуитивным и получает различные смысловые наполнения в различных отраслях человеческой деятельности: в обиходе информацией называют любые данные или сведения, которые кого-либо интересуют. Например, сообщение о каких-либо событиях, о чьей-либо деятельности и т.п. "Информировать" в этом смысле означает "сообщить нечто, неизвестное раньше"; в технике под информацией понимают сообщения, передаваемые в форме знаков или сигналов; в кибернетике под информацией понимает ту часть знаний, которая используется для ориентирования, активного действия, управления, т.е. в целях сохранения, совершенствования, развития системы (Н. Винер).
Клод Шеннон, американский учёный, заложивший основы теории информации — науки, изучающей процессы, связанные с передачей, приёмом, преобразованием и хранением информации, — рассматривает информацию как снятую неопределенность наших знаний о чем-то.
Приведем еще несколько определений: Информация — это сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся о них степень неопределенности, неполноты знаний (Н.В. Макарова); Информация — это отрицание энтропии (Леон Бриллюэн); Информация — это мера сложности структур (Моль); Информация — это отраженное разнообразие (Урсул); Информация — это содержание процесса отражения (Тузов); Информация — это вероятность выбора (Яглом).
Современное научное представление об информации очень точно сформулировал Норберт Винер, "отец" кибернетики. А именно: Информация — это обозначение содержания, полученного из внешнего мира в процессе нашего приспособления к нему и приспособления к нему наших чувств.
Подходы к определению количества информации. Формулы Хартли и Шеннона.
Американский инженер Р. Хартли в 1928 г. процесс получения информации рассматривал как выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении, определял как двоичный логарифм N.
Формула Хартли: I = log2N
Допустим, нужно угадать одно число из набора чисел от единицы до ста. По формуле Хартли можно вычислить, какое количество информации для этого требуется: I = log2100 > 6,644. Таким образом, сообщение о верно угаданном числе содержит количество информации, приблизительно равное 6,644 единицы информации.
Для задач такого рода американский учёный Клод Шеннон предложил в 1948 г. другую формулу определения количества информации, учитывающую возможную неодинаковую вероятность сообщений в наборе.
Формула Шеннона: I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN),
где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений.
Легко заметить, что если вероятности p1, ..., pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.
Помимо двух рассмотренных подходов к определению количества информации, существуют и другие. Важно помнить, что любые теоретические результаты применимы лишь к определённому кругу случаев, очерченному первоначальными допущениями.
В качестве единицы информации Клод Шеннон предложил принять один бит (англ. bit — binary digit — двоичная цифра). Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"—"решка", "чет"—"нечет" и т.п.).
В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутримашинного представления данных и команд.