INFONKO.RU

Тема 4. Методы и приемы прогнозирования.

Метод — это сложный прием, упорядоченная совокупность простых приемов, направленных на разработку прогноза в целом; путь, способ достижения цели, исходящий из знания наиболее общих закономерностей.

Методы(методика)прогнозирования — определенное сочетание приемов (способов) выполнения прогностических операций, получение и обработка информации о будущем на основе однородных методов разработки прогноза.

Методология прогнозирования — область знания о методах, способах, системах прогнозирования. Методологии прогнозирования разделились по следующим категориям:предвидение, целеполагание, планирование, программирование, проектирование, перспективыразвития процессов с целью выявления проблем, подлежащих решению.

Методика разработки прогноза — выбранное конкретное сочетание приемов и методов прогнозирования.

Система прогнозирования («прогнозирующая система»)это упорядоченная совокупность методик, технических средств, предназначенная для прогнозирования сложных явлений или процессов.

Приемпрогнозирования — конкретная форма теоретического или практического подхода к разработке прогноза; одна или несколько математических или логических операций, направленных на получение конкретного результата в процессе разработки прогноза.

Методы прогнозирования. В 1927 году В.А.Базаров-Руднев предложил 3 метода прогноза:экстраполяция, аналитическая модель, экспертиза.

В настоящее время существует около 220 методов прогнозирования, но чаще всего на практике используются не более 10, среди них: фактографические(экстраполяция, интерполяция, тренд-анализ), экспертные(в т.ч. опрос, анкетирование),публикационные(в т.ч. патентные),цитатно-индексные, сценарные, матричные, моделирование, аналогий, построение графов и т.д.

Появляются новые методы:

v адаптивные методы прогнозирования – построение самонастраивающихся рекуррентных моделей, способных отражать изменяющиеся во времени динамические свойства временного ряда и учитывать информационную ценность его членов;

v морфологическое исследование (для систематического и непредубежденного отбора возможностей в связи с изыскательским прогнозированием);

v ретроальтернативистика (И.В. Бестужев-Лада);

v метод «дерево целей» (впервые использован при разработке схемы ПАТТЕРН) для нормативного прогнозирования и оценки «общих элементов»;

v «контекстуальное картографирование» (contextual mapping);

v причинно—следственный метод, близкий к проблемно-целевому методу Базарова-Руднева;

v комбинированный прогноз –некоторая обобщающая оценка, получаемая на основе формального или неформального объединения частных прогнозов, чаще всего путем суммирования их с определенными весовыми коэффициентами.

Приведенное разделение способов прогнозирования условно, потому что на практике эти способы взаимно перекрещиваются и дополняют друг друга, так:



v прогнозная оценка обязательно включает в себя элементы экстраполяции и моделирования;

v процесс экстраполяции невозможен без элементов оценки и моделирования;

v моделирование подразумевает предварительную оценку и экстраполирование.

При прогнозировании объекта часто приходиться прогнозировать не один, а несколько его показателей. При этом прогноз развития одного показателя можно выполнять одним методом, а другого показателя — другим методом, т.е. используются сочетания методов*.

*Например, при прогнозировании развития энергетики России для 2010-2015 гг. количество отпускаемой энергии было определено методами математического моделирования, а структура установленных мощностей по типам электростанций (тепловые, гидро-, атомные и др.) – методами патентно-статистического анализа.

При социальном прогнозировании (Табл. «Методы социального прогнозирования (Шепитько Г.Е.)»):

Таблица. Методы социального прогнозирования (Шепитько Г.Е.)

Методы социального прогнозирования Формализованные Метод эстраполяции трендов
Методы корреляционного и регрессионного анализов
Методы математического моделирования
Экспертные Индивидуальные Метод составления сценариев
Метод «интервью»
Метод аналитических докладных записок
Коллективные Метод анкетных опросов
Метод «комиссий»
Метод «мозговых атак»
Метод «Дельфи»

Наиболее распространеннымиметодами(свыше 90% всех сделанных в мире прогнозов) являются экспертиза и фактографическиеметоды. Популярен метод аналогий. Методылинейного программирования, построение циклов (Н.Д. Кондратьев) широко используются в науке.

Ведутся разговоры, что любой прогноз, если в нем закладывать правильные исходные данные и если он претендует на научность, можно описать формулами (формулизовать).

Аналогия

Аналогия (предвидение по аналогии, методобщих тенденций) –предполагает, что в достаточной степени осознает текущую ситуацию, чтобы искать для нее аналогии на основе опыта, чаще всего при помощи аналогии с достаточно хорошо известными сходными явлениями и процессами, и способен, опираясь на референтную ситуацию, установить основные черты, дающие основание говорить о совпадении направления развития событий.

Аналогия – более рациональный процесс, чем экстраполяция. Ни одна процедура не кажется более естественной, чем поиск аналогий*.

*Данный метод раньше часто использовался при прогнозе погоды: по состоянию температуры, влажности и давления в настоящем искался аналогичный день в прошлом и проецировался на дальнейшее развитие для будущего состояния в настоящем.

Фактографические методы

Фактографические методы (экстраполяция, трендовая модель, тренд-анализ, интерполяция, моделирование, математическое моделирование, сценарии, эксперименты, «прогнозы до абсурда», имитации, графы, матрицы, подборки показателей, графические изображения)основаны на экстраполяции в будущее тенденций, закономерности развития которых в прошлом и настоящем хорошо известны.

Модель – это заместитель объекта-оригинала, обеспечивающий изучение только некоторых свойств оригинала, но способный замещать оригинал таким образом, что изучение поведения модели в новых условиях дает новую информацию об объекте-оригинале.

Моделирование – это процесс получения информации об объекте-оригинале путем проведения экспериментов с его моделью в заданных внешних условиях; построение поисковых и нормативных моделей с учетом вероятного или желательного (не желательного) изменения прогнозируемого объекта на период упреждения прогноза по имеющимся прямым или косвенным данным о масштабах и направлениях изменений.

Трендовая модель (или математическое моделирование) предполагает постоянное подобное развитие системы («как развивалась до этого, так и будет дальше»).

Эксперимент («пост-фактум») — свершившееся нововведение, которое условно рассматривается «задним числом» как проведенный эксперимент.

Сценариидают возможность четко формулировать и сопоставлять между собой различные вероятные или желательные перспективы развития.

«Прогнозы до абсурда» используются для выявления возможных кризисов и катастроф раньше, чем эти кризисы реально наступят (перенаселение мира, смертность от СПИДа и наркомании). Это действенный способ своевременной мобилизации ресурсов.

Экспертиза

Экспертиза — итоговое суждение эксперта (или группы экспертов, населения) о динамике показателей анализируемого объекта или об альтернативных вариантах их возможного развития в будущем, которое: объективно, научно обосновано, вероятностно по природе, корректируемо в рамках прогнозного периода по мере поступления новой информации, верифицируемо после завершения прогнозного периода, должно быть четким, ясным, не допускать неожиданных толкований, строго соответствовать заданию на прогноз, быть доказательным и воспроизводимым.

Начало методу экспертизы положила книга Трилла «Наука об управлении» (1911). В России наука об экспертизе начала развиваться с 1950-1960 гг.

Метод используется при неопределенности. Экспертиза–это предположение: что надо сделать, чтобы было «то-то»; или «что будет, если…».

Эксперт – носитель специальных знаний и/или практического опыта, а также представитель групп интересов или организаций, который:

v имеет или дает объективные и полные сведения об особенностях и свойствах внешнего объекта и/или рекомендации относительно предпочтительных вариантов управленческих решений, касающихся этого объекта;

v обладает совокупностью сбалансированных прав и обязанностей, а также несет ответственность за свое экспертное заключение;

v включен в процесс принятия решений и участвует в научном обосновании этих решений;

v независимо от внешних влияний и собственной выгоды высказывает суждения по поставленным перед ним вопросам из области его специальных знаний и/или практического опыта.

Для работы необходимо не менее двух прямо или косвенно взаимодействующих экспертов.

В экспертизе используются методы: экспертные методы, анкетирование, интервьюирование, метод мозговой атаки (штурма), метод контрольных вопросов, метод аналитических докладных записок, метод лицом к лицу, метод ситуационного анализа, метод суда, метод «комиссий» («круглого стола»), «дельфийская техника» (метод «Дельфи»).

Экспертные оценки разделяются на индивидуальные и коллективные.

Экспертные методы(оценки) –очный или заочный, индивидуальный или коллективный опрос экспертов (или населения) при разработке прогноза. Методы экспертных оценок основываются на рациональных доводах и на интуитивных знаниях экспертов.

Опрос,как правило, проводится анонимно через интервьюирование и анкетирование, как одного человека (эксперта), так и коллектива (экспертов, населения).

Опрос населения в практике прогнозирования применяются сравнительно редко.

Опрос экспертовсложный коллективный опрос. Проходит в несколько туров (для усовершенствования интуитивного мышления). Экспертные модели описывают (творчески, неформально, но в рамках определенных правил) процедуры функционирования в виде процесса, специальных формул и алгоритмов. Это может быть коллективная генерация идей ученых-экспертов, которую можно отнести к субъективным методам.

Анкетирование – один из разновидностей опроса. Это социологический метод, содержание которого состоит в опросе группы лиц с целью выявить их словесное одобрение или неодобрение, согласие или несогласие по поводу ряда вопросов или стандартных предложений, представленных в анкете.

Метод анкетных опросов не связанных друг с другом людей с последующей статистической обработкой полученных оценок.

Метод «интервью» предполагает беседу организатора прогнозной деятельности с экспертом путем постановки вопросов о будущем состоянии объекта прогнозирования и его прогнозного фона.

Метод«комиссий» («круглого стола»)—группа экспертов многократно собирается для открытого обсуждения одного и того же вопроса. В нем организатор экспертизы не руководит обсуждением, а лишь обеспечивает активную работу каждого эксперта. Метод оперативен, но существует опасность взаимного влияния мнений экспертов, особенно мнений признанных авторитетов в данной области исследований.

Метод составления сценариев – описание будущего составляется с учетом правдоподобных предположений о нескольких вариантах будущего состояния прогнозного фона и введения в анализ разрушительных событий (например, катастроф).

Метод аналитических докладных записок – самостоятельная работа эксперта над анализом динамики объекта прогнозирования и возможных путях его развития.

Метод «мозговых атак» —основывается на коллективной генерации идей, высказываемых спонтанно участниками различных профессий и специализаций.

Метод «Дельфи»получил своеназвание по имени греческого античного города Дельфи, где проживали известные дельфийские оракулы. Метод является дальнейшим развитием методов анкетного опроса и состоит из несколько туров последовательного анонимного анкетирования экспертов с обратной связью. Обратная связь осуществляется за счет того, что перед каждым последующим туром опроса экспертам сообщают обобщенные результаты предыдущего тура. Число туров определяется или требуемым уровнем точности, или установленной степенью детализации проблемы. Дельфийская процедура использует только числа.

Основные цели экспертизы:

v повышение обоснованности принимаемых решений на основе заключений экспертов;

v контроль соблюдения соответствия и/или установления соответствия между характеристиками объекта экспертизы и требованиями, предусмотренными нормативными, нормативно- правовыми и законодательными документами различных уровней.

Экспертные методы прогнозирования наиболее востребованы, они хорошо работают на большие периоды и являются основными для долгосрочного прогноза. Для краткосрочного прогноза экспертные прогнозы не подходят (особенно в экономике). В экономике наиболее приемлемы экономико-математические методы, так как они работают по принципу инерционности.

Технология экспертного прогнозирования (ТЭП).Необходимо представить технологию экспертного прогнозирования как систему, т.е. как некоторое единство элементов связанных в целое некоторыми отношениями (в частном случае – взаимодействиями). Кроме того, необходимо выявить системно-образующие элементы и возможности их преобразования в системно-составляющие.

Системность, таким образом, будет реализовываться в двушаговом подборе элементов технологии получения экспертного заключения. На первом шаге разработки прогноза необходимо из нескольких множеств элементов технологии, рассматриваемой как системы и обладающих «системозначимыми» свойствами, выделить их подмножества. На втором шаге из этих подмножеств выбираются элементы, обладающие «системоопределенными» свойствами.

Три основных условия подбора элементов и выделения подмножеств:

1. Специфика рассматриваемого объекта или процесса;

2. Ограничения разного рода:

• финансовые (оплата всей работы, независимых экспертов);

• кадровые (возможности подбора экспертов, организаторов прогноза, прогнозистов);

• временные (период, необходимый для организации и проведения прогноза);

3. Уровень понимания проблемы Лица Принимающего Решение (ЛПР) и Заказчика и их цели.

Основными системно-образующими элементами ТЭП являются:

1. Способы формирования экспертных групп (взаимных рекомендаций, снежного кома и другие);

2. Критерии отбора специалиста в экспертную группу;

3. Способы опроса экспертов (в частности, анкетирование, интервьюирование);

4. Простейшие виды экспертных оценок, (включая вербальные, балльные, интервальные, числовые;

5. Основные принципы проведения экспертизы.

6. Алгоритмические операции и процедуры, позволяющие получать выбранный вид экспертной оценки. Например, методы классификации, множественных сравнений или три группы методов получения количественных оценок субъективной вероятности;

7. Простейшие процедуры и методы организации деятельности экспертных групп, позволяющие получить новые знания от экспертов (например, «мозговая атака» или метод«Дельфи»);

8. Виды показателя ошибки для апостериорной оценки качества экспертного заключения (такие, например, как ? (x, y) = ?x – y ?, где х – оценка эксперта, у- истинное значение).

Математические методы.

Математическая модель– модель объекта, описанная в виде математических соотношений между математическими понятиями.

Для описания математических моделей сложных объектов используются следующие разделы математики:

· теория функций (детерминированные модели),

· математическая статистика (вероятностные модели),

· теория нечетких множеств (модели на основе нечетких суждений экспертов),

· теория нелинейных уравнений (квазидетерминированные модели на базе теорий управляемого хаоса, теории катастроф, синергетики – науки о самоорганизации систем и фрактального анализа).

Виды математических методовпрогнозирования:корреляционный анализ, регрессионный анализ, факторный анализ, распознавание образов, вариационное исчисление, спектральный анализ, цепи Маркова, алгебра логики, теория игр и др.

Статистический метод(экстраполяция и интерполирование; математический анализ; математическая статистика, аналитическое моделирование) —это метод прогнозирования временных рядов на перспективу, он предполагает экстраполяцию(линейное развитие во времени)иинтерполирование в будущее (выявление промежуточного значения двумя известными моментами процесса) –этоусловное продолжение в будущее наблюдаемых объектов (тенденций, закономерности развития которых в прошлом и настоящем достаточно хорошо известны). Построение динамических рядов развития показателей прогнозируемого явления на протяжении периодов основания прогноза в прошлом и упреждения прогноза в будущем (ретроспекции и проспекции прогнозных разработок).

Статистическийпрогноз – это статистическое описание будущих значений исследуемого показателя (переменной). Данный прогноз подразделяется на краткосрочные (на один интервал наблюдения вперед), среднесрочные (на срок до пяти интервалов) и долгосрочные (более пяти интервалов). Различают точечный (представляется единственным значением) и интервальный(задается двумя числами – нижней и верхней границей интервала) статистический прогноз.

Разновидностистатистическогометода:

– математическая статистика — использование динамических рядов характеристик объекта;

– математический анализ — использует экстраполяцию, т.е. линейное развитие во времени.

Условия для использования данного метода. При построении прогноза динамики какой-либо системы по данному методу необходимо получение полного описания всех ее параметров, а также их взаимосвязи и зависимости от внешних для системы факторов.

Аналитическое (математическое) моделирование работает в том случае, если есть модель развития (например, в виде плана). При этом статистические данные, которые используются должны носить правдивый характер, и не подчиняться желаниям правящих кругов.

Достоинство метода. Математическая статистика имеет наиболее мощное программное обеспечение, в которое входят такие известные прикладные программы, как Excel, Statgraphics, Stadia и др.

Недостатками статистического метода является:

· приводит к абстрактным схемам, малосогласованным с физикой явления,

· не объясняет причин событий,

· дает краткосрочный прогноз,

· не обладают высокой достоверностью и устойчивостью,

· обладает излишней точностью (это связано с тем, что статистика имеет дело с совокупностью, а не с отдельными единицами. А в совокупности признак варьирует),

· имеет логическую ошибку. Она допускается в том случае, когда упускается из виду, что, используется статистический метод при решении конкретных задач в экономике, биологии, метеорологии, физике и др., а статистические данные – это просто исходная информация для устранения закономерностей соответствующей наукой.

Метод подразумевает, что закономерность — есть единообразие хода событий, поэтому его можно использовать, когда есть устойчивость развития или четкая повторяемость. Роль статистики в данном случае вспомогательная. Статистика не устанавливает законы, а подсказывает, где их искать; не дает рецепт разрешения той или иной проблемы, а подводит к возможному исходному пункту ее решения. Статистические данные надо интерпретировать, а это функция предметной науки.

Трендовая модель одного цикла строится на истинном течении данного прогнозируемого процесса и работает (дает хороший прогноз) не более, чем на 10 лет (если есть история стабильного развития данного процесса.

Примером статистического метода, вероятно, могут служить законы развития цикла. Все циклы делится на 2 периода (подъем и спад) в пропорции «золотого сечения». И примеров «золотой пропорции» множество. Например, протекание 11-летнего цикла солнечной активности; экономический закон деления прибыли (32% общие налоги + 68% зарплата работнику) и т.д.

Сценарный метод

Сценарный метод прогнозирования («метод сценария»). Это один из самых старых методов. Он дает возможность получения не только общих данных представления о будущей ситуации, в которой будет находиться прогнозируемый объект, но и устанавливает возможность изменения этой ситуации в желаемом для него направлении. В конкретных задачах прогнозирования необходимо провести классификацию рисков, поставить задачу оценивания конкретного риска, провести структуризацию риска, в частности, построить «деревья причин» (в другой терминологии, «деревья отказов») и «деревья последствий» («деревья событий»).

Разработку сценарного прогноза выполняют в тех случаях, когда прогноз невозможно или нецелесообразно выполнить статистическими методами или использованием специальных экономико-математических моделей.

Достоинство метода – дает возможность управлять будущем.

Причинно-следственный метод

Римский клуб пришел к выводу, что «Если рассматривать действительно критические моменты современности…, то обнаруживается невозможность рассматривать их изолированно. Даже при беглом ознакомлении бросается в глаза связь между проблемами». Все опасности взаимосвязаны, и их можно преодолеть только в совокупности. Большинство новых идей в действительности не что иное, как установление связи между двумя и более известными фактами.

В причинно-следственный методе закономерность воспринимается как результат взаимодействия большого числа элементарных явлений (фона), рассматриваемых как реальная совокупность. Метод основан на нахождении причины, которая продолжает действовать, а затем определяется ее основной эффект.

Общий прогноз состоит из нескольких составляющих:

· первичных (космических),

· производных(звездно-солнечно-лунно-земных связей),

· самостоятельных компонентов(земных сфер).

В свою очередь космические воздействия в основном состоят из: галактических, солнечных(солнечная активность и солнечно-земные связи), лунных, падения космического вещества.

Универсальное прогнозированиеновое направление в долгосрочном прогнозировании, оно объединяет два направления: астрономические прогнозы по солнечной геомагнитной активности (СА) и солнечно-земные связи (разработанные А.Л.Чижевским).

Для примера рассмотрим воздействия магнитных бурь (индекс Kp) разной силы.

Магнитные бури уровня G5 (экстремально сильные бури):

Воздействие на энергетические системы:возможны разрушения энергетических систем и повреждения трансформаторов Воздействие на космические аппараты:обширный поверхностный заряд, проблемы с ориентацией, связью и слежением за космическими кораблями Воздействие на наземные системы:токи через трубопроводы достигают сотен ампер, один или два дня невозможна высокочастотная связь во многих района, ухудшение точности спутниковых систем навигации, низкочастотная радио-навигация выходит из строя на несколько часов, полярные сияния видны вплоть до экватора. Частота бурь:от 4 до 6 бурь уровня G5 за 11-летний цикл активности Солнца (в среднем 1 буря за 2-3 года). Соответствующее значение индекса Kp:Kp = 9

Магнитные буриуровня G4 (очень сильные бури):

Воздействие на энергетические системы:возможны проблемы со стабильностью напряжения, частичные разрушения энергетических систем и отключение защитных систем Воздействие на космические аппараты:поверхностный заряд и проблемы слежения и ориентации, необходима коррекция Воздействие на наземные системы:наведенные токи в трубопроводах требуют мер защиты, спорадическое прохождение ВЧ радиоволн, ухудшение спутниковой навигации на несколько часов, отказ низкочастотной радионавигации, и полярные сияния видны до тропиков Частота бурь:около 100 бурь уровня G4 за 11-летний цикл активности Солнца (в среднем 1 буря за 1.5-2 месяца; приблизительно 60 штормовых дней за 11 лет). Соответствующее значение индекса Kp:Kp = 8

Магнитные буриуровня G3 (сильные бури):

Воздействие на энергетические системы:неoбходима коррекция напряжения, ложные срабатывания систем защиты и высокий «газ в масле» в масляных трансформаторах Воздействие на космические аппараты:поверхностный заряд на элементах космических аппратов, увеличение сноса аппарата с орбиты, проблемы ориентации Воздействие на наземные системы:перерывы в спутниковой навигации и проблемы низкочастотной радионавигации, прерывания ВЧ радиосвязи, полярные сияния видны до средних широт. Частота бурь:около 200 бурь уровня G3 за 11-летний цикл активности Солнца (в среднем 1 буря каждые 2-3 недели; приблизительно 130 штормовых дней за 11 лет). Соответствующее значение индекса Kp:Kp = 7

Магнитные буриуровня G2 (умеренные бури):

Воздействие на энергетические системы:воздействуют на энергетические системы, расположенные на высоких широтах Воздействие на космические аппараты:необходимы корректирующие действия с центров управления; отличия от прогнозируемого орбитального сноса космических аппаратов Воздействие на наземные системы:ухудшение распространения ВЧ радиоволн на высоких широтах, полярные сияния видны до широты 50 градусов Частота бурь:около 600 бурь уровня G2 за 11-летний цикл активности Солнца (в среднем 1 буря в неделю; приблизительно 360 штормовых дней за 11 лет). Соответствующее значение индекса Kp:Kp = 6

Магнитные буриуровня G1 (слабые бури):

Воздействие на энергетические системы:слабые флуктуации в энергетических системах Воздействие на космические аппараты:небольшие влияния на системы управления космическими аппаратами Воздействие на наземные системы:полярные сияния видны на высоких широтах (до 60 градусов); влияние на начало миграций животных. Частота бурь:около 1700 бурь уровня G1 за 11-летний цикл активности Солнца (в среднем 1 буря за 2-3 дня; приблизительно 600 штормовых дней за 11 лет). Соответствующее значение индекса Kp:Kp = 5

Достоинство причинно-следственного метода: дает возможность выйти напрогнозирование катастроф,так как замечено, что глубина нарушения равновесия (продолжительность кризисов, катастроф) прямопропорциональна продолжительности цикла СА. Метод прост, он подобен принципу «бритвы Окама», который гласит: «если даны следствия и ряд возможных причин, то наиболее вероятной истинной причиной будет простейшая».

Недостаткипричинно-следственногометода. По мнению И.В.Бестужева-Лады практическое применение причинно-следственного метода для некоторых направлений может оказаться глубоко ошибочным. Так, например, причинно-следственные связи в социальной жизни не отличаются простотой и ясностью.



infonko.ru/erik-polozhil-ruki-na-plechi-grafa.html infonko.ru/erikson-erikson-erik-gomburger-1902-1994.html infonko.ru/eriksonovskie-rechevie-oboroti.html infonko.ru/erik-vzdohnul-shvatil-devida-rukoj-za-shkirku-i-s-razmahu-shvirnul-v-storonu-dverej-malogo-zala-devid-vletel-v-dveri-i-upal-blagodarya-mramornomu-polu-prokatilsya-pryamo-do-kronprinca.html infonko.ru/eritremiya-istinnaya-policitemiya.html infonko.ru/eritremiya-soprovozhdaetsya-sushestvennimi-izmeneniyami-v-kostnom-mozge-perifericheskoj-krovi-narusheniyami-funkcij-sss-i-drugih-sistem.html infonko.ru/eritrociti-stroenie-kolichestvo-funkcii-gemoliz-i-ego-vidi-soe-cvetovoj-pokazatel-regulyaciya-eritropoeza.html infonko.ru/eritrociti-stroenie-kolichestvo-funkcij-gemoglobin-kolichestvo-ego-vidi-soedineniya-i-ih-fiziologicheskoe-znachenie.html infonko.ru/eritrocitov-i-agglyutininov-plazmi.html infonko.ru/eritropoetin-i-drugie-stimulyatori-krovetvoreniya.html infonko.ru/er-metod-normalzac-vdnoshen.html infonko.ru/ermitazh-kak-sokrovishnica-nacionalnoj-i-mirovoj-kulturi.html infonko.ru/ernest-holms-skazal-chto-nam-budet-dano-bolshe-sveta-po-mere-togo-kak-mi-budem-ispolzovat-tot-chto-u-nas-uzhe-est-s-etim-li-svyazana-vtoraya-volna-budet-bolshe-sveta.html infonko.ru/ernestina-prervala-ego-legkim-vozglasom-negodovaniya-ved-eto-bil-plagiat.html infonko.ru/ern-vladimir-francevich-1882-1917.html infonko.ru/eroticheskie-obrazi-i-seksualnie-fantazii.html infonko.ru/eroticheskie-znamenitosti-ada.html infonko.ru/erozya-gruntv-zahodi-borotbi.html infonko.ru/er-steckte-ihn-an-ihren-finger-und-sagte-ich-borge-ihn-dir-bis-auf-weiteres.html infonko.ru/ervichnie-dokumenti-po-uchetu-osnovnih-sredstv.html