Рис.1 Схема сети ННЦ.
Сеть Интернет Новосибирского научного центра
Баранов С.А., Белов С.Д., Бредихин С.В., Ковалев С.П., Кулагин С.А., Мушер С.Л., Никульцев В.С., Скринский А.Н., Шабальников И.В., Шокин Ю.И., Щербакова Н.Г., Феофанов А.В.
Статья опубликована в журнале
Информационные технологии и вычислительные системы
1997, - N 2.
Аннотация
В статье рассматриваеются вопросы проектирования и реализации крупномасштабной сети передачи данных Новосибирского научного центра. Основное внимание сосредоточено на сетевых технологиях и организации каналов внешней связи. В заключении сформулированы основные результаты, определены проблемы эксплуатации и перспективы дальнейшего развития сети.
В 1995-1996 гг. в Сибирском отделении РАН проведены работы по реализации проекта "Сеть Интернет Новосибирского научного центра".
Цель Проекта - создание сети Интернет Новосибирского научного центра (ННЦ) и обеспечение равного доступа к ресурсам российского и глобального Интернета для пользователей из исследовательских, образовательных и культурных сообществ Новосибирска. Совокупность институтов Академгородка представляется при этом базовым структурным элементом создаваемой сети.
Проект является коллективным. Во-первых, он выполняется совместно Сибирским отделением РАН, Российским фондом фундаментальных исследований, фондом Сороса и INTAS; ресурсы этих организаций объединены для осуществления Проекта. Во-вторых, в создании сети участвуют специалисты из различных организаций Академгородка. Наконец, все учреждения ННЦ, поддерживающие этот Проект, имеют равные возможности для интеграции своих локальных сетей в "Сеть Интернет ННЦ".
Совместная деятельность по реализации проекта регламентируется "Протоколом о намерениях" и "Договором о совместной деятельности по осуществлению Проекта". Основными вкладами сторон являются:
Для управления работами по реализации Проекта и координации действий организованы "Совет по управлению" и "Технический комитет".
В феврале 1993 г. Фонд Сороса обьявил о "Программе по развитию телекоммуникаций" для научных сообществ бывшего СССР. В основу этой программы были положены четыре основных цели:
В июле 1993 г. инициативная группа специалистов СО РАН подготовила заявку на участие в программе. В мае 1994 г. был разработан проект "Akademgorodok Internet Project" (см. http://www.nsc.ru/), который в июле того же года прошел международную экспертизу. Исполнительный комитет Международного Научного Фонда одобрил проект и выделил 500,000 USD на его реализацию.
В 1995-1996 гг. коллективом исполнителей были выполнены работы по реализации Проекта "Сеть Интернет ННЦ". В результате была построена сеть передачи данных, которая получила название NSCnet (Novosibirsk Scientific Center Network).
Основная часть работ 1995-1996 гг.
завершена. Проект находится в развитии:
в настоящее время главное внимание сосредоточивается на решении
эксплуатационных вопросов и проблемах расширения.
Сеть Интернет ННЦ объединяет существующие локальные сети институтов и организаций ННЦ. Для участия в Проекте организация должна иметь действующую локальную сеть, использующую протоколы TCP/IP, и выделенную линию связи с центральным узлом маршрутизации. Внутреннее устройство и дальнейшее развитие этих локальных сетей в рамках настоящего Проекта не рассматривается.
Сеть Интернет ННЦ соединяется с российским и глобальным Интернетом посредством канала спутниковой связи. Наземная станция космической связи подключается к сети таким образом, чтобы, наряду с обеспечением эффективной передачи данных, гарантировать равноправный доступ всех пользователей к каналу внешней связи.
Сеть предоставляет полный спектр услуг Интернета своим абонентам. С ее помощью пользователи получают интерактивный доступ в режиме реального времени к любому узлу Интернета, файловым серверам, базам данных и произвольным высокоуровневым сетевым службам.
Для непрерывного бесперебойного функционирования сети предусмотрены следующие мероприятия:
Локальная инфраструктура ННЦ базируется на существующей кабельной сети, имеющей звездообразную топологию с центральным узлом, расположенным в Институте вычислительных технологий СО РАН. Следует отметить, что использование существующей кабельной сети существенно снизило общую стоимость Проекта.
На сегодняшний день система линейных кабельных сооружений ННЦ представляет собой комплекс, состоящий более чем из 200 колодцев, связанных между собой кабельными каналами. Общая протяженность проложенных кабелей оценивается в 40 км. В качестве основных физических линий, обеспечивающих связь между зданиями институтов и подразделений СО РАН, используется два типа кабеля: высокочастотный кабель ЗКП и телефонные кабели типа ТФ-ОП различной емкости.
Проведенные к середине 1995 г. работы по восстановлению кабельных каналов и прокладке новых трасс позволили обеспечить подключение более 20 институтов СО РАН к центральному узлу маршрутизации по широкополосным каналам с пропускной способностью 2 Мбит/с. Применение технологии HDSL на кабельных трассах ТФ-ОП по двух- и четырехпроводным соединениям обеспечивает передачу данных со скоростью до 2 Мбит/с на расстояние до 7 км. Такие линии проложены практически до каждой организации ННЦ (см. Рис. 1).
Рис.1 Схема сети ННЦ.
В ноябре 1995 г. в рамках программы INTAS на территории ИЯФ СО РАН была установлена станция спутниковой связи, обеспечивающая выход в глобальный Интернет.
В первой половине 1996 г. был построен и запущен в эксплуатацию радиорелейный канал на базе "Эриком-11" между центральным узлом сети и зданием ГПНТБ СО РАН, расположенным в 20 км от Академгородка. Пропускная способность этого канала составляет 2 Мбит/с.
В сентябре 1996 г. был запущен в эксплуатацию канал передачи данных с емкостью 2 Мбит/с на основе технологии Frame Relay, соединивший центральный узел сети с телефонной станцией АТС-23, расположенной в центре г. Новосибирска.
Учитывая потребности удаленных организаций, не имеющих в настоящее время подключения к кабельной сети ННЦ, и необходимость доступа к ресурсам сети отдельных пользователей, были арендованы коммутируемые линии городской телефонной сети и организована служба Dial-Up. Подключения к сети по такой технологии обеспечивают пропускную способность до 28.8 Кбит/с.
Общая структура каналов сети NSCnet, сложившаяся на конец 1996 г., приведена на Рис. 2.
Рис.2 Общая схема каналов сети ННЦ.
Оборудование центрального маршрутизационного узла объединено технологической локальной сетью. В состав узла входят:
В настоящее время центральный узел маршрутизации обеспечивает подключение 24 каналов E1, 16 коммутируемых телефонных линий и 7 Ethernet-портов.
Рис. 3. Центральный узел маршрутизации.
4.3. Система спутниковой связи
Для подключения к глобальному Интернету используется спутниковая система, обеспечивающая канал передачи данных Новосибирск-Гамбург. Система работает в C-диапазоне с российским спутником "Радуга-35", оснащена антенной диаметром 4.8 м и передатчиком мощностью до 40 Вт, что позволяет увеличивать емкость канала до 2 Мбит/с.
Рис. 4. Спутниковая антена.
В системе используется два маршрутизатора фирмы Cisco Systems. Спутниковый модем подключен к маршрутизатору Cisco-2501, принадлежащему автономной системе провайдера канала (Radio-MSU). Маршрутизатор управляется совместно персоналом Проекта и Провайдера. Второй маршрутизатор (Cisco-4000M) используется для подключения сетей Проекта к выделенному сегменту локальной сети ИЯФ СО РАН и управляется персоналом Проекта. Этот маршрутизатор связан с центральным узлом сети NSCNet двумя каналами Е1.
При проектировании системы доступа к спутниковому каналу специальное внимание было уделено получению устойчивой системы, малозависящей от существующих в локальной сети ИЯФ СО РАН потоков данных. Для этого сегмент локальной сети, пропускающий внешний трафик Проекта, был максимально изолирован от основной локальной сети Института с помощью коммутатора Ethernet. На этом сегменте были оставлены только необходимые для поддержания функционирования системы подключения. Ограничение трафика в выделенном сегменте только внешним трафиком позволило заметно снизить количество коллизий в сети и количество ошибочных пакетов.
Система сбора и анализа статистики внешнего трафика Проекта реализована на рабочей станции, подключенной к выделенному сегменту локальной сети ИЯФ СО РАН. Статистика собирается в виде почасовых отчетов, включающих адреса машин и порты/протоколы, содержащиеся в каждом передаваемом/принимаемом пакете. Ежемесячный объем собираемых статистических данных превышает 50 Мбайт.
В настоящее время используется асимметричная конфигурация канала: 320 Кбит/с для приема информации и 128 Кбит/с для передачи. Загрузка канала близка к максимальной, достигая 98% полной емкости в рабочее время. Средний трафик превышает 2.5 Гбайт в сутки.
Со стороны коллективных абонентов, на уровне локальной сети организации, предусматриваются типовые схемы подключения к центральному узлу в зависимости от развитости локальной сети и количества ее узлов. В построенной звездообразной структуре на каждом ее луче может быть подключено нескольких организаций. Далее приводятся типовые конфигурации:
Адресное пространство Сети Интернет ННЦ состоит из адресных блоков, выделявшихся отдельным организациям Академгородка при построении их локальных сетей до начала Проекта, и единого блока адресов, зарезервированного для подключения новых организаций. В соответствии со сложившейся практикой использования адресного пространства при подключении новой локальной сети может возникнуть необходимость возврата ранее использовавшихся в этой сети адресов прежнему провайдеру. В этом случае и в случае, когда организация не располагала официальными адресами прежде, ей выделяется необходимый диапазон адресов из резервного блока.
Все эти сети объединены в автономную систему AS5387, зарегистрированную в июне 1995 г. Анонсирование этой автономной системы в глобальный Интернет осуществляется через автономную систему ИЯФ СО РАН (AS5402) и автономную систему IP-провайдера Radio-MSU (AS2683).
Летом 1995 г. зарегистрирован сетевой домен nsc.ru. Организации, участвующие в Проекте, имеют возможность регистрировать свои сетевые имена в рамках этого домена. Именной сервер домена nsc.ru может использоваться в качестве вторичного именного сервера для организаций-участников.
Технология маршрутизации.
Cовокупность сетей, обменивающихся
маршрутизационной информацией при помощи некоторого внутреннего
протокола, поддерживаемого только в ее пределах, именуется
маршрутизационным доменом. Маршрутизаторы домена делятся на три
группы: центральные - образующие контроллер домена, периферийные
и внешние. Любой периферийный маршрутизатор подключается к
какому-либо маршрутизатору контроллера непосредственно или через
промежуточные периферийные маршрутизаторы.
В контроллере домена осуществляется взаимно согласованный обмен информацией, получаемой от периферийных и внешних маршрутизаторов. Маршрутизаторы контроллера могут производить фильтрацию этой информации. Кроме того, ими контролируется информация, выдаваемая внешним партнерам, с целью обеспечения целостности и непротиворечивости представления о домене, формирующегося в Интернете.
Периферийные маршрутизаторы собирают информацию о маршрутах в контролируемых ими сетях, преобразуют ее в формат внутридоменного протокола и пересылают ее маршрутизаторам контроллера. В свою очередь периферийный маршрутизатор получает от контроллера только маршрут по умолчанию (default route) на один из соединенных с ним маршрутизаторов контроллера.
Внешние маршрутизаторы поддерживают связь с внешними партнерами домена. Они получают подлежащую экспорту информацию из контроллера домена при помощи какого-либо внешнего протокола маршрутизации и передают ее партнеру без дальнейших изменений. Получаемую от партнера информацию они, также без изменений, передают в контроллер.
Внутренняя маршрутизационная структура сети базируется на протоколе IGRP, образующем маршрутизационный домен сети. Для периферийных сетей, не имеющих транзитных подключений к другим организациям, применяется статическая схема маршрутизации. Для сетей, подключенных к центральному узлу через Ethernet, обмен маршрутами осуществляется по протоколу RIP. Отдельная подсеть выделена для транспорта IP через Frame Relay.
В точках соединения сети с внешними партнерами функционирует маршрутизационный протокол BGP, обеспечивающий согласованную картину сети. В настоящее время внешними партнерами являются AS5402 (ИЯФ СО РАН), AS2118 (АО Relcom), представляемый IP-провайдером НТП "Инфотека" и AS3267 (RUNNet, Russian Federal University Network), представляемый Новосибирским государственным университетом.
Рис. 5. Центр управления сетью ННЦ.
В центре управления сетью (ЦУС) установлены несколько рабочих станций, объединенных технологической локальной сетью с центральным узлом маршрутизации. Система управления предоставляет администратору сети следующие возможности:
В центре управления постоянно ведется сбор информации о неисправностях и изменениях в сети с фиксацией результатов в виде отчетов, что позволяет отслеживать общую картину функционирования сети.
Центр оснащен комплектом компьютерного оборудования, в состав которого входят:
NSCnet имеет набор современных технологических и информационных сетевых служб. Станции-серверы этих служб представляют собой модификации Sun SparcStation с различными версиями операционной системы SunOS/Solaris. Ниже приводится список этих станций и краткая характеристика выполняемых ими задач:
В мае 1996 г. был произведен перевод proxy-сервера на новый компьютер Netra (SUN) с объемом дискового кэша 2.5 Гбайт. Использование этой программной системы позволяет экономить до 30% международного WWW-трафика. Ежесуточно через proxy-сервер проходит порядка 1 Гбайт информации.
Все серверы связаны общей шиной Ethernet с технологической локальной сетью.
Для доступа к NSCnet по коммутируемым телефонным линиям городской телефонной сети организована служба Dial-Up, которая базируется на сервере доступа (access server), модемном пуле и УАТС CORAL II. Регистрация абонентов (выделение IP-адреса, присвоение идентификатора и пароля) производится Администрацией сети. Доступ к сети осуществляется по протоколам PPP и SLIP.
В качестве сервера доступа выступает маршрутизатор Cisco 2511, сконфигурированный на использование протокола TACACS+ для осуществления контроля доступа к сети через коммутируемые линии. В модемный пул входит 16 устройств Motorola 3267, обеспечивающих скорость передачи данных до 28.8 Кбит/с, поддерживающих протокол модуляции V.34 и протокол коррекции ошибок V.42.
Управление и контроль за состоянием службы Dial-Up выполняется с помощью:
В настоящее время существует ограничение на число клиентов службы Dial-Up, которое определяется количеством арендованных телефонных линий связи.
Интернет растет и одновременно быстро из-меняется. Новые программные средства, новые инструменты за год-полтора проходят путь от исследовательской разработки до широкого внедрения. На рынок каждые несколько месяцев выбрасываются новые продукты. Новые организации и группы пользователей подключаются к компьютерным сетям, и им необходимо обучение сетевому менеджменту, маршрутизационной политике, критериям выбора провайдеров, мультимедиа технологиям, приемам и технике теле- и видеоконференций. Для этого в 1996 г. в сотрудничестве с отделением информатики Новосибирского государственного университета и при содействии Института автоматики СО РАН был создан Центр обучения Интернетовским технологиям.
Оборудование центра состоит из 12 рабочих сетевых мест на базе Pentium 100, серверы на базе SUN SparcStation 5 и рабочей станции Silicon Graphics Indy Web Force. Коннективность ITC с центральным узлом сети NSCnet обеспечивается выделенным каналом E1. В состав телекоммуникационного оборудования входят два маршрутизатора Cisco, модемы и концентраторы. В Учебном центре установлен мультимедийный проектор 3М 8250 и другое проекционное оборудование. Учебный центр также оснащен высококачественной звуковой аппаратурой и видеокамерами для проведения телеконференций и дистанционного обучения.
5.2. Технология обучения
В настоящее время приняты две базовые формы обучения:
В Учебном центре ведется разработка новых форм обучения, рассчитанных на индивидуальное обучение. Основное отличие от известных форм заключается, во-первых, в создании Web-ориентированных учебных курсов, заданий и блоков упражнений. Во-вторых, при использовании Интернетовских инструментов для обучения каждый учащийся может выбрать подходящий ему темп освоения учебного материала и, при необходимости, использовать систему ссылок на учебные или методические материалы, книги. По мере усвоения материала учащийся может выбирать задания повышающейся сложности.
В ближайших планах Учебного центра также "обучение в реальном времени" с помощью проведения лекций в ходе телеконференций или во время специально организованных распределенных событий с участием известных ученых в области информационных технологий.
В осеннем семестре 1996 г. разработаны и проходят апробацию следующие курсы:
В весеннем семестре 1997 г. будут проходить апробацию в учебном процессе следующие курсы:
В 1996 г. в рамках Проекта организовано Web-ателье, основной задачей которого является создание, сопровождение рабочих материалов Проекта и выполнение сопутствующих работ.
В настоящее время в Web-ателье организовано четыре рабочих места для разработки макетов страниц, новых информационных ресурсов, подготовки информации для WWW-сервера, администрирования WWW- и proxy-серверов Проекта, консультирования по вопросам разработки WWW-страниц и обучения WWW-технологиям. Все рабочие места подключены к технологической локальной сети ЦУС ННЦ.
Благодаря высококачественной графике и поставляемому с моделью компьютера WebForce специализированному программному обеспечению, рабочая станция Indy фирмы Silicon Graphics под управлением ОС IRIX 5.3. используется при подготовке всех типов информации для WWW-сервера. Активно используются мультимедийные возможности данного компьютера для обработки аудио- и видеоинформации. Данный компьютер применяется также при подготовке и проведении различных теле- и видеоконференций.
Рабочая станция OptiPlex GXMT 5133 фирмы Dell под управлением ОС Windows-95 используется для ввода графической информации с помощью сканера HP ScanJet IIP (черно-белый) и последующей ее обработки, ввода и обработки текстовой информации, администрирования серверов, цветной и черно-белой печати макетов WWW-страниц с помощью принтера Stylus Color II фирмы Epson.
Вторая аналогичная рабочая станция используется для ввода графической информации с помощью цветного сканера HP ScanJet IICx и последующей ее обработки, ввода и обработки текстовой информации и администрирования серверов.
Терминал Sparc X-terminal фирмы SUN используется в качестве рабочего места при подготовке текстовой информации, при поиске информации на различных WWW-серверах, администрировании WWW- и proxy-серверов Проекта.
В 1996 г. на этой технической базе был создан WWW-сервер (http://www.nsc.ru/), который содержит информацию о Проекте. Основные разделы сервера размещены на страницах About Project, Step by Step, Akademgorodok LANs, Information Resources, Who is Who. Сервер зарегистрирован в международных и отечественных реестрах и поисковых системах. На сервере находится и постоянно актуализируется информация о WWW- и FTP- серверах г. Новосибирска. Реализована поисковая система "Novo Search", воспользовавшись которой можно найти интересующую информацию на любом WWW-сервере г. Новосибирска. Ежемесячно сервер посещают 5000 читателей. Наиболее активны читатели из России, США и Германии.
В Новосибирском научном центре построена сеть NSCnet, объединяющая более 30 институтов СО РАН, организации культуры и просвещения г. Новосибирска, включающая на сегодняшний день свыше 2400 компьютеров. NSCnet базируется на высокоскоростной опорной сети, обеспечивающей скорость передачи данных 2 Мбит/с.
Для связи центрального узла сети с организациями, расположенными в г. Новосибирске, созданы и введены в эксплуатацию радиорелейный канал передачи данных и канал, базирующийся на технологии Frame Relay. Оба канала обеспечивают скорость передачи данных 2 Мбит/с.
Обеспечена внешняя коннективность сети NSCnet с глобальным Интернетом по спутниковому каналу Новосибирск-Гамбург. Начальная пропускная способность канала 64 Кбит/с в течение года была увеличена до 320 Кбит/с на прием и 128 Кбит/с на передачу.
Спроектирован и реализован центральный маршрутизационный узел сети NSCnet. Узел базируется на высокопроизводительных многоканальных маршрутизаторах и широкополосных групповых модемах. Разработана и смонтирована система стабильного электропитания центра управления сетью и центрального узла маршрутизации.
Введен в эксплуатацию центр управления сетью NSCnet, обеспечивающий базовые технологические функции, а также поддержку ориентированных на конечного пользователя информационных служб.
Выполнены работы по организации и администрированию сети NSCnet: зарегистрирован домен nsc.ru, получен официальный номер автономной системы и блоки официальных адресов для подключения новых сетей. Разработана рабочая схема маршрутизации в сети.
Организованы информационные серверы, реализующие набор современных информационных служб. Сервер www.nsc.ru, кроме представления собственно информации, относящейся к Проекту, выполняет функции интегрирования информационных ресурсов организаций, участвующих в Проекте.
Создан и успешно функционирует учебный центр Интернет, служащий для проведения регулярных занятий с пользователями сети, конференций, совещаний и семинаров различного уровня.
Создано Web-ателье, на базе которого проводятся работы по подготовке материалов и документов поддержки сети NSCnet, а также обучение современным технологиям эффективного представления информационных ресурсов.
Важным результатом Проекта является получение реального опыта, относящегося к построению и эксплуатации уникальной современной телекоммуникационной системы крупного масштаба.
Двухлетний опыт эксплуатации сети показал, что для ее стабильного и надежного функционирования необходимо регулярно осуществлять регламентные работы с основным оборудованием. Поскольку кабельные сооружения ННЦ были построены в 1975-1978 гг., в настоящее время постоянно требуются профилактические и ремонтные работы. В основном эти работы связаны с восстановлением разрушенных колодцев, кабельных трасс и очисткой кабельной канализации.
В отношении программного обеспечения созданная сеть также требует квалифицированного сопровождения. Во-первых, при каждом расширении Проекта (подключении новой организации, реструктуризации каналов внешней коннективности и т.д.) необходимо соответствующее изменение конфигурационных файлов маршрутизаторов, отражение изменений на рабочих схемах, тщательная проверка непротиворечивости и корректности этих изменений.
Во-вторых, как показывает опыт, сеть такого масштаба требует постоянного надзора квалифицированных специалистов, обеспечивающих диагностирование и восстановление работоспособности подсистем сети в исключительных ситуациях.
Наконец, для обнаружения и предотвращения определенных сбоев необходимо вести постоянный статистический контроль и анализ состояния систем и сетей Проекта. Эти обстоятельства диктуют необходимость формирования группы, занимающейся эксплуатацией и взаимодействием с абонентами сети на уровнях от системных администраторов до конечных пользователей.
Значительные финансовые ресурсы необходимы для оплаты арендуемых каналов. Такими каналами в настоящее время являются: спутниковый канал Новосибирск-Гамбург, Frame Relay каналы Академгородок-Новосибирск и коммутируемые телефонные линии ГТС, используемые для службы Dial-Up.
Организация наземного канала Новосибирск-Москва рассматривается как перспективная цель. Во-первых, такой канал, базируясь на федеральной коммуникационной магистрали Находка-Новосибирск-Москва, будет использован для разделения внешнего трафика и организации комбинированного канала Новосибирск-Западная Европа. В результате на таком канале могут быть получены пользовательские характеристики, соответствующие емкости спутникового канала с характерным для наземных линий временем реакции. Во-вторых, этот канал будет резервным для спутникового канала.
Предполагается, что масштаб и сфера охвата сети Интернет ННЦ будут постоянно расти. Проект предусматривает возможности такого роста.
В настоящее время рассматриваются технические возможности для подключения культурных и образовательных организаций Новосибирска. Школы, библиотеки, музеи и картинные галереи г. Новосибирска, независимые средства массовой информации, учреждения здравоохранения и образования будут подключаться к Интернету в рамках развития Проекта. Для выполнения этих планов необходимо создать узел сети NSCnet в центральной части г. Новосибирска.
Предполагается, что Проект будет расширен для подключения к сети абонентов из конструкторско-технологических институтов и опытных производств СО РАН, а также учебных заведений, расположенных в микрорайоне "Правые Чемы", Сибирских Отделений Медицинской и Сельскохозяйственной Академий и Государственного научного центра вирусологии и биотехнологии.
Данный Проект рассматривается как пилотная разработка сетевой программы СО РАН и всего Сибирского региона. В рамках Проекта в ННЦ реализуются и апробируются современные телекоммуникационные технологии. В частности, планируется создание оптоволоконной опорной сети со скоростью передачи 155 Мбит/с на базе технологии ATM.