Хорошо

​Объединение вычислительных сетей на оборудовании разных производителей Популярное

Последний ответ апр 27, 2022 14:06:50 1466 8 10 0 0

Введение

Так уж вышло, что у нас есть филиал, расположенный на расстоянии около 10 км по прямой. В силу «исторических причин», он долгое время развивался независимо, потом в нём начался масштабный проект по модернизации всех информационно-телекоммуникационных систем, который, к сожалению, не был завершён. В итоге, в этом филиале имеется набор оборудования и частично сделанная локальная вычислительная сеть, которая полноценно функционирует только в одном здании, зато здание – большое. Внутри здания расположено несколько кроссовых комнат с коммутаторами, которые соединены между собой волоконно-оптическими линиями связи.

По мере окончания реставрационных работ, в это здание начали перемещать рабочие места сотрудников филиала. Само собой, им понадобился доступ к интернету и внутренним корпоративным ресурсам. Отдаление этого объекта от границы парка создало определённые проблемы с подключением его к интернету. Некоторое время он был обеспечен только мобильным интернетом, но с ростом количества пользователей, его стало не хватать. К счастью, нам удалось осуществить прокладку волоконно-оптического кабеля от границы парка до этого здания и арендовать «тёмное волокно» между основной серверной и новым объектом. Таким образом, мы получили возможность связать две площадки в единую вычислительную сеть.

Если в Петергофе вопросов о том, что использовать в качестве точки подключения не возникло – это был коммутатор ядра Huawei S5700, то в филиале всё было не так просто. Проект из-за затянувшейся реставрации занял несколько лет, в течение которых его параметры поменялись. В начале мы планировали обеспечить связь на скорости 1 Гбит/с. В связи с имевшимися на тот момент обстоятельствами, в филиале для соединения должен был использоваться коммутатор серии Cisco Catalyst. Он же должен был стать коммутатором ядра в филиале. Постепенно запросы стали расти, и в филиале было решено развернуть резервный кластер виртуальных машин. Для обеспечения непрерывного бесперебойного зеркалирования данных, проектная скорость канала была поднята до 10 Гбит/с. Коммутаторы на обоих концах соединения филиалов поддерживали эту возможность. Сети были соединены. К моменту окончательной реализации проекта по соединению сетей, мы получили дополнительные проблемы с тем, что вся вычислительная сеть в подключаемом объекте в филиале построена на оборудовании ещё одного, уже третьего, производителя – HP.

Топология соединения локальных вычислительных сете

Топология соединения локальных вычислительных сетей

 

Переданная нам сеть в здании строилась вокруг двух коммутаторов HP 5500, соединённых друг с другом оптикой. Их можно рассматривать как агрегирующие коммутаторы. К ним подключаются коммутаторы уровня доступа, к которым подключаются непосредственно компьютеры пользователей.

Адресация филиалов

Первая проблема после объединения сетей встала с тем, что пока объект работал независимо, он использовал диапазон IP-адресов, которые нужно было сменить после объединения для их унификации. Со старыми адресами, там не менее осталась часть оборудования, на котором адреса сменить сейчас нельзя. Так как число компьютеров росло достаточно быстро, логично было настроить для них DHCP-сервер, чтобы он распределял между ними адреса. Если «в эпоху мобильного интернета» этим занимались маленькие роутеры, то теперь возлагать эту функцию на них нельзя – они недостаточно надёжны и выводятся из сети за ненадобностью. Для повышения стабильности работы сети, было решено сделать DHCP-сервером коммутатор ядра филиала, то есть коммутатор Cisco Catalyst.

Для разграничения траффика, в филиале было сделано два VLAN – для оборудования со старыми IP-адресами и для оборудования с новыми адресами. Этот подход позволил провести постепенный перевод компьютеров на новые IP-адреса с контролем их работоспособности (и перенастройкой сетевых принтеров). Задача выдачи IP-адресов стояла только в VLAN с новыми адресами. Чтобы коммутатор Cisco смог их выдавать клиентам нужно настроить его следующим образом:

  1. Для начала нужно настроить VLANы.

  2. Далее настроить интерфейсы VLAN – назначить им статические адреса. Это нужно для того, чтобы коммутатор мог маршрутизировать траффик, который через него проходит, и определял какой DHCP-пул адресов использовать для назначения адреса клиенту.

  3. Далее планируем диапазон адресов, которые должен раздавать коммутатор. В конфигурации он будет определён как IP-адрес сети и её маска. То есть в пул выдаваемых адресов по умолчанию попадают все адреса сети. Чтобы убрать из него часть адресов для устройств со статическими настройками, нужно отдельно исключить их из выдаваемых адресов.

  4. После настройки адресов-исключений нужно создать пул-адресов и настроить в нём параметры шлюза по умолчанию, DNS-сервера и имени домена.

 

Посмотрим как это выглядит в файле конфигурации:

Interface VLAN2
 ip address 192.168.0.2 255.255.255.0
 
ip dhcp excluded-address 192.168.0.0 192.168.0.50
 
ip dhcp pool PoolName
 network 192.168.0.0 255.255.255.0
 dns-server 192.168.0.1
 domain-name sample.domain
 default-router 192.168.0.1

 

Теперь нужно привязать этот VLAN и его DHCP-пул к конкретным интерфейсам. Кстати, обратите внимание, что шлюз по умолчанию в данном примере – это не сам Cisco, а другое устройство в сети. Нам нужно настроить три вида интерфейсов:

  1. Интерфейс trunk для связи с Петергофом.

  2. Интерфейс access для подключения клиентов из старой сети.

  3. Интерфейс access для подключения клиентов из новой сети.

 

Вот пример конфигурации: 

interface GigabitEthernet1/0/1
 switchport trunk encapsulation dot1q
 switchport trunk allowed vlan 2,3
 switchport mode trunk
!
interface GigabitEthernet1/0/2
 switchport access vlan 2
!
interface GigabitEthernet1/0/3
 switchport access vlan 3
!
interface TenGigabitEthernet1/1/1
 switchport trunk encapsulation dot1q
 switchport trunk allowed vlan 2,3
 switchport mode trunk

Пробное подключение

Со стороны Петергофа интерфейс настроен следующим образом: 

interface XGigabitEthernet0/1/1
 port link-type trunk
 undo port trunk allow-pass vlan 1
 port trunk allow-pass vlan 2

 

Как видно, это обычный trunk-порт. Но если вы не хотите, чтобы по нему передавался трафик из VLAN 1, то это нужно запретить явно.

После соединения всех патч-кордов, SFP+ модули начали весело мигать. Со стороны Huawei был фирменный модуль Huawei, а со стороны Cisco – модуль Fiberlay. Кстати, чтобы Cisco стал работать со сторонним SFP-модулем, нужно ввести в нём команду:

service unsupported-transceiver

 

При этом вы можете лишиться гарантии, так что это на ваш страх и риск. А мы рискнули и через какое-то время увидели весёлые мигающие огоньки, говорящие о том, что связь есть. Правда оказалось, что связи всё-таки нет – из филиала до Петергофа пакеты не доходили. Небольшое исследование показало, что связь обрывается из-за протокола обнаружения сетевых петель на стороне Cisco. Так как связь у нас идёт точно только по одному линку, то петли образоваться физически не может. Поэтому было решено отключить spanning tree protocol (STP) на Cisco – иначе он «дружить» с Huawei во время проведения тестов не захотел. Делается это следующим образом:

no spanning-tree vlan 1,2-3

 

Решение не очень элегантное, но учитывая обилие пропиетарных протоколов у Cisco, вынужденное. Как видно, STP был отключён не для конкретных интерфейсов, а полностью для коммутатора. Дело в том, что Cisco был подключён только к коммутаторам других производителей, поэтому ни один из них с ним нормально договориться не мог. У этого решения есть очевидный большой минус – если петля всё-таки возникнет на Cisco, он её не разорвёт, и вся сеть «ляжет». Тем не менее, связь поднялась, а, значит, задача минимум по соединению филиалов была выполнена успешно.

Перевод сети филиала на новые адреса

К счастью, Cisco смог корректно обмениваться информацией о VLAN со своими «соседями» HP и Huawei. Так как именно к коммутатору HP 5500 были подключены все соединения от коммутаторов уровня доступа, то переключение на новые адреса делалось с его помощью. Настройка интерфейса на Cisco:

switchport trunk encapsulation dot1q
switchport trunk allowed vlan 2,3
switchport mode trunk

 

Я был очень приятно удивлён, когда обнаружил, что система команд коммутатора HP 5500 практически идентична Huawei. Имеются некоторые различия, но в большинстве случаев они решаются достаточно быстро. Естественно, это касается относительно простых настроек. Сложные вещи скорее всего будут настраиваться с большими различиями. Но пока что нужно было только настроить один интерфейс как trunk для приёма трафика от Cisco по двум VLAN и остальные интерфейсы – как access в конкретном VLAN.

interface GigabitEthernet1/0/1
port link-mode bridge
port link-type trunk
port trunk permit vlan 2 to 3
#
interface GigabitEthernet1/0/2
 port link-mode bridge
 port access vlan 2
#
interface GigabitEthernet1/0/3
 port link-mode bridge
 port access vlan 3

 

Постепенно перенастраивая интерфейсы с третьего (старого) на второй (новый) VLAN, удалось перевести всё здание на новую адресацию.

Изменение топологии

Настало время для планирования подключения новых объектов в филиале к общей вычислительной сети. Для организации этих работ нам была передана ещё одна часть оборудования производства HP – коммутаторы и SFP-модули. Задача на данный момент стоит в том, чтобы соединить в единую сеть входы на расстоянии около километра друг от друга с уже подключённым к Петергофу дворцом между ними. Первоначально планировалось, что вся сеть будет приходить в единый центр коммутации, но он на данный момент не готов к эксплуатации. Из-за этого его роль временно будет выполнять уже подключённый дворец.

Для подключения столь далеко расположенных объектов приходится использовать волоконно-оптические линии связи. Для соединения коммутаторов между собой в этом случае можно применить либо отдельные конвертеры, преобразующие оптические сигналы в электрические, и подключаемые к коммутаторам по витой паре, либо SFP-модули, которые устанавливаются непосредственно в коммутатор. Второй способ гораздо удобнее и экономит очень много места в телекоммуникационных шкафах. Так как мы ограничены в выборе оборудования, которое у нас есть для запуска сети, мы отобрали следующие два коммутатора: HP 3800 и HP 5800. Первый – с 24 портами для SFP модулей и двумя – для SFP+ (10 Гбит/с). Второй имеет 24 порта для витой пары и четыре SFP+ (10 Гбит/с). При подобном расширении один из них станет новым коммутатором ядра филиала. И к нему в перспективе будет подключаться много других коммутаторов. Этот вариант является более перспективным, чем продолжение использования Cisco Catalyst, потому что коммутаторы одного производителя скорее всего будут вести себя друг с другом согласованнее.

Наши коллеги делали вычислительную сеть с использованием коммутаторов HP ранее и предупреждали, что они весьма привередливы к SFP-модулям и коммутаторам, с которыми они связываются. Нам же нужно обеспечить их совместную работу с коммутатором Huawei, поэтому мы выбрали два разных коммутатора для проведения экспериментов.

 

Схемы соединения коммутаторов при тестировании

Схемы соединения коммутаторов при тестировании

 

Для тестов в Петергофе к нашей «тёмной оптике» были подключены два коммутатора на скорости 1Гбит/с и 10 Гбит/с. После чего к ним по очереди подключались коммутаторы в филиале. И в конце эксперимента попробовали соединения внутри филиала на разной скорости между коммутаторами HP.

Итог оказался следующим:

  1. HP 3800 хоть и подходит для соединения с Петергофом лучше всего (он снабжён множеством разъёмов для SFP), но соединиться с Huawei при помощи имеющегося SFP+ модуля не смог.

  2. HP 5800 смог корректно соединиться и с Петергофом, и с HP 3800 на скорости 10 Гбит/с. Для второго соединения использовался кабель прямого подключения HP.

  3. На случай форс-мажора у нас останется вариант соединения с HP 5500 или HP 5800 на скорости 1 Гбит/с при помощи SFP-модулей Huawei.

 

После анализа полученных данных была разработана новая топология соединения.

 

Новая топология соединения коммутаторов между фили

Новая топология соединения коммутаторов между филиалами

 

Перед изменением топологии потребовалось провести некоторые дополнительные настройки. Во-первых, из-за исключения Cisco, пришлось настроить DHCP-сервер на другом коммутаторе. На данный момент им стал HP 5500. Рассмотрим его конфигурацию в этом разделе.

dhcp server ip-pool pool2
 network 192.168.0.0 mask 255.255.255.0
 network ip range 192.168.0.51 192.168.0.151
 gateway-list 192.168.0.1
 dns-list 192.168.0.1
 domain-name sample.domain

 

Как и в Cisco, пул адресов привязывается автоматически. Но зато есть возможность указать диапазон выдаваемых адресов, что весьма удобно.

Вторая проблема была в том, что у коммутатора HP 3800 совершенно другая система команд, нежели у его собратьев 5500 и 5800. Она чем-то похожа на Cisco, но не Cisco. Нам было важно настроить на нём trunk и access порты. Давайте посмотрим как выглядит их конфигурация.

vlan 2
   name "VLAN2"
   untagged 1-24
   tagged 25-26
   ip address 192.168.0.6 255.255.255.0
   exit

 

То есть в отличие от Huawei и HP 5500/5800/Cisco, нужно не заходить в каждый интерфейс для настройки его VLAN, а заходить в VLAN и привязывать к нему интерфейсы. Мне это напомнило D-Link. Было очень непривычно, но мы справились.

Пост синхронизирован: Huawei ICT Club - лучшее

  • x

Kelebrimber
Админ Опубликовано 2021-3-26 18:20:57
Отличный лонг-рид на вечер, большое спасибо!

Хороших выходных)
Развернуть
  • x

user_2909167
Модератор Опубликовано 2021-3-29 11:53:38
Очень интереный опыт, спасибо что поделились.

Также добавлю про совместимость работы STP протоколов между вендорами.
Вот интересные статьи с примерами как подружить двух вендоров:
https://forum.huawei.com/enterprise/ru/huawei-cisco-stp-mode-mst/thread/558807-100131
https://support.huawei.com/enterprise/en/knowledge/EKB1100045473

И еще один нюанс из моей практики, можно столкнуться с ситуацией когда лиен между двумя вендорами в апе, но данные не ходят, даже если отключить STP, а в настройках интерфейсов типичный конфиг для проброски vlan (как в примере выше), траффик до свитча huawei может не идти
Тогда на Циске нужно проверить что VTP перевден в vtp mode transparent, т.к. по дефолту на некоторых моделях он включен в режиме сервер, а Huawei не поддерживает VTP.
Развернуть
  • x

Vasyo
Админ Опубликовано 2021-4-6 12:01:26
На моей практике встречались интересные решения между Huawei и Mikrotik, поднимали mpls поверх ospf через собственные или сторонние сети. И хорошо показала себя эта связка, после того, как удавалось решить проблему с расширением MTU до 1552 на сторонних сетях)
Развернуть
  • x

Peterhof
MVE Опубликовано 2021-4-6 16:10:01
Опубликовано пользователем Vasyo в 2021-04-06 07:01 На моей практике встречались интересные решения между ...
У меня с Microtik как-то незаладилось. Нам привозили на подмену "большой 4G-модем", но настроить его нормально не удалось - гайды не помогли, что-то в нём просто не работало как надо.
Развернуть
  • x

Kelebrimber
Админ Опубликовано 2021-4-6 17:34:56
А у меня, напротив, был положительный опыт использования продукции компании Mikrotik)

Правда нужно разобраться немного с их логикой и синтаксисом, не всё лежит там, где должно быть по логике)
Развернуть
  • x

Peterhof
MVE Опубликовано 2021-4-6 18:02:56
Опубликовано пользователем Kelebrimber в 2021-04-06 12:34 А у меня, напротив, был положительный опыт использован ...
Мне с Mikrotik не повезло :)
Но с разбирательствами как раз HP 3800 оказались отличающимися по способу назначения VLAN. В отличие от Huawei, Cisco и HP 5500/5800, в них нужно приписывать физические интерфейсы к VLAN, а не VLAN к физическим интерфейсам. То есть всё наоборот.
Развернуть
  • x

bazilio
Админ Опубликовано 2021-4-19 13:16:47
Читается как приключенческий роман!
Развернуть
  • x

2559godji
Опубликовано 2022-4-27 14:06:50
Спасибо!
Развернуть
  • x

Комментарий

Выполните вход в систему, чтобы ответить на пост. Вход | Регистрация
Отправить

Внимание! В целях защиты правовых интересов Вас, сообщества и третьих лиц, не публикуйте любой материал, содержащий политические высказывания, порнографию, упоминание азартных игр, употребление наркотиков, а также материал, нарушающий коммерческую тайну или содержащий персональные данные пользователей. Также не предоставляйте данные от вашей учетной записи. Вы будете нести ответственность за все действия, выполняемые под вашим аккаунтом. Подробная информация: “Пользовательское соглашение.”

My Followers

Авторизуйтесь и пользуйтесь всеми преимуществами участника!

Вход

Заблокировать
Вы уверены, что хотите заблокировать этого пользователя?
Пользователи из вашего черного списка не могут комментировать ваши посты, не могут упоминать вас, не могут отправлять личные сообщения.
Напоминание
Пожалуйста, привяжите свой мобильный номер чтобы получить бонус за приглашение.