Historia Telekomunikacji – część 13

Przy tak ładnym, okrągłym numerku nie sposób właściwie opisywać cokolwiek innego niż wtopy, wpadki i potknięcia, prawda? 🙂

Nie ma systemów bezawaryjnych, Fastlink bezawaryjny też nie był. I choć wielokrotnie od pracowników utrzymania TP słyszałem, że jest pod tym względem o niebo lepszy od konkurencyjnych systemów dostępowych (np. w warszawskim RONiU mawiali pracownicy zajmujący się równolegle Fastlinkiem, Anymediami i jeszcze jakimś polskim systemem, którego nazwy niestety nie pamiętam, że przy tych dwóch pozostałych właściwie bez przerwy coś się dzieje, Fastlink zaś… po prostu działa), to jednak awarie i różnorakie problemy się zdarzały. W miarę, jak w Polsce Fastlinka przybywało, gwarancyjnie świadczone wsparcie zaczęło zabierać tyle czasu, że wreszcie została stworzona u nas osobna komórka zajmująca się tylko i wyłącznie serwisem. Oczywiste jest, że znalazłem się w jej składzie, prawda? 😉

Awarie były przeróżne. W nowych systemach były to często błędy montażu, na tyle wredne,  że nie wychodziły od razu w trakcie uruchomienia. Walczyłem z taką awarią na pewnym obiekcie, bodajże na Pięknej w Warszawie. Zgłoszenie: w godzinach szczytu telefonicznego wiele połączeń jest realizowanych „na głucho”, czyli połączenie się zestawia, ale nic nie słychać. Tego typu usterki są wredne, bo ciężko się je diagnozuje, wymaga to użycia dość skomplikowanego urządzenia pomiarowego (analizator V5.2) i jeszcze trzeba nim „złapać” potem sam moment wystąpienia problemu, co w przypadku, gdy problem ma naturę losową, oznacza zwykle dużo szczęścia.
Tutaj to szczęście miałem jeszcze na etapie wstępnych działań, ale żeby je omówić, kilka zdań teorii: Fastlink jako taki nie jest centralą telefoniczną, a jedynie systemem łączącym abonentów z tąże centralą. Opisywałem to w odcinku 11, nie będę powtarzał, przypomnę tylko, że najczęściej wykorzystywanym połączeniem między fastlinkowym OLTem a centralą telefoniczną był interfejs V5.2. Na owe czasy szczyt nowoczesności i zaawansowania. Podstawową ideą a zarazem zaletą tego interfejsu był dynamiczny przydział miejsca w fizycznym połączeniu w zależności od zapotrzebowania. Centrala z OLTem fizycznie była  łączona linkami E1 (a każdy taki link to były cztery druty do skrosowania na przełącznicy) i na tych linkach potem był kreowany interfejs. Normalnie E1 ma „w sobie” 31 kanałów mogących być wykorzystywanych na przesłanie równolegle obok siebie 31 powiedzmy linii telefonicznych (opis jest dużym uproszczeniem, ale nie o to w tym artykule chodzi, by przedstawiać detale). Czyli, gdybyśmy połączyli OLTa z centralą dwoma takimi linkami ot tak po prostu, nasz Fastlink mógłby obsłużyć raptem 62 abonentów. Mało trochę, prawda? Oczywiście można dokładać tych E1 więcej. Jest to jakieś rozwiązanie, ale tak właściwie… po co? Po co zużywać fizyczne zasoby centrali, tworzyć drogie połączenia, skoro wystarczyło zwrócić uwagę, że z owych 62 abonentów w danym momencie z telefonu korzysta najwyżej kilku. I nigdy nie ma tak, by rozmawiali wszyscy naraz. Zatem do obsłużenia tych 60 abonentów nie jest nam potrzebnych 60 kanałów. Wystarczy np. sześć. Dynamicznie przydzielanych łączącym się abonentom wedle potrzeb, a natychmiast po zakończeniu rozmowy zwalnianych. Gdyby z jakichś przyczyn przy trwającej rozmowie sześciu abonentów słuchawkę podniósł abonent siódmy – nie usłyszy w niej sygnału, a jedynie po chwili ciszy otrzyma lokalnie generowaną zajętość (pip-pip-pip-pip).
Taka właśnie proporcja (ładnie określana mądrym słowem: redundancja) jest w telekomunikacji przyjmowana typowo i tak są obliczane zasoby fizycznie niezbędne do realizowania połączeń: 10% abonentów ma być w stanie prowadzić równoczesną rozmowę. I wbrew pozorom zwykle się to doskonale sprawdza, problemy bywają właściwie tylko raz w roku: w sylwestra. Z przyczyn, których nietrudno się domyślić: wszyscy do wszystkich w jednym momencie zaczynają dzwonić z życzeniami. Mniejsza redundancja (20%, czyli co piąty abonent) jest przyjmowana jedynie w lokalizacjach biznesowych, ale i to nie zawsze.

Tyle teorii, wracamy na ul. Piękną. Byłże tam sobie OLT, połączony z centralą dość dużym interfejsem V5.2 stworzonym w oparciu o osiem E1 (czyli ok. 250 kanałów rozmównych, co przy 10% redundancji pozwala na obsługę dwóch i pół tysiąca abonentów). Długi czas po uruchomieniu działało to bez zarzutu, wspomniane na początku problemy z głuchymi połączeniami zaczęły się dopiero po zwiększeniu ilości czynnych linii. Przyczynę znalazłem właściwie przypadkiem robiąc podstawową diagnostykę: siedząc na drabinie przy krosie przerywałem poszczególne linki E1 (wraz z trwającymi na nich rozmowami, rzecz jasna) i sprawdzałem, czy alarmy prawidłowo się pojawiają w systemie. Pojawiały się bez zarzutu, ale uwagę mą zwróciło, że w przypadku jednego z linków owe alarmy pojawiają się jakoś dziwnie. Jakby nie po kolei. Zacząłem badać sprawę dokładniej i wyszło szydło z worka. Wspominałem wyżej, że taki link E1 to były cztery druty: jedna para „nadawanie”, druga „odbiór”, po jednej informację szły wtę, po drugiej wewtę. Krosowało się to przy pomocy dwużyłowej, ekranowanej krosówki i zwłaszcza, gdy krosowała jedna osoba (czyli z reguły), by sobie zaoszczędzić latania po drabinie (bo często było tak, że jedna strona do połączenia była po jednej stronie krosu, a druga – po drugiej, bywało, że dość daleko), rzucało się po kilka krosówek naraz, odpowiednio oznaczając ich końce, by się potem nie pomylić. Co i tutaj miało miejsce. Uruchamiacz, który to krosował pomylił krosówki na dwóch ostatnich linkach, zamienił dwa „nadawania” miejscami, krzyżując w ten sposób dwie E1 ze sobą. I póki ruch był mały, centrala nie alokowała kanałów w tych odległych linkach, wszystko było ok. Gdy zaś abonentów przybyło – zaczęła się kaszana 🙂

Tu, przypadkiem co prawda, ale przyczynę znalazłem dość szybko, w trakcie jednego dnia roboczego. Ale, jeśli jestem przy awariach wywołanych przez błąd montażu, muszę opisać (a raczej skopiować i wkleić z niewielkimi zmianami jedynie, bowiem opisałem to dawno temu w internetach):

Otóż, TPSA miała swój węzeł na jednym z dość dużych, drogich warszawskich osiedli willowych. Nie będę wskazywał konkretnie lokalizacji, ale było to osiedle, które było ogrodzone i wyposażone we własną ochronę jeszcze w czasach, gdy takie osiedla nie były czymś powszechnym. Tamże, w pomieszczeniu nad portiernią było zabudowane naprawdę duże wewnątrzbudynkowe ONU składające się z bodajże czterech stojaków z półkami abonenckimi i piątego z teletransmisją i nadzorem. Osiedle spore, ONU spore, a ponieważ chodziło o osiedle górnopółkowe, to i ciśnienie na usuwanie wszelakich awarii – też było spore, delikatnie mówiąc. A awarii na tym obiekcie było bez liku…
Mając „pod sobą” obsługę Warszawy, tamże miałem zgłoszeń może nie drugie tyle, co na całej reszcie, ale obiekt ten zauważalnie i zdecydowanie przodował w statystykach. Żeby te awarie były cały czas takie same, rzecz mogłaby być zrozumiała, ciągle psuje się moduł X, znaczy moduł X trzeba wymienić, ew. szukać w jego sąsiedztwie, pozamiatane, finito. Nie, tam była pełna loteria. Zgłoszenie: moduł X padł, iluś abonentów nie działa. Jadę, wymieniam moduł X, działa, wracam. Za tydzień – to samo, ale moduł Y. Za dwa tygodnie – transmisja padła. Kolejne zgłoszenie – karta nadzoru do wymiany. Następne – znów transmisja wisi. Zresetowałem – wstała, ale za chwilę znów zdechła. Kolejny reset – transmisja się podniosła, ale na moich oczach zdechło coś innego.

Wymienialiśmy tam wszystko, łącznie z „półkami”, czyli metalową obudową, w którą są wsuwane karty z elektroniką, półka stanowi konstrukcję czysto mechaniczną i na plecach ma tylko i wyłącznie połączenia między złączami kart, więc jest urządzeniem właściwie bezawaryjnym, niemniej wymieniane były i te elementy zgodnie z zasadą „jak wymienimy wszystko, to musi pomóc, do cholery!!!” Nie pomogło.
Podejrzewaliśmy jakieś skoki na zasilaniu, mimo że to jest dość mało prawdopodobne (obiekt zasilany z własnej siłowni, z wielokrotnie dublowanymi przetwornicami), było monitorowane zasilanie, wszystko w normie. Magia! Całkowita magia! Doszło do tego, że w nieoficjalnych rozmowach ‚jak inżynier z inżynierem’ zaczęliśmy się wspólnie z inżynierem od strony klienta zastanawiać, czy ktoś tam sabotażu nie uprawia. Niby obiekt zamknięty, osoby nieuprawnione nie mają wstępu, ale jak to w TePsie, osób „uprawnionych” było bez liku, może tam mieszkał na tym osiedlu (swoją drogą strzeżonym jak Fort Knox, z ulicy tam wejść nie było szans najmniejszych) ktoś pominięty przy awansie bądź rozdziale nagród i mścił się w ten sposób.

Przyczynę znalazłem całkowicie przypadkowo (tak, wiem, znów 🙂 ), łażąc po drabinie (też „znów” – w telekomunikacji drabina jest niezbędna) ponad stojakami i szukając śladów myszy, szczurów czy chomików uciekinierów, oglądałem w zasadzie przewód po przewodzie, w desperacji szukając czegokolwiek, co jeszcze nie zostało sprawdzone bądź wymienione. Zwróciło moja uwagę, że jak jedną z wtyczek poruszam, to jej obudowa wyraźnie iskrzy na styku z obudową półki. Wtyczka miała charakter czysto sygnałowy, maleńkie prądy, tam nic nie miało prawa iskrzyć!

Cały obiekt był zabudowany w kilku pionowych stojakach stojących jeden przy drugim. Taki stojak ma mniej więcej dwa metry, mieści w sobie cztery bądź pięć wspomnianych wcześniej półek, pierwszy stojak z racji specjalnej funkcji miał zasilanie podprowadzone niezależne, pozostałe zaś miały wspólny dystrybutor zasilania. I własnie tu był problem. Zasilanie z siłowni przychodziło dwoma grubymi przewodami (kilkadziesiąt amperów tam non stop płynie), niestety jednak monter, który to robił, przewód +48V, pełniący w telekomunikacji zarazem rolę masy za krótko ogolił z izolacji i do złączki wszedł mu wraz z izolacją. I przez tą izolację został zaciśnięty. Połączenia oczywiście brak. I gdyby to się stało gdziekolwiek indziej, sprawa by była trywialna i wyszła od razu przy pierwszej próbie włączenia: nie działa, brak zasilania, szukamy przyczyny. Tu, w tym jednym miejscu – niestety. Połączenia masowe były zapewnione z tego pierwszego stojaka przez przewody sygnałowe. Tak więc całość działała, tylko że dziesiątki amperów płynęły sobie przez cienkie przewody sygnałowe oraz ich ekrany, każdy skok prądu powodował przepięcie, zakłócał transmisję, niszczył karty…

 

Do błędów montażu zaliczyć też trzeba ONU, które poszło z dymem w trakcie prac uruchomieniowych. Nie ja tu byłem bohaterem, tylko jeden z moich kolegów: poprawiał coś w połączeniach w bardzo ciężko dostępnym miejscu na plecach COMPSa (półka nadzoru i dystrybucji zasilania w ONU) i nakrętka mu z palców wypadła, traf chciał, że w bardzo pechowy sposób, wklinowała się bowiem dokładnie między połączenie akumulatora a metalową obudowę COMPSa. Każde ONU miało w sobie solidną baterię akumulatorów, zdolną podtrzymać jego pracę przy braku zasilania, były to minimum cztery akumulatory (często więcej), po kilkadziesiąt Ah każdy. Ich zwarcie wyprodukowało łuk, jak z solidnej spawarki. Łuk, który natychmiast podpalił znajdujące się z tyłu liczne przewody.
Cóż, pech, bywa, tu jednak tego było mało. Drugim pechem było to, że ONU stało na tyłach stacji benzynowej. Która to stacja co prawda nie stanęła w płomieniach, jednak tak właśnie zrozumiał dyżurny Straży Pożarnej, do którego w panice kolega zadzwonił i który z jego panicznych zeznań wychwycił dwa słowa-klucze: „pali się” i „stacja benzynowa”. ONU akurat było dogaszane przy pomocy pracownika tejże stacji oraz jednej gaśnicy z jej wyposażenia, gdy z pełnym larumem, wyciem i piskiem opon na stację zaczęły podjeżdżać wszystkie strażackie wozy bojowe, jakie były dostępne w całej okolicy, łącznie nawet z zupełnie nie wiadomo po co przysłaną samobieżną drabiną.

Było mnóstwo awarii powodowanych przez powiedzmy, „czynnik ludzki”. Począwszy od ONU, do którego nieznani sprawcy się włamali, niszcząc aluminiową szafę wartą ciężkie tysiące złotych (łomem otwierali), by z jej wnętrza ukraść… bimetaliczny termostat, do kupienia w hurtowni elektrycznej za kilkanaście PLN, poprzez ONU, które samotne i opuszczone, przez nikogo nie kochane stało na zewnętrznej stronie łuku ruchliwej drogi i wreszcie pewnego wieczora, mając dosyć samotnej egzystencji z dala od cywilizacji, postanowiło skończyć z sobą, rzuciwszy się wprost pod koła nadjeżdżającego samochodu (byłem na wizji lokalnej, szafa mocno przechylona i pogięta, ale o dziwo elektronika nawet nie przerwała pracy), skończywszy na całej masie zwykłych błędów obsługi, które nawet ciężko opisywać, zwłaszcza, że nikt nie jest nieomylny, niżej podpisanemu też niejedną głupotę zdarzyło się w zawodowej karierze strzelić.

Jedna awaria wymaga jednak opisania dokładniejszego, była to największa chyba awaria, w jakiej brałem udział, zarówno jeśli chodzi o rozmiar (mierzony liczbą niedziałających abonentów), jak i wielkość związanej z tym awantury potem. A ponieważ zapowiada się tu dłuższa opowieść, zostawię sobie to na kolejny odcinek 🙂

Tu zaś, na zakończenie jeszcze kilka słów o dyżurach „emergency”. W umowie z tepsą, w rozdziale o świadczeniach gwarancyjnych były opisane czasy reakcji serwisu na zgłoszenie. Czasy te były różne, w zależności od kategorii zgłaszanego problemu, było to dość szczegółowo sklasyfikowane (jest to zresztą standardowe podejście także i w innych firmach, zarówno wtedy, jak i dziś) i w tejże klasyfikacji jest też coś takiego, jak awarie o charakterze krytycznym, gdzie czas reakcji jest liczony już nie w dniach, a w minutach (czyli, że po otrzymaniu zgłoszenia mam np. 30 minut na odezwanie się do osoby zgłaszającej problem), a czas usunięcia problemu – w godzinach. Oczywiście, nie jest to tak, że komuś linia abonencka padnie, to sobie stworzy „criticala”, bo ta linia jest jego szwagra, zgłoszenie krytyczne musi spełniać szereg warunków (np. minimum x abonentów nie działa albo leży cały nadzór) i nieraz zdarzało nam się takim zgłoszeniom zmniejszać priorytet z uwagi, że nie są spełnione kryteria. Dla nas, pracowników serwisu jednak obsługa „criticali” sprowadzała się do wspomnianych dyżurów „emergency”. Dyżury były tygodniowe, w trakcie dyżuru na komórke dyżurnego był przekierowany specjalny telefon „emergency” do zgłaszania krytycznych awarii. Dyżurny zaś miał obowiązek być do dyspozycji 24h/dobę, zawsze z telefonem pod ręką i zawsze w gotowości do reakcji, choćby i wymagało to pójścia do samochodu i pojechania na drugi koniec Polski. Nie były to częste przypadki, niemniej zdarzały się.

Zdarzały się jednak i sytuacje zabawne. Np. Sylwester, najprawdopodobniej 2001/2002, w trakcie którego dobrą zabawę przerwał mi niedługo po północy telefon „Emergency” z Zielonej Góry:
– halo, wsparcie techniczne, Jarosław P., słucham,
– haaaaloooo…. sssszzzzyyy tooo…. hip! Sśśśimens? Hip?
– Tak, Siemens, słucham!
– awarie zgłaszzzzam! Hip!
– jaką awarię, co się zepsuło?
– fszzystko się zepsuło! Hip! Fszyśściutko w piizdu!
– ale co konkretnie? Fastlink się wam zepsuł?
– Fastlink… taaa…. fastlink też siem zeps… zesp…. sp…. no w ój! Hip!

Powyższy dialog oczywiście nie jest wiernym cytatem, niemniej postarałem się oddać sens rozmowy, jaką wtedy odbyłem. Że dzwoni dyżurny zielonogórskiej TP wiedziałem, bo miałem identyfikację numeru, ale było to chyba jedyne, czego się zdołałem dowiedzieć. Zgłoszenie postanowiłem wtedy całkowicie wbrew regułom zignorować, doszedłszy do słusznego wniosku, ze w zielonogórskiej TP chłopaki pewnie też sylwestra mają i dyżurnemu się nudziło po prostu, a jeśli dzieje się coś naprawdę, to pewnie lada moment i tak zadzwoni ktoś trzeźwiejszy. Szczęśliwie, nie zadzwonił.

I drugie Emergency: tym razem z Opola, w normalnych godzinach pracy dzwoni jakaś nieznana mi pani, sądząc po głosie młoda, dość wystraszona i po przedstawieniu się, przejętym głosem melduje:
– zgłaszam awarię.
– co się dzieje – ja na to – proszę o dokładniejsze informacje, co się zepsuło.
– o-el-te – ona na to, w ten sposób literując, brzmiała zresztą tak, jakby te trzy literki odczytywała z kartki. Super. Wiem już że zepsuł się OLT. czyli mniej więcej tak, jakbym zadzwonił do autoserwisu i obwieścił, że mam awarię, a co się zepsuło? Samochód. Nie zrażajmy się jednak, obsługę zdenerwowanego klienta miałem już wtedy w małym palcu (i nawet potwierdzający to dyplom, ale o tymże dyplomie wspomnę innym razem), trzeba uzyskać więcej informacji.
– dobrze, proszę mi powiedzieć dokładniej, co nie działa i jakie są objawy – pytam grzecznie.
– ja nie wiem, proszę pana, kazali mi powiedzieć, że oelte. Ale proszę pana, niech mi pan powie, czy ten oelte to jest jakiś modem?

Tu mnie opadli ręce. Panienka ewidentnie padła ofiarą typowego dowcipu robionego „młodym” przez starych wyjadaczy, odpowiednik budowlanego wysłania „młodego” do elektryka po wiaderko fazy. Wytłumaczyłem pani, że OLT to duże urządzenie w stojaku, z modemem mające niewiele wspólnego i że zgłoszenia nie mogę przyjąć póki nie poznam jakichkolwiek szczegółów. Miała się dowiedzieć i zadzwonić ponownie, co nigdy nie nastąpiło.

email
This entry was posted in . Bookmark: permalink.

2 Responses to Historia Telekomunikacji – część 13

Pawlo111
Commented:  20 października 2016 at 19:40

U nas dyżur taki w 90% przypadków to zwykły brak umiejętności obsługi.
A zapiskami w umowie straszą nas dyrektory jak coś zdechnie.
Ale to inna bajka.

    U nas różnie bywało (i bywa, bo ja cały czas na dyżurach, obecnie globalnych i związanych z innym sprzętem, ale charakter roboty ten sam, tyle tylko, że już w 100% zdalnie, jeździć nie trzeba. Co i przy awarii np. w Nowej Zelandii byłoby kłopotliwe odrobinkę). Czasem zgłoszenie od dyletanta, związane z awarią wywołaną przez innego dyletanta, a czasem przychodzi „ticket” od człowieka, który jak się okazuje, wie o sprzęcie więcej ode mnie i bynajmniej trywialnych rzeczy nie zgłasza. Oj, nie lubię takich zgłoszeń, nie lubię… 🙂

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *

Archiwum

  • 2018 (7)
  • 2017 (24)
  • 2016 (66)
  • 2015 (39)

Wyszukiwanie

Licznik odwiedzin

0156500
Visit Today : 98
Hits Today : 211
Total Hits : 565299
Who's Online : 2