Google

Niciunul dintre noi nu a trăit într-o democrație adevărată, o democrație în care să ai atât libertatea de exprimare, cât și libertatea votului. Pentru a mă face mai bine înțeles voi începe cu trei istorioare din epoca Internetului.

1. Yahoo!

În 1994 a apărut Yahoo!, un portal care rezolva o problemă mare în Internet. Cum să găsești un site necesar. Era un catalog tematic și cu subcategorii care te ajută să găsești site-urile de care aveai nevoie. Pentru ca site-ul tău să fie listat în acest catalog, trebuia să achiți o taxă anuală. Erai publicat după o verificare (inspecție) a site-ului și după lungi așteptări, însă mai apoi oamenii începeau să dea năvală. Observasem chiar un lucru hazliu, un fel de trend: toți se străduiau să cumpere domenii al căror prim caracter să fie o cifră sau litera A, pentru că afișarea era în ordine alfabetică, iar cel care era publicat primul lua mult mai mult trafic. Dacă e să privim înapoi, în istorie, aș compara asta cu feudalismul: în schimbul pământului care îl primeai, jurai credință împăratului și plăteai anual un impozit de servitute.

2. Altavista.

În anii 90 WWW-ul a explodat. Mii de site-uri apăreau zilnic. Era imposibil să fie ținute într-un catalog bine definit. Astfel, în 1995 a apărut Altavista. Search-ul lucra foarte simplu, adăugai site-ul și în puțin timp erai indexat și începeai să apari în rezultate. Altavista nu mai ținea cont de categorii, cum o făcea Yahoo!, ci încerca să calculeze prin diferite formule a frecvenței anumitor cuvinte cât de relevantă este pagina ta la o căutare a unui utilizator. Teoretic totul era bine, însă în realitate era foarte dificil să găsești exact informația de care aveai nevoie. Trebuia să deschizi sute de rezultate. Aceasta se întâmpla pentru că unii șmecheri și-au dat seama cum să înșele search-ul, în așa fel ca să fie listați cât mai des și cât mai sus. Iar oamenii dădeau click, deschideau pagina, vedeau că nu e ceea ce trebuie închideau și treceau la următorul din listă. După părerea mea, democrația din ziua de azi lucrează ca Altavista: politicienii când candidează promit marea și sarea, sunt înarmați cu o mulțime de trucuri informaționale și de manipulare pentru a fi aleși, ca mai apoi să ne dăm seama că am greșit, dar iarăși cădem în plasă și la următoarele alegeri repetăm greșeala și ne mirăm după aceea cum de se întâmplă că mereu ajung președinți, deputați , primari etc. cei mai nepotriviți omeni – incompetenți, corupți, mincinoși. Este practic imposibil să alegem pe cineva bun, un om de calitate, bazându-ne doar din relatările, de regulă deformatoare, ale mass-media.

3. Google.

O altă etapă este când Google, la scurt timp, în 1998, constatând această problemă mare de căutare în Internet a venit cu o soluție inedită. Ei au hotărât că e mult mai important să fie analizate legăturile (link-urile) dintre site-uri, decât ceea ce declară site-urile (titlu, descriere, cuvinte cheie). Au inventat o formulă matematică care permite să fie calculat gradul de încredere al fiecărui site din Internet. Iar rezultatele în căutare erau ordonate conform acelui rank (grad) de încredere. Astfel în câțiva ani Google a devenit un monopolist al online-ului. Oamenii revin zilnic, pentru că găsesc în primele rezultate ceea ce căutau.

Consider că metoda pe care o folosește Google poate fi aplicată și la alegerea oamenilor de încredere (liderilor de comunități) și sunt sigur că în acest moment ea este cea mai democratică. Aici contează nu doar componenta informațională, ci și cea de încredere din partea oamenilor. Dacă să analizăm cum lucrează această metodă în cazul rezultatelor căutărilor pe Google și în cazul alegerilor, ar fi astfel: nu contează mult ce cuvinte cheie ai pe site (mesaje electorale, panouri publicitare, apariții în media), dar contează câte site-uri publică link-uri spre site-ul tău la ei pe pagini (câți oameni cu încredere te recomandă). Această metodă funcționează mult mai eficient, pentru că e cu mult mai greu să convingi alți oameni (site-uri) să te voteze pe (să publice link-uri spre) tine. Un vot (link) spre tine (site-ul tău) aduce mult mai multă informație despre – cine ești cu adevărat – decât o emisiune tv (niște cuvinte cheie scrise în pagina ta). Mai mult ca atât, prin această metodă toți participanții la votare sunt automat și votanți, și candidați. Nu mai ești forțat să votezi doar pentru un candidat din lista de doi/trei propuși pe o cale nedemocratică (de cineva din umbră), poți vota pe oricine vrei tu și îți poți da votul chiar și pentru mai multe persoane. Pentru prima dată în democrație apare cu adevărat libertatea de a vota, fără nici o restricție.

Această metodă nu este doar una teoretică: noi, practic, am implementat-o în aplicația de votare VoteMeApp care a fost testată în peste 200 de alegeri în diverse comunități. Metoda de tip rank rezolvă o mulțime de probleme cu care se confruntă acum democrația, cum ar fi: tweedismul, manipularea mediatică, bulele informaționale, cenzura, autocrația informațională, votul pentru candidatul cel mai puțin rău, populismul, ignoranța rațională.

Deși VoteMeApp oferă mai multe tipuri de alegeri online, noi credem că anume scrutinele de tip rank sunt cele mai bune pentru a propulsa în organizații și comunități oameni de încredere, întrucât îți oferă libertatea de a alege pe oricine vrei tu și, întâi de toate, personalități autentice, oameni cu adevărat valoroși și utili comunității.

Notă: Vă invit să vă înregistrați la conferința Future of Democracy. Vă asigur că vor fi discuții interesante.

Pagina principală - privesc.eu

Pagina principală - privesc.eu

Site-ul Privesc.Eu a început simplu de tot. Un site pe wordpress și embeduri video de pe ustream.tv. Timp de 10 ani, rezolvând problemele una câte una, am construit un sistem scalabil și destul de complex. Anume rezolvarea acestor probleme grele m-au motivat să construiesc acest sistem. Dacă era simplu, cred că cedam.

Privesc.Eu de unii este considerat mass-media, de alții startup tehnologic. Noi credem că suntem undeva pe la mijloc. În situații excepționale, cum ar fi alegeri naționale sau revolte, acest sistem are cel mai mare trafic din țară. Maximum atins este peste 30 mii oameni live. În acele zile, mare majoritatea a televiziunilor preiau imaginile video de la noi.

Articolul este dedicat celor care vor să construiască un startup. Să aibă o impresie despre tehnologiile care trebuie să le învețe și să le mânuiască pentru a construi o companie. Din experiența mea - 90% din timp este dedicat anume citirii documentației și integrării acestor servicii și doar 10% - programării.

Aici nu voi vorbi despre oamenii care zi de zi întrețin acest sistem sau care transmit live-uri. Munca lor e enormă - peste 36 mii de ore de transmisiuni live.

În continuare, pentru curioși, un longread tehnologic.

BROWSER. Când un om deschide www.privesc.eu, să vadă un live, în spate stau o mulțime de servere legate între ele prin microservicii. Unele servicii sunt construite de mine altele sunt cumpărate și plătite lunar. Unele servere stau în cloud, altele împrăștiate prin Europa. Fiecare decizie are un tradeoff, cost/performană. Dacă le greșești, compania poate chiar da faliment.

WEB. Site-ul www.privesc.eu este hostat pe Microsoft Azure (prefer această platformă, față de AWS sau Google Cloud, le folosesc și pe celalte dar la alte proiecte) este construit pe framework-ul ASP.NET MVC. Pingdom, de câți va ani, îmi arată uptime 100%. Aceasta este primul indiciu de calitate a unui site. Să nu cadă! Site-ul rulează pe minimum 2 web servere și se autoscalează până la 100 de servere în dependență de volumul de oameni care privesc. Limita de minimum 2 servere am impus-o din cauza că avem widgetul privesc.eu care este embedat pe mii de site-uri. Dacă vom pica se va vedea pe tot Internetul 😀

DB. Serverele web au în spate o bază de date SQL Server. Acolo se păstrează toate informația despre live-uri, titluri, operatori, camere, servere, utilizatori, autorizări… Fără această bază de date nimic nu funcționează. Folosesc Azure SQL Server care îmi asigură un uptime de 100%.

CACHE. Este destul de costisitor să interpelezi baza de date la orice flecușteț. Pentru a minimiza interpelările folosesc un Redis Cache Server as a service din Azure, care îl poți scala în dependență de necesități. Cache centralizat prin Redis e necesar mai ales când servere se autoscalează și nu trebuie de repopulat informația la fiecare server nou pornit. Mai folosesc și cache in memory pentru unele taskuri mici.

STORAGE. Cea mai mare problemă la privesc.eu este stocarea datelor. Avem TB de video care trebuie ținute online. Mai muți TB care trebuie ținute offline (originalele de la camerele de filmat). GB de date care trebuie de interpelat în realtime (contoare și fețele oamenilor). Pentru a micșora cheltuielile, am hotărât ca serverele de stocare video să fie păstrate în țară, în cloud e foarte costisitor. Avem un server în Moldova la Moldtelecom și altul în România la 2KTelecom. Ambele servere umplute până la refuz cu HDD-uri în RAID0. Folosim RAID0 pentru că la fluxuri mari de cereri alt tip de RAID nu face față. 

VIDEO: De la început am hotărât să folosim camere de înregistrare video pentru începători. În timp, camerele pentru începători au devenit foarte bune. La ce facem noi sunt, uneori, mai bune decât cele profesioniste. Zoom mai mare, sunt foarte ușoare și ieftine. La proteste ne ajută mult. Camerele sunt Sony AX53 4K .

AUDIO: Spre deosebire de profesioniști care folosesc microfoane prin wireless analogic, mari și cu logouri pe ele, noi ne folosim de microfoane mici bluetooth Sony ECMW1M Wireless sau microfoane Zoom H5 și pe post de mini mixer audio. Sunt ieftine, micuțe. Uneori paza de stat ne creează probleme cu bruiajele.

ENCODER: Am început cu notebook-uri, 10 ani în urmă. Camera video prin A/V cablu conectate la un convertor USB apărea ca o camera web în windows și prin Adobe Media Encoder transmiteam prin protocolul RTMP la serverele Wowza. An de an scanam ce apare nou în acest domeniu să fie ieftin și bun. Până am dat de Teradek VidiU.

BROADCAST: De obicei transmisiunile de la encoder la serverul central se face prin modeme 4G. Toți cameramanii au minim câte 2 modeme de la diferiți operatori de telefonie mobilă. Rareori facem prin cablu. În Moldova utlizăm Orange și Unite, în România Orange și Telekom. Nu ne folosim de serviciul de bounding, este destul de scump.

LIVESTREAM. Servere de stocare, care nu prea sunt expuse publicului, mai îndeplinesc și funcția de a primi semnalul video de la cameramani, de autoînregistra și servi video pentru serverele de cache video. Ele sunt interconectate între ele. Dacă un video din România este cerut din Moldova este tras mai întâi în Moldova și apoi este mai departe servit prin serverele cache. Pe aceste servere mai rulează și IIS care are soft făcut de mine. Mă ajută la thumnails, gif-uri, extragere de sunete, să pornească restreamuri sau să permit TV-urilor să poată descărca din arhivă.

CACHESTREAM. Aceste servere sunt cele mai expuse publicului și uneori servesc peste 15GB/s de informație video. Ele rulează pe nginx/docker/ubuntu. Misiunea lor e simplă - vine un http request la un chunk video din un fișier .hls, și dacă nu-l are, îl cere de la serverul de stocare, și păstrează acel chunk de video .mp4 local timp de 30 min. Când priviți video online, de obicei nu vine un fișier de câțiva GB pe local ci sunt trase fișere mici a cât 2-3MB de câteva secunde. Aceste servere sunt așa de solicitate încât undeori cedeză cartelele de rețea. Pentru a evita problemele cu cădearea lor, serverul de monitorizare periodic verifică dacă aceste serverele cache răspund înainte de a trimite oameni spre ele. Privesc.Eu are astfel de servere la Starnet (Moldova), Hetzner (Germania), Digital Ocean (Amsterdam). Au storage mic și sunt pe SSD.

P2PSTREAM: Tehnologie testată cu 2 companii și implementată. Acum este nefuncțională, însă o pot activa în situații de criză. Este mai ieftin traficul în MD decât P2P 😉

COUNTERS: Mulți clienți de ai nostri cer datele despre live-uri. Am creat un sistem de contorizare. O problemă netrivială când ai sute de cereri pe secunde și trebuie agregate datele în timp real de la mai multe servere www. Pentru asta am folosi Azure Table Storage fiecare servere înscrie acolo numele lui, ce live și câte vizualizări. Mai contorizăm și pe ce site-uri au apărut live-urile și păstrăm titlu site-ulu și pagina unde a apărut. Datele acestea sunt păstrate pe serverul Redis.

FACE RECOGNITION: De vreun an am adăugat această funcționalitate care scanează înregistarea video, găsește toate fețele. Le clasterizează astel ca să fie fiecare claster să fie aceași persoană. Memorizează unde acea față a apărut și vectorul care identifică acea față. Pentru procesarea video folosesc un calculator de birou cu 12 procesoare care 24/24 descarcă fiecare video de pe serverele de stocare, rulează face recognition și apoi aceste rezultate se salvează în cloud pe CosmosDB. CosmosDB e cea mai rapidă și scalabilă baza de date din lume. Iar imaginile se stocheză ca blob-uri în Azure Blob storage. CosmosDB a ajuns la 25GB și fiecare request e sub 10ms. 😝

CHAT: Practic e resursa care consumă cel mai mult serverele www atunci când mii de oameni stau pe pagina care are un chat. Serverele trebuie să țină conexiuni active cu toți cei care privesc - să primească și să trimită mesaje. Cererea crește exponențial față de numărul de oameni activi. Folosesc tehnologia SignalR de la Microsoft și serverul Redis pentru comunicarea între serverele www. În paralel serverele www primesc prin webhooks și comentariile de la live-urle difuzate pe Facebook.

DDOS: Cloudflare Un serviciu foarte util care te protejează contra atacurilor. Noi îl folosim pentru a minimiza cheltuielile de trafic la thumnails și player-ul video. Economisim TB de date doar folosind acest serviciu foarte comod. Deasemnea și DNS-urile stau aici care rapid pot fi modificate.

EMAIL: Trimitem lunar peste 40 mii de email-uri, alerte, rapoarte la organizatorii, începutul de transmisiune, închiderea, fotografii și statistică. Folosim de ani buni serviciul SendGrid. Este simplu și eficient. Serverele noastre de email sunt hostate de Gmail.

SMS: Transmitem lunar câteva sute. Folosim pentru comunicare urgentă cu cameramani și cu organizatorii. Oricine poate apăsa butonul Raportează de sub live și trimite un SMS cameramanului. Folosim Nexmo care e destul de bun.

PAYMENT: Aș prefera Stripe însă nu lucrează nici în România și nici în Moldova. Am găsit unul foarte bun - Braintree, care are sistem de subscription. Adică el duce evidența cardurilor bancare și are grijă să extragă banii lunar și dacă nu mai poate - îți raportează. 

NOTIFICATIONS: Avem un server, worker role, care e plin de taskuri repetitive. Serverul trimite notificări la aplicațiile de iOS, Android, Chrome și Firefox. Monitorizeză fluxurile de live stream și imediat ce pică, anunță cameramanul prin Discord și Slack despre problemă.

ANALYTICS: Web, iOS și Android sunt legate raportează la Google Analytics. La serverul web în trecut foloseam un sistem de monitorizare NewRelic. La început era gratuit, apoi când au ieșit la IPO și au anulat planul gratuit am trecut la Microsoft Application Insights.

RESTREAMING: O funcționalitate foarte întrebată la privesc.eu este retransmisiunea pe Facebook și Youtube a live-urilor filmate de noi. Cu aceasta acum se ocupă serverele centrale de stocare. Când imaginea video este nemodificată se utilizează puține resurse CPU. Însă dacă vrem să punem logo-ul privesc.eu servere țin doar 4 live-uri în paralel 😔. Pentru a scala această problemă am construit un docker care automat se pornește în cloud și se oprește când live-ul se deconectează. Suntem acum în faza de testare.

TRANSCRIPTION: Este un sistem intern dezvotat pentru a transcrie video manual, importa sau recunoașterea vocii. Cu recunoașterea vocii va trebui de mai așteptat. Ne-am integrat cu Google Speech Recognition însă e destul de prost în limba română.

PHOTO: Fotograful după ce fotografiază la eveniment încarcă pe loc toate fotografiile pe iPad apoi de pe iPad le trimite pe server. Fotografiile se stocheză în Azure Blob Storage și alertăm organizatorul cu un email. Toți oamenii de pe chat deasemnea primesc alerte despre fotografiile încărcate. Utilizatorii pot descărca aceste fotografii una câte una sau toată arhiva.

SEARCH: La început căutam doar cuvinte în titlurile evenimentelor prin SQL. Săptămâna aceasta îm integrat Azure Search, care indexează, titlurile, tag-urile și transcrierile și practic instant îți dă rezultatele. Este un serviciu de search foarte flexibil în interpelări care înțelege și limba română. Rezultatele pot fi ordonate după rank sau timpul de înregistrare.

SEO: Paginile de la privesc.eu de obicei au multe componente: chat, fețe de oameni, agenda, linkuri cu alte portaluri care se generează dinamic. Pentru a servi aceste pagini foarte rapid search-urilor este un serviciu bun - prerender.io. El deschide pagina cerută în chromeless procesază exact cum o face un browser și stocheză plain html în memorie. La o a doua cerere răspunde instant. Privesc.Eu are peste 90 mii de pagini și crawlerele cer mii de pagini pe zi. Pentru a economisi am pornit un Azure Container Instance cu un docker prerender și merge brici.

IDE: Visual Studio 2015 și 2019- dezvoltare web, Visual Studio Code - recunoașterea fețelor. XCode - aplicația iOS. Android Studio - aplicația Android.

LANGUAGES: C# - pentru progamare de web servere. Java - custom plug-in pentru Wowza. Python - recunoașterea fețelor în video. Objective-C/Swift - aplicația iOS, Java/Kotlin - Aplicația Andoid. Javascript/Typescript - Web site. Uneori mă încurc în ele când trec de la una la alta :D.

SOFT: IIS - serverele de stocare, Wowza - livestream, FFMPEG - procesare video, conversie, restream, NGINX - servere cache in reverse proxy.

OS: Windows Server - serverele www și de stocare, Ubuntu - serverele de cache video și recunoașterea fețelor, MacOS - pentru development.

Chiar dacă acest sistem este construit de un singur om, în spatele serviciilor care le folosim stau sute, poate mii de ingineri. Un mare mulțumesc lor, celor care ne ajută ca acest site să lucreze nonstop.

PS. Azi doar blogul privesc.eu a mai rămas pe wordpress. 😉

PS: Următorul post - Cum să contruiești un canal TV funcțional complet autonom.