Proiect Interfete Evoluate

SEO poisoning

2008-01-13T13:28:00.000-08:00

Cei de la Google au un motiv serios sa blocheze si sa puna pe lista neagra site-urile care fac SEO agresiv. In ultimul timp a existat o crestere masiva a incercarilor de SEO poisoning care promovau site-uri de phishing sau care contineau malware. Astfel, pentru un query destul de comun si nevinovat putem gasi intr-o lista de rezultate, chiar pe prima pagina, acest tip de site-uri.
Site-urile de phishing copiaza aspectul unor site-uri bine cunoscute (de obicei banci sau institutii) pentru a pacali userii sa-si introduca datele personale.
Alte site-uri instaleaza malware pe calulatorul vizitatorului, fara stirea acestuia. Instalarea se face prin exploatarea vulnerabilitatilor browser-ului (de obicei Internet Explore) sau ale altor programe care redeau continut web (Flash Player, Quicktime, Windows Media Player, etc.).
O data prinse, aceste site-uri sunt black-listed atat in motorul de cautare cat si blocate/desfiintate. Durata lor de viata este mica, dar indeajus cat sa prinda cativa useri neatenti. Aceste site-uri sunt creeate in masa, pentru a fi eficiente. Administrarea acestor site-uri este foarte simpla, datorina noilor tool-uri(MPack, Icepack) facute special pentru administrarea site-urilor de malware. Aceste tool-uri au devenit din ce in ce mai complete si fac creearea unui astfel de site un "no brainer".
Pe langa SEO poisoning, mai exista un siretlic prin care userul este pacalit sa intre pe un site: folosirea domeniilor cu nume similare cu ale altor site-uri cunoscute, de exemplu: googl, gogle, microsof, etc.
Iata cateva sfaturi pentru a va proteja de aceste atacuri:
- Faceti update des programelor dumneavoastra: de obicei, aceste updateuri contin fix-uri la buguri si vulnerabilitati.
- Folositi Firefox sau Opera: s-a constatat ca marea ajoritate a atacurilor sunt indreptate doar catre Internet Explorer.
- Folositi un antivirus care sa includa si detectia site-urilor nesigure (McAfee, Bitdefender, TrendMicro).
- Folositi NoScript pentru a va apara de continutul activ periculos al paginilor.
- Uitati-va la numele de domeniu, daca pare ciudat, opriti-va putin si ganditi-va daca poate fi safe.

Referinte:
http://www.downloadsquad.com/2007/11/29/google-removes-thousands-of-malware-sites/
http://blogs.zdnet.com/security/?p=700
Know Your Enemy: Behind the Scenes of Malicious Web Servers
http://blog.trendmicro.com/
http://www.f-secure.com/weblog/

Standarde Web si cine le reglementeaza

2008-01-09T09:51:00.000-08:00

Dupa cum bine stim de la un renumit curs din acest an, nu este suficient sa stim sa aplicam tehnologiile invatate, sa stim sa le folosim ,ci este de asemenea necesara cunoasterea standardelor si a organizatiilor care au stat la baza lor.De aceea m-am gandit sa fac o scurta prezentare in legatura cu serviciile web,mai exact standardele web si cine anume le implementeaza.
Cele mai importante standarde sunt:
- XML (Extensible Markup Language) - Meta-limbajul XML este o simplificare a limbajului SGML (din care se trage si HTML) si a fost proiectat in scopul transferului de date intre aplicaţii pe internet. XML este acum şi un model de stocare a datelor nestructurate şi semi-structurate în cadrul bazelor de date native XML.
- SOAP (Simple Object Access Protocol) - un set de reguli referitoare la modul in care sunt incluse solicitarile si raspunsurile pentru servicii Web in schimbul care are loc intre un utilizator si un furnizor de servicii Web.
- WSDL (Web Services Description Language) - un limbaj bazat pe XML utilizat pentru descrierea serviciilor oferite de un furnizor si a protocoalelor (precum SOAP) necesar a fi utilizate pentru a putea beneficia de acestea.
- UDDI (Universal Description, Discovery and Integration) - un registru care permite unui furnizor de servicii Web sa faca publice si sa descrie serviciile pe care le pune la dispozitie pentru ca potentialii utilizatori sa fie informati de disponibilitatea lor.
Standardele mentionate mai sus sunt elaborate si certificate de organizatiile urmatoare:
-World Wide Consortium (W3C)-o organizatie non-profit, care ordoneaza evolutia Web-ului.Avand ca motto "To lead the World Wide Web to its full potential by developing protocols and guidelines that ensure long-term growth for the Web", W3C a publicat pana in prezent mai mult de 90 recomandari - W3C Recommendations.In prezent se lucreaza la XHTML ( versiunea 2.0 ), o reformulare a HTML 4.01 - standard oficial W3C din decembrie 1999 - ca o aplicatie XML.
-OASIS (Organization for the Advancement of Structured Information Systems) -este o organizatie formata la initiativa unor companii cu preocupari in randul serviciilor Web, precum IBM, Microsoft si Sun Microsystems. OASIS a supervizat dezvoltarea de standarde precum UDDI, ebXML.
-WSI (Web Services Interoperability Organization )- este o alta organizatie formata din peste 120 de membri, printre care IBM, Microsoft, Sun Microsystems, Oracle, ce au ca scop elaborarea de standarde ce permit serviciilor Web sa fie accesibile pe platforme diferite.Setul comun de instrumente standard folosite este destinat sa permita functionarea serviciilor Web pe diferite sisteme de operare.
Ca o concluzie-o intrebare adresata voua:Ce standarde va sunt familiare si in ce domenii?

Am intrat in concurs!

2007-12-23T11:17:00.000-08:00

O echipa adversa(www.interfeteevoluate.ro) se pare ca a venit cu ideea organizarii unui concurs:"Site-ul anului 2007 la Interfete Evoluate".Suntem fericiti sa va anuntam ca suntem si noi printre cei nominalizati.Asteptam voturile voastre daca nu ati facut-o deja. Aici puteti vedea nominalizarile.

Tema 3 Interfete Evoluate

2007-12-02T08:54:00.000-08:00

De ceva timp a aparut tema 3 la Interfete Evoluate.Pentru aceasta tema fiecare membru al echipei trebuie sa isi aleaga spre implementare cate o componenta JavaScript.Oare care e mai interesanta dintre contor,auto-complete, calendar si topul articolelor ? Inca nu suntem decisi...
Pentru o descriere mai amanuntita a ceea ce urmeaza sa implementam,gasiti aici enuntul temei.

Cum sa-ti faci propriul Crawler? Partea a 2-a

2007-11-25T12:34:00.000-08:00

Buun, ne-am intors cu partea a doua (si ultima) despre crawlere, la sfarsit, vom avea si niste cod disponibil.
Ok unde ramasesem? Hmmm...nu mai tin minte. A! Da! Probleme de implementare. Ok, pana acum am presupus ca informatiile(link-urike) pe care le cautam sunt valide. Nu este chiar asa simplu: unele link-uri s-ar putea sa fie momentan sau permanent indisponibile, altele s-ar putea sa fie pur si simplu scrise gresit. Nu voi intra in detaliu, deoarece majoritatea limbajelor au posibilitatea de tratare a acestor greseli/erori/exceptii. O mica nota: pentru link-urile care nu mai sunt valide, se poate folosi WayBack Machine (care se bazeaza tot pe un crawler), unde se poate gasi un snapshot al unei pagini la o anumita data.
Acum avem toate link-urile valide, numai ca nu sunt toate necesare. De exemplu, unele link-uri sunt spre site-ul curent. Si asta se face usor.
Sa zicem ca am terminat. Dupa cum am spus anterior, eu am ales sa fac acest script in Python si rezultatul va fi un graf orientat. Asa arata rezultatul:

Eu am folosit Graphviz pentru a defini graf-ul. Este usor de folosit, foarte customizabil si graf-ul poate capata diferite forme.
Cam atat despre mini crawler-ul nostru. Mai multe implementari aici, adica pe site-ul nostru weblab.3x.ro . Sper ca a fost cat de cat interesant.

PS: Despre WayBack Machine si crawler-ul asociat se pot spune multe. Crawler-ul este open source. Nici nu vreau sa ma gandesc in cate feluri se poate folosi WayBack Machine. Totusi, voi da un exemplu: Un crawler temporal care poate observa nu doar relatiile prezente dintre site-uri/entitati ci si relatiile temporale. Am spus destul.

Cum sa-ti faci propriul Crawler? Partea 1

2007-11-15T00:21:00.000-08:00

Ti-a trecut vre-o data prin cap sa faci asa ceva? Ti se pare interesanta ideea? Nu-i greu deloc. Ideea e simpla, scrii un program/script care partseaza continutul unui site si extrage continutul acestuia (doar ce te intereseaza). In functie de continut, poti alege sa vizitezi anumite link-uri. Toata aceasta informatie este apoi pusa intr-o forma usor accesibila (un XML sau baza de date).

Exista cateva alegeri pe care va trebui sa le faci inainte:

- Ce limbaj foloses? Cam orice iti convine de la C, C++, Java la limbaje de scripting gen Perl, Pythom, Ruby, etc. Cam toate au mai multe implementari de parsere HTML si XML. Eu am ales Python, pentru ca imi este foarte comod si este rapid de implementat.

- Ce parser folosesc? Aici conteaza ce tip de site vrei sa parsezi. Sa zicem ca dorim sa extragem informatiile dintr-un blog de pe blogger.com. Asta inseamna ca avem XHTML. Buun, simplu, folosim un parser de XML! Sau nu... Exista o mica problema aici, legata de corectitudinea XML-ului. La o validare a XML-ului, vom primi un raspuns negativ. Ce e de facut? Pai, cel mai simplu, facem un pas inapoi in istorie si ne amintim de SGML, tatal XML-ului si HTML-ului. Acum avem un grad mai mare de flexibilite si putem folosi scheme malformate, ceea ce si cautam. Nu am specificat tehnologia de parsare XML, SAX sau DOM. Ei bine, SAX este mai potrivit scopului, deoarece este mai rapid si nu avem nevoie de toate informatiile din pagina.

- Cat de mult vreau sa parsez, care este volumul de date cu care se va lucra si viteza dorita? In functie de acestea vom obtine gradul de complexitate si scalabilitate al crawler-ului. Pentru exercitiul nostru nu avem nevoie de ceva prea complicat, volumul de date nu e prea mare, datele parsate sunt destul de putine. Daca totus vrei ceva mai bun este recomandat sa cauti crawlere deja existente. Daca tii mortis sa iti faci propriul crawler care parseaza un volum foarte mare de date si mai este si rapid, iata niste idei: foloseste thread-uri multiple (dooh), foloseste un model de procesare paralela (boss worker, work crew, etc), pentru a tine minte site-urile gata vizitate foloseste una sau mai multe stive (desi ar merge si alte structuri de date...).

- Ce vreau sa fac cu datele obtinute? Un crawler n-are nici un folos daca nu folosim datele obtinute in urma rularii sale. Un functie de nevoi, datele se pot scrie intr-un fisier format XML , in propriul format sau intr-o baza de date. Un exercitiu interesant este sa se creeze un graf al datelor citite. Cu graphwiz se face foarte usor asta: un graf este reprezentat de un fisier text care specifica legaturile dintr nod-uri.

Dupa ce ai raspuns la toate acestea poti sa te apuci de partea cea mai simpla, implementarea ;) . Glumesc, nu e cea mai simpla, dar nici grea nu este, deoarece exista o gramada de parsere care ne vin in ajutor.

Atat pentru partea 1. In partea a doua va exista si o implementare.

Sa ne facem si site-ul cunoscut...

2007-11-06T16:09:00.000-08:00

Site-ul nostru este weblab.3x.ro si contine(cel putin pana acum) tema 1 la interfete evoluate.Vom adauga si viitoarele teme cat si articole despre tehnologiile folosite pentru realizarea acestora.De astazi site-ul a fost inscris pe trafic.ro asa ca vizitati-ne cat mai des.

Lucruri esentiale

2007-11-06T14:50:00.000-08:00

Cand am creat blogul ,primul post ar fi trebuit sa fie o descriere a membrilor echipei.Cum niciodata nu este prea tarziu, facem acest lucru in acest post.Suntem 4 studenti, fosti sau actuali colegi de grupa,unii chiar colegi de camera,insa cu totii avem un punct comun(pe langa acest blog):Facultatea de Automatica si Calculatoare.O descriere cat mai scurta(nu de alta dar avem 2 membri carora nu le place sa fie prezentati) si concisa :Ana si Dragos sunt cei care vor scrie cu siguranta articolele tehnice iar eu cu Alex vom avea posturi asemanatoare cu acesta.Inca nu ne-am decis care e liderul nostru.Cam greu cu 2 berbeci,un leu si un rac.Eu cam atat pot spune.Daca mai vrea cineva sa adauge ceva la propria descriere (sau chiar la descrierea echipei) poate da un comment.

Ce ne pregateste Firefox?

2007-11-03T14:13:00.000-07:00

De ce ne place Firefox? Raspunsurile sunt multe, dar printre capetele de lista se numara extensibilitatea sa. De curand, s-a anuntat pe Firefox labs un nou proiect in dezvoltare. Se numeste Prism, este o platforma pentru desprinderea aplicatiilor web de browser. Astfel, serviciile web vor fi standalone folosind resursele oferite de Prism. De exemplu, GMail sau Google Reader sunt accesibile direct de pe desktop, ca aplicatii separate. Nu este un feature foarte mare, dar poate schimba mentalitati. Pe de alta parte, poate aparea ca un derivat nereusit al widget-urilor. Ramane de vazut daca va avea succes la useri.
Un lucru e sigur, Google are un avantaj direct din acest proiect. Ceea ce este normal, caci ei sunt cei mai importanti investitori in Mozlilla Foundation. Pentru mai multe detalii aici.
Firefox labs este playground-ul comunitatii Firefox, mai exista cateva proiecte interesante in derulare. Check them out!

Altova XMLSpy

2007-10-29T15:17:00.000-07:00

Daca vrei vreodata sa editezi, sa modelezi documente legate de tehnologia XML, XMLSpy este cea mai buna solutie.Este un mediu de dezvoltare puternic de la Altova care iti usureaza mult munca si ruleaza pe 3 dintre cele mai renumite platforme:Windows, Linux si MacOS.
Desi eu nu l-am folosit pana acum decat pentru editarea si validarea documentelor XML folosind un DTD, XMLSpy poate mai mult de atat.Tool-ul are suport pentru XSLT, XPath, XQuery, WSDL, SOAP, documente Office Open XML, plugin-uri de Visual Studio .NET si Eclipse si multe altele.XMLSpy2008 (aparut pe 12 septembrie) are suport chiar si pentru formatul Office Open XML (folosit de Office 2007).Documentele Office 2007 pot fi stocate acum sub forma unei arhive zip ce contine datele sub format XML ceea ce reprezinta un mare avantaj pentru ca astfel datele sunt standardizate foarte usor.

Pentru download puteti intra aici(nu e free:(): Download

Detalii despre XML programming ( despre integrarea Eclipse ) gasiti aici: Integrare EclipseTeam.Ma gandesc ca poate va ajuta la tema 2 la Interfete Evoluate.

Proiect Interfete Evoluate

2007-10-29T14:44:00.000-07:00

Asa incepe proiectul nostru la interfete evoluate....cu acest blog.Va urma...