Google
A Google ismert a webes keresőjéről, illetve a kersési hatékonyságáról és sebességéről. Ahhoz, hogy ezt a célt elérjék, több dologra is szükségük volt: megfelelő agyakra, szoftverekre, hardverre.
A cég megírta a saját fájlrendszerét, amit Google File System-nek neveznek. Arra optimalizálták, hogy nagy, 64MB méretű adat blokkokat tudjon kezelni. Továbbá a fájlrendszernek kezelnie kell tudni a hibákat bármikor, ami lehet akár lemez vagy hálózati hiba is. Az adat három helyen van lemásolva és van egy mester gép, ami képes megtalálni egy kis darab adatot, amire szükség van, még akkor is ha az eredeti példány nem elérhető.
Hoelzle szerint a programokat hibatűrőre kell készíteni. Ha számítasz a hibákra, akkor az olcsó PC is alkalmas lesz Internetes szolgáltatásokra. Hoelzle az egyik vezető mérnök a Google-nél.
Google PC-s szerverei, melyből több ezer van, egy speciálisan módosított Red Hat linuxon alapulnak, igaz a kernelt módosították a Google számára, de csak a kernelt. A cég kitalált egy rendszert arra, hogy miként lehet nagy mennyiségű adatot kezelni és visszaadni nagyon gyorsan az eredményt a keresésekhez. A Web ismert részét sok millió darabra, vagy ahogy ők nevezik "szilánkra" szedték, és ezt még redundánsan is tárolják, feltételezve a hibát.
Nem meglepő, hogy a cég készített egy szó indexet is a Weben megtalálható szavakról, mely nagy méretű fájlok tömbjében van tárolva. Természetesen vannak dokumentum szervereik is, melyeken a Web lapok másolatai vannak.
Egy másik nagy fejlesztése a Google-nak, hogy olyan programokat készít, ami kiszolgálók ezrein fut. Átlagos esetben ahhoz, hogy egy program párhuzamosan több gépen futhasson, speciális eszközök és képességek kellenek. Ők fejlesztettek egy olyan eszközt, amit MapReduce-nak hívnak, ami ezt az egész folyamatot lefedi. Az ebben készült programok segítségével megoldhatóvá vált az, hogy ha egy gép kiesik, a program mégis fut tovább és automatikusan lekezelődik a hiba. Ez kritikus pontja annak, hogy a cég költségeit alacsonyan lehessen tartani.
Végül pedig készítettek egy olyan munka ütemező programot is, ami úgy dolgozik, mint egy munkafelügyelőkből álló csoport, ami milliónyi feladatért felelős. Ezt globális munka sornak nevezték el. Egy számítási feladatot szétszed sok apró darabra, majd ezt kiosztja különböző gépeknek. Természetesen ez is, mint minden hibatűrő kell, hogy legyen.
Természetesen minden hibát nem lehet megúszni száraz bőrrel. Ezt misem bizonyítja jobban, mint az, hogy egy alkalommal 6 tűzoltónak kellett kivonulnia a Google egyik adat központjába. Na ott sem egy gép pukkanhatott el.
A Google ismert a webes keresőjéről, illetve a kersési hatékonyságáról és sebességéről. Ahhoz, hogy ezt a célt elérjék, több dologra is szükségük volt: megfelelő agyakra, szoftverekre, hardverre.
A cég megírta a saját fájlrendszerét, amit Google File System-nek neveznek. Arra optimalizálták, hogy nagy, 64MB méretű adat blokkokat tudjon kezelni. Továbbá a fájlrendszernek kezelnie kell tudni a hibákat bármikor, ami lehet akár lemez vagy hálózati hiba is. Az adat három helyen van lemásolva és van egy mester gép, ami képes megtalálni egy kis darab adatot, amire szükség van, még akkor is ha az eredeti példány nem elérhető.
Hoelzle szerint a programokat hibatűrőre kell készíteni. Ha számítasz a hibákra, akkor az olcsó PC is alkalmas lesz Internetes szolgáltatásokra. Hoelzle az egyik vezető mérnök a Google-nél.
Google PC-s szerverei, melyből több ezer van, egy speciálisan módosított Red Hat linuxon alapulnak, igaz a kernelt módosították a Google számára, de csak a kernelt. A cég kitalált egy rendszert arra, hogy miként lehet nagy mennyiségű adatot kezelni és visszaadni nagyon gyorsan az eredményt a keresésekhez. A Web ismert részét sok millió darabra, vagy ahogy ők nevezik "szilánkra" szedték, és ezt még redundánsan is tárolják, feltételezve a hibát.
Nem meglepő, hogy a cég készített egy szó indexet is a Weben megtalálható szavakról, mely nagy méretű fájlok tömbjében van tárolva. Természetesen vannak dokumentum szervereik is, melyeken a Web lapok másolatai vannak.
Egy másik nagy fejlesztése a Google-nak, hogy olyan programokat készít, ami kiszolgálók ezrein fut. Átlagos esetben ahhoz, hogy egy program párhuzamosan több gépen futhasson, speciális eszközök és képességek kellenek. Ők fejlesztettek egy olyan eszközt, amit MapReduce-nak hívnak, ami ezt az egész folyamatot lefedi. Az ebben készült programok segítségével megoldhatóvá vált az, hogy ha egy gép kiesik, a program mégis fut tovább és automatikusan lekezelődik a hiba. Ez kritikus pontja annak, hogy a cég költségeit alacsonyan lehessen tartani.
Végül pedig készítettek egy olyan munka ütemező programot is, ami úgy dolgozik, mint egy munkafelügyelőkből álló csoport, ami milliónyi feladatért felelős. Ezt globális munka sornak nevezték el. Egy számítási feladatot szétszed sok apró darabra, majd ezt kiosztja különböző gépeknek. Természetesen ez is, mint minden hibatűrő kell, hogy legyen.
Természetesen minden hibát nem lehet megúszni száraz bőrrel. Ezt misem bizonyítja jobban, mint az, hogy egy alkalommal 6 tűzoltónak kellett kivonulnia a Google egyik adat központjába. Na ott sem egy gép pukkanhatott el.
Megjegyzések