cingcong6

Struktur Website Dan Analisa Website

STRUKTUR WEB
Hal pertama dalam mempelajari sesuatu biasanya adalah pengenalan. Begitu juga mengenai website, sebelum mempelajarinya lebih jauh, ada baiknya kita mengetahui bagian-bagian pembentuk sebuah website. Minimalnya dengan itu kita tahu, bagian mana yang bisa kita tangani, dan mana yang harus menggunakan jasa orang lain. Atau, kita tahu bagian mana yang harus diotak-atik dalam troubleshoting.
Secara garis besar, agar dapat diakses oleh publik, sebuah website harus memiliki empat komponen utama. Jika manusia memiliki nama, tubuh, jiwa, dan rumah tempat tinggal, maka sebuah website pun memilikinya.
Nama website, umumnya panduan dari domain dan TLD (Top Level Domain), dimana nama ini bersifat uniq yaitu tidak ada yang sama satupun didunia ini. Domain website ini adalah jayaweb, website ini menggunakan tld .com, jadi nama website ini adalah jayaweb.com. Beberapa tld lainnya yaitu .net, .info, .biz, dll. Tapi ada juga nama website menggunakan subdomain (sub/anak dari domain), semisal blog.jayaweb.com
Tubuh, dalam hal ini adalah struktur dan layout dasar sehingga website dapat tampil dengan baik. Struktur utama sebuah website dibentuk oleh script html, dihiasi oleh css dan gambar latar dan icon, agar dapat mengolah data maka dicerdaskan oleh php, asp, jsp atau lainnya. Dan agar terlihat lebih atraktif, interaktif dan lebih hidup, biasanya sebuah website disenjatai dengan javascript dan gambar-gambar animasi dan flash. Jika Anda enggan pelajari web programing, minimalnya Anda harus mempelajari cms agar dapat membuat website sendiri, semisal cms wordpress dan joomla.
Jiwa, adalah fungsi dan isi/content yang berkenaan dengan fungsi website, sesuai dengan tujuan dibuatnya website itu. Macam-macam website berkenaan dengan hal ini diantaranya adalah website sebagai toko online, website sebagai blog, portal, social media, album photo, profil perusahaan, dll, yang tentunya memiliki type content yang berbeda sesuai fungsinya. Untuk web desainwebnet.com, contentnya adalah artikel tentang pembuatan website, belajar website dan info bisnis online, karena website ini saya peruntukan sebagai web yang juga berfungsi juga untuk publikasi.
Rumah, bagi sebuah website adalah hosting untuk menempatkan file-file dan database website tersebut. Hosting disini adalah server yang terhubung ke internet, jadi sever local semisal apache di localhost bukanlah sebuah hosting dalam bahasan disini. Jadi ketika seseorang mengakses sebuah website, sebenarnya dia sedang mengakses sebuah komputer server yang terkoneksi ke internet, yang telah disediakan oleh pihak hosting untuk disewakan.
Dan harus Anda ingat, sampai dengan saat ini era informasi masih berjaya. Jadi tidak ada salahnya kita belajar membuat dan mengelola website. Asal ada kemauan, siapapun bisa melakukannya, termasuk kita . . . :)

ANLISA WEB
Untuk menganalisa suatu website perlu di ketahui kriteria apa saja yang akan di analisa. Berikut adalah analisis sebuah website www.bhineka.com dengan kriteria sebagai berikut:
A.Faktor psikologis
B.Faktor ergonomis
C.Faktor kecerdasan buatan
D.Faktor Teknik penulisan
E.Faktor multimedia
F.Rekayasa perangkat lunak

Berikut ini adalah analisa saya untuk website www.bhineka.com :
A. Faktor Psikologis
Web ini di fungsikan untuk menampilkan gambaran tentang produk yang ditawarkan oleh website bhineka. Bukan hanya itu,web ini juga menampilkan beberapa produk terbaru dari beberapa produsen produk komputer terkenal, sehingga konsumen dapat lebih mengetahui tentang produk-produk yang ditawarkan oleh website bhineka. Web ini memberikan suatu psikologis yang baik dan positif bagi para pembaca, karena dengan adanya website ini, pengunjung dari berbagai kota hingga negara akan lebih mudah untuk melakukan survei terhadap produk-produk yang terdapat pada website ini tanpa menuju lokasinya langsung.
B. Faktor ergonomis
Web www.bhineka.com ini secara ergonomis dapat di kategorikan dalam posisi baik, dan tepat dalam hal tata letak dan warna suatu objek sehingga terlihat menarik dan fress, juga menu yang tersedia memudahkan dalam pengaksesan informasi sehingga memudahkan pembaca dalam mendapatkan informasi yang di perlukan dan terlihat menarik sehingga pengunjung website tidak akan pernah merasa jenuh.
C. Faktor Kecerdasan Buatan
Menurut faktor kecerdasan buatan, web www.bhineka.com dapat di katakan nyaris sempurna, dengan tata letak menu yang beraturan dan posisi-posisi yang memudahkan pembaca untuk mencari segala informasi mengenai produk yang ditawarkan website bhineka. Desain yang di buat sangat dinamis, dimana pembuat mampu membuat desain dan menu menu yang dapat menarik para pembaca, dengan adanya kombinasi warna yang terpadu dengan tema indonesia yaitu “bhineka tunggal ika” digabungkan dengan tampilan modern yang menarik pembaca untuk membeli produk-produk yang ditawarkan oleh website ini.

D. Faktor Teknik Penulisan
Dalam penulisan yang terdapat pada www.bhineka.com dapat di lihat dari segi penulisan antara font size, color, dan gambar dalam web ini terlihat keragaman warna, baik untuk font maupun background yang ada, sehingga memiliki daya tarik pembaca untuk membaca informasi yang ada .
E. Faktor Multimedia
Pada web ini menggunakan perangkat multimedia seperti gambar animasi bergerak kemudian iklan baris yang berjalan yang membuat web ini terlihat menarik perhatian pembaca agar berlama lama berada di web ini adapun kekurangannya web ini tidak dilengkapi dengan multimedia yang berupa audio/suara
F. Rekayasa Perangkat Lunak
Pada Web ini dibuat secara efektif dan efisien guna kenyamanan para pengunjung/pembaca. Web ini dilengkapi dengan banyak fitur pilihan ketika kita akan hendak memilih informasi ataupun berita yang akan kita lihat dan baca danjuga dilengkapi dengan search engine yang bertujuan agar para pengunjung/pembaca dapat mengakses produk-produk yang diminati secara mudah dan cepat.

Sturktur Link
Untuk memperkuat optimasi seo pada blog, kita akan membutuhkan banyak backlink meskipun pada era Google Panda ini sebuah backlink sudah tidak sekuat yang dulu lagi tapi tetaplah dibutuhkan terutama untuk meningkatkan pagerank google dan mempercepat index search engine.
Sebelumnya ketika kita berupaya membangun sebuah backlink baik di dalam blog maupun di luar blog, kita semua pasti sudah mengetahui ciri backlink berkualitas itu seperti apa dan pasti sudah menerapkan pula bagaimana cara mendapatkan backlink berkualitas itu. Namun ada satu hal yang harus kita perhatikan dalam membangun backlink yaitu tentang struktur link yang kita pergunakan. Kita harus mempergunakan struktur link yang baik agar mudah di telusuri oleh semua spider bot. Dan ini merupakan harga mati bagi kita bila ingin memperoleh hasil yang memuaskan.

Berikut ulasan singkat tentang struktur link terbaik untuk membangun sebuah backlink berkualitas :

Text link

Dalam hal meningkatkan optimasi seo guna memperoleh posisi pertama di halaman search engine google dan kawan – kawannya, kita lebih membutuhkan jenis text link sebagai backlink blog dari pada sebuah link yang dibuat dengan menautkan gambar meskipun gambar tersebut menarik minat pengunjung untuk mengkliknya. Sebuah text link bisa kita taruh di dalam posting blog dan dapat menyatu membentuk satu rangkaian kata yang terkesan natural, apabila spider bot berhasil menemukannya maka link seperti ini akan dianggap sebagai backlink berkualitas yang dapat mendukung isi posting yang ada di dalamnya. Selain itu penggunaan text link akan lebih efektif meningkatkan jumlah pageview blog.

HTML Sederhana

Text link yang sederhana dengan kode html biasa akan sangat mudah di telusuri / crawling oleh spider bot search engine. Ini sangat berbeda dengan link yang di buat melalui flash dan javascript. Karena itu, ketika kita hendak membangun backlink untuk memperkuat internal link, jangan lupa memilih ini.

Menggunakan Anchor Text

Kita pasti telah menyadari akan kekuatan sebuah text link dari html biasa namun dari sisi pembaca link jenis ini sedikit menarik minat untuk di klik sehingga sedikit sekali pageview yang di dapat dari link tersebut. Untuk mengatasi hal ini diperlukan sebuah anchor text yang akan memberikan deskripsi menarik dari link ini. Fungsinya selain mendorong pengunjung agar melakukan klik, anchor text yang tepat juga mempermudah spider bot dalam menganalisa dan mendata link tersebut.

Social Network
Seperti yang telah saya tulis pada tulisan Internet Untuk Pemula dan Social Networking Sites (Situs Jejaring Sosial) , situs social network merupakan suatu layanan internet/aplikasi yang menandai perkembangan era Web 2, yaitu suatu era dimana perkembangan era Web yang mengkombinasikan kekuatan internet dan partisipasi sebagai kekuatan utama.

Perkembangan yang cukup pesat dari era web 2 saat ini tampak jelas sangat didominasi oleh situs jejaring sosial (social networking), bahkan terus bermunculan situs-situs ini dengan berbagai ragam fitur yang ditawarkan yang tentunya pada akhirnya semua dilakukan untuk kenyamanan user.

Di Indonesia, pada awalnya situs jejaring sosial yang paling popular adalah Friendster dimana dapat dikatakan semua pengguna kalangan muda memiliki account Friendster. Friendster memang memiliki user terbesar di Asia dan pengguna Friendster Indonesia merupakan urutan kedua dalam daftar 14 negara yang paling banyak menjadi member Friendster.

Ditahun 2009, dominasi Friendster Indonesia tampaknya mulai tersaingi oleh Facebook Indonesia dan dengan banyaknya persaingan untuk situs social network ini, beberapa situs jejaring sosial baru mulai menggeser dominasi situs-suts social network lama yang telah ada dengan berbagai fitur yang lebih baik dan bagus.

Berdasarkan catatan versi toptenreview , pada tahun 2009 terdapat 10 situs social network yang akan bersaing.
Penilaian ranking dilakukan dengan melakukan rating pada fitur-fitur yang ditawarkan oleh masing-masing situs social network tersebut seperti : Demographics, Profile, Security, Networking Features, Search dan Technical Help/Support. (klik disini untuk melihat table review)

Adapun situs-situs yang termasuk dalam toptenreview 2009 adalah sebagai berikut berdasarkan ranking teratas.

Top 10 Social Networking 2009

MySpace

Websites MySpace ini merupakan situs social network yang terbesar sat ini, bahkan telah mampu mengalahkan dominasi Friendster yang sebelumnya menguasai situs pertemanan di dunia. MySpace hadir dengan berbagai fitur yang sangat komplit dan memiliki hampir semua fitur yang ada disetiap social network. Dari hasil rating MySpace hanya memiliki kekurangan dalam hal tidak terdapatnya fitur iklan gratis seperti yang ada pada hi5, Orkut dan Yahoo! 360. MySpace dilengkapi dengan fitur mulai dari blog hingga user dapat memajang klip video atau musik.
MySpace mulai dirilis sejak tahun 2003, yang pada mulanya hanya digunakan dikalangan karyawan eUniverse dan dimulai dengan membuat kontes untuk melihat siapa yang dapat memperoleh member paling banyak dan akhirnya salah satu dari anggotanya mengusulkan agar mengkomersilkan fitur-fitur Myspace.

Facebook

Situs social networking yang mulai dirilis 2004 oleh Mark Zuckerberg, awalnya hanya digunakan dikalangan pertemanannya saja dan kemudian baru dibuka untuk umum sejak tahun 2006. Hingga saat ini Facebook memiliki jumlah pengguna 140 juta diseluruh dunia. Di Indonesia Facebook tampaknya juga mulai menggeliat dan telah membuat beberapa pengguna Friendster beralih. Overall rating, Facebook menyamai kedudukan MySpace, hanya kelemahan dari Facebook dibandingkan social nerwork yang lain dalam fitur profile dimana tidak tersedianya profile editor, custom skin, customize, personalisasi URL, blog/journal dan masih kurang lengkapnyanya nerworking features dibandingkan MySpace. Tampilan Facebook relatif sederhana sehingga memudahkan penggunaannya dan saat ini Facebook telah menyediakan fitur bahasa Indonesia.

Bebo

Situs social network Bebo mungkin jarang didengar di Indonesia, namun situs ini berdasarkan toptenriview menduduki peringkat ketiga terbaik. Bebo sat ini dimiliki oleh AOL juga menawarkan fitur yang tidak kalah dibandingkan MySpace. Bahkan dibandingkan dengan Facebook, Bebo memiliki fitur yang lebih lengkap. Integrasi dengan percakapan instan messaging membuat komunikasi dengan Bebo lebih hidup, selain itu juga dapat meng-upload video. Mungkin dikarenakan kekurangan dalam daya tampung dan tidak multi bahasa yang membuat Bebo berada dalam urutan ketiga. Space yang disediakan untuk menampung foto-foto hanya sebesar 2Mb.

Friendster

Walaupun sangat populer dikalangan remaja Indonesia, ternyata hanya menduduki peringkat 4 dari versi toptenreview. Fitur profile yang dimiliki oleh Friendster sama dengan yang ditawarkan MySpace, namun sangat lemah dalam Networking Features. Situs friendster ini sangat cocok digunakan sebagai tempat mengekspresikan diri (narsis ni yeee). Friedster juga memiliki fasilitas blog dan fitur video yang digabungkan dengan explorer. Kelebihan yang paling menonjol adalah kemudahan dalam melakukan modifikasi halaman profile dan selain itu tersedia fitur bahasa Indonesia.

Hi5

Hi5 juga merupakan situs social network yang cukup besar dengan member sebanyak 50 juta anggota. Fitur Profile yang ditawarkan relatif hampir sama dengan Friendster, bahkan lebih baikdari Facebook dan Bebo, juga kemudahan saat menambah daftar teman tanpa mengharuskan mengetahui alamat email terlebih dahulu, kemampuan mendeteksi member yang sedang online. Kelemahan situs ini dibandingkan dengan MySpace dan Facebook dalam hal Networking Features dan space yang ditawarkan hanya 2Mb.

Orkut

Situs social network yang berada pada urutan keenam ini cukup populer di Brazil dan India dan masih merupakan situs pertemanan ujicoba buatan Google. Untuk dapat menjadi member pada social network Orkut, member harus memiliki account pada GMail. Mengenai fitur yang ditawarkan memang masih jauh dibanding dengan MySpace, Facebook atau Friendster, namun memiliki kelebihan dalam pemberian space yang cukup besar yaitu 10Mb.

PerfSpot

Situs social network Perfspot ini memang sangat asing di Indonesia. Seperti juga situs social network lainnya, Perfspot menawarkan fitur yang hampir sama dengan lainnya seperti update profile, video, foto musik. User juga dapat membuka penyimpan internet. Sebagian besar member PerfSpot saat ini berupa member muda yang memiliki rata-rata usia 13 tahun, dan memiliki nuansa pendidikan. PerfSpot memiliki filter dalam sistem pencariannya, karena account yang membernya masih berusia dibawah 18 tahun tidak akan ditampilkan.

Yahoo! 360

Yahoo! 360 merupakan social network milik Yahoo! dan telah lama dirilis yaitu bersamaan dengan Yahoo! Messenger (YM). Seperti juga Orkut dengan GMail, Yahoo! 360 juga mensyaratkan memiliki account pada Yahoo! Mail.
Fitur yang ditawarkan hampir sama dengan kebanyakan fitur yang terdapat pada social network lainnya.

Zorpia

Situs Zorpia sebenarnya memiliki fitur yang cukup lengkap seperti yang ada pada Friendster dan Facebook, namun mungkin tidak tersedianya fitur multilingual. Kelebihan lainnya dari situs Zopia adalah menawarkan space sebesar 16Mb, berarti penyedia situs social network yang memberikan space paling besar pada 10 situs social network paling populer. Dengan space sebesar 16Mb, member dapat lebih leluasa melakukan upload foto, musik dan video.

Netlog

Netlog adalah situs social network pada urutan terakhir dalam toptenreview, dan sangat populer di Eropa dengan jumlah member mencapai 35 juta anggota. Fitur yang disediakan rata-rata hampir sama dengan yang lain. Space yang ditawarkan hanya sebesar 3Mb.

Tulisan Yang Berhubungan :

Facebook : Mencoba Berbagai aplikasi Facebook
Facebook Menjadi Trend Social Networking 2009
Facebook : Setting Awal Facebook
Social Networking Sites
Friendster : Cara Memasang Lagu Pada Halaman Profile
Friendster Indonesia
Internet Untuk Pemula

Blog
Blog merupakan singkatan dari web log^[1] adalah bentuk aplikasi web yang menyerupai tulisan-tulisan (yang dimuat sebagai posting) pada sebuah halaman web umum. Tulisan-tulisan ini seringkali dimuat dalam urut terbalik (isi terbaru dahulu baru kemudian diikuti isi yang lebih lama), meskipun tidak selamanya demikian. Situs web seperti ini biasanya dapat diakses oleh semua pengguna Internet sesuai dengan topik dan tujuan dari si pengguna blog tersebut.
Media blog pertama kali dipopulerkan oleh Blogger.com, yang dimiliki oleh Pyra Labs sebelum akhirnya PyraLab diakusisi oleh Google.Com pada akhir tahun 2002 yang lalu. Semenjak itu, banyak terdapat aplikasi-aplikasi yang bersifat sumber terbuka yang diperuntukkan kepada perkembangan para penulis blog tersebut.
Blog mempunyai fungsi yang sangat beragam,dari sebuah catatan harian, media publikasi dalam sebuah kampanye politik, sampai dengan program-program media dan perusahaan-perusahaan. Sebagian blog dipelihara oleh seorang penulis tunggal, sementara sebagian lainnya oleh beberapa penulis, . Banyak juga weblog yang memiliki fasilitas interaksi dengan para pengunjungnya, seperti menggunakan buku tamu dan kolom komentar yang dapat memperkenankan para pengunjungnya untuk meninggalkan komentar atas isi dari tulisan yang dipublikasikan, namun demikian ada juga yang yang sebaliknya atau yang bersifat non-interaktif.
Situs-situs web yang saling berkaitan berkat weblog, atau secara total merupakan kumpulan weblog sering disebut sebagai blogosphere. Bilamana sebuah kumpulan gelombang aktivitas, informasi dan opini yang sangat besar berulang kali muncul untuk beberapa subyek atau sangat kontroversial terjadi dalam blogosphere, maka hal itu sering disebut sebagai blogstorm atau badai blog.

Pengukutan Web

Salah satu teknik mengukur dan menguji suatu kinerja web adalah dengan mengukur pengalaman seseorang atau user experience pengunjung situs yang berinteraksi dengan halaman-halaman web yang berada di internet (Keynote System, Inc 2010).

Kinerja suatu web atau web performance sangat dipengaruhi oleh beberapa komponen-komponen dasar yang dibagi menjadi dua bagian penting, yaitu (1) dilihat dari gambaran transaksi web atau perspective transaction dan (2) gambaran komponen aplikasi atau application component perspective (Keynote System, Inc 2010). Transaksi web atau web transaction lebih menitikberatkan pada sisi pengalaman pengguna atau user experience sedangkan komponen aplikasi lebih menitikberatkan pada komponen jaringan komputer atau computer network.

Search Engine
Sebuah search engine bekerja dengan menerima kata kunci dari pengguna,memproses dan menampilkan hasilnya.Akan lebih mudah dibayangkan jika anda terbiasa melakukan pemrograman data base dengan menggunakan Query atau SQL,karena tentunya anda telah terbiasa menampilkan data pada table-table dengan kriteria tertentu.Tapi,Web Search Engine yang tersedia saat ini telah memiliki kemampuan yang lebih baik dalam menerima dan mengolah keyword dari pengguna.

Bagaimana search engine menampilkan informasi dari gudang data yang sedemikian besar dalam waktu yang singkat..?Sebagaiman juga dengan pemrograman database,menggunakan indeks adalah salah satu cara ampuh untuk meningkatkanperforma kecepatan.Pencarian juga sudah tidak terbatas pada pencarian dokumen,tetapi sangat variatif tergantung pada kebutuhan anda.Anda dapat mencari gambar,musik,software, atau dokumen dengan fornat tertentu.

Hal lain yang tidak kalah penting bagaiman search engine ( terutama web search engine ) mengumpilkan semua data tersebut .Jangan kaget jika anda cukup aktif menulis pada forum.blog,mailing list atau mungkin sebagai spammer maka search engine dapat menampilkan ke seluruh dunia.Search engine mampu menemukan tulisan anda karena adanya metode pengambilan informasi ( Informatio Retrival/IR ) yang mencari metadata dan database yang tersebar di internet.Sebagai contoh,pada saat anda mengetikkan sebuah komentar pahit pada seseorang dan melakukan submit pada sebuah halaman website,halaman web yang berisi komentar anda telah tersedia bagi aplikasi-aplikasi IR untuk dibaca siapa saja yang melakukan pencarian dengan keyword yang tepat.

Web Arsip

Web Arsip Data / Publikasi adalah produk terlaris kami, diaman memiliki stabilitas untuk media informasi yang baik dan multi fungsi, dengan berbagai feature yang kami berikan akan membuat anda nyaman dan membuat pengunjung lebih terkesan dengan design yang kami berikan.

Selain itu kami memberikan feature tambahan yang mungkin anda belum pernah menemukan sebelumnya, yaitu SEO Backlink / 15 hari. Dan satu lagi fasilitas yang di dapatkan adalah hosting dengan spesifikasi tinggi.

Web Crawler

Sebuah crawler Web adalah bot internet yang secara sistematis menelusuri World Wide Web, biasanya untuk tujuan pengindeksan Web.

Sebuah crawler Web juga dapat disebut spider web, [1] semut, pengindeks otomatis, [2] atau (dalam konteks perangkat lunak FOAF) yang scutter Web. [3]

Mesin pencari web dan beberapa situs lain menggunakan Web merangkak atau spidering perangkat lunak untuk memperbarui konten web mereka atau indeks konten web lain situs '. Web crawler dapat menyalin semua halaman yang mereka kunjungi untuk kemudian memproses dengan sebuah mesin pencari yang indeks halaman download sehingga pengguna dapat mencari mereka jauh lebih cepat.

Crawler dapat memvalidasi hyperlink dan kode HTML. Mereka juga dapat digunakan untuk Scraping web (lihat juga data-driven programming).

Sebuah crawler Web dimulai dengan daftar URL untuk mengunjungi, yang disebut biji. Sebagai crawler mengunjungi URL ini, itu mengidentifikasi semua hyperlink di halaman dan menambahkan mereka ke daftar URL untuk mengunjungi, yang disebut perbatasan merangkak. URL dari perbatasan secara rekursif dikunjungi menurut seperangkat kebijakan.
Volume besar menyiratkan bahwa crawler hanya dapat men-download sejumlah halaman web dalam waktu tertentu, sehingga perlu memprioritaskan download nya. Tingginya tingkat perubahan menyiratkan bahwa halaman mungkin telah diperbarui atau bahkan dihapus.
Jumlah kemungkinan URL dirayapi yang dihasilkan oleh perangkat lunak server-side juga membuat sulit bagi web crawler untuk menghindari mengambil duplikat konten. Kombinasi Endless HTTP GET (URL-based) parameter yang ada, yang hanya pilihan kecil benar-benar akan kembali konten yang unik. Sebagai contoh, sebuah galeri foto online sederhana dapat menawarkan tiga pilihan kepada pengguna, sebagaimana ditentukan melalui HTTP GET parameter dalam URL. Jika terdapat empat cara untuk gambar macam, tiga pilihan ukuran thumbnail, dua format file, dan pilihan untuk menonaktifkan pengguna-konten yang disediakan, maka set yang sama konten dapat diakses dengan 48 URL yang berbeda, yang semuanya dapat dihubungkan pada situs. Kombinasi ini menciptakan masalah matematika untuk crawler, karena mereka harus memilah-milah kombinasi tak berujung perubahan scripted relatif kecil dalam rangka untuk mengambil konten yang unik.
Sebagai Edwards et al. mencatat, "Mengingat bahwa bandwidth untuk melakukan merangkak bukanlah terbatas atau orang merdeka, hal ini menjadi penting untuk menjelajah Web di tidak hanya dengan cara yang terukur, tapi efisien, jika beberapa ukuran wajar kualitas atau kesegaran dipertahankan." [4 ] crawler A harus hati-hati memilih pada setiap langkah yang memilih untuk mengunjungi halaman berikutnya.
Perilaku crawler Web adalah hasil dari kombinasi kebijakan: [5]

    kebijakan seleksi yang menyatakan yang halaman untuk men-download,
    kebijakan re-kunjungan yang menyatakan kapan harus memeriksa perubahan ke halaman,
    kebijakan kesopanan yang menyatakan bagaimana menghindari overloading situs Web, dan
    kebijakan paralelisasi yang menyatakan bagaimana untuk mengkoordinasikan didistribusikan web crawler