Struktur Website Dan Analisa Website
Hal pertama dalam mempelajari sesuatu biasanya adalah pengenalan. Begitu juga mengenai website, sebelum mempelajarinya lebih jauh, ada baiknya kita mengetahui bagian-bagian pembentuk sebuah website. Minimalnya dengan itu kita tahu, bagian mana yang bisa kita tangani, dan mana yang harus menggunakan jasa orang lain. Atau, kita tahu bagian mana yang harus diotak-atik dalam troubleshoting.
Secara garis besar, agar dapat diakses oleh publik, sebuah website harus memiliki empat komponen utama. Jika manusia memiliki nama, tubuh, jiwa, dan rumah tempat tinggal, maka sebuah website pun memilikinya.
Nama website, umumnya panduan dari domain dan TLD (Top Level Domain), dimana nama ini bersifat uniq yaitu tidak ada yang sama satupun didunia ini. Domain website ini adalah jayaweb, website ini menggunakan tld .com, jadi nama website ini adalah jayaweb.com. Beberapa tld lainnya yaitu .net, .info, .biz, dll. Tapi ada juga nama website menggunakan subdomain (sub/anak dari domain), semisal blog.jayaweb.com
Tubuh, dalam hal ini adalah struktur dan layout dasar sehingga website dapat tampil dengan baik. Struktur utama sebuah website dibentuk oleh script html, dihiasi oleh css dan gambar latar dan icon, agar dapat mengolah data maka dicerdaskan oleh php, asp, jsp atau lainnya. Dan agar terlihat lebih atraktif, interaktif dan lebih hidup, biasanya sebuah website disenjatai dengan javascript dan gambar-gambar animasi dan flash. Jika Anda enggan pelajari web programing, minimalnya Anda harus mempelajari cms agar dapat membuat website sendiri, semisal cms wordpress dan joomla.
Jiwa, adalah fungsi dan isi/content yang berkenaan dengan fungsi website, sesuai dengan tujuan dibuatnya website itu. Macam-macam website berkenaan dengan hal ini diantaranya adalah website sebagai toko online, website sebagai blog, portal, social media, album photo, profil perusahaan, dll, yang tentunya memiliki type content yang berbeda sesuai fungsinya. Untuk web desainwebnet.com, contentnya adalah artikel tentang pembuatan website, belajar website dan info bisnis online, karena website ini saya peruntukan sebagai web yang juga berfungsi juga untuk publikasi.
Rumah, bagi sebuah website adalah hosting untuk menempatkan file-file dan database website tersebut. Hosting disini adalah server yang terhubung ke internet, jadi sever local semisal apache di localhost bukanlah sebuah hosting dalam bahasan disini. Jadi ketika seseorang mengakses sebuah website, sebenarnya dia sedang mengakses sebuah komputer server yang terkoneksi ke internet, yang telah disediakan oleh pihak hosting untuk disewakan.
Dan harus Anda ingat, sampai dengan saat ini era informasi masih berjaya. Jadi tidak ada salahnya kita belajar membuat dan mengelola website. Asal ada kemauan, siapapun bisa melakukannya, termasuk kita . . . :)
ANLISA WEB
Untuk menganalisa suatu website perlu di ketahui kriteria apa saja yang akan di analisa. Berikut adalah analisis sebuah website www.bhineka.com dengan kriteria sebagai berikut:
A.Faktor psikologis
B.Faktor ergonomis
C.Faktor kecerdasan buatan
D.Faktor Teknik penulisan
E.Faktor multimedia
F.Rekayasa perangkat lunak
Berikut ini adalah analisa saya untuk website www.bhineka.com :
A. Faktor Psikologis
Web ini di fungsikan untuk menampilkan gambaran tentang produk yang ditawarkan oleh website bhineka. Bukan hanya itu,web ini juga menampilkan beberapa produk terbaru dari beberapa produsen produk komputer terkenal, sehingga konsumen dapat lebih mengetahui tentang produk-produk yang ditawarkan oleh website bhineka. Web ini memberikan suatu psikologis yang baik dan positif bagi para pembaca, karena dengan adanya website ini, pengunjung dari berbagai kota hingga negara akan lebih mudah untuk melakukan survei terhadap produk-produk yang terdapat pada website ini tanpa menuju lokasinya langsung.
B. Faktor ergonomis
Web www.bhineka.com ini secara ergonomis dapat di kategorikan dalam posisi baik, dan tepat dalam hal tata letak dan warna suatu objek sehingga terlihat menarik dan fress, juga menu yang tersedia memudahkan dalam pengaksesan informasi sehingga memudahkan pembaca dalam mendapatkan informasi yang di perlukan dan terlihat menarik sehingga pengunjung website tidak akan pernah merasa jenuh.
C. Faktor Kecerdasan Buatan
Menurut faktor kecerdasan buatan, web www.bhineka.com dapat di katakan nyaris sempurna, dengan tata letak menu yang beraturan dan posisi-posisi yang memudahkan pembaca untuk mencari segala informasi mengenai produk yang ditawarkan website bhineka. Desain yang di buat sangat dinamis, dimana pembuat mampu membuat desain dan menu menu yang dapat menarik para pembaca, dengan adanya kombinasi warna yang terpadu dengan tema indonesia yaitu “bhineka tunggal ika” digabungkan dengan tampilan modern yang menarik pembaca untuk membeli produk-produk yang ditawarkan oleh website ini.
D. Faktor Teknik Penulisan
Dalam penulisan yang terdapat pada www.bhineka.com dapat di lihat dari segi penulisan antara font size, color, dan gambar dalam web ini terlihat keragaman warna, baik untuk font maupun background yang ada, sehingga memiliki daya tarik pembaca untuk membaca informasi yang ada .
E. Faktor Multimedia
Pada web ini menggunakan perangkat multimedia seperti gambar animasi bergerak kemudian iklan baris yang berjalan yang membuat web ini terlihat menarik perhatian pembaca agar berlama lama berada di web ini adapun kekurangannya web ini tidak dilengkapi dengan multimedia yang berupa audio/suara
F. Rekayasa Perangkat Lunak
Pada Web ini dibuat secara efektif dan efisien guna kenyamanan para pengunjung/pembaca. Web ini dilengkapi dengan banyak fitur pilihan ketika kita akan hendak memilih informasi ataupun berita yang akan kita lihat dan baca danjuga dilengkapi dengan search engine yang bertujuan agar para pengunjung/pembaca dapat mengakses produk-produk yang diminati secara mudah dan cepat.
Sturktur Link
Untuk memperkuat optimasi seo pada blog, kita akan membutuhkan banyak backlink meskipun pada era Google Panda ini sebuah backlink sudah tidak sekuat yang dulu lagi tapi tetaplah dibutuhkan terutama untuk meningkatkan pagerank google dan mempercepat index search engine.
Sebelumnya ketika kita berupaya membangun sebuah backlink baik di dalam blog maupun di luar blog, kita semua pasti sudah mengetahui ciri backlink berkualitas itu seperti apa dan pasti sudah menerapkan pula bagaimana cara mendapatkan backlink berkualitas itu. Namun ada satu hal yang harus kita perhatikan dalam membangun backlink yaitu tentang struktur link yang kita pergunakan. Kita harus mempergunakan struktur link yang baik agar mudah di telusuri oleh semua spider bot. Dan ini merupakan harga mati bagi kita bila ingin memperoleh hasil yang memuaskan.
Berikut ulasan singkat tentang struktur link terbaik untuk membangun sebuah backlink berkualitas :
Text link
Dalam hal meningkatkan optimasi seo guna memperoleh posisi pertama di halaman search engine google dan kawan – kawannya, kita lebih membutuhkan jenis text link sebagai backlink blog dari pada sebuah link yang dibuat dengan menautkan gambar meskipun gambar tersebut menarik minat pengunjung untuk mengkliknya. Sebuah text link bisa kita taruh di dalam posting blog dan dapat menyatu membentuk satu rangkaian kata yang terkesan natural, apabila spider bot berhasil menemukannya maka link seperti ini akan dianggap sebagai backlink berkualitas yang dapat mendukung isi posting yang ada di dalamnya. Selain itu penggunaan text link akan lebih efektif meningkatkan jumlah pageview blog.HTML Sederhana
Text link yang sederhana dengan kode html biasa akan sangat mudah di telusuri / crawling oleh spider bot search engine. Ini sangat berbeda dengan link yang di buat melalui flash dan javascript. Karena itu, ketika kita hendak membangun backlink untuk memperkuat internal link, jangan lupa memilih ini.Menggunakan Anchor Text
Kita pasti telah menyadari akan kekuatan sebuah text link dari html biasa namun dari sisi pembaca link jenis ini sedikit menarik minat untuk di klik sehingga sedikit sekali pageview yang di dapat dari link tersebut. Untuk mengatasi hal ini diperlukan sebuah anchor text yang akan memberikan deskripsi menarik dari link ini. Fungsinya selain mendorong pengunjung agar melakukan klik, anchor text yang tepat juga mempermudah spider bot dalam menganalisa dan mendata link tersebut.Social Network
Seperti yang telah saya tulis pada tulisan Internet Untuk Pemula dan Social Networking Sites (Situs Jejaring Sosial) , situs social network merupakan suatu layanan internet/aplikasi yang menandai perkembangan era Web 2, yaitu suatu era dimana perkembangan era Web yang mengkombinasikan kekuatan internet dan partisipasi sebagai kekuatan utama.
Perkembangan yang cukup pesat dari era
web 2 saat ini tampak jelas sangat didominasi oleh situs jejaring sosial
(social networking), bahkan terus bermunculan situs-situs ini dengan
berbagai ragam fitur yang ditawarkan yang tentunya pada akhirnya semua
dilakukan untuk kenyamanan user.
Di Indonesia, pada awalnya situs jejaring
sosial yang paling popular adalah Friendster dimana dapat dikatakan
semua pengguna kalangan muda memiliki account Friendster. Friendster
memang memiliki user terbesar di Asia dan pengguna Friendster Indonesia
merupakan urutan kedua dalam daftar 14 negara yang paling banyak menjadi
member Friendster.
Ditahun 2009, dominasi Friendster
Indonesia tampaknya mulai tersaingi oleh Facebook Indonesia dan dengan
banyaknya persaingan untuk situs social network ini, beberapa situs
jejaring sosial baru mulai menggeser dominasi situs-suts social network
lama yang telah ada dengan berbagai fitur yang lebih baik dan bagus.
Berdasarkan catatan versi toptenreview , pada tahun 2009 terdapat 10 situs social network yang akan bersaing.
Penilaian ranking dilakukan dengan melakukan rating pada fitur-fitur yang ditawarkan oleh masing-masing situs social network tersebut seperti : Demographics, Profile, Security, Networking Features, Search dan Technical Help/Support. (klik disini untuk melihat table review)
Penilaian ranking dilakukan dengan melakukan rating pada fitur-fitur yang ditawarkan oleh masing-masing situs social network tersebut seperti : Demographics, Profile, Security, Networking Features, Search dan Technical Help/Support. (klik disini untuk melihat table review)
Adapun situs-situs yang termasuk dalam toptenreview 2009 adalah sebagai berikut berdasarkan ranking teratas.
Top 10 Social Networking 2009
MySpace
Websites
MySpace ini merupakan situs social network yang terbesar sat ini,
bahkan telah mampu mengalahkan dominasi Friendster yang sebelumnya
menguasai situs pertemanan di dunia. MySpace hadir dengan berbagai fitur
yang sangat komplit dan memiliki hampir semua fitur yang ada disetiap
social network. Dari hasil rating MySpace hanya memiliki kekurangan
dalam hal tidak terdapatnya fitur iklan gratis seperti yang ada pada
hi5, Orkut dan Yahoo! 360. MySpace dilengkapi dengan fitur mulai dari
blog hingga user dapat memajang klip video atau musik.
MySpace mulai dirilis sejak tahun 2003, yang pada mulanya hanya digunakan dikalangan karyawan eUniverse dan dimulai dengan membuat kontes untuk melihat siapa yang dapat memperoleh member paling banyak dan akhirnya salah satu dari anggotanya mengusulkan agar mengkomersilkan fitur-fitur Myspace.
MySpace mulai dirilis sejak tahun 2003, yang pada mulanya hanya digunakan dikalangan karyawan eUniverse dan dimulai dengan membuat kontes untuk melihat siapa yang dapat memperoleh member paling banyak dan akhirnya salah satu dari anggotanya mengusulkan agar mengkomersilkan fitur-fitur Myspace.
Situs
social networking yang mulai dirilis 2004 oleh Mark Zuckerberg, awalnya
hanya digunakan dikalangan pertemanannya saja dan kemudian baru dibuka
untuk umum sejak tahun 2006. Hingga saat ini Facebook memiliki jumlah
pengguna 140 juta diseluruh dunia. Di Indonesia Facebook tampaknya juga
mulai menggeliat dan telah membuat beberapa pengguna Friendster beralih.
Overall rating, Facebook menyamai kedudukan MySpace, hanya kelemahan
dari Facebook dibandingkan social nerwork yang lain dalam fitur profile
dimana tidak tersedianya profile editor, custom skin, customize,
personalisasi URL, blog/journal dan masih kurang lengkapnyanya
nerworking features dibandingkan MySpace. Tampilan Facebook relatif
sederhana sehingga memudahkan penggunaannya dan saat ini Facebook telah
menyediakan fitur bahasa Indonesia.
Bebo
Situs
social network Bebo mungkin jarang didengar di Indonesia, namun situs
ini berdasarkan toptenriview menduduki peringkat ketiga terbaik. Bebo
sat ini dimiliki oleh AOL juga menawarkan fitur yang tidak kalah
dibandingkan MySpace. Bahkan dibandingkan dengan Facebook, Bebo memiliki
fitur yang lebih lengkap. Integrasi dengan percakapan instan messaging
membuat komunikasi dengan Bebo lebih hidup, selain itu juga dapat
meng-upload video. Mungkin dikarenakan kekurangan dalam daya tampung dan
tidak multi bahasa yang membuat Bebo berada dalam urutan ketiga. Space
yang disediakan untuk menampung foto-foto hanya sebesar 2Mb.
Friendster
Walaupun
sangat populer dikalangan remaja Indonesia, ternyata hanya menduduki
peringkat 4 dari versi toptenreview. Fitur profile yang dimiliki oleh
Friendster sama dengan yang ditawarkan MySpace, namun sangat lemah dalam
Networking Features. Situs friendster ini sangat cocok digunakan
sebagai tempat mengekspresikan diri (narsis ni yeee). Friedster juga
memiliki fasilitas blog dan fitur video yang digabungkan dengan
explorer. Kelebihan yang paling menonjol adalah kemudahan dalam
melakukan modifikasi halaman profile dan selain itu tersedia fitur
bahasa Indonesia.
Hi5
Hi5
juga merupakan situs social network yang cukup besar dengan member
sebanyak 50 juta anggota. Fitur Profile yang ditawarkan relatif hampir
sama dengan Friendster, bahkan lebih baikdari Facebook dan Bebo, juga
kemudahan saat menambah daftar teman tanpa mengharuskan mengetahui
alamat email terlebih dahulu, kemampuan mendeteksi member yang sedang
online. Kelemahan situs ini dibandingkan dengan MySpace dan Facebook
dalam hal Networking Features dan space yang ditawarkan hanya 2Mb.
Orkut
Situs
social network yang berada pada urutan keenam ini cukup populer di
Brazil dan India dan masih merupakan situs pertemanan ujicoba buatan
Google. Untuk dapat menjadi member pada social network Orkut, member
harus memiliki account pada GMail. Mengenai fitur yang ditawarkan memang
masih jauh dibanding dengan MySpace, Facebook atau Friendster, namun
memiliki kelebihan dalam pemberian space yang cukup besar yaitu 10Mb.
PerfSpot
Situs
social network Perfspot ini memang sangat asing di Indonesia. Seperti
juga situs social network lainnya, Perfspot menawarkan fitur yang hampir
sama dengan lainnya seperti update profile, video, foto musik. User
juga dapat membuka penyimpan internet. Sebagian besar member PerfSpot
saat ini berupa member muda yang memiliki rata-rata usia 13 tahun, dan
memiliki nuansa pendidikan. PerfSpot memiliki filter dalam sistem
pencariannya, karena account yang membernya masih berusia dibawah 18
tahun tidak akan ditampilkan.
Yahoo! 360
Yahoo!
360 merupakan social network milik Yahoo! dan telah lama dirilis yaitu
bersamaan dengan Yahoo! Messenger (YM). Seperti juga Orkut dengan GMail,
Yahoo! 360 juga mensyaratkan memiliki account pada Yahoo! Mail.
Fitur yang ditawarkan hampir sama dengan kebanyakan fitur yang terdapat pada social network lainnya.
Fitur yang ditawarkan hampir sama dengan kebanyakan fitur yang terdapat pada social network lainnya.
Zorpia
Situs
Zorpia sebenarnya memiliki fitur yang cukup lengkap seperti yang ada
pada Friendster dan Facebook, namun mungkin tidak tersedianya fitur
multilingual. Kelebihan lainnya dari situs Zopia adalah menawarkan space
sebesar 16Mb, berarti penyedia situs social network yang memberikan
space paling besar pada 10 situs social network paling populer. Dengan
space sebesar 16Mb, member dapat lebih leluasa melakukan upload foto,
musik dan video.
Netlog
Netlog
adalah situs social network pada urutan terakhir dalam toptenreview,
dan sangat populer di Eropa dengan jumlah member mencapai 35 juta
anggota. Fitur yang disediakan rata-rata hampir sama dengan yang lain.
Space yang ditawarkan hanya sebesar 3Mb.
Tulisan Yang Berhubungan :
- Facebook : Mencoba Berbagai aplikasi Facebook
- Facebook Menjadi Trend Social Networking 2009
- Facebook : Setting Awal Facebook
- Social Networking Sites
- Friendster : Cara Memasang Lagu Pada Halaman Profile
- Friendster Indonesia
- Internet Untuk Pemula
Blog merupakan singkatan dari web log[1] adalah bentuk aplikasi web yang menyerupai tulisan-tulisan (yang dimuat sebagai posting) pada sebuah halaman web umum. Tulisan-tulisan ini seringkali dimuat dalam urut terbalik (isi terbaru dahulu baru kemudian diikuti isi yang lebih lama), meskipun tidak selamanya demikian. Situs web seperti ini biasanya dapat diakses oleh semua pengguna Internet sesuai dengan topik dan tujuan dari si pengguna blog tersebut.
Media blog pertama kali dipopulerkan oleh Blogger.com, yang dimiliki oleh Pyra Labs sebelum akhirnya PyraLab diakusisi oleh Google.Com pada akhir tahun 2002 yang lalu. Semenjak itu, banyak terdapat aplikasi-aplikasi yang bersifat sumber terbuka yang diperuntukkan kepada perkembangan para penulis blog tersebut.
Blog mempunyai fungsi yang sangat beragam,dari sebuah catatan harian, media publikasi dalam sebuah kampanye politik, sampai dengan program-program media dan perusahaan-perusahaan. Sebagian blog dipelihara oleh seorang penulis tunggal, sementara sebagian lainnya oleh beberapa penulis, . Banyak juga weblog yang memiliki fasilitas interaksi dengan para pengunjungnya, seperti menggunakan buku tamu dan kolom komentar yang dapat memperkenankan para pengunjungnya untuk meninggalkan komentar atas isi dari tulisan yang dipublikasikan, namun demikian ada juga yang yang sebaliknya atau yang bersifat non-interaktif.
Situs-situs web yang saling berkaitan berkat weblog, atau secara total merupakan kumpulan weblog sering disebut sebagai blogosphere. Bilamana sebuah kumpulan gelombang aktivitas, informasi dan opini yang sangat besar berulang kali muncul untuk beberapa subyek atau sangat kontroversial terjadi dalam blogosphere, maka hal itu sering disebut sebagai blogstorm atau badai blog.
Pengukutan Web
Salah satu teknik mengukur dan menguji suatu
kinerja web adalah dengan mengukur pengalaman seseorang atau user experience pengunjung
situs yang berinteraksi dengan halaman-halaman web yang berada di internet
(Keynote System, Inc 2010).
Kinerja suatu web atau web performance sangat
dipengaruhi oleh beberapa komponen-komponen dasar yang dibagi menjadi dua
bagian penting, yaitu (1) dilihat dari gambaran transaksi web atau perspective
transaction dan (2) gambaran komponen aplikasi atau application component
perspective (Keynote System, Inc 2010). Transaksi web atau web transaction
lebih menitikberatkan pada sisi pengalaman pengguna atau user experience
sedangkan komponen aplikasi lebih menitikberatkan pada komponen jaringan
komputer atau computer network.
Search Engine
Sebuah search engine bekerja dengan menerima kata kunci dari pengguna,memproses dan menampilkan hasilnya.Akan lebih mudah dibayangkan jika anda terbiasa melakukan pemrograman data base dengan menggunakan Query atau SQL,karena tentunya anda telah terbiasa menampilkan data pada table-table dengan kriteria tertentu.Tapi,Web Search Engine yang tersedia saat ini telah memiliki kemampuan yang lebih baik dalam menerima dan mengolah keyword dari pengguna.
Bagaimana search engine menampilkan informasi
dari gudang data yang sedemikian besar dalam waktu yang singkat..?Sebagaiman
juga dengan pemrograman database,menggunakan indeks adalah salah satu cara ampuh
untuk meningkatkanperforma kecepatan.Pencarian juga sudah tidak terbatas pada
pencarian dokumen,tetapi sangat variatif tergantung pada kebutuhan anda.Anda
dapat mencari gambar,musik,software, atau dokumen dengan fornat tertentu.
Hal lain yang tidak kalah penting bagaiman
search engine ( terutama web search engine ) mengumpilkan semua data tersebut
.Jangan kaget jika anda cukup aktif menulis pada forum.blog,mailing list atau
mungkin sebagai spammer maka search engine dapat menampilkan ke seluruh dunia.Search
engine mampu menemukan tulisan anda karena adanya metode pengambilan informasi
( Informatio Retrival/IR ) yang mencari metadata dan database yang tersebar di
internet.Sebagai contoh,pada saat anda mengetikkan sebuah komentar pahit pada
seseorang dan melakukan submit pada sebuah halaman website,halaman web yang
berisi komentar anda telah tersedia bagi aplikasi-aplikasi IR untuk dibaca
siapa saja yang melakukan pencarian dengan keyword yang tepat.
Web Arsip
Web Arsip Data / Publikasi adalah produk terlaris kami, diaman
memiliki stabilitas untuk media informasi yang baik dan multi fungsi,
dengan berbagai feature yang kami berikan akan membuat anda nyaman dan
membuat pengunjung lebih terkesan dengan design yang kami berikan.
Selain itu kami memberikan feature tambahan yang mungkin anda belum pernah menemukan sebelumnya, yaitu SEO Backlink / 15 hari. Dan satu lagi fasilitas yang di dapatkan adalah hosting dengan spesifikasi tinggi.
Web Crawler
Sebuah crawler Web adalah bot internet yang secara sistematis menelusuri World Wide Web, biasanya untuk tujuan pengindeksan Web.
Sebuah crawler Web juga dapat disebut spider web, [1] semut, pengindeks otomatis, [2] atau (dalam konteks perangkat lunak FOAF) yang scutter Web. [3]
Mesin pencari web dan beberapa situs lain menggunakan Web merangkak atau spidering perangkat lunak untuk memperbarui konten web mereka atau indeks konten web lain situs '. Web crawler dapat menyalin semua halaman yang mereka kunjungi untuk kemudian memproses dengan sebuah mesin pencari yang indeks halaman download sehingga pengguna dapat mencari mereka jauh lebih cepat.
Crawler dapat memvalidasi hyperlink dan kode HTML. Mereka juga dapat digunakan untuk Scraping web (lihat juga data-driven programming).
Sebuah crawler Web juga dapat disebut spider web, [1] semut, pengindeks otomatis, [2] atau (dalam konteks perangkat lunak FOAF) yang scutter Web. [3]
Mesin pencari web dan beberapa situs lain menggunakan Web merangkak atau spidering perangkat lunak untuk memperbarui konten web mereka atau indeks konten web lain situs '. Web crawler dapat menyalin semua halaman yang mereka kunjungi untuk kemudian memproses dengan sebuah mesin pencari yang indeks halaman download sehingga pengguna dapat mencari mereka jauh lebih cepat.
Crawler dapat memvalidasi hyperlink dan kode HTML. Mereka juga dapat digunakan untuk Scraping web (lihat juga data-driven programming).
Sebuah crawler Web dimulai dengan daftar URL untuk mengunjungi, yang disebut biji. Sebagai
crawler mengunjungi URL ini, itu mengidentifikasi semua hyperlink di
halaman dan menambahkan mereka ke daftar URL untuk mengunjungi, yang
disebut perbatasan merangkak. URL dari perbatasan secara rekursif dikunjungi menurut seperangkat kebijakan.
Volume besar menyiratkan bahwa crawler hanya dapat men-download sejumlah halaman web dalam waktu tertentu, sehingga perlu memprioritaskan download nya. Tingginya tingkat perubahan menyiratkan bahwa halaman mungkin telah diperbarui atau bahkan dihapus.
Jumlah kemungkinan URL dirayapi yang dihasilkan oleh perangkat lunak server-side juga membuat sulit bagi web crawler untuk menghindari mengambil duplikat konten. Kombinasi Endless HTTP GET (URL-based) parameter yang ada, yang hanya pilihan kecil benar-benar akan kembali konten yang unik. Sebagai contoh, sebuah galeri foto online sederhana dapat menawarkan tiga pilihan kepada pengguna, sebagaimana ditentukan melalui HTTP GET parameter dalam URL. Jika terdapat empat cara untuk gambar macam, tiga pilihan ukuran thumbnail, dua format file, dan pilihan untuk menonaktifkan pengguna-konten yang disediakan, maka set yang sama konten dapat diakses dengan 48 URL yang berbeda, yang semuanya dapat dihubungkan pada situs. Kombinasi ini menciptakan masalah matematika untuk crawler, karena mereka harus memilah-milah kombinasi tak berujung perubahan scripted relatif kecil dalam rangka untuk mengambil konten yang unik.
Sebagai Edwards et al. mencatat, "Mengingat bahwa bandwidth untuk melakukan merangkak bukanlah terbatas atau orang merdeka, hal ini menjadi penting untuk menjelajah Web di tidak hanya dengan cara yang terukur, tapi efisien, jika beberapa ukuran wajar kualitas atau kesegaran dipertahankan." [4 ] crawler A harus hati-hati memilih pada setiap langkah yang memilih untuk mengunjungi halaman berikutnya.
Perilaku crawler Web adalah hasil dari kombinasi kebijakan: [5]
kebijakan seleksi yang menyatakan yang halaman untuk men-download,
kebijakan re-kunjungan yang menyatakan kapan harus memeriksa perubahan ke halaman,
kebijakan kesopanan yang menyatakan bagaimana menghindari overloading situs Web, dan
kebijakan paralelisasi yang menyatakan bagaimana untuk mengkoordinasikan didistribusikan web crawler
Volume besar menyiratkan bahwa crawler hanya dapat men-download sejumlah halaman web dalam waktu tertentu, sehingga perlu memprioritaskan download nya. Tingginya tingkat perubahan menyiratkan bahwa halaman mungkin telah diperbarui atau bahkan dihapus.
Jumlah kemungkinan URL dirayapi yang dihasilkan oleh perangkat lunak server-side juga membuat sulit bagi web crawler untuk menghindari mengambil duplikat konten. Kombinasi Endless HTTP GET (URL-based) parameter yang ada, yang hanya pilihan kecil benar-benar akan kembali konten yang unik. Sebagai contoh, sebuah galeri foto online sederhana dapat menawarkan tiga pilihan kepada pengguna, sebagaimana ditentukan melalui HTTP GET parameter dalam URL. Jika terdapat empat cara untuk gambar macam, tiga pilihan ukuran thumbnail, dua format file, dan pilihan untuk menonaktifkan pengguna-konten yang disediakan, maka set yang sama konten dapat diakses dengan 48 URL yang berbeda, yang semuanya dapat dihubungkan pada situs. Kombinasi ini menciptakan masalah matematika untuk crawler, karena mereka harus memilah-milah kombinasi tak berujung perubahan scripted relatif kecil dalam rangka untuk mengambil konten yang unik.
Sebagai Edwards et al. mencatat, "Mengingat bahwa bandwidth untuk melakukan merangkak bukanlah terbatas atau orang merdeka, hal ini menjadi penting untuk menjelajah Web di tidak hanya dengan cara yang terukur, tapi efisien, jika beberapa ukuran wajar kualitas atau kesegaran dipertahankan." [4 ] crawler A harus hati-hati memilih pada setiap langkah yang memilih untuk mengunjungi halaman berikutnya.
Perilaku crawler Web adalah hasil dari kombinasi kebijakan: [5]
kebijakan seleksi yang menyatakan yang halaman untuk men-download,
kebijakan re-kunjungan yang menyatakan kapan harus memeriksa perubahan ke halaman,
kebijakan kesopanan yang menyatakan bagaimana menghindari overloading situs Web, dan
kebijakan paralelisasi yang menyatakan bagaimana untuk mengkoordinasikan didistribusikan web crawler