#distributedsystem

[nachiueno]

Memo from Nomad&Otto meetup

Mitchell Hashimoto, creator of Vagrant, speaks about Nomad and Otto http://www.meetup.com/San-Francisco-DevOps/events/227067291/

Nomad  https://ottoproject.io/

Only scheduler support Multi-Datacenter & Multi-Region

Only scheduler everything build-in to one binary 　  it looks like nomad binary has serf & consul.

Only scheduler who do “Optimistically concurrent”　https://en.wikipedia.org/wiki/Optimistic_concurrency_control

evaluation -> allocation -> job “Scheduler” = func(Eval) => []AllocUpdates

Case Study with digital ocean

3 Servers in NYC3

100 Clients 

1000 Job

Addition on v3 in early next year

Log Streaming

Periodic Jobs

Latency Based Scheduling

Driver Plugins

Otto https://www.ottoproject.io/

The successor of Vagrant

Tried vagrant on production but it doesn’t fit in production

Vagrant won’t fit microservices

A wonderfully simple development experience

Codification (Otto) vs Fossilization (Vagrant)

service discovery by consul even if it is in dev mode

otto dev mode runs a VM and uses docker inside it.

vagrant ssh (about 500ms ) vs otto dev ssh (about 2-3ms)

[ghofantasy-blog]

Interprocess 2

Multicast Communication

Pairwise exchange bukan model yang baik untuk digunakan berkomunikasi dari satu proses ke grup proses lain. Multicast dianggap lebih baik, karena mampu mengirim pesan tunggal dari satu proses ke tiap member dalam grup proses lain. Protocol multicast sederhana tidak memberikan jaminan tentang pengiriman atau pemesanan pesan.

Karakteristik Multicast : 

Toleransi kesalahan. Jika pengiriman ke beberapa member gagal, saat permintaan klien dikirim (multicast) ke semua member grup yang melakukan proses yang sama, permintaan klien dapat tetap dilayani.

Layanan pada spontaneous network. Multicast pesan dapat digunakan oleh server dan klien dalam mencari servis yang tersedia untuk mendaftarkan interface pada sistem terdistribusi.

Performansi lebih baik. Data diduplikasi untuk meningkatkan layanan. Setiap ada perubahan data, nilai yang baru akan di multicast ke proses yang mengelola replika data.

Dapat dikembangkan. Multicast ke suatu grup dapat digunakan untuk memberitahu proses ketika suatu event terjadi. Contohnya di Facebook, ketika seseorang mengubah status mereka, semua teman-teman mereka menerima notifikasi. Demikian pula saat mempublikasikan protokol dapat menggunakan grup multicast untuk menyebarkan berita tersebut untuk pelanggan.

IP Multicast

memberikan ijin ke pengirim untuk mengirimkan paket IP tunggal ke suatu komputer dalam grup multicast. Pengirim tidak peduli dengan identitas penerima dan ukuran grup.

Multicast Group adalah sekumpulan host atau client yang tergabung ke dalam sebuah grup multicast tertentu. Sebuah multicast group memiliki sebuah alamat multicast dari kelas D di IPv4 [2]. Alamat-alamat multicast IPv4 didefinisikan dalam ruang alamat kelas D, yakni 224.0.0.0/4, yang berkisar dari 224.0.0.0 hingga 224.255.255.255. Prefiks alamat 224.0.0.0/24 (dari alamat 224.0.0.0 hingga 224.0.0.255) tidak dapat digunakan karena dicadangkan untuk digunakan oleh lalu lintas multicast dalam subnet lokal.

                                Simulasi cara kerja IP Multicast

Java API

Java API menyajikan antarmuka datagram ke IP multicast melalui kelas MulticastSocket, subclass DatagramSocket dengan kemampuan tambahan dapt bergabung dengan kelompok multicast. MulticastSocket menyediakan 2 konstruktor alternatif, memungkinkan socket yang dibuat untu menggunakan port lokal tertentu atau port lokal gratis. Proses bisa bergabung dengan kelompok multicast dengan memberikan alamat multicast dengan memanggil JointGrup method dari multicast socket. Singkatnya, socket bergabung dengan kelompok muticast dalam memberikan port dan kemudian menerima datagram yang dikirim kelompok tertentu dengan memanggil leaveGroup method dari muticast socket.

Java API memungkinkan TTL ditetapkan untuk multicast socket dengan menggunakan setTimeToLive method. Standarnya adalah 1, namun memungkinkan untuk di sebarkan hanya pada local network.

Aplikasi yang menerapkan IP multicast mungkin menggunakan lebih dari 1 port. Contohnya aplikasi MultiTalk, kelompok pengguna melakukan percakapan berbasis teks, memiliki 1 port untuk mengirim dan menerima data dan untuk melakukan pertukaran data control.

Reliability and ordering of multicast

Datagram dikirim dari 1 multicast router ke lainnya mungkin dapat hilang, itu mencegah semuapenerima di luar router yang menerima pesan. Juga ketika multicast pada local area network menggunakan kemampuan multicasting dari jaringan agar memungkinkan datagram tunggal sampai di banyak penerima, salah satu penerima mungkin menurunkan pesan karena buffer penuh. Faktor lainnya adalah jika multicast router gagal, member grup diluar router tersebut akan tidak menerima pesan multicast, demikian juga dengan member local.

Contoh dari dampak reliability dan ordering:

Toleransi kesalahan berdasarkan layanan yang telah di replikasi

Menemukan layanan di jaringan yang spontan

Performa yang lebih baik dengan mereplikasi data

Penyebaran pemberitahuan suatu peristiwa

NETWORK VIRTUALIZATION: OVERLAY NETWORKS

Network virtualialization fokus pada konstruksi dari berbagai virtual network yang berbeda pada jaringan yang telah ada seperti internet. Suatu jaringan virtual dapat mendukung aplikasi terdistribusi. Contohnya, 1 jaringan virtual mungkin untu mendukung multimedia streaming seperti di BBC iPlayer.

OVERLAY NETWORK

Overlay network adalah jaringan virtual yang terdiri dari banyak node dan virtual link. Yang dilakukan adalah

-          Layanan di sesuaikan dengan kebutuhan kelas aplikasi atau layanan tingkat tinggi tertentu. Contohnya distribusi konten multimedia

-          Operasi yang lebih efisien dalam memberikan lingkungan jaringan. Contohnya routing in dan ad hoc network

-          Terdapat penambahan fitur. Contohnya,multicast atau keamanan komunikasi

Overlay network juga memiliki kelemahan, yaitu:

-          Menetapkan layanan jaringan baru tanpa melakukan perubahan pada jaringan yang mendasarinya

-          Mendorong untu melakukan eksperimen pada layanan jaringan dan konsumisasi jaringan untuk kelas aplikasi tertentu

-          Beberapa lapisan dapt definisikan dan dapat saling berdampingan, yang menghasilkan arsitektur jaringan yang terbuka dan dapat dikembangkan

SKYPE

aplikasi perr-to-peer yang menawarkan Voice over IP (VoIP). Itu juga termasuk instant messaging, konfrensi video dan antarmuka layanan telepon standar.

-          Arsitektur Skype

Skype berdasarkan infrastruktur peer-to-peer yang terdiri dari mesin pengguna biasa dan super nodes

-          User Connection

Pengguna skype dapat mengauthentifikasi melalui login server yang terkenal

-          Search for user

Tujuan utama super nodes adalah menampilkan keefisiensian pencarian indeks global pengguna, apabila ditribuasi menyebrang ke super nodes.

-          Voice connection

Salah satu permintaan pengguna adalah penemuan, skype membuat koneksi suara antara 2 bagian dengan menggunakan TCP untuk sinyal permintaan panggilan dan penghentian UDP atau TCP untuk streaming audio

CASE STUDY : MPI

MPI pertama kali dikenalkan pada tahun 1994 oleh fotum MPI. Tujuan dibentuk forum MPI adalah untuk mempertahankan kesederhanaan, kepraktisan, dan efisiensi pendekatan message-passing. MPI dirancang fleksibel, hasilnya adalah spesifikasi comprehensive dari message passingdi seluruh varian. Aplikasi yang menggunakan antarmuka API melalui message-passing pada seluruhnya. Pengguna aplikasi MPI antarmuka melalui perpustakaan message-passing yang tersedia untuk sistem operasi dan Bahasa pemograman, termasuk C++  dan Fortan.

                                 MPI pilihan untuk send operation

Referensi :

[1] Coulouris, George, et al. Distributed System : Concept and Design 5th Edition.

[2] IP Multicast oleh Ricka Vetrisia, diakses tanggal 08 Maret 2013.

[ghofantasy-blog]

Interprocess 1

Kali ini akan dibahas lebih mendalam lagi mengenai karakteristik komunikasi interproses beserta UDP dan TCP yang dilihat dari sisi programmer. Program aplikasi antarmuka pada UDP menyediakan pengiriman pesan secara abstraksi, bentuk sederhana dari komunikasi interprocess. Hal ini memungkinkan proses pengiriman untuk mengirimkan satu pesan ke proses penerimaan. Paket independen yang mengandung pesan-pesan ini disebut datagrams. Dalam Java dan UNIX API, pengirim akan menentukan menentukan tujuan menggunakan socket. Sedangkan program aplikasi antarmuka untuk TCP memberikan abstraksi dari dua arah streaming antara proses. Informasi yang dikomunikasikan terdiri dari aliran item data tanpa adanya masssage boundaries. Server dan client akan membentuk sepasang proses dimana proses yang pertama adalah untuk memproduksi barang-barang data dan proses yang kedua adalah untuk menggunakan data tersebut. Item data akan dikirim oleh server ke client yang sebelumnya telah mengantri hingga client siap untuk menerima data yang akan dikirim. Client juga harus menunggu hingga item data yang diinginkan tersedia. Jika antrian data sudah penuh, maka server pun harus menunggu untuk bisa mengirimkan data tersebut.

Karakteristik Komunikasi Interproses

Synchronous and asynchronous communication

Sebuah antrian akan dihubungkan dengan masing-masing tujuan pengiriman pesan. Pengiriman sebuah proses akan menyebabkan pesan masuk ke antrian dan setelah proses diterima, maka pesan akan dihapus dari antrian tersebut. Komunikasi antara proses pengiriman dan penerimaan dapat berupa sinkron atau asinkron.

Synchronous : proses pengiriman dan penerimaan akan saling terkait pada setiap pesan yang ada. Setiap pengiriman pesan yang dilakukan, proses pengiriman akan diblok hingga pesan tersebut diterima dan sebaliknya.

Asynchronous : proses pengiriman diperbolehkan untuk dilakukan setelah pesan pertama yang dikirim telah disalin ke buffer lokal, dan transmisi pesan akan diproses secara paralel. Prose penerimaan pesan terdapat variasi blocking dan non-blocking. Pada bagian non-blocking, proses penerimaan dilakukan setelah mendapat pemberitahuan bahwa terdapat pesan yang telah dikirim.

Massage destination

Sebuah port lokal merupakan tujuan pengiriman sebuah pesan dalam komputer. Sebuah port akan terdapat tepat satu receiver, tetapi dengan banyak pengirim. Proses dapat menggunakan beberapa port untuk menerima pesan. Setiap proses yang mengetahui nomor sebuah port akan dapat mengirim pesan melalui port tersebut. Secara umum, server akan memberitahukan nomor port yang bisa digunakan untuk berkomunikasi dengan client.

Reliability (kehandalan)

Pelayanan pesan point to point akan dapat dikatakan handal jika pesan yang dikirim terjamin akan sampai ke tujuan walaupun terdapat paket yang lost dalam jumlah yang masih wajar. Sebaliknya, jika pesan tersebut lost dalam jumlah besar atau bahkan seluruhnya, maka pelayanan tersebut tidak bisa dihandalkan. Dalam segi interitas, pesan tersebut harus tiba tanpa ada kerusakan ataupun redudansi.

Ordering

Pada sejumlah aplikasi, pengiriman pesan memerlukan adanya perintah untuk mengirim sebuah pesan. Dimana perintah ini dikeluarkan oleh pengirim. Jika pengiriman pesan dilakukan tanpa adanya perintah dari pengirim, maka ini akan dianggap sebagai kesalahan pada aplikasi.

SOCKET

Kedua bentuk komunikasi baik UDP maupun TCP menggunakan soket abstraksi, yang memberikan titik akhir untuk komunikasi antara proses. Komunikasi interprocess terdiri dari transmisi pesan antara soket dalam satu proses dengan soket dalam proses lain, seperti yang diilustrasikan pada gambar dibawah ini.

Socket dan Port

Sebuah proses dapat menggunakan leih dari satu port untuk menerima pesan, namun ports tersebut tdak dapat digunakan secara bersama atau sharing dengan proses yang lain pada komputer yang sama.

Komunikasi Datagram UDP

Sebuah datagram yang dikirim oleh UDP dikirimkan dari proses pengiriman ke proses penerimaan tanpa adanya acknowledgement. Sehingga jika terjadi kegagalan, pesan bisa saja tidak akan diterima. Sebuah datagram dikirimkan antara proses ketika satu proses mengirimkannya dan yang lain menerimanya. Saat proses pengiriman atau penerimaan server akan menghubungkan soket ke port yang dimiliki server hingga klien mengenalinya dan dapat saling mengirimkan pesan. Terdapat beberapa isu yang berhubungan dengan komunikasi datagram, yaitu :

Ukuran pesan, ketika sebuah pesan emiliki ukuran yang lebih besar dari array yang ada, maka pesan tersebut akan terpotong pada saat pesan sampai.

Blocking, dalam komunikasi datagram socket biasanya menyediakan non-bloking send dan bloking receives. Pesan yang dikirimkan akan dimasukkan ke dalam antrian pada port tujuan. Sehingga pengiriman pesan tersebut dapat dilakukan terus menerus tanpa memperhatikan pesan tersebut sudah diterima atau belum. Sedangkan penerimaan pesan akan dilakukan satu persatu hingga pesan tersebut diterima terlebih dahulu dan mengrimkan balasannya untuk dapat menerima pesan yang lain.

Timeouts, dalam pengiriman sebuah pesan beberapa program membatasi waktu permintaan hingga penerimaan pesan. Hal ini disebabkan karena jika pesan yang diterima terlalu lama, maka diperkirakan pesan tersebut ada yang hilang. Oleh karena itu waktu timeouts dapat diatur pada socket untuk memastikan bahwa pesan yang dikirimkan sesuai.

Komunikasi datagram UDP memiliki beberapa kegagalan pada saat pengiriman pesan. Salah satunya adalah omission failure, yaitu kegagalan pengiriman pesan yang disebabkan karena pesan yang dibuang ketika buffer tujuan sudah penuh.  Selain itu, kegagalan lain yang mungkin terjadi adalah adanya pengiriman yang dilakukan tanpa adanya perintah dari pengirim. Untuk beberapa aplikasi dapat menerima terjadinya omission failure, contohnya adalah DNS pada internet dan juga VOIP yang juga berjalan di atas UDP. UDP datagram merupakan sebuah pilihan yang digunakan karena dalam UDP tidak mengalami overhead.

Java API menyediakan komunikasi datagram melalui dua kelas, yaitu DatagramPacket and DatagramSocket. Dalam kelas DatagramPacket tersedia konstruktor yang membuat sebuah instance dari sebuah array dari pesan. DatagramPacket dapat digambarkan sebagai berikut :

Sedangkan DatagramSocket akan mendukung soket untuk mengirim dan menerima UDP datagrams. Kelas ini menyediakan konstruktor yang mengambil nomor port sebagai argumen, untuk digunakan oleh proses yang pada port tertentu. Hal ini juga menyediakan konstruktor tanpa argumen yang memungkinkan sistem untuk memilih port lokal gratis. Konstruktor ini bisa melempar SocketException jika port yang dipilih sudah digunakan.

TCP Stream Communication

API yang digunakan untuk protokol TCP yang berasal dari BSD INIX 4.x dapat memberikan abstrakssi aliran byte yang dapat ditulis dan di baca. Beberapa karateristik jaringan tersembunyi antara lain :

Message sizes

Aplikasi dapat memilih berapa banyak data yang dapat di tulis atau di baca di stream. Dalam hal ini TCP yang menetukan dan memutuskan banyaknya data harus dikumpulkan sebelum dikirimkan sebagai satu atau lebih paket IP.

Lost messages:

akhir pengiriman menyimpan catatan setiap paket IP dikirim dan penerima mengakui semua pendatang. Jika pengirim tidak menerima pengakuan dalam timeout, itu mentransmisikan pesan

Flow control

Protokol TCP mencoba untuk mencocokkan kecepatan proses yang dibaca dari dan ditulis ke stream.

Message duplication and ordering

Pengidentifikasi pesan yang terkait dengan setiap paket IP, yang memungkinkan penerima untuk mendeteksi dan menolak duplikat, atau untuk menyusun ulang pesan yang tidak tiba dalam urutan pengirim.

Message destinations

Pengidentifikasi pesan yang terkait dengan setiap paket IP, yang memungkinkan penerima untuk mendeteksi dan menolak duplikat, atau untuk menyusun ulang pesan yang tidak tiba di pengirim pasangan order.

Berikut ini adalah beberapa masalah yang terkait dengan aliran komunikasi:

Matching of data items

Dua proses berkomunikasi perlu  saling setuju dengan isi dari data yang dikirimkan melalui aliran/stream.

Blocking

Threads

Failure model : untuk memenuhi properti integritas komunikasi yang handal, TCP stream menggunakan checksum untuk mendeteksi dan menolak paket yang korup dan nomor urut untuk mendeteksi dan menolak paket duplikat.

External Data Representation : sebuah strandart untuk merepresentasikan struktur data dan primitive value.

Marshaling : sebuah proses untuk mengumpulkan data item dan memasangnya ke dalam bentuk yag tepat  dari transmisi di pesan.

Unmarshalling : sebuah proses melepaskan data item saat kedatangan untuk menghasilkan data yang setara dengan item data dari tempat tujuan. Dengan begitu penyusunnya terdiri dari penjabaran item data terstruktur dan nilai-nilai primitif menjadi representasi data eksternal. Dengan demikian marshaling terdiri dari penjabaran item data terstruktur nilai-nilai primitive ke representasi data eksternal. Demikian dengan unmarshaling terdiri geberasi nilai- nilai primitive dari representasi data eksternal dan pembangunan kembali struktur data.

Tiga Alternatif untuk pendekatan eksternal data representation dan marshaling anatar lain CORBA’s, Java’s, and XML.

CORBA’s Common Data Representation

eksternal representasi data yang telah didefinisikan di CORBA 2.0.  CDR dapat merepresentasikan semua tipe data yang dapat digunkan sebagai argument dan menegembalikan nilai ke sedikit pengiriman di CORBA. Terdapat 15 tipe primitive.

Tipe primitive pada CDR mendefinisikan representasi untuk kedua big-endian dan little-endian orderings. Nilai ditransmisikan dalam memesan pengirim, yang ditentukan di setiap pesan.

Tipe Konstruksi nilai-nilai primitif yang terdiri dari masing-masing jenis dibangun ditambahkan ke urutan byte dalam urutan tertentu.

Marshaling in CORBA. Marshaling dapat menggeneret secara otomatis dari spesifik tipe darai sebuah data untuk ditransmisikan ke sebuah pesan.

Java Object Serialization

Pada java RMI, kedua objek dan nilai-nilai data primitif dapat dilewatkan sebagai argumen dan hasil metode. Sebuah objek adalah instance dari kelas Java. Di Java, serialisasi menunjuk pada aktivitas perataan suatu obyek atau satu set objek terhubung ke dalam bentuk serial yang cocok untuk menyimpannya pada disk atau transmisi dalam pesan, misalnya, sebagai argumen atau hasil dari RMI.

Kegunaan reflection :

mampu meminta keterangan seperti nama/tipe dari variabel dan method

memungkinkan membuat kelas dari nama dan konstruktor dengan memberi tipe atributnya

mampu melakukan serialisasi dan deserialisasi

pada serialisasi, reflection digunakan untuk mengetahui nama kelas, tipe dan nilai dari objek yang diserialisasi 

pada deserialisasi, nama kelas dari proses serialisasi digunakan untuk membangun kelas dan membuat konstruktor yang spesifik serta membuat objek baru dengan nilai yang dibaca dari dari form serialisasi

eXtensible Markup Language (XML)

merupakan markup language untuk keperluan umum web yang disarankan oleh W3C. Markup language merepresentasikan teks dan detail dari struktur atau tampilan halaman web. XML dan HTML berasal dari Standardized Generalized Markup Language, sebuah markup language yang sangat komplek. HTML digunakan untuk memperindah tampilan sedangkan XML digunakan untuk menyusun struktur penulisan dokumen dari halaman web.

Kegunaan XML :

digunakan agar klien dapat berkomunikasi dengan web service

mendefinisikan interface dan properti lain dari web service

dapat dikembangkan, user dapat membuat tag sendiri

Contoh XML dalam mendefinisikan Person

<person id="123456789">

     <name>Smith</name>      <place>London</place>      <year>1984</year>      <!-- a comment -->

</person >

Komponen XML :

Elemen, berisi karakter yang diawali dan diakhiri oleh suatu tag. Misalnya <nama> ... </nama>. Untuk tag kosong penulisannya diakhiri /> seperti berikut <european/>

Atribut, sama seperti pada HTML atribut diikuti dengan tanda sama dengan dan nilanya berada diantara kutip, contohnya id = "12345". Untuk atribut ganda dipidahkan dengan spasi.

Dokumen XML harus tersusun dengan baik, strukturnya mengikuti aturan yang ada. Aturan-aturan ini membuat penerahan parser untuk dokumen XML menjadi sederhana. Ketika parser membaca dokumen XML yang tidak tersusun dengan baik, akan melaporkan kesalahan tersebut.

CDATA : Parser XML, mengurai isi dari elemen karena mereka mungkin mengandung struktur nested. 

XML Prolog : Setiap dokumen XML pasti memiliki prolog dibaris pertamanya.

<?XML version = "1.0" encoding = "UTF-8" standalone = "yes"?>

Note : UTF-8 merupakan encoding default

xmlns:pers = "http://www.cdk5.net/person"

Note : XML namespace menunjukkan URL rujukan, mengijinkan aplikasi untuk menggunakan beberapa set definisi eksternal dalam namespace yang berbeda tanpa risiko terjadi bentrok.

Remote Object References

identifier untuk remote objek yang berlaku di seluruh sistem terdistribusi.

Representasi remote objek

Referensi :

Coulouris, George, et al. Distributed System : Concept and Design 5th Edition.

[ghofantasy-blog]

Network Principles : ROUTING

Pengiriman paket ke suatu tujuan seperti pada gambar tabel routing berikut menjadi tanggung jawab bersama untuk tiap router.

Penentuan rute untuk pengiriman paket ke tujuan adalah tanggung jawab dari algoritma routing yang diimplementasikan oleh sebuah program pada lapisan jaringan (network) di setiap node.

Algoritma routing mempunyai 2 bagian :

1. Mengambil keputusan untuk menentukan rute yang diambil oleh paket. Pada circuit-swithed contohnya ATM, rute ditentukan dari lokasi virtual circuit didirikan. Sedangkan pada packet-swithed seperti IP, rute ditentukan terpisah untuk setiap paket dan algoritmanya harus sederhana dan efisien untuk menghindari penurunan performansi jaringan.

2. Dapat melakukan update secara dinamis untuk memantau keadaan jaringan, apakah terjadi kemacetan atau perubahan konfigurasi. Hal ini membutuhkan waktu yang lama dan perlu teknik komputasi yang intensive.

Algoritma routing sederhana

Distance Vector merupakan proses routing berdasarkan arah dan jarak, cara kerjanya dengan membentuk tabel routing dimana setiap router memberikan informasi mengenai keadaan jaringan yang diketahui router tersebut kepada router-router tetangganya setiap selang waktu tertentu. 

Pertukaran informasi router dilakukan dengan mengirimkan ringkasan tabel routing menggunakan Router Information Protocol (RIP). Tugas RIP adalah :

1. Mengirimkan ringkasan tabel routing ke node yang berhubungan secara berkala dan jika terjadi perubahan routing.

2. Ketika menerima tabel routing dari router tetangga yang berisi rute baru atau jalur terbaik untuk mencapai suatu tujuan, update tabel routing lokal dengan rute baru.

Pseudocode for RIP routing algorithm

Send: Each t seconds or when Tl changes, send Tl on each non-faulty outgoing link. Receive: Whenever a routing table Tr is received on link n: for all rows Rr in Tr { if (Rr.link 􀂏 n) { Rr.cost = Rr.cost + 1; Rr.link = n; if (Rr.destination is not in Tl) add Rr to Tl; // add new destination to Tl else for all rows Rl in Tl { if (Rr.destination = Rl.destination and (Rr.cost < Rl.cost or Rl.link = n)) Rl = Rr; // Rr.cost < Rl.cost : remote node has better route // Rl.link = n : remote node is more authoritative } } }

Congestion Control

Kapasitas pengiriman data pada sebuah jaringan network dibatasi oleh performansi dari link komunikasi dan swicthing nodenya. Ketika sebuah komputer mengirimkan data dalam jumlah yang besar melalui sebuah node dimana node tersebut sudah mendekati kapasitas maksimalnya, maka akan terbentuk sebuah antrian dalam pengiriman data tersebut. Antrian ini aka terus bertambah hingga memenuhi ketersediaan kapasitas pada buffernya.

Jika situasi ini terjadi, maka node tersebut tidak mempunyai pilihan lain selain menolak atau men-drop paket yang datang selanjutnya. Jika data di drop pada saat pengiriman, maka network resource yang digunakan akan terbuang sia-sia dan memerlukan adanya pengiriman ulang yang tentunya memerlukan resource lagi dalam pengiriman tersebut. Salah satu mekanisme yang digunakan untuk menanggulangi hal ini adalah Congestion Control.

Secara umum mekanisme congestion control akan menginformasikan kepada setiap node jika terdeteksi adanya kemacetan dalam pengiriman data. Sehingga setiap node harus mengurangi laju transmisi paket data mereka. node pengirim harus mengurangi tingkat di mana ia mengirimkan paket berdasarkan informasi yang diterima dari receiver. Informasi kemacetan diberikan kepada node pengiriman dengan pesan khusus yang disebut choke packets agar pengurangan laju transmisi.

Referensi :

Coulouris, George, et al. Distributed System : Concept and Design 5th Edition.

[ghofantasy-blog]

Network Principles : PROTOCOL

Dasar dalam jaringan computer adalah teknik packet-switching, yang memungkinkan paket data berbagi link komunikasi tunggal dengan tujuannya seperti yang diterapkan pada telepon konvensional. Paket antri di buffer dikirimkan ketika link telah tersedia. Komunikasi asinkron, pesan tiba ditujuan setelah mengalami penundaan tergantung waktu yang dibutuhkan pada perjalanan paket dalam jaringan.

Packet transmission

Kebutuhan aplikasi jaringan computer adalah untuk transmisi unit logis informasi. Sebelum pesan dikirim terlebih dahulu dibagi dalam paket yang panjangnya terbatas  kemudian mengidentifikasi sumber dan computer tujuan. Tujuan digunakan paket yang panjangnya terbatas yang digunakan agar setiap komputer pada jaringan dapat mengalokasikan penyimpanan buffer yang cukup untuk menahan kemungkinan masuk paket terbesar, dan untuk menghindari penundaan yang tidak semestinya dalam menunggu saluran komunikasi apabila pesan panjang ditransmisikan tanpa pembagian.

Data streaming

Streaming adalah proses mentransmisi dan menampilkan audio dan video secara real-time. Dibutuhkan bandwidth yang lebih tinggi disbanding komunikasi sistem terdistribusi lainnya. Video streaming membutuhkan bandwidth sekitar 1,5 Mbps jikat dikompres dan 120 Mbps jika tidak dikompres. UDP paket internet umumnya digunakan untuk menyimpan frame video, namu karena aliran datanya kontinu dan berlawanan dengan lalu lintas dari interaksi client-server, paket ditangani dengan berbeda. Komponen yang tiba di tujuan akan lebih dari panjangnya waktu pemutaran video

Pengiriman video dan audio secara real time bergantung pada ketersediaan koneksi, kualitas layanan yang memadai, bandwidth, latency. Idealnya adalah kualitas yang memadai dan pelayanan yang terjamin. Jaringan ATM secara khusus dirancang untuk menyediakan bandwidth tinggi, laterncy yang rendah dan mendukung kualitas layanan oleh reservasi sumber daya jaringan. IPV6 adlaah protocol baru untuk internet, dengan fitur yang memungkinkan setiap paket IP dalam aliran real-time di identifikasi dan diberlakukan secara terpisah dari data lain pada tingkat jaringan.

Subsistem komunikasi yang menyediakan penjaminan kualitas layanan memelurkan fasilitas prealokasian sumber daya jaringan dan penegakan alokasi. Resource Reservation Protocol (RSVP) memungkinkan aplikasi untuk menegosiasikan preallocation bandwidth untuk aliran data real-time. Real Time Transport Protocol (RTP) adalah protocol transfer data pada tingkat aplikasi yang mecakup rincian waktu pemutaran dan persyaratan waktu lain dalam setiap paket.

Switching schemes

Sebuah jaringan terdiri dari satu node yang dihubungkan oleh sirkuit. Sistem switching diperlukan untuk mengirimkan informasi antara 2 node.

4 jenis switching yang digunakan:

Broadcast

Teknik transmisi yang tidak melibatkan switching. Semua ditransimisikan ke setiap node , dan terserah kepada penerima untuk melihat transmisi yang ditujukan kepada mereka

Circuit Switching

Telepon waktu jaringan adalah satu satunya jaringan telekomunikasi. Operasinya sederhana, jika penelepon memutar nomer, sepasang kabel dari telepon di hubungkan oleh saklar dengan sepasang kabel yang terhubung ke telepon pihak lain. Untuk panggilan jarak jauh proses serupa namun koneksi akan beralih melalui sejumlah intervensi pertukaran ke tujuannya . sistem tersebut biasanya disebut POTS.

Packet switching

Terdapat jenis jaringan store-and-forward  yang meneruskan paket sari sumber ke tujuan. Setiap paket tiba di node peprtama disimpan dalam memori pada node kemudian diproses oleh sebuah program yang mentransmisikan pada sirkuit keluar, yang mentransfer paket ke node lain yang lebih dekat dengan tujuan akhir.

Frame relay

Delay switching tergantung pada ukuran paket, kecepatan hardware dan kuantitas lalu lintas lainnya, namun batas bawah ditentukan oleh bandwidth jaringan, karena seluruh paket harus diterima sebelum diteruskan ke node lain.

Frame relay switching method memberikan beberapa keuntungan dari sirkuit switching ke jaringan paket-switching. Frame relay bisa mencegah masalah delay dengan cara menswitch paket kecil pada saat dikirimkan. Node=node switching merutekan frame-frame berdasarkan percobaan dari beberapa bit awal, contoh utamanya ialah jaringan ATM.

PROTOCOL

Protokol merupakan format aturan yang digunakan pada saat melakukan komunikasi antar proses-proses untuk melakasanakan tugas yang diberikan. Keberadaan dari protokol sendiri membuat agar komponen software dari sistem terdistribusi bisa dikembangkan secara independent dan dapat diimplementasikan ke bahasa pemograman yang berbeda.

Enkapsulasi pada protokol layer OSI adalah sebagai berikut:

Tiap Layer menyediakan interface layer diatasna. Tiap layer direpresentasikan oleh modul ditiap komputer yang tekoneksi dengan jaringan. Modul tidak berkomunikasi dengan modul yang berada pada level yang sama pada jaringan lain tetapi dengan memanggil prosedur lokal dengan layer diatas dan dibawahnya.

Pada sisi layer pengirim menerima data dengan format layer yang berada diatasnya dan merubah dengan mengenkapsulasi data sebelum dinerikan ke layer yang ada dibawahnya. PAda sisi penerimanya konversi transformasi dilakukan dari layer dibawahnya sebelum di berikan ke layar atas. Tipe protocol dari layer atas mengandung header dari tiap layer agar bisa melaksanakan protocol stack pada reciever untuk dapat memilih komponen software agar dapat meng unpack paket.

Tiap layer menyediakan servis pada layer diatasnya dan meneruskan servis yang disediakan oleh layer yang ada dibawahnya dan yang paling bawah adalah layer fisik hal ini di implementasikan pada medium komunikasi seperti kabel optik.

Gambar diatas adalah protokol stack yang menunjukkan tujuh layer OSI. Protokol layering memberikan manfaat untuk mensederhanakan dan mengkategorikan osftware interface untuk akses servis komunikasi tiap network.

Packet Assembly

Tugas transport layer bukan hanya mengantarkan paket data dari sumber ke tujuan tapi juga membagi pesan kedalam bentuk paket-paket data sebelum ditransmisi dan di reassemble pada komputer penerima. Lapisan jaringan (network) terdiri dari header dan data field. Pada data field terdapat variable, panjang maksimum dari variable-variable itu disebut MTU (Maximum Transfer Unit). Jika panjang dari suatu pesan melebihi MTU lapisan dibawahnya, maka paket tersebut akan dipecah dengan ukuran yang sesuai kemudian diberi urutan untuk digunakan saat penyusunan kembali paket2 tersebut dan ditransmisikan dalam beberapa paket.

Port

suatu sistem-terdefinisi yang mengizinkan sebuah komputer dapat terhubung dengan komputer lainnya di dalam jaringan. Port memungkinkan terjadinya pengiriman data ke alamat proses spesifik pada node tujuan.

Addressing

Alamat jaringan merupakan nomer unik yang dimiliki oleh host komputer dan dijadikan sebagai node yang bertanggung jawab dalam proses routing. Dalam Internet setiap komputer host diberikan sebuah nomor IP, yang memungkinkan data dapat diteruskan ke host tersebut dari node tujuan lain. Sedangkan dalam Ethernet, setiap host bertanggung jawab untuk mengenali dan mengambil paket yang ditujukan padanya.

Packet Delivery

Terdapat 2 pendekatan dalam mengirim paket dalam lapisan jaringan :

Datagram

Seperti halnya dalam mengirim surat, tiap paket terdiri dari alamat sumber dan tujuan dan dikirim secara terpisah. Pengiriman  paket dari host ke tujuan bisa melalui jalur yang berbeda-beda, kemungkinan paket diterima tidak secara berurutan. Sebagian besar komputer saat ini menggunakan konsep Datagram. Lapisan jaringan Internet (IP), Ethernet dan teknologi nirkabel lokal juga didasarkan pada pengiriman Datagram.

Virtual Circuit

Harus dilakukan setup dulu sebelum paket dikirim, jadi antara sumber dan tujuan telah sepakat bahwa akan terjadi pengiriman paket tersebut. Jika sudah terjadi kesepakatan, maka jalur tersebut dapat melewatkan berapa pun paket. Contoh penggunaan konsep ini adalah telepon rumah dan ATM. Konsep Virtual Circuit cocok untuk pertukaran data yang lama, namun jika terjadi gangguan pada salah satu node yang digunakan akan melumpuhkan semua hubungan ke node tersebut.

Perbedaan datagram dan virtual circuit [2] :

• Pembentukan saluran (circuit set up) tidak mungkin untu datagram, tetapi merupakan keharusan bagi virtual circuit • Pengalamatan datagram menggunakan alamat yang lengkap baik untuk sumber maupun untuk tujuan, virtual cicuit dapat menggunakan alamat sederhana. • Bagi datagram, routing tiap paket bebas, sedangkan virtual circuit routing ditetapkan saat jalur dibentuk. • Gangguan pada node untuk ddatagram hanya berpengaruh pada paket yang hilang saat gangguan tersebut terjadi, sedangkan pada virtual circuit seluruh hubungaan yang melalui node yang gagal tersebut. • Pada datagram, kerumitan ada pada transport layer, sedangkan virtual circuit pada network layer. • Datagram cocok untuk layanan berbasis connection oriented dan connectionless, sedangkan virtual circuit hanya cocok utnk connection oriented service.

Referensi :

[1] Coulouris, George, et al. Distributed System : Concept and Design 5th Edition.

[2] Jaringan Switched. http://vinika.wordpress.com/ diakses tanggal 22 Februari 2014

[ghofantasy-blog]

Networking & Internetworking

Sebuah jaringan digunakan dalam sistem terdistribusi yang dibangun dari bermacam – macam transmisi media , perangkat keras, dan perangkat lunak. Beberapa istilah yang terdapat jaringan dalam sistem terdistribusi adalah host, node dan komunikasi sub sistem. Host memungkinkan komputer dengan perangkat lainnya dapat berkomunikasi untuk mencapai suatu tujuan. Node adalah penghubung antara komputer atau perangkat dalam sebuah jaringan. Contoh dari sub sistem adalah internet, internet sendiri terdiri dari subnet, subnet adalah unit yang mengirimkan data.

Masalah Jaringan Pada Sistem Terdistribusi

Sebuah jaringan komputer dirancang untuk memenuhi kebutuhan sebuah aplikasi. Jaringan komputer tersebut terhubung dengan internet yang sampai saat ini berkembang sangat pesat yang di dipengaruhi oleh beberapa persyaratan. Persyaratan tersebut antara lain :

1. Performance

Performance merupakan parameter sebuah kinerja dari jaringan untuk melakukan transfer data. Performance ini dapat kita lihat dari waktu transmisi yang dipengaruhi oleh latensi dan transfer data rata-rata, sehingga didapatkan rumus dibawah ini dengan ketentuan panjang tidak melebihi maksimum teknologi jaringan. 

2. Scalability

Scalability merupakan parameter yang berhubungan dengan masyarakat pengguna internet yang semakin berkembang pesat. Oleh sebab itu potensi dari internet harus sepadan dengan masyarakat yang menggunakannya. Internet juga diharapkan agar selalu tumbuh dan berkembang untuk menangani perkembangan teknologi di masa depan. 

3. Reliability

Pada suatu jaringan mungkin terjadi error atau kegagalan dalam transfer atau berkomunikasi, untuk itu untuk mencegah hal tersebut dapat dilakukan dengan menggunakan perangkat lunak yang dapat mendeteksi dan mengoreksi kesalahan.

4. Security

Kita telah membahas syarat-syarat dalam sebuah keamanan jaringan di bab sebelumnya. Keamaanan sangat penting untuk melindungi jaringan dan komputer dari beberapa ancaman. Contoh dari sistem keamanan adalag firewall yang merupakan perlindungan untuk sistem, tujuan dari firewall ini sendii adalah untuk melindungi sumber daya di semua komputer yang diakses oleh pengguna di dalam atau di luar firewall.

5. Mobility

Pengguna internet yang semakin meningakat dan semakin beragam yang menggunakannya memungkinkan sebuah internet dapat diakses kapan saja dengan alat yang mudah untuk dibawa kemana saja.

6. Quality of service

Dapat menyediakan pelayanan pengiriman data multimedia yang real time. 

7. Multicasting

Dalam sistem terdistribusi tidak hanya komunikasi antara satu ke satu namun juga dari satu ke banyak, oleh karena itu teknologi jaringan harus mendukung transmisi dari satu pengirim ke beberapa penerima.

Tipe – Tipe Jaringan

Tipe – tipe jaringan yang dapat menunjang sistem terdistribusi antara lain adalah

1. Personal Area Network (PANs)

Merupakan kategori dari jarinagn local terdiri dari beberapa perangkat digital yang digunakan seorang pengguna.

2. Local Area Network (LANs)

Jaringan yang dapat mengubungkan komputer antar lantai dalam satu gedung. Jaringan tersebut dihubungkan oleh segmen. Pada jaringan ini total bandwidth sistem tinggi dan latensi rendah terkecuali saat lalu lintas data padat.

3. Wireless Area Networks (WANs)

Jaringan yang dapat terhubung oleh jarak yang jauh yaitu dari kota, Negara, atau benua. Pada jaringan ini diperlukan router untuk mengelola jaringan komunikasi dan rute pesan atau paket ke tujuan.

4. Metropolitan Area networks ( MANs)

Jaringan yang terdiri dari kabel tembaga dan serat optic yang memiliki bandwith yang tinggi. Contoh penggunaan adalah Ethernet ke ATM. Selain itu terdapat DSL dan koneksi kabel yang merupakan contoh penggunaannya.

5. Wireless Local area Network (WLANs)

WLANs digunakan untuk menyediakan konektivitas perangkat mobile dan untuk menghapus kebutuhan kabel untuk menghubungkan komputer dalam saru rumah atau gedung.

6. Wireless Metropolitan Are network (WMANs)

WMANs digunakan untuk memberika alternative untuk koneksi kabel ke rumah dan gedung perkantoran untuk menggantikan 802.11.

7. Wireless Wide Area Network (WWANs)

Sebagian besar jaringan telepon sudah menggungakan jaringan nirkabel digital, contohnya GSM. Jaringan ini dirancang untuk dapat beroperasi di wilayah yang luas.

8. Internetworks

Internetworks adalah sebuah subsistem komunikasi yang terdiri dari beberapa jaringan untuk menyediakan fasilitas komunikasi data umum, protokol dari komponen individu, dan metode yang digunakan untuk koneksi.

9. Networks error

Networks error berhubungan dengan frekuensi dan jenis kegagalan yang dapat terjadi di suatu jaringan. Keandalan dari media yang mendasari transmisi data sangat tinggi di semua tipe, kecuali jaringan nirkabel, di mana paket sering hilang akibat gangguan eksternal.

Internetwork

Komunikasi subsistem dengan beberapa jaringan yang terhubung bersama untuk menyediakan fasilitas umum komunikasi data yang membebani teknologi dan protocol jaringan komponen individu dan metode yang digunakan untuk menghubungkannya.

Internetwork dibutuhkan dalam pembangunan yang dapat diperpanjang dan system terdistribusi terbuka. Internetwork dibangun dari bermacam-macam komponen jaringan. Mereka dapat saling terhubung dengan menggunakan routers dan gateways. Hasilnya berupa jaringan virtual yang dibangun oleh lapisan internetwork pada media komunikasi yeng terdiri dari jaringan,router, dan gateway. Contoh internetworking adalah Internet dan contoh lapisan integrasinya adalah protocol TCP/IP.

Network Error

Kemampuan yang mendasari transmisi data untuk mengetahui frekuensi dan jenis kesalahan yang mungkin terjadi dalam jaringan sangat tinggi diseluruh tipe jaringan kecuali jaringan nirkabel. Paket data sering hilang akibat gangguan eksternal. Penyebab yang paling sering seperti keterlambatan proses, buffer overflow pada switching dan node tujuan.

Paket dapat dikirimkan dengan urutan yang berbeda, hal tersebut hanya dapat terjadi pada paket terpisah yang diarahkan secara individual seperti jaringan wide area. Paket akhirnya dapat disampaikan. Namun, sering kali pengirim berasumsi bahwa paket hilang, paket dikirimkan kembali, paket asli dan salinan dikirimkan kembali kemudian muncul di tujuan.

Referensi :

Coulouris, George, et al. Distributed System : Concept and Design 5th Edition.

Network Fundamental by NetworKing. Diakses tanggal 23 Februari 2014

[nosql]

Papers on transactions and consistency from SOSP'13

Thanks to Murat Demirbas, I got a link to the SOSP‘13 papers. Maybe is because of my myopic interest, but it seems like quite a few papers this year were focus on the topic of transactions and consistency:

Speedy Transactions in Multicore In-Memory Databases by Stephen Tu, Wenting Zheng (MIT), Eddie Kohler (Harvard), Barbara Liskov, Samuel Madden (MIT)

From ARIES to MARS: Transaction Support for Next-Generation, Solid-State Drives by Joel Coburn, Trevor Bunker, Meir Schwarz, Rajesh K. Gupta, Steven Swanson (University of California, San Diego)

Transaction Chains: Achieving Serializability with Low Latency in Geo-Distributed Storage Systems1 by Yang Zhang, Russell Power, Siyuan Zhou, Yair Sovran (NYU), Marcos K. Aguilera (Microsoft Research), Jinyang Li (NYU)

Consistency-Based Service Level Agreement for Cloud Storage by Douglas B. Terry, Vijayan Prabhakaran, Ramakrishna Kotla, Mahesh Balakrishnan, Marcos K. Aguilera (Microsoft Research), Hussam Abu-Libdeh (Cornell University)

Everything You Always Wanted to Know about Synchronization but Were Afraid to Ask by Tudor David, Rachid Guerraoui, Vasileios Trigonakis (EPFL)

This SOSP‘13 page has download links for all papers.

There’s an updated version of the paper here. ↩

Original title and link: Papers on transactions and consistency from SOSP'13 (NoSQL database©myNoSQL)