#python shell

[code-is-pain]

*You know when your IDE crashes, it's just as done as you are*

[pythonturkiye-blog]

Django Extensions RunScript ile Kodlarınızı Django'da Çalıştırma

Django ile yaşayacağınız bir sorun, oluşturduğunuz bazı kodları Django kabuğu içerisinde çalıştıramama sorunudur. Buna dair bazı hantal çözümler mevcut. Örneğin, kodunuzu yazdıktan sonra manage.py ile aynı dizine kaydettiğinizde şu şekilde çalıştırabilirsiniz:

[pcsh lang=”bash” tab_size=”4″ message=”” hl_lines=”” provider=”manual”]

python3 manage.py shell < kodumuz.py

[/pcsh]

Ama bu belli başlı…

View On WordPress

[agilealm]

Spark #3-Tek Makine Üzerinde (Windows) Spark Kurulumu

Spark Scala ile geliştirilmiştir ve JVM üzerinde çalışır. Dolayısı ile Spark çalıştırmak için JVM 6 ve üzeri versiyonun sisteminizde yüklü olması gerekir. Eğer Python API kullanılmak istenirse, benzer şekilde Python 2.6 veya daha üst bir sürüm sisteminizde mevcut olmalıdır.

Spark download sayfasından “Prebuilt for Hadoop X and later” seçilerek en yeni versiyon indirilebilir.(Bu not düşülürken Spark-1.4.1-bin-hadoop2.6.tgz) Kurulum dosyası hadoopx.y içermesine rağmen sisteminizde Hadoop’ un yüklü olmasına ihtiyaç yoktur. Fakat bazı API’ ler Hadoop kütüphanelerine ihtiyaç duyacağı için Hadoop olmadan winutils kullanarak bu kütüphaneleri eklemeyi yazının ilerleyen bölümlerinde sizlerle paylaşacağız. İndirilen dosyayı içinde klasör adında boşluk olmayan bir dizine açmak yeterlidir. (örneğin c: \Spark). Tar dosyasını açmak için winrar veya 7-zip kullanabilirsiniz.

Önemli bir not: Eğer Python Shell ve geliştirme yapmayı planlıyorsanız, Spark’ ın son versiyonunun hangi Python sürümünü desteklediğini “spark python support” şeklinde sorgulamalısınız. Örneğin Python 3.0 desteği Sparkın 1.4 ve üst versiyonlarında desteklenmeye başlamıştır.

Tek makine üzerine kurulum bu kadar basit.  (Olası sorunları notlar düşerek paylaşacağım) Kurulumunuzu test etmek için Spark ile sunulan ve anlık çalışmalar yapmamızı sağlayan herhangi bir shell’i çalıştırmayı deneyerek test edebilirsiniz. Bunun için kurulum dosyalarını açtığınız Spark dizini altındaki bin klasörüne komut satırından geçiş yapıp pyspark (Python Shell) veya spark-shell (Scala Shell) yazmalısınız.

Sorunsuz bir kurulumda Shell info ve warning mesajları vererek açılacaktır Kurulumu test etmek için basit bir text dosyayı okuyan iki satırlık Python kodu yazalım:

lines=sc.textFile(“:\Spark\README.md”)

lines.count()

Bu 2 satır sonucunda tahmin edeceğiniz üzere dosyadaki toplam satır sayısını ekranda görmüş olmalısınız. Eğer bazı hata mesajları ile karşılaşıyorsanız yazının sonundaki olası hatalara göz atmanızı öneririm.

Eğer Spark açılırken ekranda görünütlenen açılış mesajlarını rahatsız edici buluyorsanız. Bunların sayısını yine kurulum dizininde conf klasöründe bir örneği olan “log4j.properties.template” log seviyesi dosyasını aynı dizine “log4j.properties” adı ile kopyalayıp dosya içerisindeki

Log4j.rootCategory=INFO, console satırını Log4j.rootCategory=WARN, console şeklinde düzeltmeniz yeterlidir. Bu durumda sheli başlattığınızda aşağıdaki gibi bir ekran ile karşılaşırsınız:

Önemli Notlar:

Not 1:  Python Sehll ile ilgili sorunlar yaşıyorsanız, Python kurulum yolunuzu System Çevresel değişkenlerdeki Path variable kısmına eklemeniz gereklidir Örneğin : C:\Python27\;C:\Python27\Scripts\ gibi

Not 2: Bu kurulum Spark tek bir makinada çalışacak biçimde gerçekleştirilmiştir. Vakit bulduğumda cluster üzerinde çalışacak kurulum ve web console kullanmak için gerekli adımları notlarıma ekleyeceğim.

Not 3: Eğer Windows da Shell başlatırken winutils.exe ile ilgili hata mesajları alıyorsanız. Winutils.exe paketini indirin :\winutils dizinine kopyalayın ardından yine çevresel değişkenler kısmına (system ve user) HADOOP_HOME değişkenini ekleyip değer olarak C:\Winutils\ yazmalısınız.

Not 4: Spark’ ın geliştiricilerinden,  Matei Zahara, Databricks firmasında çalışıyor. Spark’ ı yaygınlaştırmak için Udemy ve eduX üzerinden verdikleri eğitimlerde hazır sanal makine imajları sağlıyorlar. Kurulum adımları basit olmasına rağmen bu hazır VM leri kullanmanız mümkündür.

Not 5: Java geliştirici olmama rağmen Python ve Scala Shell kullanımı çok daha kolay tavsiye ederim.

Not 6: Spark’ ın bu yazıyı oluşturduğumda 1.5 versiyonu yayınlandı.