Big Data – Azure RDB servisi ile çalışmak

Merhaba,

Azure SQL Database, Microsoft SQL Server(ilişkisel veritabanı yönetim sistemi – rdbms) tabanlı bir bulut servisidir. Uygulamalarınız için ilişkisel veri deposu olarak kullanıldığı gibi big data çözümü olarak da kullanılabilir. Aynı core database engine’ini paylaşan diğer servis, Azure sql data warehouse ‘dur ve geniş veri iş yükleri için optimize edilmiştir.

Bu alıştırmada, azure sql database(kısaca db) ile çeşitli görevleri yerine getireceğiz:

Azure sql database oluşturacağız.

Query editor ile kullanacağız.

Azure storage account’taki veriyi, Azure data factory ile, Azure sql database’deki bir tabloya yükleyeceğiz.

Continue reading “Big Data – Azure RDB servisi ile çalışmak”

Big Data – Azure Data Lake Store ile çalışalım

Merhaba,

Azure storage account’un yanı sıra Azure Data Lake Store, özellikle big data iş yükünüz için optimize edilmiştir. Teorik olarak limitsiz bir yapısı vardır. Azure big data servislerinin kullanımına dair bir kaç alıştırma yapalım. Azure iş yükleri ile çalışılırken genelde en az bir adet storage account oluşturulur. Biz data lake storage’dan devam edelim 🙂 Öncelikle data lake store hesabı oluşturalım.

Storage menüsünden Data Lake Store ile devam ediyoruz. Store’un ismini ve bir kaç özelliğini belirliyoruz.

Yeni oluşan store’a veri yükleyelim.

Data lake store blade’inden data explorer menüsüne geçiyoruz. New folder sihirbazı ile yeni klasör oluşturalım.

Yeni klasöre data ismini verdim. Klasörün özelliklerine bakarak path bilgisini tedarik edebilirsiniz.

adl://datalakestoreiii.azuredatalakestore.net/data

Üstteki görüntüde görülen upload fonksiyonu ile dosya yüklüyoruz. İki dosya yükledim.

Dosyaya göz atmak için tıkladığınızda, dosyanın biçimine(de-limiter olan ne kullanıldığına bağlı olarak) uygun olarak açılacaktır. Bir örnek görünüm aşağıdaki gibidir. “Bir çok kolondan oluşan bir tablo

İlerleyen alıştırmalarda, burada oluşturduğumuz data lake store’u , data processing’de kullanacağız.

Sorunsuz ve neşeli günler dilerim.