Apify’de ilk veri: Actor seçimi ve dışa aktarma

Apify’de kod yazmadan ilk veriyi çıkarmak için Apify Store’dan amacınıza uygun hazır bir Actor seçin, girdisini sınırlı bir hedefe göre ayarlayın ve çalıştırın. Apify’nin Console üzerinden Actor çalıştırma adımları, sonuçların Output bölümünde görülebildiğini ve Export seçeneğiyle indirilebildiğini gösterir. İlk çalıştırmanın amacı çok sayıda kayıt toplamak değil, seçtiğiniz Actor’ın istediğiniz alanları üretip üretmediğini görmektir.

Actor, veri çıkarma veya otomasyon işini yürüten programdır; Task ise aynı Actor için kaydedilip yeniden çalıştırılabilen ayarlardır. Apify Academy’nin Web Scraper başlangıç anlatımı, Task ile Actor arasındaki ilişkiyi açıklarken Page function kodlanan bir örnek üzerinden CSV ve JSON indirmeyi de gösterir. Kod yazmadan başlamak istiyorsanız önce istediğiniz çıktıyı hazır olarak sunan bir Actor arayın; Task ve zamanlamayı ilk denemenin sonucunu gördükten sonra düşünün.

Hedefi tanımlayıp Actor’ı seçin

Hangi sayfadan hangi alanları almak istediğinizi açıkça belirleyin. Koşullu bir örnek olarak, yönettiğiniz herkese açık bir etkinlik sayfasından etkinlik adı, tarih ve bağlantı alanlarını çıkarmak istediğinizi düşünün. Kendi yönettiğiniz, erişim koşullarını bildiğiniz küçük bir hedef, hem izin durumunu hem de çıkan kayıtların doğruluğunu değerlendirmeyi kolaylaştırır. Kişisel veri içeren veya erişim koşulları belirsiz bir siteyi ilk denemenin hedefi yapmayın.

Apify Store’da adayları yalnızca site adına göre seçmeyin. Actor açıklamasında hangi sayfaları işleyebildiğine, istediği giriş bilgilerine, örnek çıktısına ve fiyatlandırmasına bakın. Genel sayfa içeriğini alan bir Actor, etkinlik adını ve tarihi ayrı alanlara ayırmayabilir; bu durumda çalıştırma başarıyla bitse bile elde edilen veri amacınıza uymaz. Belirli bir hizmet için hazırlanmış Actor ise farklı adres biçimleri veya hesap erişimi isteyebilir.

Örnek çıktıda aradığınız alanların karşılığını göremiyorsanız önce başka bir hazır Actor’a bakmak daha yerinde olabilir. Girişte oturum bilgisi, proxy veya başka bir hizmet isteniyorsa bunların kullanımına yetkiniz olup olmadığını ve ek maliyet doğurup doğurmadığını da değerlendirin. Böylece Actor seçimi, yalnızca teknik uyumluluğa değil, veriyi kullanma amacınıza ve denemenin sınırlarına dayanır.

Girdiyi küçük bir çalıştırmaya göre ayarlayın

Apify Actor girdisinde başlangıç adresi ve tarama sınırı küçük bir deneme için belirlenir.

Seçtiğiniz Actor’ın Input bölümünü açın ve alanları kendi açıklamalarına göre doldurun; Actor’ların giriş seçenekleri aynı değildir. Etkinlik örneğinde başlangıç adresi, yönettiğiniz sayfanın adresi olur. Varsa işlenecek sayfa, istek veya sonuç sınırını düşük tutun. İlgili bağlantıları izleme ya da sitenin tamamını tarama seçeneği açık geliyorsa, denemenin kapsamına uygun biçimde daraltın.

Başlatmadan önce girdideki adresi ve varsayılan ayarları yeniden okuyun. Actor’ın tek bir sayfayı mı yoksa o sayfadan ulaştığı başka sayfaları da mı işleyeceği, hem beklenen kayıt sayısını hem tüketimi değiştirir. Sayfada etkinlik adı ve tarih gözle görülebilir durumda olsa bile Actor’ın bunları ayrı alanlara çıkaracağını varsaymayın; bunu ancak sonuç kaydında anlayabilirsiniz. Bu nedenle ilk çalıştırma, daha geniş bir taramanın küçük ölçekli provasıdır.

Çalıştırma sonucunu kaynakla karşılaştırın

Girdiyi ayarladıktan sonra Start ile çalıştırmayı başlatın. İşlem bittiğinde yalnızca başarılı durumuna bakmak yerine Output bölümünü ve varsa çalıştırmanın Dataset kayıtlarını açın. Kayıt oluşmadıysa günlükler, erişim engeli, yanlış adres veya uygun olmayan giriş ayarı hakkında ipucu verebilir. Bazı Actor’lar çıktıyı farklı depolama alanlarında tutabildiği için sonuçların yerini Actor açıklamasından da kontrol edin.

Etkinlik örneğinde birkaç kaydı kaynak sayfayla karşılaştırın: ad ve tarih aynı etkinliğe mi ait, bağlantı doğru sayfaya mı gidiyor? Boş alan, yinelenen kayıt ve farklı türde değerlerle dolmuş sütun arayın. Türkçe karakterler veya tarih biçimi bozulmuşsa dosyayı indirmeden önce fark etmek daha kolaydır. Çıktı aradığınız yapıda değilse önce giriş ayarlarını ve Actor’ın örnek çıktısını karşılaştırın; sorun Actor’ın sunduğu alanlardan kaynaklanıyorsa başka bir Actor seçin.

Doğrulanmış kayıtları CSV veya JSON olarak indirin

Apify Dataset kaydı, CSV satırı ve JSON nesnesi olarak iki farklı biçimde dışa aktarılır.

Kayıtlar beklentinize uyuyorsa çalıştırmanın Output bölümündeki Export seçeneğini açın ve ihtiyacınıza uygun biçimi indirin. CSV, satır ve sütunlarla çalışan tablo araçları için kullanışlıdır. JSON ise alanların ve iç içe değerlerin yapısını koruyarak başka bir yazılım adımına aktarmak için daha uygundur. Biçim seçimi, Actor’ın çıkarmadığı bir alanı sonradan oluşturmaz.

İndirilen dosyayı açıp kayıtların Dataset’te gördüğünüz örnekle uyuştuğunu kontrol edin. CSV’de sütunlara ayrılma ve Türkçe karakterlerin görünümü, JSON’da alan adları ve boş değerler özellikle önemlidir. Dışa aktarma sırasında alan seçme seçenekleriyle karşılaşırsanız ihtiyacınız olan sütunların dışarıda kalmadığından emin olun. Dosya boşsa veya önemli alanlar eksikse dışa aktarma biçimini değiştirmek yerine Actor çıktısına dönün.

Maliyeti görüp sonra düzenli çalıştırmaya geçin

Actor’ı seçerken fiyatlandırma modelini, denemeden sonra da çalıştırma ayrıntılarındaki gerçek maliyeti inceleyin. Apify’nin Store fiyatlandırma açıklaması, ücretin Actor’ın tanımladığı işlemlere veya kullanılan platform kaynaklarına bağlı olabildiğini; bazı işlem bazlı Actor’larda platform kullanımının ayrıca ücretlendirilebildiğini belirtir. Aynı açıklama, sınırlı bir çalıştırmanın kullanım temelli maliyeti değerlendirmeye yardımcı olduğunu ve çalıştırma tutarının ayrıntı sayfasında görülebildiğini gösterir.

İşlem bazlı fiyatlandırmada sunuluyorsa çalıştırma için azami ücret sınırını belirleyin. Denemede tüketilen kaynağı, daha fazla sayfa taranacak veya çalışma tekrarlanacaksa beklenen hacimle birlikte düşünün; küçük denemenin tutarı geniş taramanın kesin fiyatı değildir. Çıktı doğruysa aynı ayarları Task olarak kaydetmek yeniden çalıştırmayı kolaylaştırır. Zamanlama eklemeden önce hedefin erişim koşullarını, her çalıştırmada beklenen kayıtları ve hangi alanları kontrol edeceğinizi belirleyin.

Ayrıca okuyun: