Inference

Inference, eğitilmiş bir yapay zekâ modelinin daha önce görmediği verileri analiz ederek sonuç üretmesi sürecidir.

Eğitim sırasında model verilerdeki ilişkileri öğrenir ve bu bilgileri parametreleri içerisinde saklar. Inference aşamasında ise bu öğrenilmiş bilgiler kullanılarak yeni girdiler değerlendirilir.

Örneğin:

Bir görüntü tanıma sistemi fotoğraftaki nesneyi belirleyebilir.
Bir dil modeli sorulara yanıt verebilir.
Bir tahmin modeli gelecekteki satışları öngörebilir.
Bir öneri sistemi kullanıcıya uygun ürünleri sunabilir.

Bütün bu işlemler inference sürecinin bir parçasıdır.

Modern yapay zekâ uygulamalarında kullanıcıların doğrudan deneyimlediği bölüm genellikle inference katmanıdır. Çünkü kullanıcılar modelin nasıl eğitildiğini değil, ürettiği sonuçları görür.

Inference Neden Kullanılır?

Yapay zekâ eğitiminin amacı, bir modelin gelecekteki görevlerde kullanılabilmesini sağlamaktır. Bu kullanım aşaması inference sayesinde mümkün olur.

Inference'in başlıca kullanım amaçları şunlardır:

• Kullanıcı sorularına yanıt vermek
• Tahminler oluşturmak
• Karar destek mekanizmaları oluşturmak
• Görüntüleri analiz etmek
• Konuşmaları anlamak
• Metin üretmek
• Öneri sistemleri çalıştırmak
• Dolandırıcılık tespiti yapmak
• Kişiselleştirilmiş deneyimler sunmak

Kısacası bir yapay zekâ modelinin gerçek iş değerini ortaya çıkardığı aşama inference sürecidir.

Inference Nasıl Çalışır?

Inference süreci genellikle aşağıdaki adımlardan oluşur.

1. Kullanıcı Girdisi Alınır

Süreç, kullanıcı veya başka bir sistem tarafından gönderilen veriyle başlar.

Örneğin:

Bir soru
Bir görsel
Bir ses kaydı
Bir belge
Bir müşteri kaydı

yapay zekâ sistemine gönderilebilir.

2. Veri İşlenir

Sisteme gelen veri modelin anlayabileceği formata dönüştürülür.

Örneğin bir dil modelinde kullanıcı tarafından yazılan metin önce tokenlara ayrılır.

Örnek:

"Makine öğrenmesi nedir?"

Tokenlara dönüştürüldükten sonra model tarafından analiz edilmeye hazır hale gelir.

3. Model Öğrendiği Bilgileri Kullanır

Model, eğitim sürecinde öğrendiği örüntüler ve ilişkiler doğrultusunda girdiyi değerlendirir.

Bu aşamada model:

Kelimeler arasındaki ilişkileri inceler.
Bağlamı anlamaya çalışır.
Olası sonuçları hesaplar.
En uygun çıktıyı seçer.

4. Sonuç Üretilir

Model hesaplamalarını tamamladıktan sonra yanıt oluşturur.

Bu yanıt:

Bir metin olabilir,
Bir sınıflandırma sonucu olabilir,
Bir tahmin olabilir,
Bir öneri olabilir.

Böylece inference süreci tamamlanır.

Büyük Dil Modellerinde Inference Nasıl Çalışır?

ChatGPT, Copilot veya Gemini gibi büyük dil modellerinde inference süreci oldukça karmaşıktır.

Örneğin kullanıcı şu soruyu sorsun:

"Yapay zekâ nedir?"

Model:

Soruyu tokenlara ayırır.
Kelimeler arasındaki ilişkiyi analiz eder.
Daha önce öğrendiği bilgileri değerlendirir.
Bir sonraki kelimeyi tahmin etmeye başlar.
Kelime kelime ilerleyerek tüm cevabı oluşturur.

Aslında bir dil modeli her seferinde cevabın tamamını değil, bir sonraki tokenı tahmin eder. Çok hızlı gerçekleşen bu süreç sonunda kullanıcı anlamlı ve akıcı bir yanıt görür.

Inference Türleri Nelerdir?

Gerçek Zamanlı (Real-Time) Inference: Kullanıcının isteğine anında yanıt verilir.

Örnekler:

Chatbotlar
Dijital asistanlar
Sesli asistanlar
Otonom araçlar
 

Batch Inference: Büyük miktardaki veriler toplu olarak işlenir.

Örnekler:

Müşteri analizleri
Risk skorlama sistemleri
Satış tahminleri
Veri sınıflandırma çalışmaları
 

Edge Inference: Inference işlemi doğrudan cihaz üzerinde gerçekleştirilir.

Örnekler:

Akıllı telefonlar
IoT cihazları
Akıllı kameralar
Endüstriyel sensörler

Bu yöntem gecikmeyi azaltır ve veri gizliliğini artırabilir.

Inference Performansını Etkileyen Faktörler

Bir yapay zekâ sisteminin ne kadar hızlı ve verimli çalışacağını çeşitli faktörler belirler.

Model Boyutu: Büyük modeller genellikle daha fazla hesaplama gücü gerektirir.

Donanım: GPU, TPU veya özel AI işlemcileri inference hızını artırabilir.

Latency (Gecikme Süresi): Yanıtın kullanıcıya ne kadar hızlı ulaştığını ifade eder.

Token Sayısı: Dil modellerinde işlenen token miktarı performansı doğrudan etkiler.

Optimizasyon Teknikleri: Model sıkıştırma ve kuantizasyon gibi yöntemler inference maliyetini azaltabilir.

Inference Neleri Sağlar?

Inference, yapay zekâ sistemlerinin gerçek dünyada kullanılabilmesini mümkün kılar.

Başlıca faydaları şunlardır:

• Gerçek zamanlı yanıt üretimi
• Akıllı karar destek sistemleri
• Otomatik müşteri hizmetleri
• Görüntü ve ses analizi
• İçerik üretimi
• Kişiselleştirilmiş öneriler
• Dolandırıcılık tespiti
• Veri analitiği
• Tahminleme sistemleri
• Süreç otomasyonu

İlgili Kavramlar

• Training (Eğitim)
• Machine Learning (Makine Öğrenmesi)
• Deep Learning (Derin Öğrenme)
• Large Language Model (LLM)
• Token
• Tokenization
• Transformer
• Dataset (Veri Seti)
• Training Data (Eğitim Verisi)
• Latency