END672

Mühendislik Fakültesi \ Endüstri Mühendisliği

3

6

Seçmeli

Türkçe

-

Seçmeli
END - Endüstri Mühendisliği Lisans
BİL - Bilgisayar Mühendisliği Lisans
ELE - Elektrik Eloktronik Mühendisliği Lisans
MAK - Makina Mühendisliği Lisans
MBN - Malzame Bilimi ve Nanoteknoloji Mühendisliği Lisans
BMM - Biyomedikal Mühendisliği Lisans
İKT - İktisat Lisans
İŞL - İşletme Lisans

Bu ders, dış bir gözlemcinin kısmi kontrolü altında rastgele gelişen sistemleri modellemek için kullanılan Markov karar süreçleri olarak bilinen özel bir stokastik süreçler sınıfı hakkındadır. Her seferinde, gözlemci sistemin bir sonraki adımda nasıl gelişeceğini etkileyecek olası eylemlerden birini seçebilir. Her eylemin bir maliyeti vardır ve gözlemcinin amacı, sürecin davranışını mümkün olan en uygun maliyetli şekilde kontrol etmektir.

Barlow R. E. , Proschan F. “Mathematical Theory of Reliability”
R1-Ushakov, I. “Probabilistic Reliability Models”
R2-Dhillon, B. S. “Applied Reliability and Quality”

Bu ders, dış bir karar vericinin etkisi altında gelişen dinamik sistemleri modellemek için kullanılan güçlü bir stokastik süreçler sınıfı olan Markov Karar Süreçlerine (MKS'ler) kapsamlı bir giriş sunmaktadır. Ders, MKS formülasyonlarının, çözüm tekniklerinin ve bunların çeşitli alanlardaki uygulamalarının derinlemesine anlaşılmasına odaklanmaktadır. Öğrenciler, sıralı kararların sistemin gelecekteki durumunu ve genel performansını etkilediği sistemleri nasıl modelleyeceklerini ve analiz edeceklerini öğreneceklerdir. Kapsanan konular arasında ayrık ve sürekli zamanlı Markov zincirleri, deterministik dinamik programlama, optimal durdurma, sonlu ve sonsuz ufuklu MKS'ler, optimallik kriterleri, politika ve değer yineleme algoritmaları, indirgenmiş ödül modelleri ve dinamik durum değişkeni modelleri bulunmaktadır. Ders ayrıca MKS'lerin ekonomi, üretim, mühendislik, doğal kaynak yönetimi, oyun teorisi ve epidemiyoloji gibi alanlardaki gerçek dünya uygulamalarını da keşfedecektir. Dersin önemli bir bileşeni, öğrencilerin MKS teorisini kendi seçtikleri bir sorunu çözmek için uyguladıkları ve pratik problem çözme becerilerini geliştirdikleri bir araştırma projesini içermektedir.

1. Markov Zincirlerini Anlama ve Dinamik Sistemleri Modelleme: Gerçek dünya problemlerini Markov Karar Süreçleri olarak formüle edin, durumları, eylemleri, geçiş olasılıklarını ve ödül fonksiyonlarını tanımlayın. Sınıf yapısı ve durağan dağılımlar dahil olmak üzere ayrık zamanlı Markov zincirlerinin temel kavramlarını açıklayın ve uygulayın.
2. MDP'leri Analiz Etme: Sonlu ve sonsuz ufuklu MDP'ler için optimallik kriterlerini anlayın ve uygulayın.
3. Çözüm Algoritmalarını Uygulama ve Politikaları Değerlendirme: Deterministik dinamik programlama problemlerini ve optimal durdurma problemlerini çözün. İndirimli MDP'leri çözmek için değer yinelemesi, politika yinelemesi ve değiştirilmiş politika yinelemesi algoritmalarını uygulayın ve karşılaştırın. Bir MDP ortamında belirli bir politikanın performansını politika değerlendirme tekniklerini kullanarak değerlendirin.
4. MDP'leri Gerçek Dünya Problemlerine Uygulama: MDP'lerin mühendislik, ekonomi ve kaynak yönetimi gibi çeşitli alanlardaki uygulamalarını tanımlayın ve analiz edin.
5. Araştırma Yapma ve Teknik Kavramları İletme: Bağımsız araştırma yapın.

1. Hafta: Giriş ve Genel Bakış
2. Hafta: Matematiksel Altyapı
3. Hafta: Ayrık Zamanlı Markov Zincirleri: Formülasyon ve Örnekler
4. Hafta: Markov Zincirleri: Sınıf Yapısı ve Durağan Dağılımlar
5. Hafta: Markov Karar Problemleri: Formülasyonlar
6. Hafta: Deterministik Dinamik Programlar ve Optimal Durdurma
7. Hafta: Kontrollü Ayrık Zamanlı Dinamik Sistemler: Bandit Modelleri
8. Hafta: Ara Sınav
9. Hafta: Sonlu Ufuklu MDP'ler: Optimallik Kriterleri ve Politika Değerlendirme
10. Hafta: Sonsuz Ufuklu MDP'ler: Değer ve Beklenen Toplam Ödül
11. Hafta: İndirimli MDP'ler: Optimallik Denklemleri, Değer Yinelemesi, Politika Yinelemesi, Değiştirilmiş Politika Yinelemesi
12. Hafta: Dinamik Durum Değişkeni Modelleri ve Araştırma Projesi Sunumları

Vize: % 30
Proje: % 30
Final: % 40