Դաս 3 | Քուլբաք-Լեյբլերի տարամիտություն | Ինֆորմացիայի տեսություն

ԵՊՀ Մաթեմատիկայի և մեխանիկայի ֆակուլտետի դասախոս Աշոտ Հարությունյանի դասախոսությունը «Ինֆորմացիայի տեսություն» առարկայից, Կիրառական վիճակագրություն և տվյալների գիտություն բաժնի համար (մագիստրատուրա)։ 🗓️ Ամսաթիվ՝ 27 փետրվար, 2026 📚 Դասախոսության ֆայլը՝ [կավելացվի շուտով] ⏳ Թեմաներ 00:00 Նախորդ դասի հիշեցում 02:12 Քուլբաք-Լեյբլերի (Լայբլերի) տարամիտություն (KL-divergence) 05:51 Յենսեն-Շենոնի տարամիտություն (JSD) 07:10 Փոխադարձ ինֆորմացիայի և ՔԼ-տարամիտության կապը 09:32 Պայմանական ՔԼ-տարամիտություն 10:57 Շղթայի կանոնը տարամիտության համար 11:24 Ապացույց 13:35 Հիմնարար անհավասարություն՝ ln(a) ≤ a - 1 14:27 Թեորեմ․ ինֆորմացիոն անհավասարություն 16:07 Օրինակ․ սոցիոլոգիական հարցումներ 19:12 Թեորեմի ապացույցը 21:20 Հիշեցում․ Յենսենի անհավասարություն՝ 𝔼f(X)≥f(𝔼X) 23:50 Թեորեմի մեկ այլ ապացույց 24:42 Հետևանք․ փոխադարձ ինֆորմացիան ոչ բացասական է 26:28 H(Y|X) ≤ H(Y) հատկության ապացույցը 28:11 Օրինակ 30:21 Հետևանք․ I(X;Y|Z) ≥ 0, հավասար են երբ X⫫Y|Z 32:24 Ապացույց 34:52 H(X) ≤ log(M), հավասար են երբ X~Uniform 36:34 Ապացույց 38:53 Լոգարիթմ-գումար անհավասարություն 40:28 ՔԼ-տարամիտությունը ուռուցիկ է, էնտրոպիան՝ գոգավոր 42:34 Մարկովյան շղթաներ 47:11 Տվյալների մշակման անհավասարություն 48:58 Ապացույց 52:30 Հետևանք․ Z=g(Y) ⇒ I(X;Y) ≥ I(X;g(Y)) 🎶 Երաժշտությունը    • Yerkinkn Ampel A - Komitas - Performed by ...