En küçük kareler veri uyumu. En küçük kareler yöntemiyle fonksiyon yaklaşımı. MathCAD ile fonksiyon yaklaşımı

(şekle bakınız). Doğrunun denklemini bulmak gerekir.

Mutlak değerdeki sayı ne kadar küçükse, düz çizgi (2) o kadar iyi seçilir. Doğru (2) seçiminin doğruluğunun bir özelliği olarak, karelerin toplamını alabiliriz.

S için minimum koşullar

	(6)
	(7)

Denklemler (6) ve (7) aşağıdaki gibi yazılabilir:

	(8)
	(9)

Denklemlerden (8) ve (9) a ve b'yi x i ve y i deneysel değerlerinden bulmak kolaydır. (8) ve (9) denklemleriyle tanımlanan (2) doğrusuna en küçük kareler yöntemiyle elde edilen doğru denir (bu isim S karelerinin toplamının bir minimuma sahip olduğunu vurgular). Düz çizginin (2) belirlendiği (8) ve (9) denklemlerine normal denklemler denir.

Normal denklemleri yazmanın basit ve genel bir yolunu belirtebilirsiniz. Deneysel noktaları (1) ve denklemi (2) kullanarak, a ve b için denklem sistemini yazabiliriz.

y 1 = eksen 1 + b,
y 2 = eksen 2 + b, ...		(10)
y n = eksen n + b,

Bu denklemlerin her birinin sol ve sağ taraflarını ilk bilinmeyen a'nın katsayısıyla (yani x 1, x 2, ..., xn ile) çarparız ve ortaya çıkan denklemleri ekleriz, sonuç ilk normal denklemdir ( 8).

Bu denklemlerin her birinin sol ve sağ taraflarını ikinci bilinmeyen b'nin katsayısı ile çarpıyoruz, yani. 1 ile ve elde edilen denklemleri ekleyin, sonuç ikinci normal denklemdir (9).

Normal denklemleri elde etmenin bu yöntemi geneldir: örneğin fonksiyon için uygundur.

sabit bir değer vardır ve deneysel verilerden belirlenmelidir (1).

k için denklem sistemi şu şekilde yazılabilir:

En küçük kareler yöntemini kullanarak doğru (2)'yi bulun.

Çözüm. Bulduk:

x ben = 21, y ben = 46.3, x ben 2 = 91, x ben y ben = 179.1.

(8) ve (9) denklemlerini yazıyoruz

Buradan buluyoruz

En küçük kareler yönteminin doğruluğunu tahmin etme

Denklem (2)'nin geçerli olduğu doğrusal durum için yöntemin doğruluğunun bir tahminini verelim.

Deneysel değerler x i tam olsun ve deneysel değerler y i tüm i için aynı varyansa sahip rastgele hatalara sahip olsun.

Notasyonu tanıtalım

(16)

Daha sonra (8) ve (9) denklemlerinin çözümleri şu şekilde temsil edilebilir:

	(17)
	(18)
nerede
	(19)
Denklemden (17) buluruz
	(20)
Benzer şekilde, Denklem (18)'den şunu elde ederiz:
	(21)
Çünkü
	(22)
(21) ve (22) denklemlerinden buluruz
	(23)

Denklemler (20) ve (23) denklemler (8) ve (9) tarafından belirlenen katsayıların doğruluğunun bir tahminini verir.

a ve b katsayılarının bağıntılı olduğuna dikkat edin. Korelasyon anlarını basit dönüşümlerle buluruz.

Buradan buluyoruz

x = 1 ve 6 için 0.072,

x = 3.5'te 0.041.

Edebiyat

Sahil. Ya. B. İstatistiksel analiz yöntemleri ve kalite ve güvenilirlik kontrolü. M.: Gosenergoizdat, 1962, s. 552, S. 92-98.

Bu kitap, elektronik ekipmanların ve diğer toplu endüstriyel ürünlerin (makine mühendisliği, alet yapımı, topçu, vb.) kalitesini ve güvenilirliğini belirlemeye dahil olan çok çeşitli mühendislere (araştırma enstitüleri, tasarım büroları, test siteleri ve fabrikalar) yöneliktir.

Kitap, test edilen ürünlerin kalitesini ve güvenilirliğini belirleyen test sonuçlarının işlenmesi ve değerlendirilmesi için matematiksel istatistik yöntemlerinin bir uygulamasını sağlar. Okuyucuların rahatlığı için, gerekli hesaplamaları kolaylaştıran çok sayıda yardımcı matematiksel tablonun yanı sıra matematiksel istatistiklerden gerekli bilgiler sağlanmaktadır.

Sunum, radyo elektroniği ve topçu teknolojisi alanından alınan çok sayıda örnekle gösterilmiştir.

en küçük kareler yöntemi

Konunun son dersinde en ünlü uygulama ile tanışacağız. FNPçeşitli bilim ve uygulama alanlarında en geniş uygulamayı bulan . Fizik, kimya, biyoloji, ekonomi, sosyoloji, psikoloji vb. olabilir. Kaderin iradesiyle, sık sık ekonomi ile uğraşmak zorunda kalıyorum ve bu nedenle bugün size adı verilen harika bir ülkeye bir bilet vereceğim. Ekonometri=) ... Nasıl istemezsin?! Orası çok iyi - sadece karar vermeniz gerekiyor! ... Ama muhtemelen kesinlikle istediğiniz şey, sorunları nasıl çözeceğinizi öğrenmektir. en küçük kareler yöntemi... Ve özellikle azimli okuyucular onları sadece hatasız değil, aynı zamanda ÇOK HIZLI çözmeyi öğrenecekler ;-) Ama önce genel sorun bildirimi+ ilgili örnek:

Bazı konu alanlarında nicel bir ifadeye sahip göstergeler araştırılsın. Aynı zamanda, göstergenin göstergeye bağlı olduğuna inanmak için her türlü neden vardır. Bu varsayım hem bilimsel bir hipotez olabilir hem de temel sağduyuya dayalı olabilir. Bununla birlikte, bilimi bir kenara bırakmak ve daha çok ağız sulandıran alanları, yani marketleri keşfetmek. ile belirtelim:

- bir bakkalın perakende alanı, metrekare,
- bakkalın yıllık cirosu, milyon ruble.

Mağazanın alanı ne kadar büyük olursa, çoğu durumda cirosunun o kadar fazla olacağı kesinlikle açıktır.

Bir tef ile gözlemledikten / deney yaptıktan / hesapladıktan / dans ettikten sonra, elimizde sayısal veriler olduğunu varsayalım:

Bakkallarda bence her şey açık: - 1. mağazanın alanı, - yıllık cirosu, - 2. mağazanın alanı, - yıllık cirosu vb. Bu arada, sınıflandırılmış materyallere erişime sahip olmak hiç gerekli değildir - ciro hakkında oldukça doğru bir tahmin şu şekilde elde edilebilir: matematiksel istatistik... Ancak, dikkatimizi dağıtmayalım, ticari casusluğun seyri - zaten ödendi =)

Tablo verileri ayrıca noktalar şeklinde yazılabilir ve bizim için olağan şekilde tasvir edilebilir. kartezyen sistem .

Önemli bir soruya cevap verelim: Nitel bir çalışma için kaç puana ihtiyacınız var?

Daha büyük daha iyi. İzin verilen minimum set 5-6 noktadan oluşur. Ek olarak, az miktarda veri ile örnek, “anormal” sonuçlar içeremez. Bu nedenle, örneğin, küçük bir elit mağaza, "meslektaşlarına" büyüklük siparişleriyle yardımcı olabilir, böylece bulunması gereken genel modeli bozabilir!

Basitçe söylemek gerekirse - bir işlev seçmemiz gerekiyor, Takvim noktalara mümkün olduğunca yakın geçen ... Bu işlev denir yaklaşma (yaklaştırma - yaklaştırma) veya teorik fonksiyon ... Genel olarak konuşursak, hemen bariz bir "meydan okuyan" ortaya çıkar - grafiği TÜM noktalardan geçen yüksek dereceli bir polinom. Ancak bu seçenek zordur ve çoğu zaman basitçe yanlıştır. (grafik her zaman “büküleceğinden” ve ana eğilimi zayıf bir şekilde yansıtacağından).

Bu nedenle, aranan işlev yeterince basit olmalı ve aynı zamanda bağımlılığı yeterince yansıtmalıdır. Tahmin edebileceğiniz gibi, bu tür işlevleri bulma yöntemlerinden biri denir. en küçük kareler yöntemi... İlk olarak, genel hatlarıyla özüne bir göz atalım. Bazı fonksiyonların deneysel verilere yaklaşmasına izin verin:

Bu yaklaşımın doğruluğu nasıl değerlendirilir? Deneysel ve fonksiyonel değerler arasındaki farkları (sapmaları) hesaplayalım (çizim okuyorum)... Akla gelen ilk düşünce, toplamın ne kadar büyük olduğunu tahmin etmektir, ancak sorun şu ki, farklılıklar negatif olabilir. (Örneğin, ) ve böyle bir toplamanın sonucu olarak sapmalar birbirini yok edecektir. Bu nedenle, yaklaşımın doğruluğunun bir tahmini olarak, toplamı kabul etmek için yalvarır. modüller sapmalar:

veya daraltılmış: (birden kim bilmez ki: Toplam simgesi ve - yardımcı değişken - 1'den 1'e kadar değerler alan "sayaç" ) .

Deney noktalarına farklı fonksiyonlarla yaklaştığımızda, farklı değerler alacağız ve bu toplamın nerede daha az olduğu açıktır - bu fonksiyon daha doğrudur.

Böyle bir yöntem var ve buna denir en küçük modül yöntemi... Ancak pratikte çok daha yaygın hale geldi. en küçük kareler yöntemi olası negatif değerlerin modül tarafından değil, sapmaların karesi alınarak ortadan kaldırıldığı:

, bundan sonra çabalar böyle bir fonksiyonun seçimine yönlendirilir, böylece sapmaların karelerinin toplamı olabildiğince küçüktü. Aslında, bu nedenle yöntemin adı.

Ve şimdi başka bir önemli noktaya dönüyoruz: yukarıda belirtildiği gibi, seçilen işlev oldukça basit olmalıdır - ancak aynı zamanda bu tür birçok işlev de vardır: doğrusal , hiperbolik , üstel , logaritmik , ikinci dereceden vesaire. Ve elbette, burada hemen "faaliyet alanını azaltmak" istiyorum. Araştırma için hangi işlev sınıfını seçmeli? İlkel ama etkili bir numara:

- Puan çekmenin en kolay yolu çizim üzerinde ve konumlarını analiz edin. Düz bir çizgide olma eğilimindeyseler, o zaman şunları aramalısınız: düz bir çizginin denklemi optimal değerlerle ve. Başka bir deyişle, görev SUCH katsayılarını bulmaktır - böylece sapmaların karelerinin toplamı en küçük olur.

Noktalar, örneğin, birlikte yer alıyorsa abartma, o zaman lineer bir fonksiyonun kötü bir yaklaşıklık vereceği a priori açıktır. Bu durumda hiperbol denklemi için en "uygun" katsayıları arıyoruz. - minimum kareler toplamını verenler .

Şimdi, her iki durumda da bahsettiğimize dikkat edin. iki değişkenli fonksiyonlar kimin argümanları aranan bağımlılıkların parametreleri:

Ve özünde, standart bir sorunu çözmemiz gerekiyor - bulmak için iki değişkenli minimum fonksiyon.

Örneğimizi hatırlayalım: "mağaza" noktalarının düz bir çizgide yer alma eğiliminde olduğunu ve buna inanmak için her türlü neden olduğunu varsayalım. Doğrusal ilişki perakende alanından ciro. SÖZ "a" ve "bs" katsayılarını bulalım, böylece sapmaların karelerinin toplamı en küçüğüydü. Her şey her zamanki gibi - ilk 1. dereceden kısmi türevler... Buna göre doğrusallık kuralı doğrudan miktar simgesinin altında ayırt edebilirsiniz:

Bu bilgiyi bir deneme veya ders kitabı için kullanmak isterseniz, kaynak listesindeki bağlantı için çok minnettar olacağım, bu tür ayrıntılı hesaplamaları birkaç yerde bulacaksınız:

Standart bir sistem oluşturalım:

Her denklemi "iki" azaltıyoruz ve ayrıca toplamları "parçalıyoruz":

Not : Toplam simgesi için neden “a” ve “bie”nin çıkarılabileceğini kendi başınıza analiz edin. Bu arada, resmi olarak bu toplam ile yapılabilir.

Sistemi "uygulanmış" bir biçimde yeniden yazalım:

bundan sonra problemimizi çözme algoritması çizilmeye başlar:

Noktaların koordinatlarını biliyor muyuz? Biliyoruz. Tutarlar bulabilir miyiz? Kolayca. En basitini oluşturuyoruz iki bilinmeyenli iki lineer denklem sistemi("A" ve "bh"). Sistemi çözüyoruz, örneğin, Cramer yöntemi, bunun sonucunda durağan bir nokta elde ederiz. Kontrol etme ekstremum için yeterli koşul, bu noktada fonksiyonun tam olarak ulaşır asgari... Doğrulama, ek hesaplamalarla ilişkilidir ve bu nedenle onu perde arkasında bırakacağız. (gerekirse eksik çerçeve görüntülenebilirBurada ) ... Son sonucu çıkarıyoruz:

İşlev en iyi yol (en azından herhangi bir diğer doğrusal fonksiyonla karşılaştırıldığında) deneysel noktaları yakınlaştırır ... Kabaca söylemek gerekirse, grafiği bu noktalara mümkün olduğunca yakın çalışır. gelenekte Ekonometri elde edilen yaklaşıklık işlevi de denir eşleştirilmiş doğrusal regresyon denklemi .

Ele alınan problem büyük pratik öneme sahiptir. Örneğimizdeki durumda, denklem cironun ne olduğunu tahmin etmenizi sağlar ("Oyun") perakende alanının bir veya daha fazla değeriyle mağazada olacak (bu veya bu "x" değeri)... Evet, elde edilen tahmin yalnızca bir tahmin olacaktır, ancak çoğu durumda oldukça doğru olacaktır.

"Gerçek" sayılarla sadece bir problemi analiz edeceğim, çünkü içinde hiçbir zorluk yok - tüm hesaplamalar 7-8 ilkokul müfredatı düzeyinde. Vakaların yüzde 95'inde sizden sadece doğrusal bir fonksiyon bulmanız istenecek, ancak makalenin en sonunda optimal hiperbol, üs ve diğer bazı fonksiyonların denklemlerini bulmanın artık zor olmadığını göstereceğim.

Aslında, söz verilen çörekleri dağıtmaya devam ediyor - bu tür örnekleri sadece doğru bir şekilde değil, aynı zamanda hızlı bir şekilde nasıl çözeceğinizi de öğreniyorsunuz. Standardı dikkatlice inceliyoruz:

Görev

İki gösterge arasındaki ilişkiyi incelemenin bir sonucu olarak, aşağıdaki sayı çiftleri elde edildi:

En küçük kareler yöntemini kullanarak ampirik sonuca en iyi yaklaşan doğrusal fonksiyonu bulun. (Tecrübeli) veri. Kartezyen dikdörtgen koordinat sisteminde deneysel noktaları ve yaklaşık fonksiyonun grafiğini çizen bir çizim yapın. ... Ampirik ve teorik değerler arasındaki sapmaların karelerinin toplamını bulun. İşlevin daha iyi olup olmayacağını anlayın (en küçük kareler yöntemi açısından) deneysel noktaları yakınlaştırın.

“X” anlamlarının doğal olduğuna ve bunun biraz sonra bahsedeceğim karakteristik anlamlı bir anlama sahip olduğuna dikkat edin; ama tabii ki kesirli olabilirler. Ayrıca belirli bir problemin içeriğine bağlı olarak hem "x" hem de "oyun" değerleri tamamen veya kısmen negatif olabilir. Pekala, "yüzsüz" bir görevimiz var ve başlıyoruz çözüm:

Sisteme bir çözüm olarak optimal fonksiyonun katsayılarını buluyoruz:

Daha derli toplu bir gösterim amacıyla, toplamanın 1'den 1'e kadar gerçekleştirildiği zaten açık olduğundan, "sayaç" değişkeni atlanabilir.

Gerekli miktarları tablo şeklinde hesaplamak daha uygundur:

Hesaplamalar bir mikro hesap makinesinde yapılabilir, ancak Excel'i kullanmak çok daha iyidir - hem daha hızlı hem de hatasız; kısa bir video izleyin:

Böylece, aşağıdakileri elde ederiz sistem:

Burada ikinci denklemi 3 ile çarpabilir ve terim terim 1. denklemden 2.'yi çıkar... Ancak bu şanstır - pratikte sistemler genellikle bir hediye değildir ve bu gibi durumlarda tasarruf sağlar Cramer yöntemi:
, bu da sistemin benzersiz bir çözümü olduğu anlamına gelir.

Hadi kontrol edelim. İstemediğimi anlıyorum, ama neden tamamen önlenebilecekleri hataları atlayayım? Bulunan çözümü sistemin her denkleminin sol tarafına yerleştiririz:

Karşılık gelen denklemlerin sağ tarafları elde edilir, bu da sistemin doğru şekilde çözüldüğü anlamına gelir.

Böylece, gerekli yaklaşıklık fonksiyonu: -'den tüm lineer fonksiyonların deneysel verilere en iyi şekilde yaklaşan odur.

farklı Düz mağazanın cirosunun alanına bağımlılığı, bulunan bağımlılık ters ("daha fazla - daha az" ilkesi) ve bu gerçek olumsuz tarafından hemen ortaya çıkar. eğim... İşlev belirli bir göstergede 1 birimlik bir artışla bağımlı göstergenin değerinin azaldığını bize bildirir. ortalama 0,65 birim ile. Söylediği gibi, karabuğdayın fiyatı ne kadar yüksekse, o kadar az satılır.

Yaklaşım fonksiyonunun grafiğini çizmek için iki değerini buluruz:

ve çizimi yürütün:

Oluşturulan hat denir eğilim çizgisi (yani, doğrusal bir trend çizgisi, yani genel durumda bir trendin mutlaka düz bir çizgi olması gerekmez)... "Trendde olmak" tabirini herkes bilir ve bu terimin ek yorumlara ihtiyacı olmadığını düşünüyorum.

Sapmaların karelerinin toplamını hesaplayalım ampirik ve teorik değerler arasında Geometrik olarak, "kızıl" bölümlerin uzunluklarının karelerinin toplamıdır. (iki tanesi o kadar küçük ki onları göremiyorsunuz bile).

Hesaplamaları bir tabloda özetleyelim:

Yine manuel olarak yapılabilir, her ihtimale karşı 1. madde için bir örnek vereceğim:

ancak iyi bilinen bir şekilde hareket etmek çok daha verimlidir:

Tekrar edelim: elde edilen sonucun anlamı nedir?İtibaren tüm lineer fonksiyonların işlev gösterge en küçüğüdür, yani ailesinde en iyi yaklaşımdır. Ve bu arada, sorunun son sorusu tesadüfi değil: ya önerilen üstel fonksiyon deneysel noktalara yaklaşmak daha iyi olacak mı?

Karşılık gelen sapma karelerinin toplamını bulalım - ayırt etmek için onları "epsilon" harfiyle belirteceğim. Teknik tamamen aynı:

Ve yine, sadece her itfaiyeci için 1. nokta için hesaplamalar:

Excel'de standart işlevi kullanıyoruz tecrübe (sözdizimi için Excel Yardımına bakın).

Çıktı:, bu, üstel fonksiyonun deneysel noktalara düz çizgiden daha kötü yaklaştığı anlamına gelir .

Ancak burada "daha kötüsünün" olduğunu belirtmek gerekir. henüz demek değil, Yanlış olan ne. Şimdi bu üstel işlevi çizdim - ve aynı zamanda noktalara da yaklaşıyor - o kadar ki, analitik araştırma olmadan hangi fonksiyonun daha doğru olduğunu söylemek zor.

Bu, çözümü tamamlar ve argümanın doğal değerleri sorusuna geri dönüyorum. Çeşitli çalışmalarda, kural olarak, ekonomik veya sosyolojik, doğal “x” sayıları ay, yıl veya diğer eşit zaman aralıklarında. Örneğin, şöyle bir problem düşünün:

Mağazanın yılın ilk yarısı için perakende cirosu hakkında aşağıdaki verilere sahibiz:

Analitik düz çizgi hizalamasını kullanarak Temmuz ayı cirosunu belirleyin.

Evet, sorun değil: 1, 2, 3, 4, 5, 6 aylarını numaralandırıyoruz ve normal algoritmayı kullanıyoruz, bunun sonucunda bir denklem elde ediyoruz - zamanı geldiğinde genellikle "te" harfi " (bu kritik olmasa da)... Ortaya çıkan denklem, yılın ilk yarısında cironun ortalama 27,74 adet arttığını gösteriyor. her ay. Temmuz için tahmin alın (ay no. 7): d.e.

Ve bu tür görevler - karanlık karanlıktır. Dileyen ek bir hizmetten, yani benim Excel hesap makinesi (demo versiyonu), hangisi analiz edilen sorunu neredeyse anında çözer! Programın çalışan versiyonu mevcuttur karşılığında yada ... için jeton.

Dersin sonunda, diğer bazı türlerin bağımlılıklarını bulma hakkında kısa bilgi. Aslında, ilkeli yaklaşım ve çözüm algoritması aynı kaldığı için söylenecek özel bir şey yok.

Deneysel noktaların düzeninin bir hiperbolü andırdığını varsayalım. Ardından, en iyi hiperbolün katsayılarını bulmak için, fonksiyonun minimumunu bulmanız gerekir - isteyenler ayrıntılı hesaplamalar yapabilir ve benzer bir sisteme gelebilir:

Biçimsel ve teknik açıdan "doğrusal" bir sistemden elde edilir. ("yıldız" ile belirtelim)"x" ile değiştirilmesi. Peki, ve miktarlar hesaplayın ve ardından "a" ve "be" optimal katsayılarına bir taş atmak.

Puanların olduğuna inanmak için her neden varsa logaritmik bir eğri boyunca yer alır, daha sonra optimal değerleri aramak ve fonksiyonun minimumunu bulmak için ... Resmi olarak, sistemde (*) şu şekilde değiştirilmelidir:

Excel'de hesaplamalar yaparken işlevi kullanın LN... Kabul ediyorum, söz konusu vakaların her biri için hesap makineleri oluşturmak benim için zor olmayacak, ancak hesaplamaları kendiniz “programlarsanız” yine de daha iyi olacaktır. Yardımcı olacak ders videoları.

Üstel bağımlılık ile durum biraz daha karmaşıktır. Konuyu lineer duruma indirgemek için, fonksiyonu logaritma yapalım ve kullanalım. logaritmanın özellikleri:

Şimdi, ortaya çıkan işlevi doğrusal bir işlevle karşılaştırarak, sistemde (*) ile ve - ile değiştirilmesi gerektiği sonucuna varıyoruz. Kolaylık sağlamak için şunları belirtiyoruz:

Lütfen sistemin göreli olarak çözüldüğünü ve bu nedenle kökleri bulduktan sonra katsayının kendisini bulmayı hatırlamanız gerektiğini unutmayın.

Deneysel noktaları yakınlaştırmak için optimal parabol , bulunmalı üç değişkenli minimum fonksiyon ... Standart eylemleri tamamladıktan sonra aşağıdaki "çalışıyor" ifadesini alıyoruz. sistem:

Evet, elbette burada daha fazla meblağ var, ancak en sevdiğiniz uygulamayı kullanırken hiç zorluk çekmiyorsunuz. Son olarak, Excel'i kullanarak istediğiniz trend çizgisini nasıl hızlı bir şekilde kontrol edeceğinizi ve oluşturacağınızı anlatacağım: bir dağılım grafiği oluşturun, fare ile noktalardan herhangi birini seçin ve sağ tıklama ile seçeneği seçin "Bir trend çizgisi ekle"... Ardından, grafik türünü seçin ve sekmede "Seçenekler" seçeneği etkinleştir Denklemi Grafikte Göster... Tamam

Her zaman olduğu gibi, makaleyi güzel bir cümle ile bitirmek istiyorum ve neredeyse “Trend ol!” yazdım. Ama zamanla fikrini değiştirdi. Ve klişe olduğu için değil. Kimse nasıl olur bilmiyorum ama terfi eden Amerikan ve özellikle Avrupa trendini takip etmek istemiyorum =) Bu yüzden her birinizin kendi çizgisine bağlı kalmasını diliyorum!

http://www.grandars.ru/student/vysshaya-matematika/metod-naimenshih-kvadratov.html

En küçük kareler yöntemi, sahip olduğu özellikler nedeniyle en yaygın ve en gelişmiş yöntemlerden biridir. doğrusal ekonometrik modellerin parametrelerini tahmin etmek için yöntemlerin basitliği ve verimliliği... Aynı zamanda, kullanımıyla oluşturulan modeller, parametrelerinin kalitesi için bir takım gereksinimleri karşılamayabileceğinden ve sonuç olarak, "yeterince iyi" olmadığından, kullanırken belirli dikkatli olunmalıdır. süreç geliştirme kalıpları.

En küçük kareler yöntemini kullanarak doğrusal bir ekonometrik modelin parametrelerini tahmin etme prosedürünü daha ayrıntılı olarak ele alalım. Genel biçimde böyle bir model, denklem (1.2) ile temsil edilebilir:

y t = bir 0 + bir 1 х 1t + ... + bir n х nt + ε t.

a 0, a 1, ..., a n parametrelerini tahmin ederken ilk veriler, bağımlı değişkenin değerlerinin vektörüdür y= (y 1, y 2, ..., y T) "ve bağımsız değişkenlerin değerlerinin matrisi

burada birlerin ilk sütunu modelin katsayısına karşılık gelir.

En küçük kareler yöntemi adını, temelde elde edilen parametre tahminlerinin karşılaması gereken temel ilkeden yola çıkarak almıştır: model hatasının karelerinin toplamı minimum olmalıdır.

En küçük kareler yöntemini kullanarak problem çözme örnekleri

Örnek 2.1. Ticaret işletmesi, faaliyetleri hakkında bilgiler tabloda sunulan 12 mağazadan oluşan bir ağa sahiptir. 2.1.

Şirketin yönetimi, yıllık cironun büyüklüğünün mağazanın perakende alanına nasıl bağlı olduğunu bilmek istiyor.

Tablo 2.1

Mağaza numarası	Yıllık ciro, RUB milyon	Ticaret alanı, bin m 2
	19,76	0,24
	38,09	0,31
	40,95	0,55
	41,08	0,48
	56,29	0,78
	68,51	0,98
	75,01	0,94
	89,05	1,21
	91,13	1,29
	91,26	1,12
	99,84	1,29
	108,55	1,49

En küçük kareler çözümü. Belirleyelim - inci mağazanın yıllık cirosu, milyon ruble; - inci mağazanın satış alanı, bin m2.

Şekil 2.1. Dağılım grafiği, örneğin 2.1

Değişkenler arasındaki fonksiyonel ilişkinin şeklini belirlemek ve bir dağılım diyagramı oluşturmak (Şekil 2.1).

Dağılım diyagramına dayanarak, yıllık cironun perakende alanına pozitif olarak bağlı olduğu sonucuna varılabilir (yani, y büyüme ile büyüyecektir). İşlevsel iletişimin en uygun biçimi, doğrusal.

Daha fazla hesaplama için bilgiler tabloda sunulmaktadır. 2.2. En küçük kareler yöntemini kullanarak doğrusal tek faktörlü ekonometrik modelin parametrelerini tahmin ediyoruz.

Tablo 2.2

T	YT	x 1t	y t 2	x 1t 2	x 1t y t

	19,76	0,24	390,4576	0,0576	4,7424
	38,09	0,31	1450,8481	0,0961	11,8079
	40,95	0,55	1676,9025	0,3025	22,5225
	41,08	0,48	1687,5664	0,2304	19,7184
	56,29	0,78	3168,5641	0,6084	43,9062
	68,51	0,98	4693,6201	0,9604	67,1398
	75,01	0,94	5626,5001	0,8836	70,5094
	89,05	1,21	7929,9025	1,4641	107,7505
	91,13	1,29	8304,6769	1,6641	117,5577
	91,26	1,12	8328,3876	1,2544	102,2112
	99,84	1,29	9968,0256	1,6641	128,7936
	108,55	1,49	11783,1025	2,2201	161,7395
S	819,52	10,68	65008,554	11,4058	858,3991
Ortalama	68,29	0,89

Böylece,

Sonuç olarak, satış alanında 1 bin m2'lik bir artışla, diğer her şey eşit olduğunda, yıllık ortalama ciro 67.8871 milyon ruble artıyor.

Örnek 2.2.Şirket yönetimi, yıllık cironun yalnızca mağazanın perakende alanına (bkz. örnek 2.1) değil, aynı zamanda ortalama ziyaretçi sayısına da bağlı olduğunu fark etti. İlgili bilgiler tabloda sunulmaktadır. 2.3.

Tablo 2.3

Çözüm. Belirleyelim - günde inci mağazaya ortalama ziyaretçi sayısı, bin kişi.

Değişkenler arasındaki fonksiyonel ilişkinin şeklini belirlemek ve bir dağılım diyagramı oluşturmak (Şekil 2.2).

Dağılım grafiğine dayanarak, yıllık cironun günlük ortalama ziyaretçi sayısına pozitif olarak bağlı olduğu sonucuna varılabilir (yani, y büyüme ile büyüyecektir). Fonksiyonel bağımlılığın formu doğrusaldır.

Pirinç. 2.2. Örnek 2.2 için dağılım grafiği

Tablo 2.4

T	x 2t	x 2t 2	yt x 2t	x 1t x 2t

	8,25	68,0625	163,02	1,98
	10,24	104,8575	390,0416	3,1744
	9,31	86,6761	381,2445	5,1205
	11,01	121,2201	452,2908	5,2848
	8,54	72,9316	480,7166	6,6612
	7,51	56,4001	514,5101	7,3598
	12,36	152,7696	927,1236	11,6184
	10,81	116,8561	962,6305	13,0801
	9,89	97,8121	901,2757	12,7581
	13,72	188,2384	1252,0872	15,3664
	12,27	150,5529	1225,0368	15,8283
	13,92	193,7664	1511,016	20,7408
S	127,83	1410,44	9160,9934	118,9728
Ortalama	10,65

Genel olarak iki faktörlü ekonometrik modelin parametrelerinin belirlenmesi gerekmektedir.

у t = a 0 + a 1 х 1t + 2 х 2t + ε t

Daha fazla hesaplama için gerekli bilgiler tabloda sunulmaktadır. 2.4.

En küçük kareler yöntemini kullanarak doğrusal iki faktörlü bir ekonometrik modelin parametrelerini tahmin edelim.

Böylece,

Katsayının tahmini = 61.6583, diğer her şey eşit olduğunda, satış alanında 1 bin m2'lik bir artışla, yıllık cironun ortalama 61.6583 milyon ruble artacağını gösteriyor.

Katsayı = 2,2748'in tahmini, diğer her şeyin eşit olduğu ve 1.000 kişi başına ortalama ziyaretçi sayısında bir artış olduğunu göstermektedir. günde, yıllık ciro ortalama 2.2748 milyon ruble artacak.

Örnek 2.3. Tabloda sunulan bilgileri kullanma. 2.2 ve 2.4, tek değişkenli ekonometrik modelin parametresini tahmin edin

inci mağazanın yıllık cirosunun merkez değeri nerede, milyon ruble; - t-inci mağazanın günlük ortalama ziyaretçi sayısının, bin kişinin merkezlenmiş değeri. (bkz. örnekler 2.1-2.2).

Çözüm. Hesaplamalar için gerekli ek bilgiler tabloda sunulmuştur. 2.5.

Tablo 2.5



	-48,53	-2,40	5,7720	116,6013
	-30,20	-0,41	0,1702	12,4589
	-27,34	-1,34	1,8023	36,7084
	-27,21	0,36	0,1278	-9,7288
	-12,00	-2,11	4,4627	25,3570
	0,22	-3,14	9,8753	-0,6809
	6,72	1,71	2,9156	11,4687
	20,76	0,16	0,0348	3,2992
	22,84	-0,76	0,5814	-17,413
	22,97	3,07	9,4096	70,4503
	31,55	1,62	2,6163	51,0267
	40,26	3,27	10,6766	131,5387
Miktar			48,4344	431,0566

(2.35) formülünü kullanarak, şunu elde ederiz:

Böylece,

http://www.cleverstudents.ru/articles/mnk.html

Örnek.

Değişkenlerin değerlerine ilişkin deneysel veriler NS ve NS tabloda verilmektedir.

Hizalamalarının bir sonucu olarak, fonksiyon elde edilir

kullanma en küçük kareler yöntemi, bu verilere doğrusal bir bağımlılıkla yaklaşın y = balta + b(parametreleri bul a ve B). İki çizgiden hangisinin daha iyi olduğunu bulun (en küçük kareler yöntemi anlamında) deneysel verileri eşitler. Çizim yapmak.

Çözüm.

Örneğimizde sayı = 5... İstenilen katsayıların formüllerinde yer alan miktarları hesaplama kolaylığı için tabloyu dolduruyoruz.

Tablonun dördüncü satırındaki değerler, her sayı için 2. satırın değerleri ile 3. satırın değerlerinin çarpılmasıyla elde edilir. ben.

Tablonun beşinci satırındaki değerler, her sayı için 2. sıradaki değerlerin karesi alınarak elde edilir. ben.

Tablonun son sütunundaki değerler satır bazında değerlerin toplamlarıdır.

Katsayıları bulmak için en küçük kareler yönteminin formüllerini kullanırız. a ve B... Tablonun son sütunundaki karşılık gelen değerleri içlerinde değiştiriyoruz:

Buradan, y = 0.165x + 2.184- gerekli yaklaşık düz çizgi.

Hangi satırları bulmak için kalır y = 0.165x + 2.184 veya orijinal verilere daha iyi yaklaşır, yani en küçük kareler yöntemini kullanarak bir tahminde bulunur.

Kanıt.

Böylece bulunduğunda a ve B fonksiyon en küçük değeri alır, bu noktada fonksiyon için ikinci dereceden diferansiyelin ikinci dereceden formunun matrisinin olması gerekir. pozitif olarak kesindi. Hadi gösterelim.

İkinci derecenin diferansiyeli şu şekildedir:

Yani

Bu nedenle, ikinci dereceden formun matrisi forma sahiptir.

ve öğelerin değerleri bağlı değildir a ve B.

Matrisin pozitif tanımlı olduğunu gösterelim. Bu, korner minörlerinin pozitif olmasını gerektirir.

Birinci derecenin küçük köşesi ... Eşitsizlik katıdır, çünkü noktalar

Adi En Küçük Kareler (OLS)- bazı fonksiyonların istenen değişkenlerden sapmalarının karelerinin toplamını en aza indirmeye dayanan çeşitli problemleri çözmek için kullanılan matematiksel bir yöntem. Aşırı belirlenmiş denklem sistemlerini "çözmek" (denklem sayısı bilinmeyen sayısını aştığında), sıradan (aşırı belirlenmemiş) doğrusal olmayan denklem sistemleri durumunda bir çözüm bulmak, nokta değerlerine yaklaşmak için kullanılabilir. bazı işlevlerden. OLS, örnek verilere dayalı olarak regresyon modellerinin bilinmeyen parametrelerini tahmin etmek için kullanılan temel regresyon analiz yöntemlerinden biridir.

Üniversite YouTube'u

1 / 5

✪ En küçük kareler yöntemi. Tema

✪ En küçük kareler dersi 1/2. Doğrusal fonksiyon

✪ Ekonometri. Anlatım 5 En küçük kareler yöntemi

✪ Mitin IV - Fiziksel sonuçların işlenmesi. Deney - En Küçük Kareler Yöntemi (Ders 4)

✪ Ekonometri: En Küçük Kareleri Anlama # 2

Altyazılar

Tarih

19. yüzyılın başlarına kadar. bilim adamlarının bilinmeyenlerin sayısının denklem sayısından az olduğu bir denklem sistemini çözmek için kesin kuralları yoktu; O zamana kadar, denklemlerin türüne ve hesap makinesinin zekasına bağlı olarak belirli yöntemler kullanılıyordu ve bu nedenle aynı gözlemsel verilere dayanan farklı hesaplayıcılar farklı sonuçlara vardı. Gauss (1795) yöntemin ilk uygulamasının yazarıydı ve Legendre (1805) bağımsız olarak onu modern isim altında keşfetti ve yayınladı (fr. Metod des moindres quarrés). Laplace, yöntemi olasılık teorisiyle ilişkilendirdi ve Amerikalı matematikçi Edrain (1808) onun teorik ve olasılıksal uygulamalarını değerlendirdi. Yöntem, Encke, Bessel, Hansen ve diğerleri tarafından daha fazla araştırma ile yayıldı ve geliştirildi.

En küçük kareler yönteminin özü

İzin vermek x (\ görüntü stili x)- takım n (\ görüntü stili n) bilinmeyen değişkenler (parametreler), f ben (x) (\ displaystyle f_ (i) (x)), , m> n (\ displaystyle m> n)- bu değişkenler kümesinden bir dizi fonksiyon. Görev, bu tür değerleri seçmektir. x (\ görüntü stili x) böylece bu fonksiyonların değerleri bazı değerlere mümkün olduğunca yakın olur y ben (\ displaystyle y_ (i))... Özünde, aşırı belirlenmiş denklem sisteminin "çözümünden" bahsediyoruz. f ben (x) = y ben (\ displaystyle f_ (i) (x) = y_ (i)), i = 1,…, m (\ displaystyle i = 1, \ ldots, m) sistemin sol ve sağ bölümlerinin maksimum yakınlığı anlamında. LSM'nin özü, bir "yakınlık ölçüsü" olarak sol ve sağ tarafların sapmalarının karelerinin toplamını seçmektir. | f ben (x) - y ben | (\ displaystyle | f_ (i) (x) -y_ (i) |)... Böylece, OLS'nin özü şu şekilde ifade edilebilir:

∑ yani 2 = ∑ ben (yi - fi (x)) 2 → min x (\ displaystyle \ toplam _ (i) e_ (i) ^ (2) = \ toplam _ (i) (y_ (i) -f_ ( i) (x)) ^ (2) \ sağ ok \ dak _ (x)).

Denklem sisteminin bir çözümü varsa, o zaman minimum kareler toplamı sıfıra eşit olacaktır ve denklem sisteminin kesin çözümleri analitik olarak veya örneğin çeşitli sayısal optimizasyon yöntemleriyle bulunabilir. Sistem yeniden tanımlanırsa, yani genel olarak konuşursak, bağımsız denklemlerin sayısı aranan değişkenlerin sayısından fazlaysa, sistemin kesin bir çözümü yoktur ve en küçük kareler yöntemi bazı "optimal" vektörleri bulmanızı sağlar. x (\ görüntü stili x) vektörlerin maksimum yakınlığı anlamında y (\ görüntü stili y) ve f (x) (\ görüntü stili f (x)) veya sapma vektörünün maksimum yakınlığı e (\ görüntü stili e) sıfıra (yakınlık Öklid mesafesi anlamında anlaşılır).

Örnek - bir lineer denklem sistemi

Özellikle, en küçük kareler yöntemi, bir lineer denklem sistemini "çözmek" için kullanılabilir.

A x = b (\ displaystyle Ax = b),

nerede A (\ görüntü stili A) dikdörtgen boyutlu matris m × n, m> n (\ displaystyle m \ kere n, m> n)(yani, A matrisinin satır sayısı, aranan değişkenlerin sayısından fazladır).

Genel durumda, böyle bir denklem sisteminin çözümü yoktur. Bu nedenle, bu sistem ancak böyle bir vektörün seçilmesi anlamında "çözülebilir". x (\ görüntü stili x) vektörler arasındaki "mesafeyi" en aza indirmek için A x (\ displaystyle Ax) ve b (\ görüntü stili b)... Bunu yapmak için, sistemin denklemlerinin sol ve sağ tarafları arasındaki farkların karelerinin toplamını en aza indirme kriterini uygulayabilirsiniz, yani, (A x - b) T (A x - b) → min x (\ displaystyle (Ax-b) ^ (T) (Ax-b) \ sağ ok \ min _ (x))... Bu minimizasyon probleminin çözümünün aşağıdaki denklem sisteminin çözümüne yol açtığını göstermek kolaydır.

ATA x = AT b ⇒ x = (ATA) - 1 AT b (\ displaystyle A ^ (T) Ax = A ^ (T) b \ Sağ Ok x = (A ^ (T) A) ^ (- 1) A ^ (T) b).

Regresyon analizinde OLS (veri uyumu)

Olsun n (\ görüntü stili n) bazı değişkenlerin değerleri y (\ görüntü stili y)(bunlar gözlemlerin, deneylerin vb. sonuçları olabilir) ve ilgili değişkenler x (\ görüntü stili x)... Buradaki zorluk, aralarındaki ilişkinin sağlanmasıdır. y (\ görüntü stili y) ve x (\ görüntü stili x) bazı bilinmeyen parametrelere kadar bilinen bazı fonksiyonlarla yaklaşık b (\ görüntü stili b), yani aslında parametrelerin en iyi değerlerini bulun b (\ görüntü stili b), maksimum yaklaşık değerler f (x, b) (\ displaystyle f (x, b)) gerçek değerlere y (\ görüntü stili y)... Aslında bu, bir üstbelirlenmiş denklem sisteminin bir "çözüm" durumuna indirgenir. b (\ görüntü stili b):

F (x t, b) = y t, t = 1,…, n (\ displaystyle f (x_ (t), b) = y_ (t), t = 1, \ ldots, n).

Regresyon analizinde ve özellikle ekonometride, değişkenler arasındaki ilişkinin olasılıksal modelleri kullanılır.

Y t = f (x t, b) + ε t (\ displaystyle y_ (t) = f (x_ (t), b) + \ varepsilon _ (t)),

nerede ε t (\ displaystyle \ varepsilon _ (t))- Lafta rastgele hatalar modeller.

Buna göre, gözlenen değerlerin sapmaları y (\ görüntü stili y) modelden f (x, b) (\ displaystyle f (x, b)) zaten modelin kendisinde varsayılır. OLS'nin (sıradan, klasik) özü, bu tür parametreleri bulmaktır. b (\ görüntü stili b) sapmaların karelerinin toplamı (hatalar, regresyon modelleri için genellikle regresyon artıkları olarak adlandırılırlar) e t (\ görüntü stili e_ (t)) minimum olacaktır:

b ^ O L S = arg ⁡ min b R S S (b) (\ displaystyle (\ hat (b)) _ (OLS) = \ arg \ min _ (b) RSS (b)),

nerede R S S (\ görüntü stili RSS)- İngilizce. Artık Kareler Toplamı şu şekilde tanımlanır:

RSS (b) = e T e = ∑ t = 1 net 2 = ∑ t = 1 n (yt - f (xt, b)) 2 (\ displaystyle RSS (b) = e ^ (T) e = \ toplam _ (t = 1) ^ (n) e_ (t) ^ (2) = \ toplam _ (t = 1) ^ (n) (y_ (t) -f (x_ (t), b)) ^ (2) ).

Genel durumda, bu problem sayısal optimizasyon (minimizasyon) yöntemleri ile çözülebilir. bu durumda konuşurlar doğrusal olmayan en küçük kareler(NLS veya NLLS - İngilizce Doğrusal Olmayan En Küçük Kareler). Çoğu durumda, analitik bir çözüm elde edilebilir. Minimizasyon problemini çözmek için fonksiyonun durağan noktalarını bulmak gerekir. R S S (b) (\ displaystyle RSS (b)), bilinmeyen parametrelerle ayırt etme b (\ görüntü stili b), türevleri sıfıra eşitleyerek ve elde edilen denklem sistemini çözerek:

∑ t = 1 n (yt - f (xt, b)) ∂ f (xt, b) ∂ b = 0 (\ displaystyle \ toplam _ (t = 1) ^ (n) (y_ (t) -f (x_) (t), b)) (\ frac (\ kısmi f (x_ (t), b)) (\ kısmi b)) = 0).

Doğrusal Regresyon için OLS

Regresyon bağımlılığının doğrusal olmasına izin verin:

yt = ∑ j = 1 kbjxtj + ε = xt T b + ε t (\ displaystyle y_ (t) = \ toplam _ (j = 1) ^ (k) b_ (j) x_ (tj) + \ varepsilon = x_ ( t) ^ (T) b + \ varepsilon _ (t)).

İzin vermek y açıklanan değişkenin gözlemlerinin sütun vektörüdür ve X (\ görüntü stili X)- bu (n × k) (\ displaystyle ((n \ kere k)))- faktörlerin gözlemlerinin matrisi (matrisin satırları, belirli bir gözlemdeki faktörlerin değerlerinin vektörleridir, sütunlarla - tüm gözlemlerde belirli bir faktörün değerlerinin bir vektörü). Doğrusal modelin matris gösterimi:

y = X b + ε (\ displaystyle y = Xb + \ varepsilon).

Daha sonra açıklanan değişkenin tahmin vektörü ve regresyon artıklarının vektörü eşit olacaktır.

y ^ = X b, e = y - y ^ = y - X b (\ görüntü stili (\ şapka (y)) = Xb, \ dörtlü e = y - (\ şapka (y)) = y-Xb).

buna göre, regresyon artıklarının karelerinin toplamı

R S S = e T e = (y - X b) T (y - X b) (\ displaystyle RSS = e ^ (T) e = (y-Xb) ^ (T) (y-Xb)).

Bu fonksiyonu parametre vektörüne göre ayırt etme b (\ görüntü stili b) ve türevleri sıfıra eşitleyerek bir denklem sistemi elde ederiz (matris formunda):

(X T X) b = X T y (\ görüntü stili (X ^ (T) X) b = X ^ (T) y).

Şifresi çözülmüş matris formunda, bu denklem sistemi şöyle görünür:

(∑ xt 1 2 ∑ xt 1 xt 2 ∑ xt 1 xt 3… ∑ xt 1 xtk ∑ xt 2 xt 1 ∑ xt 2 2 ∑ xt 2 xt 3… ∑ xt 2 xtk ∑ xt 3 xt 1 ∑ xt 3 xt 2 ∑ xt 3 2… ∑ xt 3 xtk ⋮ ⋮ ⋮ ⋱ ⋮ ∑ xtkxt 1 ∑ xtkxt 2 ∑ xtkxt 3… ∑ xtk 2) (b 1 b 2 b 3 ⋮ bk) = (∑ xt 1 yt ∑ xt 2 yt ∑ xt 3 yt ⋮ ∑ xtkyt), (\ displaystyle (\başlangıç (pmatrix) \ toplam x_ (t1) ^ (2) & \ toplam x_ (t1) x_ (t2) & \ toplam x_ (t1) x_ (t3) & \ ldots) & \ toplam x_ (t1) x_ (tk) \\\ toplam x_ (t2) x_ (t1) & \ toplam x_ (t2) ^ (2) & \ toplam x_ (t2) x_ (t3) & \ ldots & \ toplam x_ (t2) x_ (tk) \\\ toplam x_ (t3) x_ (t1) & \ toplam x_ (t3) x_ (t2) & \ toplam x_ (t3) ^ (2) & \ ldots & \ toplam x_ (t3) x_ (tk) \\\ vdots & \ vdots & \ vdots & \ ddots & \ vdots \\\ toplam x_ (tk) x_ (t1) & \ toplam x_ (tk) x_ (t2) & \ toplam x_ (tk) x_ (t3) & \ ldots & \ toplam x_ (tk) ^ (2) \\\ bitiş (pmatrix)) (\ başlangıç (pmatrix) b_ (1) \\ b_ (2) \\ b_ (3 ) \\\ vdots \\ b_ (k) \\\ bitiş (pmatrix)) = (\ başlangıç (pmatrix) \ toplam x_ (t1) y_ (t) \\\ toplam x_ (t2) y_ (t) \\ \ toplam x_ (t3) y_ (t) \\\ vdot'lar \\\ toplam x_ (tk) y_ (t) \\\ bitiş (pmatrix))), tüm toplamların tüm kabul edilebilir değerler üzerinden alındığı yer t (\ görüntü stili t).

Modele bir sabit dahil edilirse (her zamanki gibi), o zaman x t 1 = 1 (\ displaystyle x_ (t1) = 1) hepsiyle t (\ görüntü stili t), bu nedenle, denklem sistemi matrisinin sol üst köşesinde, gözlem sayısı var n (\ görüntü stili n), ve ilk satırın ve ilk sütunun geri kalan öğelerinde - sadece değişkenlerin değerlerinin toplamı: ∑ x t j (\ displaystyle \ toplam x_ (tj)) ve sistemin sağ tarafındaki ilk eleman ∑ y t (\ displaystyle \ toplam y_ (t)).

Bu denklem sisteminin çözümü, doğrusal model için OLS tahminlerinin genel formülünü verir:

b ^ OLS = (XTX) - 1 XT y = (1 n XTX) - 1 1 n XT y = V x - 1 C xy (\ displaystyle (\ şapka (b)) _ (OLS) = (X ^ (T) ) X) ^ (- 1) X ^ (T) y = \ sol ((\ frac (1) (n)) X ^ (T) X \ sağ) ^ (- 1) (\ frac (1) (n) )) X ^ (T) y = V_ (x) ^ (- 1) C_ (xy)).

Analitik amaçlar için, bu formülün son temsilinin faydalı olduğu ortaya çıkıyor (denklem sisteminde, toplamlar yerine n'ye bölündüğünde, aritmetik araçlar ortaya çıkıyor). Regresyon modelinde ise veriler merkezli, o zaman bu gösterimde birinci matris, faktörlerin örnek kovaryans matrisinin anlamına sahiptir ve ikincisi, faktörlerin bağımlı değişkenle kovaryans vektörüdür. Ek olarak, veriler aynı zamanda normalleştirilmiş SKO'ya (yani, nihayetinde standartlaştırılmış), o zaman birinci matris, faktörlerin seçici bir korelasyon matrisi anlamına gelir, ikinci vektör, faktörlerin bağımlı bir değişkenle seçici korelasyonlarının bir vektörüdür.

Modeller için OLS tahminlerinin önemli bir özelliği sabit ile- oluşturulan regresyon çizgisi, örnek verilerin ağırlık merkezinden geçer, yani eşitlik sağlanır:

y ¯ = b 1 ^ + ∑ j = 2 kb ^ jx ¯ j (\ displaystyle (\ bar (y)) = (\ hat (b_ (1))) + \ toplam _ (j = 2) ^ (k) (\ şapka (b)) _ (j) (\ bar (x)) _ (j)).

Özellikle, uç durumda, tek regresör sabit olduğunda, tek parametrenin (sabitin kendisi) OLS tahmininin açıklanan değişkenin ortalama değerine eşit olduğunu buluruz. Yani, büyük sayılar yasalarından iyi özellikleri ile bilinen aritmetik ortalama aynı zamanda bir OLS tahminidir - ondan sapmaların minimum kareler toplamı kriterini karşılar.

En basit özel durumlar

Eşleştirilmiş doğrusal regresyon durumunda y t = a + b x t + ε t (\ displaystyle y_ (t) = a + bx_ (t) + \ varepsilon _ (t)), bir değişkenin diğerine doğrusal bağımlılığı tahmin edildiğinde, hesaplama formülleri basitleştirilir (matris cebiri olmadan yapabilirsiniz). Denklem sistemi aşağıdaki gibidir:

(1 x ¯ x ¯ x 2 ¯) (ab) = (y ¯ xy ¯) (\ displaystyle (\ startup (pmatrix) 1 & (\ bar (x)) \\ (\ bar (x)) & (\ bar (x ^ (2))) \\\ bitiş (pmatrix)) (\ başlangıç (pmatrix) a \\ b \\\ bitiş (pmatrix)) = (\ başlangıç (pmatrix) (\ bar (y)) \ \ (\ üst çizgi (xy)) \\\ bitiş (pmatrix))).

Bu nedenle, katsayıların tahminlerini bulmak kolaydır:

(b ^ = Cov ⁡ (x, y) Var ⁡ (x) = xy ¯ - x ¯ y ¯ x 2 ¯ - x ¯ 2, a ^ = y ¯ - bx ¯. (\ displaystyle (\ start (durumlar) (\ hat (b)) = (\ frac (\ mathop (\ textrm (Cov)) (x, y)) (\ mathop (\ textrm (Var)) (x))) = (\ frac ((\ overline) (xy)) - (\ bar (x)) (\ bar (y))) ((\ üst üste (x ^ (2))) - (\ üst üste (x)) ^ (2)))), \\ ( \ hat (a)) = (\ bar (y)) - b (\ bar (x)) \ son (durumlar)))

Genel durumda sabitli model tercih edilse de, bazı durumlarda teorik değerlendirmelerden sabitin sabit olduğu bilinmektedir. a (\ görüntü stili a) sıfır olmalıdır. Örneğin, fizikte voltaj ve akım arasındaki ilişki şu şekildedir: U = I ⋅ R (\ displaystyle U = I \ cdot R); gerilimi ve akım gücünü ölçmek için direnci tahmin etmek gerekir. Bu durumda, model hakkında konuşuyoruz y = b x (\ displaystyle y = bx)... Bu durumda denklem sistemi yerine elimizdeki tek denklem var.

(∑ x t 2) b = ∑ x t y t (\ displaystyle \ sol (\ toplam x_ (t) ^ (2) \ sağ) b = \ toplam x_ (t) y_ (t)).

Sonuç olarak, tek bir katsayıyı tahmin etme formülü şu şekildedir:

B ^ = ∑ t = 1 nxtyt ∑ t = 1 nxt 2 = xy ¯ x 2 ¯ (\ displaystyle (\ hat (b)) = (\ frac (\ toplam _ (t = 1) ^ (n) x_ (t) ) y_ (t)) (\ toplam _ (t = 1) ^ (n) x_ (t) ^ (2))) = (\ frac (\ üst üste (xy)) (\ üst üste (x ^ (2)) ))).

Polinom model durumu

Veriler tek değişkenli bir polinom regresyon fonksiyonu ile donatılmışsa f (x) = b 0 + ∑ ben = 1 k b ben x ben (\ displaystyle f (x) = b_ (0) + \ toplam \ limitler _ (i = 1) ^ (k) b_ (i) x ^ (i)), o zaman, dereceyi algılamak x ben (\ görüntü stili x ^ (i)) herkes için bağımsız faktörler olarak ben (\ görüntü stili i) doğrusal bir modelin parametrelerini tahmin etmek için genel formüle dayalı olarak modelin parametrelerini tahmin etmek mümkündür. Bunu yapmak için, böyle bir yorumla genel formülde dikkate almak yeterlidir. x t ben x t j = x t ben x t j = x t ben + j (\ displaystyle x_ (ti) x_ (tj) = x_ (t) ^ (i) x_ (t) ^ (j) = x_ (t) ^ (i + j)) ve x t j y t = x t j y t (\ displaystyle x_ (tj) y_ (t) = x_ (t) ^ (j) y_ (t))... Sonuç olarak, bu durumda matris denklemleri şu şekilde olacaktır:

(n ∑ nxt… ∑ nxtk ∑ nxt ∑ nxt 2… ∑ nxtk + 1 ⋮ ⋮ ⋱ ⋮ ∑ nxtk ∑ nxtk + 1… ∑ nxt 2 k) [b 0 b 1 ⋮ bk] = [∑ nyt ∑ nxtynt ]. (\ displaystyle (\ start (pmatrix) n & \ toplam \ limitler _ (n) x_ (t) & \ ldots & \ toplam \ limitler _ (n) x_ (t) ^ (k) \\\ toplam \ limitler _ ( n) x_ (t) & \ toplam \ limitler _ (n) x_ (t) ^ (2) & \ ldots & \ toplam \ limitler _ (n) x_ (t) ^ (k + 1) \\\ vdots & \ vdots & \ ddots & \ vdots \\\ toplam \ limitler _ (n) x_ (t) ^ (k) & \ toplam \ limitler _ (n) x_ (t) ^ (k + 1) & \ ldots & \ toplam \ sınırlar _ (n) x_ (t) ^ (2k) \ bitiş (pmatrix)) (\ başlangıç (bmatrix) b_ (0) \\ b_ (1) \\\ vdots \\ b_ (k) \ bitiş ( bmatris)) = (\ başlangıç (bmatris) \ toplam \ sınırlar _ (n) y_ (t) \\\ toplam \ sınırlar _ (n) x_ (t) y_ (t) \\\ vdots \\\ toplam \ limitler _ (n) x_ (t) ^ (k) y_ (t) \ bitiş (bmatris)))

OLS tahminlerinin istatistiksel özellikleri

Her şeyden önce, lineer modeller için OLS tahminlerinin yukarıdaki formülden aşağıdaki gibi lineer tahminler olduğunu not ediyoruz. OLS tahminlerinin tarafsızlığı için, regresyon analizinin en önemli koşulunu yerine getirmek gerekli ve yeterlidir: Faktörler açısından koşullu rastgele bir hatanın matematiksel beklentisi sıfıra eşit olmalıdır. Bu koşul, özellikle şu durumlarda sağlanır:

rastgele hataların matematiksel beklentisi sıfırdır ve
faktörler ve rastgele hatalar bağımsız rastgele değişkenlerdir.

İkinci koşul - dışsal faktörlerin koşulu - temeldir. Bu özellik karşılanmazsa, hemen hemen tüm tahminlerin son derece yetersiz olacağını varsayabiliriz: tutarlı bile olmayacaklar (yani, bu durumda çok büyük miktarda veri bile nitel tahminler elde etmeye izin vermiyor). Klasik durumda, otomatik olarak dışsal koşulun yerine getirilmesi anlamına gelen rastgele bir hatanın aksine, faktörlerin determinizmi hakkında daha güçlü bir varsayım yapılır. Genel durumda, tahminlerin tutarlılığı için matrisin yakınsaklığı ile birlikte dışsallık koşulunun sağlanması yeterlidir. V x (\ görüntü stili V_ (x)) sonsuza kadar artan örnek boyutu ile bazı dejenere olmayan matrise.

Tutarlılık ve yansızlığa ek olarak, (sıradan) en küçük kareler tahminlerinin etkili olması için (doğrusal yansız tahminler sınıfının en iyisi), rastgele bir hatanın ek özelliklerini yerine getirmek gerekir:

Bu varsayımlar, rastgele hata vektörünün kovaryans matrisi için formüle edilebilir. V (ε) = σ 2 I (\ displaystyle V (\ varepsilon) = \ sigma ^ (2) I).

Bu koşulları sağlayan doğrusal bir modele denir. klasik... Klasik lineer regresyon için OLS tahminleri yansız, tutarlı ve tüm lineer yansız tahminler sınıfındaki en etkili tahminlerdir (İngilizce literatürde bazen kısaltma kullanılır MAVİ (En İyi Doğrusal Yansız Tahminci) en iyi doğrusal yansız tahmindir; yerli literatürde, Gauss - Markov teoremi daha sık alıntılanır). Gösterilmesi kolay olduğu gibi, katsayı tahminlerinin vektörünün kovaryans matrisi şuna eşit olacaktır:

V (b ^ OLS) = σ 2 (XTX) - 1 (\ displaystyle V ((\ hat (b)) _ (OLS)) = \ sigma ^ (2) (X ^ (T) X) ^ (- 1 )).

Verimlilik, bu kovaryans matrisinin "minimal" olduğu anlamına gelir (katsayıların herhangi bir doğrusal kombinasyonu ve özellikle katsayıların kendileri minimum varyansa sahiptir), yani doğrusal tarafsız tahminler sınıfında OLS tahminleri en iyisidir. Bu matrisin köşegen elemanları - katsayı tahminlerinin varyansları - elde edilen tahminlerin kalitesinin önemli parametreleridir. Ancak rastgele hataların varyansı bilinmediğinden kovaryans matrisini hesaplamak mümkün değildir. Rastgele hataların varyansının tarafsız ve tutarlı (klasik lineer model için) tahmininin şu değer olduğu kanıtlanabilir:

S 2 = R S S / (n - k) (\ displaystyle s ^ (2) = RSS / (n-k)).

Bu değeri kovaryans matrisi formülünde yerine koyarak kovaryans matrisinin bir tahminini elde ederiz. Elde edilen tahminler de tarafsız ve tutarlıdır. Hataların varyansının (ve dolayısıyla katsayıların varyanslarının) tahmininin ve model parametrelerinin tahminlerinin, modelin katsayıları hakkındaki hipotezleri test etmek için test istatistiklerinin elde edilmesini sağlayan bağımsız rastgele değişkenler olması da önemlidir.

Klasik varsayımlar karşılanmazsa, parametrelerin OLS tahminlerinin en verimli olmadığı ve nerede W (\ görüntü stili W)- bazı simetrik pozitif belirli ağırlık matrisi. Olağan OLS, ağırlık matrisi kimlik matrisiyle orantılı olduğunda bu yaklaşımın özel bir durumudur. Bilindiği gibi simetrik matrisler (veya operatörler) için bir ayrıştırma vardır. W = P T P (\ displaystyle W = P ^ (T) P)... Bu nedenle, bu fonksiyonel aşağıdaki gibi temsil edilebilir. e TPTP e = (P e) TP e = e ∗ T e ∗ (\ displaystyle e ^ (T) P ^ (T) Pe = (Pe) ^ (T) Pe = e _ (*) ^ (T ) e_ ( *)), yani bu işlevsel, dönüştürülmüş bazı "artıkların" karelerinin toplamı olarak temsil edilebilir. Böylece, en küçük kareler yöntemlerinin bir sınıfını ayırt edebiliriz - LS yöntemleri (En Küçük Kareler).

(Aitken teoremi) genelleştirilmiş bir doğrusal regresyon modeli için (rastgele hataların kovaryans matrisine hiçbir kısıtlama uygulanmaz), en etkili olanın (doğrusal yansız tahminler sınıfında) sözde tahminler olduğu kanıtlanmıştır (Aitken teoremi). genelleştirilmiş OLS (OLS, GLS - Genelleştirilmiş En Küçük Kareler)- Rastgele hataların ters kovaryans matrisine eşit bir ağırlık matrisine sahip LS yöntemi: W = V ε - 1 (\ displaystyle W = V _ (\ varepsilon) ^ (- 1)).

Doğrusal bir modelin parametreleri için OLS tahminleri formülünün şu şekilde olduğu gösterilebilir:

B ^ GLS = (XTV - 1 X) - 1 XTV - 1 y (\ displaystyle (\ hat (b)) _ (GLS) = (X ^ (T) V ^ (- 1) X) ^ (- 1) X ^ (T) V ^ (- 1) y).

Bu tahminlerin kovaryans matrisi buna göre şuna eşit olacaktır:

V (b ^ GLS) = (XTV - 1 X) - 1 (\ displaystyle V ((\ hat (b)) _ (GLS)) = (X ^ (T) V ^ (- 1) X) ^ (- 1)).

Aslında, OLS'nin özü, orijinal verilerin belirli bir (doğrusal) dönüşümü (P) ve normal OLS'nin dönüştürülmüş verilere uygulanmasıdır. Bu dönüşümün amacı, dönüştürülmüş veriler için rastgele hataların zaten klasik varsayımları karşılamasıdır.

Ağırlıklı OLS

Çapraz ağırlık matrisi durumunda (ve dolayısıyla rastgele hataların kovaryans matrisi), Ağırlıklı En Küçük Kareler (WLS) olarak adlandırılırız. Bu durumda, modelin artıklarının karelerinin ağırlıklı toplamı minimize edilir, yani her gözlem, bu gözlemdeki rastgele hatanın varyansıyla ters orantılı bir "ağırlık" alır: e TW e = ∑ t = 1 net 2 σ t 2 (\ displaystyle e ^ (T) We = \ toplam _ (t = 1) ^ (n) (\ frac (e_ (t) ^ (2)) (\ sigma _ (t) ^ (2))))... Aslında veriler, gözlemlerin ağırlıklandırılmasıyla (rastgele hataların tahmini standart sapması ile orantılı bir değere bölünerek) dönüştürülür ve ağırlıklı verilere düzenli OLS uygulanır.

ISBN 978-5-7749-0473-0.

Ekonometri. Ders Kitabı / Ed. Eliseeva I.I. - 2. baskı. - E.: Finans ve istatistik, 2006 .-- 576 s. - ISBN 5-279-02786-3.

Alexandrova N.V. Matematiksel terimlerin, kavramların, tanımların tarihi: referans sözlüğü. - 3. baskı .. - M.: LKI, 2008 .-- 248 s. - ISBN 978-5-382-00839-4. I.V. Mitin, Rusakov V.S. Deneysel verilerin analizi ve işlenmesi - 5. baskı - 24s.

Fonksiyonu 2. dereceden bir polinomla tahmin edelim. Bunu yapmak için normal denklem sisteminin katsayılarını hesaplıyoruz:

, ,

Şu forma sahip normal bir en küçük kareler sistemi oluşturalım:

Sistem çözümünü bulmak kolaydır :,,.

Böylece, 2. derecenin polinomu bulunur:

Teorik arka plan

sayfaya dön<Введение в вычислительную математику. Примеры>

Örnek 2... Bir polinomun optimal derecesini bulma.

sayfaya dön<Введение в вычислительную математику. Примеры>

Örnek 3... Ampirik bağımlılığın parametrelerini bulmak için normal denklem sisteminin türetilmesi.

Katsayıları ve işlevi belirlemek için bir denklem sistemi türetelim. verilen fonksiyonun noktalarla ortalama karekök yaklaşımını gerçekleştiren . fonksiyonu oluşturalım ve bunun için gerekli ekstremum koşulunu yazın:

O zaman normal sistem şu şekli alacaktır:

Bilinmeyen parametrelere göre ve kolayca çözülebilen doğrusal bir denklem sistemi aldı.

Teorik arka plan

sayfaya dön<Введение в вычислительную математику. Примеры>

Örnek.

Değişkenlerin değerlerine ilişkin deneysel veriler NS ve NS tabloda verilmektedir.

Hizalamalarının bir sonucu olarak, fonksiyon elde edilir

En küçük kareler yönteminin özü (OLS).

Görev, iki değişkenli fonksiyonun doğrusal bağımlılığının katsayılarını bulmaktır. a ve Ben küçük değeri alır. yani verilen a ve B deneysel verilerin bulunan düz çizgiden sapmalarının karelerinin toplamı en küçük olacaktır. En küçük kareler yönteminin bütün noktası budur.

Böylece, örneğin çözümü, iki değişkenli bir fonksiyonun ekstremumunu bulmaya indirgenir.

Katsayıları bulmak için formüllerin türetilmesi.

İki bilinmeyenli iki denklem sistemi oluşturulur ve çözülür. Fonksiyonun kısmi türevlerini bulun değişkenlere göre a ve B, bu türevleri sıfıra eşitliyoruz.

Ortaya çıkan denklem sistemini herhangi bir yöntemle çözeriz (örneğin ikame yöntemi veya Cramer yöntemi) ve katsayıları en küçük kareler yöntemiyle (OLS) bulmak için formüller elde ederiz.

verilerle a ve B işlev en küçük değeri alır. Bu gerçeğin kanıtı, aşağıda sayfanın sonundaki metinde verilmiştir.

Bütün en küçük kareler yöntemi budur. Parametreyi bulmak için formül a toplamları, ve parametresini içerir n- deneysel veri miktarı. Bu tutarların değerlerini ayrı ayrı hesaplamanızı öneririz.

katsayı B hesaplamadan sonra a.

Orijinal örneği hatırlamanın zamanı geldi.

Çözüm.

Örneğimizde sayı = 5... İstenilen katsayıların formüllerinde yer alan miktarları hesaplama kolaylığı için tabloyu dolduruyoruz.

Tablonun dördüncü satırındaki değerler, her sayı için 2. satırın değerleri ile 3. satırın değerlerinin çarpılmasıyla elde edilir. ben.

Tablonun beşinci satırındaki değerler, her sayı için 2. sıradaki değerlerin karesi alınarak elde edilir. ben.

Tablonun son sütunundaki değerler satır bazında değerlerin toplamlarıdır.

Katsayıları bulmak için en küçük kareler yönteminin formüllerini kullanırız. a ve B... Tablonun son sütunundaki karşılık gelen değerleri içlerinde değiştiriyoruz:

Buradan, y = 0.165x + 2.184- gerekli yaklaşık düz çizgi.

Hangi satırları bulmak için kalır y = 0.165x + 2.184 veya orijinal verilere daha iyi yaklaşır, yani en küçük kareler yöntemini kullanarak bir tahminde bulunur.

En küçük kareler yönteminin hatasının tahmini.

Bunu yapmak için, ilk verilerin bu satırlardan sapmalarının karelerinin toplamını hesaplamanız gerekir. ve , düşük değer, en küçük kareler yöntemi anlamında orijinal verilere daha iyi yaklaşan çizgiye karşılık gelir.

O zamandan beri, düz y = 0.165x + 2.184 orijinal verilere daha iyi yaklaşır.

En küçük kareler (mns) yönteminin grafiksel gösterimi.

Her şey grafiklerde mükemmel bir şekilde görülebilir. Kırmızı çizgi bulunan düz çizgidir y = 0.165x + 2.184, mavi çizgi , pembe noktalar ham verilerdir.

Ne için, tüm bu yaklaşımlar ne için?

Kişisel olarak veri yumuşatma, enterpolasyon ve ekstrapolasyon problemlerini çözmek için kullanıyorum (orijinal örnekte, gözlemlenen değerin değerini bulmayı istemiş olabilirsiniz) y NS x = 3 veya x = 6 OLS yöntemiyle). Ancak bundan daha sonra sitenin başka bir bölümünde daha ayrıntılı olarak bahsedeceğiz.

Sayfanın başına dön

Kanıt.

İkinci derecenin diferansiyeli şu şekildedir:

Yani

Bu nedenle, ikinci dereceden formun matrisi forma sahiptir.

ve öğelerin değerleri bağlı değildir a ve B.

Matrisin pozitif tanımlı olduğunu gösterelim. Bu, korner minörlerinin pozitif olmasını gerektirir.

Birinci derecenin küçük köşesi ... Eşitsizlik katıdır, çünkü noktalar çakışmaz. Aşağıda, bunu kasteteceğiz.

İkinci düzenin küçük köşesi

bunu kanıtlayalım matematiksel tümevarım yöntemiyle.

Çıktı: bulunan değerler a ve B en küçük fonksiyon değerine karşılık gelir , bu nedenle, en küçük kareler yöntemi için gerekli parametrelerdir.

Anlamak için zamanın yok mu?
Bir çözüm sipariş edin

Sayfanın başına dön

En küçük kareler yöntemini kullanarak bir tahmin geliştirme. Problem çözme örneği

ekstrapolasyon Tahmin nesnesinin gelecekteki gelişimi için geçmiş ve şimdiki eğilimlerin, kalıpların, bağlantıların yayılmasına dayanan bir bilimsel araştırma yöntemidir. Ekstrapolasyon yöntemleri şunları içerir: hareketli ortalama yöntemi, üstel yumuşatma yöntemi, en küçük kareler yöntemi.

öz en küçük kareler yöntemi gözlemlenen ve hesaplanan değerler arasındaki standart sapmaların toplamını minimize etmekten ibarettir. Hesaplanan değerler, takılan denkleme göre bulunur - regresyon denklemi. Gerçek değerler ile hesaplanan değerler arasındaki mesafe ne kadar küçük olursa, regresyon denklemine dayalı tahmin o kadar doğru olur.

İncelenen olgunun özünün teorik bir analizi, bir zaman serisi tarafından gösterilen değişiklik, bir eğri seçmenin temeli olarak hizmet eder. Bazen serinin seviyelerinin büyümesinin doğası hakkındaki düşünceler dikkate alınır. Dolayısıyla, aritmetik bir ilerlemede çıktı artışı bekleniyorsa, düz bir çizgi boyunca yumuşatma gerçekleştirilir. Büyümenin üstel olduğu ortaya çıkarsa, üstel fonksiyona göre düzgünleştirme yapılmalıdır.

En Küçük Kareler Çalışma Formülü : Y t + 1 = a * X + b, burada t + 1 tahmin dönemidir; Уt + 1 - tahmin edilen gösterge; a ve b - katsayılar; X, zamanın bir simgesidir.

a ve b katsayılarının hesaplanması aşağıdaki formüllere göre yapılır:

nerede, Uf - bir dizi dinamiğin gerçek değerleri; n, zaman serisindeki düzey sayısıdır;

Zaman serilerinin en küçük kareler yöntemiyle yumuşatılması, incelenen olgunun gelişim modellerini yansıtmaya hizmet eder. Trendin analitik ifadesinde zaman bağımsız bir değişken olarak kabul edilir ve serilerin seviyeleri bu bağımsız değişkenin bir fonksiyonu olarak hareket eder.

Bir olgunun gelişimi, başlangıç anından bu yana kaç yıl geçtiğine değil, gelişimini hangi faktörlerin, hangi yönde ve hangi yoğunlukta etkilediğine bağlıdır. Dolayısıyla, bir olgunun zaman içindeki gelişiminin bu faktörlerin etkisinin bir sonucu olarak ortaya çıktığı açıktır.

Eğrinin türünü doğru bir şekilde belirlemek, zamana bağlı analitik bağımlılığın türü, ön tahmin analizinin en zor görevlerinden biridir. .

Parametreleri en küçük kareler yöntemiyle belirlenen trendi tanımlayan fonksiyon tipinin seçimi, çoğu durumda ampirik olarak, bir dizi fonksiyon oluşturularak ve ortalama kare değeri ile birbirleriyle karşılaştırılarak gerçekleştirilir. formülle hesaplanan hata:

nerede Uf - bir dizi dinamiğin gerçek değerleri; Ur - bir dizi dinamiğin hesaplanmış (düzeltilmiş) değerleri; n, zaman serisindeki düzey sayısıdır; p, trendi (gelişme eğilimi) açıklayan formüllerde tanımlanan parametre sayısıdır.

En küçük kareler yönteminin dezavantajları :

Çalışılan ekonomik fenomeni matematiksel bir denklem kullanarak tanımlamaya çalışırken, tahmin kısa bir süre için doğru olacaktır ve yeni bilgiler elde edildikçe regresyon denklemi yeniden hesaplanmalıdır;
tipik bilgisayar programları kullanılırken çözülebilen regresyon denklemi seçiminin karmaşıklığı.

Bir tahmin geliştirmek için en küçük kareler yöntemini kullanmaya bir örnek

Görev ... Bölgedeki işsizlik oranını karakterize eden veriler var,%

Aşağıdaki yöntemleri kullanarak Kasım, Aralık, Ocak ayları için bölgedeki işsizlik oranı tahminini oluşturun: hareketli ortalama, üstel düzeltme, en küçük kareler.
Her yöntemi kullanarak elde edilen tahminlerin hatalarını hesaplayın.
Elde edilen sonuçları karşılaştırın, sonuçlar çıkarın.

En küçük kareler çözümü

Sorunu çözmek için gerekli hesaplamaları yapacağımız bir tablo hazırlayacağız:

ε = 28.63 / 10 = %2.86 tahmin doğruluğu yüksek.

Çıktı : Hesaplamalarda elde edilen sonuçların karşılaştırılması hareketli ortalama yöntemi , üstel yumuşatma ve en küçük kareler yöntemiyle, üstel düzgünleştirme yöntemiyle yapılan hesaplamalardaki ortalama bağıl hatanın %20-50 aralığında olduğunu söyleyebiliriz. Bu, bu durumda tahmin doğruluğunun yalnızca tatmin edici olduğu anlamına gelir.

Birinci ve üçüncü durumlarda, ortalama bağıl hata %10'dan az olduğu için tahmin doğruluğu yüksektir. Ancak hareketli ortalamalar yöntemi, daha güvenilir sonuçlar elde etmeyi mümkün kıldı (Kasım için tahmin -% 1.52, Aralık için tahmin -% 1.53, Ocak için tahmin -% 1.49), çünkü bu yöntemi kullanırken ortalama nispi hata en küçük - %1,13.

en küçük kareler yöntemi

Bu konuyla ilgili diğer makaleler:

Kullanılan kaynakların listesi

Sosyal risklerin teşhisi ve zorlukların, tehditlerin ve sosyal sonuçların tahmin edilmesiyle ilgili bilimsel ve metodolojik öneriler. Rusya Devlet Sosyal Üniversitesi. Moskova. 2010;
Vladimirova L.P. Piyasa koşullarında tahmin ve planlama: Ders kitabı. ödenek. M.: Yayınevi "Dashkov and Co", 2001;
Novikova N.V., Pozdeeva O.G. Ulusal Ekonominin Öngörüsü: Öğretim Rehberi. Yekaterinburg: Ural Yayınevi. durum ekonomi. Üniversite, 2007;
Sürtük derisi L.N. İşletmelerde tahmin üzerine MBA kursu. M.: Alpina İş Kitapları, 2006.

OLS programı

Veri girin

Veri ve yaklaşıklık y = a + bx

ben- deneysel nokta numarası;
x ben- noktada sabit parametrenin değeri ben;
ben- noktada ölçülen parametrenin değeri ben;
ω ben- bir noktada ölçüm ağırlığı ben;
y ben, kalk.- ölçülen ve regresyon değeri ile hesaplanan arasındaki fark y noktada ben;
Sx ben (x ben)- hata tahmini x benölçerken y noktada ben.

Veri ve yaklaşıklık y = kx

ben	x ben	ben	ω ben	y ben, kalk.	Δy ben	Sx ben (x ben)

Grafiğe tıklayın,

MNK çevrimiçi programının kullanıcısı için talimatlar.

Veri alanına her ayrı satırda aynı test noktasındaki `x` ve` y` değerlerini girin. Değerler bir boşluk karakteri (boşluk veya sekme) ile ayrılmalıdır.

Üçüncü değer, "w" noktasının ağırlığı olabilir. Nokta ağırlığı belirtilmemişse, bire eşittir. Vakaların ezici çoğunluğunda, deneysel noktaların ağırlıkları bilinmiyor veya hesaplanmıyor, yani. tüm deneysel veriler eşdeğer olarak kabul edilir. Bazen incelenen değerler aralığındaki ağırlıklar kesinlikle eşdeğer değildir ve teorik olarak bile hesaplanabilir. Örneğin, spektrofotometride, ağırlıklar basit formüller kullanılarak hesaplanabilir, ancak temelde herkes bunu işçilik maliyetlerini azaltmak için ihmal eder.

Veriler, Microsoft Office'ten Excel veya Open Office'ten Calc gibi bir ofis paketi elektronik tablosundan panoya yapıştırılabilir. Bunu yapmak için, elektronik tabloda kopyalanacak veri aralığını seçin, panoya kopyalayın ve verileri bu sayfadaki veri alanına yapıştırın.

En küçük kareler yöntemiyle hesaplama için, iki "b" katsayısını belirlemek için en az iki nokta gerekir - düz çizginin eğiminin tanjantı ve "a" - "y" üzerindeki düz çizgi tarafından kesilen değer eksen.

Hesaplanan regresyon katsayılarının hatasını tahmin etmek için deneysel noktaların sayısını ikiden fazla ayarlamanız gerekir.

En küçük kareler yöntemi (OLS).

Deneysel noktaların sayısı ne kadar büyük olursa, katsayıların istatistiksel tahmini o kadar doğru olur (Öğrenci katsayısındaki azalmadan dolayı) ve tahmin genel numunenin tahminine o kadar yakın olur.

Her bir deney noktasında değerlerin elde edilmesi genellikle emek yoğundur, bu nedenle çoğu zaman sindirilebilir bir tahmin veren ve aşırı işçilik maliyetlerine yol açmayan bir takas sayısı vardır. Kural olarak, iki katsayılı doğrusal en küçük kareler bağımlılığı için deneysel noktaların sayısı 5-7 puanlık bölgede seçilir.

Doğrusal bağımlılık için en küçük kareler yönteminin kısa teorisi

[`y_i`,` x_i`] değer çiftleri şeklinde bir dizi deneysel verimiz olduğunu varsayalım, burada "i", 1'den "n"ye kadar olan bir deneysel ölçümün sayısıdır; "y_i" - "i" noktasında ölçülen değerin değeri; "x_i" - "i" noktasında ayarladığımız parametrenin değeri.

Örnek olarak, Ohm Yasasının işleyişini düşünün. Elektrik devresinin bölümleri arasındaki gerilimi (potansiyel farkı) değiştirerek bu bölümden geçen akım miktarını ölçüyoruz. Fizik bize deneysel olarak bulunan bağımlılığı verir:

`I = U / R`,
nerede 'I' - mevcut güç; "R" - direnç; "U" - voltaj.

Bu durumda "y_i" ölçülen akım değeridir ve "x_i" voltaj değeridir.

Başka bir örnek olarak, bir çözelti içindeki bir maddenin bir çözeltisi tarafından ışığın emilmesini düşünün. Kimya bize formülü verir:

`A = ε l C`,
burada "A" çözümün optik yoğunluğudur; `ε` - çözünenin geçirgenliği; 'l' - ışık bir solüsyon içeren bir küvetten geçtiğinde yol uzunluğu; "C" - çözünen konsantrasyonu.

Bu durumda, 'y_i', 'A' optik yoğunluğunun ölçülen değerine sahibiz ve 'x_i', ayarladığımız maddenin konsantrasyonunun değeridir.

"x_i" ayarındaki göreli hatanın "y_i" ölçümündeki göreli hatadan çok daha az olduğu durumu ele alacağız. Ayrıca, ölçülen tüm 'y_i' değerlerinin rastgele ve normal olarak dağıldığını, yani. normal dağılım yasasına uyun.

"y"nin x"e doğrusal bağımlılığı durumunda, teorik bir bağımlılık yazabiliriz:
`y = a + bx`.

Geometrik bir bakış açısından, 'b' katsayısı, çizginin 'x' eksenine olan eğim açısının tanjantını ve 'a' katsayısı - kesişme noktasındaki 'y' değerini gösterir. 'y' ekseniyle ('x = 0' noktasında) doğru.

Regresyon çizgisinin parametrelerini bulma.

Deneyde, ölçülen 'y_i' değerleri, her zaman gerçek hayatta bulunan ölçüm hatalarından dolayı teorik düz çizgi üzerinde tam olarak uzanamaz. Bu nedenle, doğrusal bir denklem bir denklem sistemi ile temsil edilmelidir:
`y_i = a + b x_i + ε_i` (1),
burada "ε_i", "i"-inci deneyde "y"nin bilinmeyen ölçüm hatasıdır.

Bağımlılık (1) olarak da adlandırılır gerileme, yani istatistiksel anlamlılık ile birbirinden iki değerin bağımlılığı.

Bağımlılığı geri yükleme görevi, deneysel noktalardan [`y_i`,`x_i`] "a" ve "b" katsayılarını bulmaktır.

'a' ve 'b' katsayılarını bulmak için genellikle kullanılır en küçük kareler yöntemi(OLS). Maksimum olabilirlik ilkesinin özel bir halidir.

(1)'i `ε_i = y_i - a - b x_i` olarak yeniden yazalım.

O zaman hataların karelerinin toplamı
`Φ = toplam_ (i = 1) ^ (n) ε_i ^ 2 = toplam_ (i = 1) ^ (n) (y_i - a - b x_i) ^ 2`. (2)

OLS'nin (en küçük kareler yöntemi) ilkesi, 'a' ve 'b' parametrelerine göre toplamı (2) en aza indirmektir..

Toplam (2)'nin "a" ve "b" katsayılarına göre kısmi türevleri sıfıra eşit olduğunda minimuma ulaşılır:
`frac (kısmi Φ) (kısmi a) = frac (kısmi toplam_ (i = 1) ^ (n) (y_i - a - b x_i) ^ 2) (kısmi a) = 0`
`frac (kısmi Φ) (kısmi b) = frac (kısmi toplam_ (i = 1) ^ (n) (y_i - a - b x_i) ^ 2) (kısmi b) = 0`

Türevleri genişleterek, iki bilinmeyenli iki denklem sistemi elde ederiz:
`toplam_ (i = 1) ^ (n) (2a + 2bx_i - 2y_i) = toplam_ (i = 1) ^ (n) (a + bx_i - y_i) = 0`
`sum_ (i = 1) ^ (n) (2bx_i ^ 2 + 2ax_i - 2x_iy_i) = toplam_ (i = 1) ^ (n) (bx_i ^ 2 + ax_i - x_iy_i) = 0`

Parantezleri açıyoruz ve aranan katsayılardan bağımsız toplamları diğer yarısına aktarıyoruz, bir lineer denklem sistemi elde ediyoruz:
`toplam_ (i = 1) ^ (n) y_i = bir n + b toplam_ (i = 1) ^ (n) bx_i`
`toplam_ (i = 1) ^ (n) x_iy_i = bir toplam_ (i = 1) ^ (n) x_i + b toplam_ (i = 1) ^ (n) x_i ^ 2`

Ortaya çıkan sistemi çözerek, "a" ve "b" katsayılarının formüllerini buluyoruz:

`a = frac (toplam_ (i = 1) ^ (n) y_i toplam_ (i = 1) ^ (n) x_i ^ 2 - toplam_ (i = 1) ^ (n) x_i toplam_ (i = 1) ^ (n ) x_iy_i) (n toplam_ (i = 1) ^ (n) x_i ^ 2 - (toplam_ (i = 1) ^ (n) x_i) ^ 2) `(3.1)

`b = kesir (n toplam_ (i = 1) ^ (n) x_iy_i - toplam_ (i = 1) ^ (n) x_i toplam_ (i = 1) ^ (n) y_i) (n toplam_ (i = 1) ^ (n) x_i ^ 2 - (toplam_ (i = 1) ^ (n) x_i) ^ 2) `(3.2)

Bu formüller `n> 1` olduğunda (çizgi en az 2 nokta kullanılarak çizilebilir) ve determinant` D = n toplam_ (i = 1) ^ (n) x_i ^ 2 - (toplam_ (i = 1) olduğunda çözümlere sahiptir. ) ^ (n) x_i) ^ 2! = 0`, yani deneydeki "x_i" noktaları farklı olduğunda (yani, çizgi dikey olmadığında).

Regresyon doğrusu katsayılarının hatalarının tahmini

"a" ve "b" katsayılarının hesaplanmasındaki hatanın daha doğru bir değerlendirmesi için, çok sayıda deneysel noktaya sahip olmak istenir. n = 2 olduğunda, katsayıların hatasını tahmin etmek imkansızdır, çünkü yaklaştırma çizgisi iki noktadan açık bir şekilde geçecektir.

Rastgele değişken 'V'nin hatası belirlenir hataların birikim yasası
`S_V ^ 2 = toplam_ (i = 1) ^ p (frak (kısmi f) (kısmi z_i)) ^ 2 S_ (z_i) ^ 2`,
burada "p", "S_V" hatasını etkileyen "S_ (z_i)" hatasıyla birlikte "z_i" parametrelerinin sayısıdır;
"f" - "V"nin "z_i"ye bağımlılığının işlevi.

'a' ve 'b' katsayılarının hatası için hataların birikim yasasını yazalım.
`S_a ^ 2 = toplam_ (i = 1) ^ (n) (frak (kısmi a) (kısmi y_i)) ^ 2 S_ (y_i) ^ 2 + toplam_ (i = 1) ^ (n) (frak (kısmi a) ) (kısmi x_i)) ^ 2 S_ (x_i) ^ 2 = S_y ^ 2 toplam_ (i = 1) ^ (n) (frak (kısmi a) (kısmi y_i)) ^ 2 `,
`S_b ^ 2 = toplam_ (i = 1) ^ (n) (frak (kısmi b) (kısmi y_i)) ^ 2 S_ (y_i) ^ 2 + toplam_ (i = 1) ^ (n) (frak (kısmi b) ) (kısmi x_i)) ^ 2 S_ (x_i) ^ 2 = S_y ^ 2 toplam_ (i = 1) ^ (n) (frak (kısmi b) (kısmi y_i)) ^ 2 `,
dan beri `S_ (x_i) ^ 2 = 0` (daha önce `x` hatasının ihmal edilebilir olduğu bir rezervasyon yapmıştık).

`S_y ^ 2 = S_ (y_i) ^ 2` - hatanın tüm `y` değerleri için tek tip olduğu varsayılarak,` y` ölçümünde hata (varyans, standart sapmanın karesi).

Elde edilen ifadelerde 'a' ve 'b' hesaplama formüllerini değiştirerek,

`S_a ^ 2 = S_y ^ 2 frak (toplam_ (i = 1) ^ (n) (toplam_ (i = 1) ^ (n) x_i ^ 2 - x_i toplam_ (i = 1) ^ (n) x_i) ^ 2 ) (D ^ 2) = S_y ^ 2 frak ((n toplam_ (i = 1) ^ (n) x_i ^ 2 - (toplam_ (i = 1) ^ (n) x_i) ^ 2) toplam_ (i = 1) ^ (n) x_i ^ 2) (D ^ 2) = S_y ^ 2 frak (toplam_ (i = 1) ^ (n) x_i ^ 2) (D) `(4.1)

`S_b ^ 2 = S_y ^ 2 parça (toplam_ (i = 1) ^ (n) (n x_i - toplam_ (i = 1) ^ (n) x_i) ^ 2) (D ^ 2) = S_y ^ 2 parça ( n (n toplam_ (i = 1) ^ (n) x_i ^ 2 - (toplam_ (i = 1) ^ (n) x_i) ^ 2)) (D ^ 2) = S_y ^ 2 frak (n) (D) `(4.2)

Çoğu gerçek hayat deneyinde, "Sy" değeri ölçülmez. Bunu yapmak için, planın bir veya birkaç noktasında birkaç paralel ölçüm (deney) yapmak gerekir, bu da deneyin süresini (ve muhtemelen maliyetini) artırır. Bu nedenle, genellikle 'y'nin regresyon çizgisinden sapmasının rastgele kabul edilebileceği varsayılır. Bu durumda 'y' varyansının tahmini, formülle hesaplanır.

`S_y ^ 2 = S_ (y, kalan) ^ 2 = frak (toplam_ (i = 1) ^ n (y_i - a - b x_i) ^ 2) (n-2)`.

'n-2' böleni, aynı deneysel veri örneği için iki katsayının hesaplanması nedeniyle serbestlik derecesi sayısını azalttığımız için görünür.

Bu tahmin aynı zamanda `S_ (y, kalan) ^ 2` regresyon doğrusuna göre artık varyans olarak da adlandırılır.

Katsayıların önem değerlendirmesi Öğrenci kriterine göre yapılır.

`t_a = frak (| a |) (S_a)`, `t_b = frak (| b |) (S_b)`

Hesaplanan 't_a', 't_b' kriteri, 't (P, n-2)' tablo kriterinden küçükse, o zaman karşılık gelen katsayının, verilen bir 'P' olasılığı ile sıfırdan önemli ölçüde farklı olmadığı kabul edilir.

Doğrusal bir ilişkinin tanımının kalitesini değerlendirmek için, Fisher testini kullanarak "S_ (y, dinlenme) ^ 2" ve "S_ (çubuk y)" değerlerini ortalamaya göre karşılaştırabilirsiniz.

`S_ (y çubuğu) = parça (toplam_ (i = 1) ^ n (y_i - çubuk y) ^ 2) (n-1) = parça (toplam_ (i = 1) ^ n (y_i - (toplam_ (i =) 1) ^ n y_i) / n) ^ 2) (n-1) `- ortalamaya göre` y` varyansının örnek tahmini.

Bağımlılığı tanımlamak için regresyon denkleminin etkinliğini değerlendirmek için Fisher katsayısı hesaplanır.
`F = S_ (y çubuğu) / S_ (y, dinlenme) ^ 2`,
hangi tablo Fisher's katsayısı `F (p, n-1, n-2)` ile karşılaştırılır.

`F> F (P, n-1, n-2)` ise, `y = f (x)` bağımlılığının regresyon denklemi kullanılarak açıklaması ile ortalama kullanılarak yapılan açıklama arasındaki fark, aşağıdaki formülle istatistiksel olarak anlamlı kabul edilir. olasılık 'P'. Onlar. regresyon, ilişkiyi ortalamaya göre "y"nin dağılımından daha iyi tanımlar.

Grafiğe tıklayın,
tabloya değerler eklemek için

En küçük kareler yöntemi. En küçük kareler yöntemi, bilinmeyen a, b, c parametrelerinin, benimsenen fonksiyonel bağımlılığın belirlenmesi olarak anlaşılır.

En küçük kareler yöntemi, bilinmeyen parametrelerin belirlenmesi olarak anlaşılmaktadır. a, b, c, ... kabul edilen fonksiyonel bağımlılık

y = f (x, a, b, c, ...),

minimum ortalama kare (varyans) hatasını sağlayacak olan

, (24)

nerede x ben, y ben - deneyden elde edilen bir dizi sayı.

Birkaç değişkenli bir fonksiyonun ekstremum koşulu, kısmi türevlerinin sıfıra eşit olması koşulu olduğundan, parametreler a, b, c, ... denklem sisteminden belirlenir:

; ; ; … (25)

Fonksiyon türünden sonra parametreleri seçmek için en küçük kareler yönteminin kullanıldığı unutulmamalıdır. y = f(x) tanımlı.

Teorik değerlendirmelerden ampirik formülün ne olması gerektiği hakkında herhangi bir sonuç çıkarmak mümkün değilse, o zaman görsel temsiller, öncelikle gözlemlenen verilerin grafiksel bir temsili tarafından yönlendirilmelidir.

Uygulamada, çoğunlukla aşağıdaki işlev türleriyle sınırlıdırlar:

1) doğrusal ;

2) ikinci dereceden a.

Örnek.

Değişkenlerin değerlerine ilişkin deneysel veriler NS ve NS tabloda verilmektedir.

Hizalamalarının bir sonucu olarak, fonksiyon elde edilir

En küçük kareler yönteminin özü (OLS).

Görev, iki değişkenli fonksiyonun doğrusal bağımlılığının katsayılarını bulmaktır. a ve B en küçük değeri alır. yani verilen a ve B deneysel verilerin bulunan düz çizgiden sapmalarının karelerinin toplamı en küçük olacaktır. En küçük kareler yönteminin bütün noktası budur.

Böylece, örneğin çözümü, iki değişkenli bir fonksiyonun ekstremumunu bulmaya indirgenir.

Katsayıları bulmak için formüllerin türetilmesi.

İki bilinmeyenli iki denklem sistemi oluşturulur ve çözülür. Değişkenlere göre bir fonksiyonun kısmi türevlerini bulun a ve B, bu türevleri sıfıra eşitliyoruz.

Ortaya çıkan denklem sistemini herhangi bir yöntemle çözeriz (örneğin ikame yöntemi veya) ve katsayıları en küçük kareler (OLS) yöntemiyle bulmak için formüller elde ederiz.

verilerle a ve B işlev en küçük değeri alır. Bu gerçeğin kanıtı verilmiştir.

Orijinal örneği hatırlamanın zamanı geldi.

Çözüm.

Örneğimizde sayı = 5... İstenilen katsayıların formüllerinde yer alan miktarları hesaplama kolaylığı için tabloyu dolduruyoruz.

Tablonun dördüncü satırındaki değerler, her sayı için 2. satırın değerleri ile 3. satırın değerlerinin çarpılmasıyla elde edilir. ben.

Tablonun beşinci satırındaki değerler, her sayı için 2. sıradaki değerlerin karesi alınarak elde edilir. ben.

Tablonun son sütunundaki değerler satır bazında değerlerin toplamlarıdır.

Katsayıları bulmak için en küçük kareler yönteminin formüllerini kullanırız. a ve B... Tablonun son sütunundaki karşılık gelen değerleri içlerinde değiştiriyoruz:

Buradan, y = 0.165x + 2.184- gerekli yaklaşık düz çizgi.

Hangi satırları bulmak için kalır y = 0.165x + 2.184 veya orijinal verilere daha iyi yaklaşır, yani en küçük kareler yöntemini kullanarak bir tahminde bulunur.

En küçük kareler yönteminin hatasının tahmini.

O zamandan beri, düz y = 0.165x + 2.184 orijinal verilere daha iyi yaklaşır.

En küçük kareler (mns) yönteminin grafiksel gösterimi.

Her şey grafiklerde mükemmel bir şekilde görülebilir. Kırmızı çizgi bulunan düz çizgidir y = 0.165x + 2.184, mavi çizgi , pembe noktalar ham verilerdir.

Ne için, tüm bu yaklaşımlar ne için?

Kanıt.