Doğrusal regresyon ve lojistik regresyon arasındaki fark nedir?

• Olasılıklar olarak doğrusal regresyon çıktısı

  Doğrusal regresyon çıktısını olasılık olarak kullanmak cazip gelebilir ancak bu bir hatadır çünkü çıktı negatif ve 1'den büyük olabilirken olasılık olamaz. Regresyon aslında 0'dan küçük, hatta büyük olabilecek olasılıklar üretir. 1'de lojistik regresyon tanıtılmıştır.

Kaynak: http://gerardnico.com/wiki/data_mining/simple_logistic_regression

• Sonuç

  Doğrusal regresyonda sonuç (bağımlı değişken) süreklidir. Sonsuz sayıda olası değerden herhangi birine sahip olabilir.

Lojistik regresyonda, sonuç (bağımlı değişken) yalnızca sınırlı sayıda olası değere sahiptir.

• Bağımlı değişken

Lojistik regresyon, yanıt değişkeni kategorik yapıda olduğunda kullanılır. Örneğin, evet/hayır, doğru/yanlış, kırmızı/yeşil/mavi, 1./2./3./4., vb.

Doğrusal regresyon, yanıt değişkeniniz sürekli olduğunda kullanılır. Örneğin, kilo, boy, çalışma saati sayısı vb.

• Denklem

  Doğrusal regresyon, Y = mX + C şeklinde bir denklem verir, derecesi 1 olan denklem anlamına gelir.

  Bununla birlikte, lojistik regresyon aşağıdaki formda bir denklem verir Y = eX + e-X

• Katsayı yorumu

  Doğrusal regresyonda, bağımsız değişkenlerin katsayı yorumu oldukça basittir (yani, diğer tüm değişkenler sabit tutulduğunda, bu değişkendeki bir birimlik artışla, bağımlı değişkenin xxx kadar artması/azalması beklenir).

  Bununla birlikte, lojistik regresyonda, aileye bağlıdır (binom, Poisson, ) ve bağlantı (log, logit, ters-log, vb.) kullandığınızda yorumlama farklı olur.

• Hata minimizasyon tekniği

  Doğrusal regresyon, en aza indirmek için sıradan en küçük kareler yöntemini kullanır. hataları ve mümkün olan en iyi uyuma ulaşırken, lojistik regresyon Çözüme ulaşmak için maksimum olabilirlik yöntemini kullanır.

  Doğrusal regresyon genellikle modelin verilere olan en küçük kareler hatasını en aza indirerek çözülür, bu nedenle büyük hatalar kuadratik olarak cezalandırılır.

  Lojistik regresyon ise bunun tam tersidir. Lojistik kayıp fonksiyonunun kullanılması, büyük hataların asimptotik olarak sabit bir şekilde cezalandırılmasına neden olur.

Bunun neden bir sorun olduğunu görmek için kategorik {0, 1} sonuçlar üzerinde doğrusal regresyonu düşünün. Modeliniz, gerçek 1 iken sonucun 38 olduğunu tahmin ederse, hiçbir şey kaybetmezsiniz. Doğrusal regresyon bu 38'i azaltmaya çalışır, lojistik ise azaltmaz (o kadar)2.

Doğrusal regresyonda sonuç (bağımlı değişken) süreklidir. Sonsuz sayıda olası değerden herhangi birine sahip olabilir. Lojistik regresyonda, sonuç (bağımlı değişken) yalnızca sınırlı sayıda olası değere sahiptir.

Örneğin, X evlerin feet kare cinsinden alanını ve Y de bu evlerin ilgili satış fiyatını içeriyorsa, ev büyüklüğünün bir fonksiyonu olarak satış fiyatını tahmin etmek için doğrusal regresyon kullanabilirsiniz. Olası satış fiyatı aslında herhangi bir fiyat olmayabilir, ancak doğrusal bir regresyon modelinin seçileceği çok sayıda olası değer vardır.

Bunun yerine, bir evin büyüklüğüne bağlı olarak 200 bin dolardan daha yüksek bir fiyata satılıp satılmayacağını tahmin etmek isteseydiniz, lojistik regresyon kullanırdınız. Olası çıktılar ya Evet, ev 200 bin dolardan fazlaya satılacak ya da Hayır, ev satılmayacak şeklinde olacaktır.

Basitçe söylemek gerekirse, doğrusal regresyon, olası sürekli ve sonsuz bir değeri çıkaran bir regresyon algoritmasıdır; lojistik regresyon, girdinin bir etikete (0 veya 1) ait olma 'olasılığını' çıkaran ikili bir sınıflandırıcı algoritması olarak kabul edilir.