рдЦрд╛рд▓реА рдмрд╣реБрд╡рд┐рдз (рдмрд╣реБрдкрд░рд┐рд╡рд░реНрддрдиреАрдп) рдмрд╛рдпрдирд░реА рд▓реЙрдЬрд┐рд╕реНрдЯрд┐рдХ рд░рд┐рдЧреНрд░реЗрд╢рдирд╕рд╛рдареА рдПрдХ рд╡реНрдпрд╛рд╡рд╣рд╛рд░рд┐рдХ рдорд╛рд░реНрдЧрджрд░реНрд╢рдХ рдЖрд╣реЗ - рдореНрд╣рдгрдЬреЗ, рдЕрдиреЗрдХ рд╡реИрд╢рд┐рд╖реНрдЯреНрдпрд╛рдВрдордзреВрди рдмрд╛рдпрдирд░реА рдкрд░рд┐рдгрд╛рдо (0/1) рднрд╛рдХрд┐рдд рдХрд░рдгреЗ.
рджреНрд╡рд┐рдкрджреА рд▓реЙрдЬрд┐рд╕реНрдЯрд┐рдХ рд░рд┐рдЧреНрд░реЗрд╢рди (рд╕рд╛рдорд╛рдиреНрдпрдд: рд▓реЙрдЬрд┐рд╕реНрдЯрд┐рдХ рд░рд┐рдЧреНрд░реЗрд╢рди рдореНрд╣рдгрддрд╛рдд) рд╣реА рдПрдХ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдкрджреНрдзрдд рдЖрд╣реЗ рдЬреА рдПрдХ рдХрд┐рдВрд╡рд╛ рдЕрдзрд┐рдХ рд╕реНрд╡рддрдВрддреНрд░ рдЪрд▓ рдЖрдгрд┐ рдмрд╛рдпрдирд░реА (рджреЛрди-рд╢реНрд░реЗрдгреА) рдкрд░рд┐рдгрд╛рдо рдпрд╛рдВрдЪреНрдпрд╛рддреАрд▓ рд╕рдВрдмрдВрдз рдореЙрдбреЗрд▓ рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рд╡рд╛рдкрд░рд▓реА рдЬрд╛рддреЗ.
рдмрд╛рдпрдирд░реА: рд▓рдХреНрд╖реНрдп yтИИ{0,1}
рдмрд╣реБрдкрд░рд┐рд╡рд░реНрддрдиреАрдп: рдПрдХрд╛рдкреЗрдХреНрд╖рд╛ рдЬрд╛рд╕реНрдд рдЗрдирдкреБрдЯ рд╡реИрд╢рд┐рд╖реНрдЯреНрдп x_1, x_2, ..., x_nтАЛ
рдореЙрдбреЗрд▓:
p(y=1тИгx)=1/(1+e^{тИТz}), рдЬрд┐рдереЗ z=w_0+w_1*x_1+тЛп+w_n*x_n
рдЖрдгрд┐ w_0, w_1...w_n рд╣реЗ x_1, x_2, ..., x_n рдЖрдгрд┐ y рдЖрдгрд┐ рдкреНрд░реЗрдбрд┐рдХреНрдЯреНрд╕рдордзреАрд▓ рддреНрд░реБрдЯреАрдВрджреНрд╡рд╛рд░реЗ рдореЛрдЬрд▓реЗ рдЬрд╛рдгрд╛рд░реЗ рд╡рдЬрди рдЖрд╣реЗрдд.
рдереЗрдЯ рдореВрд▓реНрдпрд╛рдВрдЪреЗ рднрд╛рдХрд┐рдд рдХрд░рдгреНрдпрд╛рдРрд╡рдЬреА, рд▓реЙрдЬрд┐рд╕реНрдЯрд┐рдХ рд░рд┐рдЧреНрд░реЗрд╢рди рдкреНрд░рд┐рдбрд┐рдХреНрдЯрд░реНрд╕ z рдЪреНрдпрд╛ рд░реЗрд╖реАрдп рд╕рдВрдпреЛрдЬрдирд╛рдЪрд╛ рд╡рд╛рдкрд░ рдХрд░реВрди рд▓реЙрдЧ-рдСрдбреНрд╕рдЪрд╛ рдЕрдВрджрд╛рдЬ рд▓рд╛рд╡рддреЗ. рд▓реЙрдЬрд┐рд╕реНрдЯрд┐рдХ (рд╕рд┐рдЧреНрдореЙрдЗрдб) рдлрдВрдХреНрд╢рди рд╡рд╛рдкрд░реВрди рд▓реЙрдЧ-рдСрдбреНрд╕рдЪреЗ рд░реВрдкрд╛рдВрддрд░ 0 рдЖрдгрд┐ 1 рдордзреАрд▓ рд╕рдВрднрд╛рд╡реНрдпрддрд╛ рдирд┐рд░реНрдорд╛рдг рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдХреЗрд▓реЗ рдЬрд╛рддреЗ.
рдмрд╛рдпрдирд░реА рд▓реЙрдЬрд┐рд╕реНрдЯрд┐рдХ рд░рд┐рдЧреНрд░реЗрд╢рди рд╣реЗ рдПрдХ рд╕рдВрднрд╛рд╡реНрдп рд╡рд░реНрдЧреАрдХрд░рдг рдореЙрдбреЗрд▓ рдЖрд╣реЗ рдЬреЗ рд╕рд┐рдЧреНрдореЙрдЗрдб рдлрдВрдХреНрд╢рдирдЪрд╛ рд╡рд╛рдкрд░ рджреЛрди рдирд┐рдХрд╛рд▓рд╛рдВрдкреИрдХреА рдПрдХрд╛рдЪреА рд╢рдХреНрдпрддрд╛ рднрд╛рдХрд┐рдд рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдХрд░рддреЗ, рдЬреНрдпрд╛рдореБрд│реЗ рддреЗ рд╕рд╛рдВрдЦреНрдпрд┐рдХреА, рдбреЗрдЯрд╛ рд╕рд╛рдпрдиреНрд╕ рдЖрдгрд┐ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧрдордзреНрдпреЗ рдЕрд░реНрдердкреВрд░реНрдг рдмрд╛рдпрдирд░реА рдирд┐рд░реНрдгрдп рдШреЗрдгреНрдпрд╛рд╕рд╛рдареА рдореЛрдареНрдпрд╛ рдкреНрд░рдорд╛рдгрд╛рд╡рд░ рд╡рд╛рдкрд░рд▓реЗ рдЬрд╛рддреЗ.
рдореЙрдбреЗрд▓ рдкреЕрд░рд╛рдореАрдЯрд░реНрд╕рдЪрд╛ рдЕрдВрджрд╛рдЬ рдХрдорд╛рд▓ рд╢рдХреНрдпрддрд╛ рдЕрдВрджрд╛рдЬ (MLE) рд╡рд╛рдкрд░реВрди рдХреЗрд▓рд╛ рдЬрд╛рддреЛ. рдкрд░рд┐рдгрд╛рдорд╛рдВрдЪреЗ рд╡рд░реНрдЧреАрдХрд░рдг рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдПрдХ рдереНрд░реЗрд╢реЛрд▓реНрдб рдореВрд▓реНрдп (рд╕рд╛рдорд╛рдиреНрдпрддрдГ 0.5) рд╡рд╛рдкрд░рд▓реЗ рдЬрд╛рддреЗ (рдЬрд░ PтЙе0.5 тЖТ рд╡рд░реНрдЧ 1; рдЬрд░ P<0.5 тЖТ рд╡рд░реНрдЧ 0).
рдмрд╣реБрдкрджреАрдп рд▓реЙрдЬрд┐рд╕реНрдЯрд┐рдХ рд░рд┐рдЧреНрд░реЗрд╢рди рд╣реА рдПрдХ рд╕рд╛рдВрдЦреНрдпрд┐рдХреАрдп рдЖрдгрд┐ рдорд╢реАрди-рд▓рд░реНрдирд┐рдВрдЧ рдкрджреНрдзрдд рдЖрд╣реЗ рдЬреА рд╕реНрд╡рддрдВрддреНрд░ рдЪрд▓рд╛рдВрдЪреНрдпрд╛ рд╕рдВрдЪрд╛рддреАрд▓ (рдкреНрд░рд┐рдбрд┐рдХреНрдЯрд░реНрд╕) рдЖрдгрд┐ рджреЛрдирдкреЗрдХреНрд╖рд╛ рдЬрд╛рд╕реНрдд рд╕рдВрднрд╛рд╡реНрдп рдкрд░рд┐рдгрд╛рдорд╛рдВрд╕рд╣ рдПрдХ рд╢реНрд░реЗрдгреАрдЧрдд рдЕрд╡рд▓рдВрдмрд┐рдд рдЪрд▓ рдпрд╛рдВрдЪреНрдпрд╛рддреАрд▓ рд╕рдВрдмрдВрдз рдореЙрдбреЗрд▓ рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рд╡рд╛рдкрд░рд▓реА рдЬрд╛рддреЗ, рдЬрд┐рдереЗ рд╢реНрд░реЗрдгреАрдВрдордзреНрдпреЗ рдиреИрд╕рд░реНрдЧрд┐рдХ рдХреНрд░рдо рдирд╕рддреЛ.
рдореЙрдбреЗрд▓: рд╡рд░реНрдЧ k рд╕рд╛рдареА:
P(y=kтИгx)=e^w_kтЛЕx / тИСe^w_jтЛЕx рдЬрд┐рдереЗ j=1,2...K
рдХреБрдареЗ: - x = рд╡реИрд╢рд┐рд╖реНрдЯреНрдп рд╡реЗрдХреНрдЯрд░
w_k = рд╡рд░реНрдЧ k рд╕рд╛рдареА рд╡рдЬрди
K = рд╡рд░реНрдЧрд╛рдВрдЪреА рд╕рдВрдЦреНрдпрд╛
рдЕтАНреЕрдкрдордзреНрдпреЗ рдкреНрд░рддреНрдпреЗрдХ рдСрдмреНрдЬреЗрдХреНрдЯ Object_k( object_1, object_2 ... object_m) рд╕реНрд╡рддрдВрддреНрд░ рдЪрд▓ (X_ki тАУ рд╡реИрд╢рд┐рд╖реНрдЯреНрдпреЗ, i = 1...n ) рдЖрдгрд┐ рдПрдХ рдЕрд╡рд▓рдВрдмрд┐рдд рдЪрд▓ (Y_k -target) рджреНрд╡рд╛рд░реЗ рд╡рд░реНрдгрди рдХреЗрд▓реЗ рдЖрд╣реЗ. рд╕рд╣рдЧреБрдгрдХрд╛рдВрдЪреНрдпрд╛ рдЗрд╖реНрдЯрддрдо рдореВрд▓реНрдпрд╛рдВрдЪреА рдЧрдгрдирд╛ рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рд╕рд╛рдорд╛рдиреНрдп рдХрд┐рдорд╛рди рд╡рд░реНрдЧ (OLS) рд╕рд╛рд░рдЦреА рдкрджреНрдзрдд рд╡рд╛рдкрд░рд▓реА рдЬрд╛рддреЗ (beta_0, beta_1, beta_2, ..., beta_n). рд▓рдХреНрд╖реНрдп рдореВрд▓реНрдпрд╛рдЪреА рдЧрдгрдирд╛ рдпрд╛рджреНрд╡рд╛рд░реЗ рдХреЗрд▓реА рдЬрд╛рддреЗ:
Y = beta_0 + beta_01* P_1 + beta_2 *P_2 + ... + beta_n* P_n
рдХреБрдареЗ: P_1, P_2...P_n рд╣реЗ рд▓рдХреНрд╖реНрдпрд╛рдЪреЗ рдкреВрд░реНрд╡рд╕реВрдЪрдХ рдЖрд╣реЗрдд.
рдбреЗрдЯрд╛рдмреЗрд╕ (DB) рдкреНрд░рдХрд╛рд░ SQLite рдордзреАрд▓ рдЕрдиреЗрдХ рд▓реЙрдЬрд┐рд╕реНрдЯрд┐рдХ рд░рд┐рдЧреНрд░реЗрд╢рди рдореЙрдбреЗрд▓реНрд╕рд╕рд╛рдареА AppMultiNomialLogisticRegression.db рдирд╛рд╡рд╛рдЪреНрдпрд╛ рдЕреЕрдкреНрд▓рд┐рдХреЗрд╢рдирдордзреНрдпреЗ рдбреЗрдЯрд╛ рд╕реЗрд╡реНрд╣ рдХреЗрд▓рд╛ рдЬрд╛рддреЛ. рд░рд┐рдЧреНрд░реЗрд╢рди рдореЙрдбреЗрд▓реНрд╕рдирд╛ рдирд╛рд╡рд╛рдиреЗ рд╡реЗрдЧрд│реЗ рдХреЗрд▓реЗ рдЬрд╛рддреЗ.
рдЕтАНреЕрдкреНрд▓рд┐рдХреЗрд╢рдирдЪреА рд╕реНрдЯрд╛рд░реНрдЯрдЕрдк рд╕реНрдХреНрд░реАрди (рдЕтАНреЕрдк рдорд▓реНрдЯреАрдиреЙрдорд┐рдпрд▓ рд▓рд╛рдЗрдирд┐рдпрд░ рд▓реЙрдЬрд┐рд╕реНрдЯрд┐рдХ рд░рд┐рдЧреНрд░реЗрд╢рди рд╕реЙрд▓реНрд╡реНрд╣рд░) рд░рд┐рдЧреНрд░реЗрд╢рди рдореЙрдбреЗрд▓реНрд╕рдЪреНрдпрд╛ рдирдореБрдиреНрдпрд╛рдВрдЪреА рдпрд╛рджреА (рд╕реНрдкрд┐рдирд░ рд▓рд┐рд╕реНрдЯрдордзреНрдпреЗ) рдЖрдгрд┐ рд░рд┐рдЧреНрд░реЗрд╢рди рдореЙрдбреЗрд▓реНрд╕рдЪреЗ рдирдореБрдиреЗ рддрдпрд╛рд░ рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА (рдирд╡реАрди рдирдореБрдирд╛), рд▓реЛрдб (рд▓реЛрдб), рд╕реЗрд╡реНрд╣ (рд╕реЗрд╡реНрд╣), рд╕реЗрд╡реНрд╣ рдореНрд╣рдгреВрди (рд╕реЗрд╡реНрд╣ рдореНрд╣рдгреВрди), рдХреЕрд▓реНрдХреНрдпреБрд▓реЗрдЯ (рдХреЕрд▓реНрдХреНрдпреБрд▓реЗрдЯ) рдЖрдгрд┐ рдбрд┐рд▓реАрдЯ (рдбрд┐рд▓реАрдЯ) рдлрдВрдХреНрд╢рдиреНрд╕ рд╕рдХреНрд╖рдо рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдмрдЯрдгреЗ рдкреНрд░рджрд░реНрд╢рд┐рдд рдХрд░рддреЗ. рдореБрдЦреНрдп рд╕реНрдХреНрд░реАрдирд╡рд░реВрди, рдореЗрдиреВ рдШрдЯрдХрд╛рдВрджреНрд╡рд╛рд░реЗ, рддреБрдореНрд╣реА рднрд╛рд╖рд╛ рдирд┐рд╡рдб, рдбреЗрдЯрд╛рдмреЗрд╕ рд╕реЗрд╡реНрд╣ рдХрд░рдгреЗ рдЖрдгрд┐ рдХреЙрдкреА рдХрд░рдгреЗ, рдирдореБрдирд╛ рдбреЗрдЯрд╛рд╕рд╣ рдбреЗрдЯрд╛рдмреЗрд╕ рд╕реБрд░реВ рдХрд░рдгреЗ рдЖрдгрд┐ рдЕреЕрдкреНрд▓рд┐рдХреЗрд╢рдирд╕рд╛рдареА рдорджрдд, рд╕реЗрдЯрд┐рдВрдЧреНрдЬ рдЖрдгрд┐ рд▓реЗрдЦрдХрд╛рдВрдиреА рд╕рд░реНрд╡ рдЕреЕрдкреНрд▓рд┐рдХреЗрд╢рдиреНрд╕рдЪреНрдпрд╛ рд╡рд░реНрдгрдирд╛рд╕рд╣ рд╡реЗрдмрд╕рд╛рдЗрдЯрдЪреА рд▓рд┐рдВрдХ рдпрд╛рд╕рд╛рд░рдЦреНрдпрд╛ рд╕рд╣рд╛рдпреНрдпрдХ рдлрдВрдХреНрд╢рдиреНрд╕рдордзреНрдпреЗ рджреЗрдЦреАрд▓ рдкреНрд░рд╡реЗрд╢ рдХрд░реВ рд╢рдХрддрд╛.
(рдирд╡реАрди рдирдореБрдирд╛) рддрдпрд╛рд░ рдХрд░рдгреНрдпрд╛рдЪреНрдпрд╛ рдлрдВрдХреНрд╢рдиреНрд╕рдордзреНрдпреЗ рдореЕрдЯреНрд░рд┐рдХреНрд╕рдЪрд╛ рдЖрдХрд╛рд░ рдЗрдирдкреБрдЯ рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдбрд╛рдпрд▓реЙрдЧ рд╕рдорд╛рд╡рд┐рд╖реНрдЯ рдЖрд╣реЗ рдЬрд┐рдереЗ рдирд╡реАрди рдирдореБрдирд╛ рдбреЗрдЯрд╛ рдкреНрд░рд╡рд┐рд╖реНрдЯ рдХреЗрд▓рд╛ рдЬрд╛рддреЛ - рдкрдВрдХреНрддреАрдВрдЪреА рд╕рдВрдЦреНрдпрд╛ (рдЕрдВрджрд╛рдЬрд┐рдд рдбреЗрдЯрд╛рд╕рд╛рдареА рдкрдВрдХреНрддреА рд╕рдорд╛рд╡рд┐рд╖реНрдЯ рдЕрд╕рд▓реЗрд▓реНрдпрд╛ рд╕рдВрдЦреНрдпреЗрдд P_1, P_2...P_nтАУ рд╢реЗрд╡рдЯрдЪреА рдкрдВрдХреНрддреА) рдЖрдгрд┐ рд╕реНрддрдВрднрд╛рдВрдЪреА рд╕рдВрдЦреНрдпрд╛ (рдЕрд╡рд▓рдВрдмрд┐рдд рдбреЗрдЯрд╛рд╕рд╛рдареА рд╕реНрддрдВрдн рд╕рдорд╛рд╡рд┐рд╖реНрдЯ рдЕрд╕рд▓реЗрд▓реНрдпрд╛ рд╕рдВрдЦреНрдпреЗрдд Y_1, Y_2,...Y_kтАУ рд╢реЗрд╡рдЯрдЪрд╛ рд╕реНрддрдВрдн). рдирдВрддрд░ рд╕рдВрдмрдВрдзрд┐рдд рдбреЗрдЯрд╛ рдкреНрд░рд╡рд┐рд╖реНрдЯ рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдЯреЗрдмрд▓ рддрдпрд╛рд░ рдХреЗрд▓реЗ рдЬрд╛рддрд╛рдд. рдкреЙрдкреНрдпреБрд▓реЗрдЯреЗрдб рдЯреЗрдмрд▓рд▓рд╛ рд╕реЗрд╡реНрд╣ рдХрд░рдгреНрдпрд╛рдкреВрд░реНрд╡реА рдирд╛рд╡ рджрд┐рд▓реЗ рдкрд╛рд╣рд┐рдЬреЗ. рдлрдВрдХреНрд╢рди рд▓реЛрдб рдХрд░рд╛ рдЯреЗрдмрд▓ рд╕рд╛рдл рдХрд░рд╛.
рдЬреБрдиреЗ рд╕реЗрд╡реНрд╣ рдХреЗрд▓реЗрд▓реЗ рдЯреЗрдмрд▓ рд╕реНрдкрд┐рдирд░ рд╕реВрдЪреАрдордзреВрди рдирд┐рд╡рдбреВрди рджрд╛рдЦрд╡рд▓реЗ рдЬрд╛рдК рд╢рдХрддреЗ. рджрд╛рдЦрд╡рд▓реЗрд▓реЗ рдЯреЗрдмрд▓ рдореЛрдЬрд▓реЗ рдЬрд╛рдК рд╢рдХрддреЗ рдЖрдгрд┐ рдЙрдкрд╛рдп рдбрд╛рдпрд▓реЙрдЧ рдЕреЕрдк рдирд┐рдХрд╛рд▓рд╛рдВрдордзреНрдпреЗ рджрд┐рд╕рддрд╛рдд. рдкреНрд░рд┐рдВрдЯ рдлрдВрдХреНрд╢рди AppMultipleLogisticRegressionSolver.txt рдлрд╛рдЗрд▓рдордзреАрд▓ рдпрд╛ рдбрд╛рдпрд▓реЙрдЧрдордзреВрди рдХрд╛рд░реНрдпрд╛рдиреНрд╡рд┐рдд рдХреЗрд▓реЗ рдЬрд╛рдК рд╢рдХрддреЗ. рдкреНрд░рд┐рдВрдЯ рд╕рдорд╛рд╡рд┐рд╖реНрдЯ рдХреНрд░рд┐рдпрд╛рдХрд▓рд╛рдк рд╕реЗрд╡реНрд╣ Db/рд╕реЗрд╡реНрд╣ рдлрд╛рдЗрд▓ рдирд┐рд╡рдбрд▓реЗрд▓реНрдпрд╛ рдлреЛрд▓реНрдбрд░рджреНрд╡рд╛рд░реЗ рдирд┐рд╡рдбрд▓реЗ рдЬрд╛рддреЗ рдЬрд┐рдереЗ рдлрд╛рдЗрд▓ рд╕реЗрд╡реНрд╣ рдХрд░рд╛рдпрдЪреА рдЖрд╣реЗ. рдлреЛрд▓реНрдбрд░ рдирд┐рд╡рдбрд▓реНрдпрд╛рдирдВрддрд░ рд╕реЗрд╡реНрд╣ рдХрд░рдгреНрдпрд╛рд╕рд╛рдареА рдмрдЯрдг рджрд┐рд╕рддреЗ. рддреНрдпрд╛рдЪ рдХреНрд░рд┐рдпрд╛рдХрд▓рд╛рдкрд╛рддреВрди рдирд┐рд╡рдбрд▓реЗрд▓реНрдпрд╛ рдлрд╛рдЗрд▓рдЪреА рд╕рд╛рдордЧреНрд░реА рджрд░реНрд╢рд╡рд┐рд▓реА рдЬрд╛рдК рд╢рдХрддреЗ рдЖрдгрд┐ рдирд┐рд╡рдбрд▓реЗрд▓реА рдлрд╛рдЗрд▓ рд╣рдЯрд╡рдгреНрдпрд╛рд╕рд╛рдареА рджреЗрдЦреАрд▓.
рдпрд╛ рд░реЛрдЬреА рдЕрдкрдбреЗрдЯ рдХреЗрд▓реЗ
резрек рдПрдкреНрд░рд┐, реирежреирем