ΠΠΎΠΆΠ΅Π»Π°Π½ΠΈΡ ΠΈ ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎΡΡΠΈ: ΠΠ΄ΡΠ°Π²ΡΡΠ²ΡΠΉΡΠ΅. ΠΡΡ ΡΠ΅ΠΏΠ΅ΡΠΈΡΠΎΡΠ° ΠΏΠΎ deep learning ΠΈ NLP Π΄Π»Ρ ΡΠΈΡΡΠ΅ΠΌΠ½ΠΎΠΉ ΠΏΠΎΠ΄Π³ΠΎΡΠΎΠ²ΠΊΠΈ ΠΏΠΎΠ΄ ΠΊΠΎΠ½ΠΊΡΠ΅ΡΠ½ΡΡ ΡΠ΅Π»Ρ. Π‘ΡΠ°Π·Ρ Π²Π°ΠΆΠ½ΠΎΠ΅. ΠΠ±ΡΠΈΠΉ ΠΊΡΡΡ ΠΏΠΎ Data Science ΠΌΠ½Π΅ Π½Π΅ Π½ΡΠΆΠ΅Π½. ΠΡΠΆΠ½Π° Π³Π»ΡΠ±ΠΈΠ½Π° Π² ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ΅ΡΠ°Ρ
, ΠΎΠ±ΡΡΠ΅Π½ΠΈΠΈ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΈ ΠΌΠ°ΡΠ΅ΠΌΠ°ΡΠΈΠΊΠ΅ ΠΏΠΎΠ΄ Π½ΠΈΠΌΠΈ. Π ΡΠ΅Π±Π΅. Π‘ΡΡΠ΄Π΅Π½Ρ Π ΠΠ£ ΠΈΠΌ. ΠΠ»Π΅Ρ
Π°Π½ΠΎΠ²Π°, Π²ΡΠΏΡΡΠΊ 2027. Π Π°Π±ΠΎΡΠ°Ρ AI-ΠΈΠ½ΠΆΠ΅Π½Π΅ΡΠΎΠΌ Π½Π° ΡΡΠ°ΠΆΠΈΡΠΎΠ²ΠΊΠ΅, Π·Π°Π½ΠΈΠΌΠ°ΡΡΡ LLM-Π°Π³Π΅Π½ΡΠ°ΠΌΠΈ, RAG ΠΈ Π΄ΠΎΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ΠΌ ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ΅ΡΠΎΠ². ΠΠ· ΠΏΡΠΎΠ΅ΠΊΡΠΎΠ² β Π°Π³Π΅Π½Ρ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠΈ Π±Π°Π½ΠΊΠ° Π½Π° RuBERT Ρ RAG Π½Π° pgvector, ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΡΠΉ BPE-ΡΠΎΠΊΠ΅Π½ΠΈΠ·Π°ΡΠΎΡ ΠΈ pretrain ΠΌΠΈΠ½ΠΈ-Llama Ρ Π½ΡΠ»Ρ Π½Π° ΡΡΡΡΠΊΠΎΠΌ ΠΊΠΎΡΠΏΡΡΠ΅, SFT ΠΏΠΎΠ²Π΅ΡΡ
Qwen, Π°Π³Π΅Π½ΡΡΠΊΠ°Ρ ΡΠΈΡΡΠ΅ΠΌΠ° Ρ Ρ
Π°ΠΊΠ°ΡΠΎΠ½Π° ΠΠ’Π‘ Π½Π° Π»ΠΎΠΊΠ°Π»ΡΠ½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ. ΠΡΡ Π»Π΅ΠΆΠΈΡ Π½Π° github.com/ahiokk, Π² ΠΊΠ°ΠΆΠ΄ΠΎΠΌ README ΠΌΠ΅ΡΡΠΈΠΊΠΈ ΠΈ ΡΠ°Π·Π±ΠΎΡ Π³ΡΠ°Π±Π»Π΅ΠΉ. ΠΡΠΎΡΡ ΠΏΠΎΡΠΌΠΎΡΡΠ΅ΡΡ Π΄ΠΎ ΠΏΠ΅ΡΠ²ΠΎΠΉ Π²ΡΡΡΠ΅ΡΠΈ, ΡΠ°ΠΊ ΡΡΠΎΠ²Π΅Π½Ρ Π±ΡΠ΄Π΅Ρ ΠΏΠΎΠ½ΡΡΠ½Π΅Π΅. ΠΠ΄Π΅ ΠΏΡΠΎΠ±Π»Π΅ΠΌΠ°. ΠΡΠ°ΠΊΡΠΈΠΊΠ° ΡΡΠ»Π° ΡΠΈΠ»ΡΠ½ΠΎ Π²ΠΏΠ΅ΡΡΠ΄ ΡΠ΅ΠΎΡΠΈΠΈ. Π― ΡΠΌΠ΅Ρ ΡΠΎΠ±ΡΠ°ΡΡ ΠΈ ΠΎΠ±ΡΡΠΈΡΡ, Π½ΠΎ ΠΏΠ»ΠΎΡ
ΠΎ ΠΎΠ±ΡΡΡΠ½ΡΡ, ΠΏΠΎΡΠ΅ΠΌΡ ΠΎΠ½ΠΎ ΡΡΡΡΠΎΠ΅Π½ΠΎ ΠΈΠΌΠ΅Π½Π½ΠΎ ΡΠ°ΠΊ, ΠΈ ΡΠ°ΡΡΠΎ ΠΏΠΎΠ΄Π±ΠΈΡΠ°Ρ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ ΠΏΠΎ ΡΡΠΉΠΊΠ΅, Π° Π½Π΅ ΠΏΠΎ ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΡ. Π§ΡΠΎ Ρ
ΠΎΡΡ Π·Π°ΠΊΡΡΡΡ. (ΠΡΠΈΠΌΠ΅ΡΡ) 1. ΠΡΡ
ΠΈΡΠ΅ΠΊΡΡΡΠ° ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ΅ΡΠ° ΡΠ΅Π»ΠΈΠΊΠΎΠΌ. Attention ΠΈ multi-head, ΠΏΠΎΠ·ΠΈΡΠΈΠΎΠ½Π½ΡΠ΅ ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠΈ, KV-ΠΊΡΡ, Π·Π°ΡΠ΅ΠΌ Π² ΡΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΡΡ
LLM SwiGLU Π²ΠΌΠ΅ΡΡΠΎ ReLU ΠΈ RMSNorm Π²ΠΌΠ΅ΡΡΠΎ LayerNorm. 2. ΠΠΎΡΠΌΠ°Π»ΠΈΠ·Π°ΡΠΈΡ ΠΈ ΡΡΠ°Π±ΠΈΠ»ΡΠ½ΠΎΡΡΡ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ. BatchNorm ΠΏΡΠΎΡΠΈΠ² LayerNorm, pre-norm ΠΈ post-norm, ΡΡΠΎ ΠΏΡΠΎΠΈΡΡ
ΠΎΠ΄ΠΈΡ Π½Π° ΠΈΠ½ΡΠ΅ΡΠ΅Π½ΡΠ΅. 3. ΠΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΡ. ΠΡΠ°Π΄ΠΈΠ΅Π½ΡΡ ΠΈ ΠΈΡ
Π·Π°ΡΡΡ
Π°Π½ΠΈΠ΅, learning rate ΠΈ ΡΠ°Π·ΠΎΠ³ΡΠ΅Π², ΠΈΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·Π°ΡΠΈΡ Π²Π΅ΡΠΎΠ², ΡΠΌΠ΅ΡΠ°Π½Π½Π°Ρ ΡΠΎΡΠ½ΠΎΡΡΡ. 4. ΠΠΎΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅. ΠΠΎΠ»Π½ΡΠΉ ΡΠ°ΠΉΠ½ΡΡΠ½ ΠΏΡΠΎΡΠΈΠ² LoRA, ΡΡΠΎ ΡΠ΅Π°Π»ΡΠ½ΠΎ ΠΏΡΠΎΠΈΡΡ
ΠΎΠ΄ΠΈΡ Ρ Π²Π΅ΡΠ°ΠΌΠΈ, ΠΊΠ°ΠΊ Π²ΡΠ±ΠΈΡΠ°ΡΡ ΡΠ°Π½Π³ ΠΈ alpha, ΠΊΠ°ΡΠ°ΡΡΡΠΎΡΠΈΡΠ΅ΡΠΊΠΎΠ΅ Π·Π°Π±ΡΠ²Π°Π½ΠΈΠ΅. 5. ΠΠ°ΡΠ΅ΠΌΠ°ΡΠΈΠΊΠ° ΠΏΠΎΠ΄ Π²ΡΡ ΡΡΠΎ. ΠΠΈΠ½Π°Π», ΠΌΠ°ΡΠ°Π½ ΠΈ ΡΠ΅ΠΎΡΠ²Π΅Ρ Π² ΡΠΎΠΌ ΠΎΠ±ΡΡΠΌΠ΅, ΡΡΠΎΠ±Ρ Π²ΡΠ²ΠΎΠ΄ΠΈΡΡ, Π° Π½Π΅ Π·Π°ΠΏΠΎΠΌΠΈΠ½Π°ΡΡ. Π‘ΠΏΠΈΡΠΎΠΊ Π½Π΅ ΡΠΈΠ½Π°Π»ΡΠ½ΡΠΉ. Π§Π°ΡΡΡ ΠΏΡΠΎΠ±Π΅Π»ΠΎΠ² Ρ, ΡΠΊΠΎΡΠ΅Π΅ Π²ΡΠ΅Π³ΠΎ, ΡΠ°ΠΌ Π½Π΅ Π²ΠΈΠΆΡ, ΠΏΠΎΡΡΠΎΠΌΡ ΠΈ ΠΏΡΠΎΡΡ Π²Π½Π΅ΡΠ½ΡΡ ΠΎΡΠ΅Π½ΠΊΡ. Π§ΡΠΎ Ρ
ΠΎΡΡ ΠΎΡ Π²Π°Ρ. Π‘Π½Π°ΡΠ°Π»Π° Π΄ΠΈΠ°Π³Π½ΠΎΡΡΠΈΠΊΡ. ΠΡΠΎΠ³ΠΎΠ½ΠΈΡΠ΅ ΠΌΠ΅Π½Ρ ΠΏΠΎ Π±Π°Π·Π΅ ΠΈ ΡΠΊΠ°ΠΆΠΈΡΠ΅ ΠΏΡΡΠΌΠΎ, Π³Π΄Π΅ ΡΡΠΎΠ²Π΅Π½Ρ ΠΏΡΠΎΡΠ΅Π΄Π°Π΅Ρ. ΠΠ°Π»ΡΡΠ΅ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΡ ΠΏΠΎΠ΄ ΡΠ΅Π»Ρ, Ρ Π΄ΠΎΠΌΠ°ΡΠΊΠ°ΠΌΠΈ ΠΈ ΡΠΏΡΠΎΡΠΎΠΌ Π·Π° Π½ΠΈΡ
. ΠΡΡΡΠΊΠΈΠΉ ΡΠΎΡΠΌΠ°Ρ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄ΠΈΡ, ΠΊ Π½Π°Π³ΡΡΠ·ΠΊΠ΅ Π³ΠΎΡΠΎΠ²! Π¦Π΅Π»Ρ. ΠΠΎΠ·ΠΈΡΠΈΡ junior ΠΈΠ»ΠΈ middle AI-ΠΈΠ½ΠΆΠ΅Π½Π΅ΡΠ° Π² Π‘Π±Π΅ΡΠ΅, Π½Π°ΠΏΡΠ°Π²Π»Π΅Π½ΠΈΠ΅ NLP ΠΈ LLM. ΠΡΠΈΠ΅Π½ΡΠΈΡΡΡΡΡ Π·Π° 10 ΠΌΠ΅ΡΡΡΠ΅Π². ΠΡΠ³Π°Π½ΠΈΠ·Π°ΡΠΈΡ. ΠΠ½Π»Π°ΠΉΠ½, 1-2 ΡΠ°Π·Π° Π² Π½Π΅Π΄Π΅Π»Ρ ΠΏΠΎ 1-2 ΡΠ°ΡΠ°. ΠΠ°ΠΏΠΈΡΠΈΡΠ΅, ΠΏΠΎΠΆΠ°Π»ΡΠΉΡΡΠ°, Π΅ΡΡΡ Π»ΠΈ Ρ Π²Π°Ρ ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΡΠΉ ΠΎΠΏΡΡ ΡΠ°Π±ΠΎΡΡ Ρ ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ΅ΡΠ°ΠΌΠΈ ΠΈ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ΠΌ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ, ΡΡΠΎΠΈΠΌΠΎΡΡΡ Π·Π°Π½ΡΡΠΈΡ, Π½Π°Π»ΠΈΡΠΈΠ΅ ΡΠ»ΠΎΡΠΎΠ² ΠΈ ΠΊΠ°ΠΊ ΠΏΡΠΎΡ
ΠΎΠ΄ΠΈΡ ΠΏΠ΅ΡΠ²ΠΎΠ΅ Π·Π°Π½ΡΡΠΈΠ΅.