Data Science. Π’Π΅ΡΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅, Π½Π°ΡΡΡΠΎΠΉΠΊΠ°, Π΄ΠΎΡΠ°Π±ΠΎΡΠΊΠ° ΡΡΡΠ΅ΡΡΠ²ΡΡΡΠ΅Π³ΠΎ ΠΏΡΠΎΠ΄ΡΠΊΡΠ°. ΠΠ°Π·Π²Π°Π½ΠΈΠ΅ Π²Π°ΠΊΠ°Π½ΡΠΈΠΈ: NLP-ΠΈΠ½ΠΆΠ΅Π½Π΅Ρ (Domain-Specific, ΠΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΡ ΡΠ΅ΠΊΡΡΠΎΠ²) Π ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ: ΠΠ°ΡΠ° ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΡ ΡΠ°Π·ΡΠ°Π±Π°ΡΡΠ²Π°Π΅Ρ ΠΏΠ΅ΡΠ΅Π΄ΠΎΠ²ΡΠ΅ ΠΈΠ½ΡΠ΅Π»Π»Π΅ΠΊΡΡΠ°Π»ΡΠ½ΡΠ΅ ΡΠΈΡΡΠ΅ΠΌΡ Π΄Π»Ρ ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ°ΡΠΈΠΈ ΡΠ°Π±ΠΎΡΡ Ρ Π΄Π°Π½Π½ΡΠΌΠΈ Π² Π½Π΅ΡΡΠ΅Π³Π°Π·ΠΎΠ²ΠΎΠΉ ΠΎΡΡΠ°ΡΠ»ΠΈ. ΠΡ ΡΠΎΠ·Π΄Π°Π΅ΠΌ ΠΏΡΠΎΠ΄ΡΠΊΡΡ, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΠΎΠΌΠΎΠ³Π°ΡΡ ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡΠ°ΠΌ ΠΏΡΠΈΠ½ΠΈΠΌΠ°ΡΡ ΡΠΎΡΠ½ΡΠ΅ ΠΈ ΠΎΠ±ΠΎΡΠ½ΠΎΠ²Π°Π½Π½ΡΠ΅ ΡΠ΅ΡΠ΅Π½ΠΈΡ. Π ΠΏΡΠΎΠ΄ΡΠΊΡΠ΅: ΠΡ Π±ΡΠ΄Π΅ΡΠ΅ ΡΠ°Π±ΠΎΡΠ°ΡΡ Π½Π°Π΄ ΠΊΠ»ΡΡΠ΅Π²ΡΠΌ ΡΠ»Π΅ΠΌΠ΅Π½ΡΠΎΠΌ Π½Π°ΡΠ΅ΠΉ ΠΏΠ»Π°ΡΡΠΎΡΠΌΡ β Β«Π‘Π΅ΠΌΠ°Π½ΡΠΈΡΠ΅ΡΠΊΠΈΠΌ ΡΠΎΡΡΠ΅ΡΠΎΠΌΒ». ΠΡΠΎ Π²ΡΡΠΎΠΊΠΎΠ½Π°Π³ΡΡΠΆΠ΅Π½Π½ΡΠΉ ΠΌΠΈΠΊΡΠΎΡΠ΅ΡΠ²ΠΈΡ, ΠΊΠΎΡΠΎΡΡΠΉ Π² ΡΠ΅Π°Π»ΡΠ½ΠΎΠΌ Π²ΡΠ΅ΠΌΠ΅Π½ΠΈ Π°Π½Π°Π»ΠΈΠ·ΠΈΡΡΠ΅Ρ ΠΈ ΠΊΠ»Π°ΡΡΠΈΡΠΈΡΠΈΡΡΠ΅Ρ ΡΠ΅ΠΊΡΡΠΎΠ²ΡΠ΅ Π·Π°ΠΏΡΠΎΡΡ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Π΅ΠΉ Π΄Π»Ρ ΠΈΡ
Π΄Π°Π»ΡΠ½Π΅ΠΉΡΠ΅ΠΉ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠΈ ΡΠ»ΠΎΠΆΠ½ΡΠΌΠΈ ΡΠΈΡΡΠ΅ΠΌΠ°ΠΌΠΈ ΠΏΠΎΠΈΡΠΊΠ° ΠΈ AI. ΠΠ°Π΄Π°ΡΠ°: ΠΡΠΎΠ²Π΅ΡΡΠΈ Π³Π»ΡΠ±ΠΎΠΊΠΈΠΉ Π°Π½Π°Π»ΠΈΠ· ΠΈ ΠΏΠΎΠ»Π½ΡΠΉ ΡΠ΅Π΄ΠΈΠ·Π°ΠΉΠ½ ΡΠΈΡΡΠ΅ΠΌΡ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ Π·Π°ΠΏΡΠΎΡΠΎΠ². ΠΠ°Ρ ΡΠ΅ΠΊΡΡΠΈΠΉ MVP-ΠΏΠΎΠ΄Ρ
ΠΎΠ΄ Ρ 4 ΠΊΠ»Π°ΡΡΠ°ΠΌΠΈ ΠΏΠΎΠΊΠ°Π·Π°Π» ΡΠΎΡΠ½ΠΎΡΡΡ Π½Π° ΠΆΠΈΠ²ΡΡ
Π΄Π°Π½Π½ΡΡ
~34%, Π² ΡΠΎ Π²ΡΠ΅ΠΌΡ ΠΊΠ°ΠΊ Π½Π° ΡΠ΅ΡΡΠΎΠ²ΡΡ
Π΄Π°Π½Π½ΡΡ
ΠΎΠ½Π° Π΄ΠΎΡΡΠΈΠ³Π°Π΅Ρ 97%. ΠΠ°ΡΠ° Π·Π°Π΄Π°ΡΠ° β Π·Π°ΠΊΡΡΡΡ ΡΡΠΎΡ ΡΠ°Π·ΡΡΠ², ΡΠΏΡΠΎΠ΅ΠΊΡΠΈΡΠΎΠ²Π°Π² ΠΈ Π²Π½Π΅Π΄ΡΠΈΠ² Π½ΠΎΠ²ΡΡ, Π΄Π΅ΡΠ°Π»ΠΈΠ·ΠΈΡΠΎΠ²Π°Π½Π½ΡΡ ΡΠΈΡΡΠ΅ΠΌΡ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ, ΡΡΠΈΡΡΠ²Π°ΡΡΡΡ Π²ΡΡ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΡ ΠΈ ΡΠΏΠ΅ΡΠΈΡΠΈΠΊΡ ΠΏΡΠ΅Π΄ΠΌΠ΅ΡΠ½ΠΎΠΉ ΠΎΠ±Π»Π°ΡΡΠΈ. Π§Π΅ΠΌ ΠΏΡΠ΅Π΄ΡΡΠΎΠΈΡ Π·Π°Π½ΠΈΠΌΠ°ΡΡΡΡ: * ΠΡΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ Π°Π½Π°Π»ΠΈΠ·Π° ΡΠ΅Π°Π»ΡΠ½ΡΡ
ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΡΡΠΊΠΈΡ
Π·Π°ΠΏΡΠΎΡΠΎΠ² Π΄Π»Ρ Π²ΡΡΠ²Π»Π΅Π½ΠΈΡ ΠΏΠ°ΡΡΠ΅ΡΠ½ΠΎΠ², ΠΈΠ½ΡΠ΅Π½ΡΠΎΠ² ΠΈ ΡΠΏΠ΅ΡΠΈΡΠΈΡΠ΅ΡΠΊΠΎΠΉ ΡΠ΅ΡΠΌΠΈΠ½ΠΎΠ»ΠΎΠ³ΠΈΠΈ. * Π Π°Π·ΡΠ°Π±ΠΎΡΠΊΠ° ΠΈΠ΅ΡΠ°ΡΡ
ΠΈΡΠ΅ΡΠΊΠΎΠΉ (ΠΌΠ½ΠΎΠ³ΠΎΡΡΠΎΠ²Π½Π΅Π²ΠΎΠΉ) ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΎΠ½Π½ΠΎΠΉ ΡΡ
Π΅ΠΌΡ ΠΈ Π΄ΠΎΠΌΠ΅Π½Π½ΠΎΠΉ ΠΎΠ½ΡΠΎΠ»ΠΎΠ³ΠΈΠΈ Π΄Π»Ρ Π½Π΅ΡΡΠ΅Π³Π°Π·ΠΎΠ²ΠΎΠΉ ΠΎΡΡΠ°ΡΠ»ΠΈ. * Π‘ΠΎΠ·Π΄Π°Π½ΠΈΠ΅ ΠΈ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ NLP/NLU Π΄Π»Ρ ΡΠΎΡΠ½ΠΎΠ³ΠΎ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΡ Π½Π°ΠΌΠ΅ΡΠ΅Π½ΠΈΠΉ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ (Intent Classification) ΠΈ ΠΈΠ·Π²Π»Π΅ΡΠ΅Π½ΠΈΡ ΡΡΡΠ½ΠΎΡΡΠ΅ΠΉ (NER). * Π Π°Π·ΡΠ°Π±ΠΎΡΠΊΠ° Π°Π»Π³ΠΎΡΠΈΡΠΌΠΎΠ² Π΄Π»Ρ ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠΈ ΠΊΠΎΠΌΠ±ΠΈΠ½ΠΈΡΠΎΠ²Π°Π½Π½ΡΡ
ΠΈ Π½Π΅ΠΎΠ΄Π½ΠΎΠ·Π½Π°ΡΠ½ΡΡ
Π·Π°ΠΏΡΠΎΡΠΎΠ². * ΠΠ½ΡΠ΅Π³ΡΠ°ΡΠΈΡ Π½ΠΎΠ²ΡΡ
ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ Π² ΡΡΡΠ΅ΡΡΠ²ΡΡΡΡΡ production-ΡΠΈΡΡΠ΅ΠΌΡ, ΠΎΠ±Π΅ΡΠΏΠ΅ΡΠ΅Π½ΠΈΠ΅ ΠΎΠ±ΡΠ°ΡΠ½ΠΎΠΉ ΡΠΎΠ²ΠΌΠ΅ΡΡΠΈΠΌΠΎΡΡΠΈ ΠΈ ΠΌΠΎΠ½ΠΈΡΠΎΡΠΈΠ½Π³ ΠΊΠ°ΡΠ΅ΡΡΠ²Π°. * ΠΠΎΡΡΠΎΡΠ½Π½Π°Ρ ΡΠ°Π±ΠΎΡΠ° Π½Π°Π΄ ΡΠ»ΡΡΡΠ΅Π½ΠΈΠ΅ΠΌ ΠΌΠ΅ΡΡΠΈΠΊ ΡΠΎΡΠ½ΠΎΡΡΠΈ ΠΈ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»ΡΡΠΊΠΎΠ³ΠΎ ΠΎΠΏΡΡΠ°. ΠΡ ΠΈΡΠ΅ΠΌ ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡΠ°, ΠΊΠΎΡΠΎΡΡΠΉ ΠΈΠΌΠ΅Π΅Ρ: * ΠΠΏΡΡ ΡΠ°Π±ΠΎΡΡ Π² ΠΎΠ±Π»Π°ΡΡΠΈ NLP/NLU ΠΎΡ 2-Ρ
Π»Π΅Ρ. * Π£Π²Π΅ΡΠ΅Π½Π½ΡΠ΅ Π·Π½Π°Π½ΠΈΡ ΠΈ ΠΏΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΠΈΠΉ ΠΎΠΏΡΡ ΡΠ°Π±ΠΎΡΡ Ρ Python ΠΈ ΠΎΡΠ½ΠΎΠ²Π½ΡΠΌΠΈ Π±ΠΈΠ±Π»ΠΈΠΎΡΠ΅ΠΊΠ°ΠΌΠΈ (Transformers, spaCy, NLTK, Scikit-learn ΠΈ Ρ.Π΄.). * ΠΠΏΡΡ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ ΠΈ ΡΠΎΠ½ΠΊΠΎΠΉ Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ (fine-tuning) ΡΠ·ΡΠΊΠΎΠ²ΡΡ
ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ (BERT/RoBERTa ΠΈ Π°Π½Π°Π»ΠΎΠ³ΠΈ). * ΠΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΠ΅ Π·Π°Π΄Π°Ρ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ ΡΠ΅ΠΊΡΡΠΎΠ², ΠΈΠ·Π²Π»Π΅ΡΠ΅Π½ΠΈΡ ΡΡΡΠ½ΠΎΡΡΠ΅ΠΉ (NER), ΡΠ°Π±ΠΎΡΡ Ρ ΠΎΠ½ΡΠΎΠ»ΠΎΠ³ΠΈΡΠΌΠΈ ΠΈ ΡΠ°ΠΊΡΠΎΠ½ΠΎΠΌΠΈΡΠΌΠΈ. * ΠΠΏΡΡ ΡΠ°Π±ΠΎΡΡ Ρ ΡΠ΅Π°Π»ΡΠ½ΡΠΌΠΈ production-Π΄Π°Π½Π½ΡΠΌΠΈ (ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠ° Π½Π΅ΡΠ±Π°Π»Π°Π½ΡΠΈΡΠΎΠ²Π°Π½Π½ΡΡ
Π²ΡΠ±ΠΎΡΠΎΠΊ, ΡΠ°Π±ΠΎΡΠ° Ρ ΡΡΠΌΠΎΠΌ, ΠΎΠΏΠ΅ΡΠ°ΡΠΊΠ°ΠΌΠΈ). * Π‘ΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡΡ ΠΊ Π³Π»ΡΠ±ΠΎΠΊΠΎΠΌΡ Π°Π½Π°Π»ΠΈΠ·Ρ ΠΈ ΡΠΈΡΡΠ΅ΠΌΠ½ΠΎΠΌΡ ΠΌΡΡΠ»Π΅Π½ΠΈΡ. ΠΡΠ΄Π΅Ρ ΠΎΠ³ΡΠΎΠΌΠ½ΡΠΌ ΠΏΠ»ΡΡΠΎΠΌ: * ΠΠΏΡΡ ΡΠ°Π±ΠΎΡΡ ΡΠΎ ΡΠΏΠ΅ΡΠΈΡΠΈΡΠ΅ΡΠΊΠΈΠΌΠΈ ΠΏΡΠ΅Π΄ΠΌΠ΅ΡΠ½ΡΠΌΠΈ ΠΎΠ±Π»Π°ΡΡΡΠΌΠΈ (domain-specific NLP): ΠΌΠ΅Π΄ΠΈΡΠΈΠ½Π°, ΡΡΠΈΡΠΏΡΡΠ΄Π΅Π½ΡΠΈΡ, Π½Π΅ΡΡΠ΅Π³Π°Π·ΠΎΠ²Π°Ρ/Π³Π΅ΠΎΠ»ΠΎΠ³ΠΎΡΠ°Π·Π²Π΅Π΄ΠΎΡΠ½Π°Ρ ΠΎΡΡΠ°ΡΠ»Ρ ΠΈ Ρ.Π΄. * ΠΠ½Π°Π½ΠΈΠ΅ ΠΎΡΠ½ΠΎΠ² Π»ΠΈΠ½Π³Π²ΠΈΡΡΠΈΠΊΠΈ. * ΠΠΏΡΡ ΡΠ°Π±ΠΎΡΡ Ρ Π²Π΅ΠΊΡΠΎΡΠ½ΡΠΌΠΈ ΠΈ Π³ΡΠ°ΡΠΎΠ²ΡΠΌΠΈ Π±Π°Π·Π°ΠΌΠΈ Π΄Π°Π½Π½ΡΡ
. * ΠΠ°Π²ΡΠΊΠΈ ΡΠ°Π±ΠΎΡΡ Ρ Docker, Kubernetes, ΡΠΈΡΡΠ΅ΠΌΠ°ΠΌΠΈ ΠΌΠΎΠ½ΠΈΡΠΎΡΠΈΠ½Π³Π° ML-ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ. ΠΡ ΠΏΡΠ΅Π΄Π»Π°Π³Π°Π΅ΠΌ: * ΠΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ ΡΠ΅ΡΠΈΡΡ ΡΠ»ΠΎΠΆΠ½ΡΡ ΠΈ ΠΈΠ½ΡΠ΅ΡΠ΅ΡΠ½ΡΡ Π·Π°Π΄Π°ΡΡ Ρ ΠΎΠ³ΡΠΎΠΌΠ½ΡΠΌ impact Π½Π° ΠΊΠΎΠ½Π΅ΡΠ½ΡΠΉ ΠΏΡΠΎΠ΄ΡΠΊΡ. * Π Π°Π±ΠΎΡΡ Π² ΠΊΠΎΠΌΠ°Π½Π΄Π΅ ΡΠΊΡΠΏΠ΅ΡΡΠΎΠ², Π³Π΄Π΅ Π²Π°ΡΠ΅ ΠΌΠ½Π΅Π½ΠΈΠ΅ Π±ΡΠ΄Π΅Ρ ΠΊΠ»ΡΡΠ΅Π²ΡΠΌ. * Π‘ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΡΠΉ ΡΠ΅Ρ
Π½ΠΎΠ»ΠΎΠ³ΠΈΡΠ΅ΡΠΊΠΈΠΉ ΡΡΠ΅ΠΊ ΠΈ ΠΏΠΎΠ»Π½ΡΠΉ ΡΠΈΠΊΠ» ΡΠ΅Π°Π»ΠΈΠ·Π°ΡΠΈΠΈ ΡΠ²ΠΎΠΈΡ
ΠΈΠ΄Π΅ΠΉ β ΠΎΡ Π°Π½Π°Π»ΠΈΠ·Π° Π΄ΠΎ Π²Π½Π΅Π΄ΡΠ΅Π½ΠΈΡ Π² ΠΏΡΠΎΠ΄Π°ΠΊΡΠ΅Π½. * ΠΠΎΠ½ΠΊΡΡΠ΅Π½ΡΠ½ΡΡ Β«Π±Π΅Π»ΡΡΒ» Π·Π°ΡΠ°Π±ΠΎΡΠ½ΡΡ ΠΏΠ»Π°ΡΡ, Π³ΠΈΠ±ΠΊΠΈΠΉ Π³ΡΠ°ΡΠΈΠΊ ΠΈ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ ΡΠ΄Π°Π»Π΅Π½Π½ΠΎΠΉ ΡΠ°Π±ΠΎΡΡ. * ΠΠΎΡΠΏΠΎΡΠ°ΡΠΈΠ²Π½ΡΠΉ ΠΠΠ‘ ΠΈ Π΄ΡΡΠ³ΠΈΠ΅ Π±Π΅Π½Π΅ΡΠΈΡΡ. ΠΠ»ΡΡΠ΅Π²ΡΠ΅ ΠΌΠ΅ΡΡΠΈΠΊΠΈ Π²Π°ΡΠ΅Π³ΠΎ ΡΡΠΏΠ΅Ρ
Π°: * ΠΠΎΠ²ΡΡΠ΅Π½ΠΈΠ΅ ΡΠΎΡΠ½ΠΎΡΡΠΈ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ Π½Π° ΠΆΠΈΠ²ΡΡ
Π΄Π°Π½Π½ΡΡ
Ρ 34% Π΄ΠΎ 85%+. * Π‘Π½ΠΈΠΆΠ΅Π½ΠΈΠ΅ Π΄ΠΎΠ»ΠΈ Π½Π΅ΠΎΠ±ΡΠ°Π±ΠΎΡΠ°Π½Π½ΡΡ
Π·Π°ΠΏΡΠΎΡΠΎΠ² Π΄ΠΎ ≤5%. ΠΠΎΡΠΎΠ²Ρ ΡΡΠ°ΡΡ Π½Π°ΡΠΈΠΌ ΡΠΊΡΠΏΠ΅ΡΡΠΎΠΌ Π² ΠΎΠ±Π»Π°ΡΡΠΈ NLP? ΠΡΠΊΠ»ΠΈΠΊΠ°ΠΉΡΠ΅ΡΡ Π½Π° Π²Π°ΠΊΠ°Π½ΡΠΈΡ!.