В этой статье пойдет речь об одной из самых сложных и интересных архитектур — трансформере, лежащей в основе современных моделей от OpenAI и Google DeepMind. И это не научпоп для обывателя с наивным уровнем объяснения, а полноценный учебный материал, который поможет вам понять работу трансформера на фундаментальном уровне без черных ящиков типа TensorFlow и Pytorch.А для того чтобы лучше вникнуть, давайте напишем настоящий мини-трансформер на процедурном Python и обучим его!Данный материал можно изучать в разных режимах: * Как объяснение архитектуры для общего представления; * Как полноценный гайд с чтением кода и самостоятельной практикой; * Как основу для собственных экспериментов.Вы сами можете выбрать тот режим, который нужен для ваших целей на данный момент.Наш трансформер будет довольно простым: со статическим графом и одноблочными энкодером и декодером. Сам код написан в парадигме процедурного программирования (за исключением некоторых модулей) и может быть прочитан на любом уровне и без знания ООП. И все же это будет полноценный обучаемый трансформер с мультиголовым вниманием, батчами данных, параллельным вычислением и множеством параметров.Для закрепления материала, выполните Домашнее задание, которое ждет вас в конце статьи. Напишем трансформер!

Если дедлайн плавающий или его нет, обучение и пет-проекты превращаются в вечный «черновик»: сегодня читаешь доки, завтра переписываешь пример, послезавтра думаешь про идеальную архитектуру. Это нормальный творческий процесс - пока не заметишь, что за месяц у тебя так и нет ничего, что можно запустить и показать.Когда я проходил AI Advent Challenge этот режим прокрастинации сломался: 28 дней подряд у тебя есть ровно сутки. В 10:00 приходит задание, а в 10:00 следующего дня - дедлайн. Поэтому каждый день заканчивается одной из двух вещей: либо у тебя есть работающий кусок, либо ты точно понимаешь, где решение не выдержало и почему. Читать далее

KUALA LUMPUR: Bertemakan tradisional, majlis resepsi pasangan penyanyi, Salma Asis, 36, dan suami, Mohamad Azri Abdullah yang bernikah pada 2015, berlangsung meriah di sini, baru-baru ini.

KUALA LUMPUR: Semua Ahli Jawatankuasa (AJK) BERSATU Bahagian Padang Rengas meletak jawatan dan mengisytiharkan keluar parti serta-merta.

美國總統川普（Donald Trump）16日證實，他正在與中國國家主席習近平談論未來對台灣軍售相關事宜，並稱將迅速決定是否持續提供台灣更多武器。 根據《彭博》等外媒報導，...…

南韓一項問卷調查顯示，在春節期間，「壓歲錢」成為南韓成年人負擔最重的開銷項目。 韓聯社報導，南韓行動支付龍頭之一的Kakao Pay日前實施的問卷調查顯示，受訪者將「壓歲錢...…

位於義大利亞得里亞海沿岸的天然海蝕景觀「愛情拱門」，是許多情侶會前往朝聖的熱門景點，甚至有許多人會在此處求婚。不過「愛情拱門」近期卻傳來噩耗，在情人節（14日）當天因為連日惡劣天...…

Больше всего таких регионов на Дальнем Востоке.

IT-системы будут способны самостоятельно инициировать те или иные решения и выполнять действия для достижения заданных целей, отметил Вадим Кулик.

Меры вводили для обеспечения безопасности полетов.

На долю Польши, Румынии и Молдавии пришлось 38%

С конца 2022 года число обанкротившихся компаний в Германии увеличилось примерно на 80%

В отель InterContinental в центре Женевы в преддверии переговоров с Россией прибыли, предположительно, делегации США и Украины. Кадры публикует Ruptly.

Президент США Дональд Трамп призвал украинское руководство быстрее садиться за стол переговоров с Россией.

Президент Соединенных Штатов Дональд Трамп сообщил об экологической катастрофе в столичном регионе из-за попадания тысяч тонн сточных вод в реку Потомак.

Американский лидер Дональд Трамп заявил, что в операции США против Кубы нет необходимости.

전 세계에서 가장 치열한 경쟁이 벌어지는 시장 중 하나는 아마 여기일 겁니다. 중국 자동차 시장. 잔혹한 가격전쟁이 잦아드나 싶더니, 이제 본격적으로 기술과 자본으로 승부하는 최후의 생존게임에 접어들었는데요. 중국 자동차 시장은 왜 전 세계의 관심사일까요. 내수에서 활로를 찾기 어려워진 중국 차가 밀려 나올 곳은 해외 시장뿐이기 때문이죠. 글로벌 자동차 업계를 떨게 만드는 중국 자동차 시장의 최종 대결을 들여다보겠습니다.*이 기사는 2월 13일 발행한 딥다이브 뉴스레터의 온라인 기사 버전입니다. ‘읽다 보면 빠져드는 경제뉴스’ 딥다이브를 뉴스레터로 구독하세요.https://www.donga.com/news/Newsletter진짜 경쟁이 시작되다2026년 새해를 맞이한 중국 자동차 시장은 잔뜩 얼어붙었습니다. 1월 내수 판매량은 1년 전보다 15%나 줄어든 166만5000대. 2014년부터 10년 넘게 이어진 ‘신에너지차량 구매세 전액 면제’ 혜택이 지난해 말 사라졌기 때문이죠

Odessa, Kropyvnytskyi, Dnepropetrovsk are witnessing blasts. Air raid warnings are in effect in several more cities

Čak 147 stranica iz spisa predmeta slučaja «Petrohan» dostavljeno je poslanicima u bugarskoj Narodnoj skupštini, a među dokumentima se prvi put nalazi i iskaz supruge Dejana Ilijeva – žene poznate u javnosti kao «meksikanka Lolita». Sadržaj njenog svedočenja potvrdila su dva nezavisna izvora.

Anderson Kuper, poznati voditelj CNN-a, odlučio je da ne produži svoj ugovor sa emisijom «60 Minuta», kažu izvori. Kuperov poslednji prilog za emisiju, intervju sa dokumentarnim filmskim stvaraocem Kenom Bernsom, emitovan je u nedelju.

Znate li da je odgovor “nazdravlje” kada neko kija u zvaničnoj upotrebi već tačno 1.426 godina i da ga je lično jedan papa proglasio ispravnim odgovorom?

Mark Epstajn, brat osuđenog seksualnog prestupnika Džefrija Epstajna, izjavio je danas da «zna» da je on ubijen i optužio je američku vladu da to prikriva.

U nedelju popodne u Zagrebu, verbalni sukob ispred prodavnice prerastao je u pokušaj ubistva. Nakon svađe sa troje ljudi, 27-godišnjeg radnika obezbeđenja su oborili automobilom dok je hodao trotoarom, a zatim pobegli sa lica mesta

JAKARTA: Indonesia sedang menyediakan 1,000 tentera bagi kemungkinan dikerahkan ke Gaza menjelang awal April ini, sebagai sebahagian cadangan pasukan pengaman multinasional.

Tahun Baharu Cina disambut di negara ini, hari ini bukan sekadar perayaan komuniti Tionghoa, sebaliknya cerminan keunikan Malaysia sebagai negara menghimpunkan pelbagai kebudayaan dunia dalam satu ruang geografi sama. Sejarah panjang merakamkan bagaimana pertemuan, persilangan dan perbezaan budaya berlaku, tetapi bukan dalam bentuk pertembungan, sebaliknya percampuran dan pembinaan bersama.

MELAKA: Seorang ibu tunggal didenda RM2,500 oleh Mahkamah Majistret Ayer Keroh, di sini semalam selepas mengaku bersalah terbabit aktiviti persundalan di sebuah hotel di bandar ini, minggu lalu.

Waterkant Haripersad Kanhai, die in Suriname bekendheid verwierf nadat hij bij zijn 100ste verjaardag op 19 november 2024 vertelde dat zijn geheim voor een lang en gezond leven een dagelijks shot cognac is — iets wat hij sinds zijn jonge jaren op advies van zijn arts deed — is op zondag 14 februari overleden op 101-jarige […] Het bericht Man die dagelijks een shot cognac dronk voor lang en gezond leven, overleden op 101-jarige leeftijd verscheen eerst op Waterkant.

Шесть комплектов наград было разыграно на Олимпийских играх в Италии в понедельник, 16 февраля. Подробнее…

Мексиканская горнолыжница Сара Шлепер и ее сын Лассе Гаксиола приняли участие в Олимпийских играх 2026 года в Италии. Подробнее…

Бывший тренер сборной России Игорь Корнеев в эфире «Матч ТВ» заявил, что «Барселона» плохо играла в обороне в матче чемпионата Испании против «Жироны». Подробнее…