September 03, 17:31

Forwarded from Жалкие низкочастотники:

Поучительная история: играясь в отпуске с некоторой нашей с @kborislav собственной модификацией нейросетевой модели GPT-2 (я про неё рассказывал), я решил доучить её на массиве из 37К гороскопов, намайненных из онлайн-СМИ и получил довольно вдохновляющие результаты, примерно такого плана:

PROMPT>>> Гороскоп на
SAMPLE>>> 14 февраля. ОВЕН Проведите время с близкими и родными. Если вы в ссоре, уделите внимание семье, порадуйте родных подарками, пообщайтесь с детьми. ТЕЛЕЦ Гороскоп на сегодня предупреждает, что вас ждет удачный день. Если вы потерпели фиаско, оставайтесь в тени, и звезды обещают вам только позитивные эмоции. БЛИЗНЕЦЫ Сегодня вам придется защищать и отстаивать свои позиции, так как вам сложно будет реагировать на происходящее спокойно. Но постарайтесь не переборщить с серьезными неприятностями. РАК Не пытайтесь проявлять инициативу, сегодня у вас не все получится. Кроме того, ваша излишняя эмоциональность может навредить. Гороскоп на сегодня рекомендует быть осторожным с проявлением инициативы. ЛЕВ Вы слишком эмоционально реагируете на происходящее. Вам сложно принять осознанное решение. Вы не в силах изменить положение дел. Попробуйте взглянуть на происходящее по-новому, и тогда близкие помогут вам отыскать выход из сложившейся ситуации. ДЕВА Напряженный день. Вы пытаетесь отыскать баланс между собственными нуждами и желаниями. Сосредоточьтесь на каком-то одном деле или цели, положитесь на интуицию.

Я радовался качеству выхлопа, пока не сообразил, что, кажется, сами исходные тексты в основном порождены гораздо более простой моделью (местами похоже на конечные грамматики или марковские цепи), так что сетка довольно легко их моделирует.

До кучи: вот тут народ развлекается генерацией англоязычных гороскопов.

Кстати, если кто пропустил, полную англоязычную GPT-2 таки выучили и выложили два студента, оборвав мучения OpenAI.