از هفته پیش که ترم جاری دانشگاه رسما به پایان رسید، کمی فرصت پیدا کردم به کارهایی که دوست داشتم بپردازم. آموختن علم داده و یادگیری ماشین که خود یک سفر بی‌پایان است کمک می‌کند تا به مساله‌های جدیدی فکر کنم و راهکارهایی هم در ذهنم برای آنها آماده کنم.

یکی از این طیف مساله‌ها، کاربرد یادگیری ماشین در ادبیات فارسی است. عزیزانی که با یادگیری ماشین آشنایی دارند بی‌شک می‌دانند که چقدر مساله‌های جالب می‌توان از کاربرد یادگیری ماشین در این حوزه تعریف کرد که به شناخت و گسترش آن کمک کند.

هفته پیش تصمیم گرفتم یکی کارهایی را که دوست داشتم شروع کنم و بخشی از مرخصی بین ترم را به آن اختصاص دهم. این کار، تحقیقی بود روی اشعار مولانا. داده‌ها را از سایت گنجور دانلود کردم و شروع کردم به کار روی دیوان شمس. فهمیدن ساختار پایگاه داده یک کم زمان برد ولی به دلیل طراحی ساده و قشنگ آن، خیلی زود متوجه شدم که ابیات را چگونه پیدا کنم. نتایج‌ اولیه‌اش برای خودم خیلی جالب بود.

یکی از مساله‌های مهمی که با آن برخورد کردم، نبود کتابخانه‌ها و مدل‌های آموزش‌دیده (trained model) برای زبان فارسی بود. امیدوارم که روز به روز به تعداد این کتابخانه‌ها و مدل‌ها افزوده شود. با خود فکر می‌کردم چقدر کارهایی جالب بین رشته‌ای می‌توان در حوزه‌ی ادبیات فارسی و علوم داده تعریف کرد.

نومید نیم گرچه ز من ببریدی
یا بر سر من یار دگر بگزیدی
تا جان دارم غم تو خواهم خوردن
بسیار امیدهاست در نومیدی

تا یادم نرفته عرض کنم که سایت گنجور از سایت‌های مورد علاقه‌ی من است. قدردان زحمات بنیانگذار و همه‌ی دست‌اندرکاران آن هستم. پاینده باشید.

گزیده:
تا در طلب گوهر کانی کانی
تا در هوس لقمهٔ نانی نانی
این نکتهٔ رمز اگر بدانی دانی
هر چیزی که در جستن آنی آنی

The MIT Open Learning Library: 6.036, Introduction to Machine Learning, 2020 (Link)

MIT 6.S191: Intro to Deep Learning, (introtodeeplearning.com)

گزیده:

“تنها خرد واقعی این است که بدانید هیچ چیزی نمی‌دانید.” سقراط
“هر احمقی می‌تواند یاد بگیرد و بداند. اما نکته‌ی اصلی این است که درک کنیم. ” آلبرت انیشتین
“فرضیات شما پنجره‌های ذهن شما به جهان هستی‌اند. هر چند وقت یک بار آنها را از بین ببرید، وگرنه نوری وارد خانه نخواهد شد. ” آیزاک آسیموف

Which activation function should you use for the hidden layers of your deep neural networks?

Although your mileage will vary, in general SELU > ELU > leaky ReLU (and its variants) > ReLU > tanh > logistic.

If the network’s architecture prevents it from self-normalizing, then ELU may perform better than SELU (since SELU is not smooth at z = 0).

If you care a lot about runtime latency, then you may prefer leaky ReLU.

If you don’t want to tweak yet another hyperparameter, you may use the default α values used by Keras (e.g., 0.3 for leaky ReLU).

If you have spare time and computing power, you can use cross-validation to evaluate other activation functions, such as RReLU if your network is overfitting or PReLU if you have a huge training set.

That said, because ReLU is the most used activation function (by far), many libraries and hardware accelerators provide ReLU-specific optimizations; therefore, if speed is your priority, ReLU might still be the best choice.

Reference: Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow, 2nd Edition, by Aurélien Géron, Sep 2019

مساله این نیست که افراد تحصیل‌ کرده‌اند یا نه. مساله این است که افراد فقط به اندازه‌ای تحصیل کرده‌اند که آموخته‌ها را باور کنند و نه به اندازه‌ای که بتوانند آموخته‌ها را زیر سوال ببرند. ریچارد فاینمن

The problem is not people being uneducated. The problem is that people are educated just enough to believe what they have been taught, and not educated enough to question anything from what they have been taught. —Professor Richard Feynman

Credit: Vala Afshar

You say you are a nameless man. You are not to your wife and to your child. You will not long remain so to your immediate colleagues if you can answer their simple questions when they come into your office. You are not nameless to me. Do not remain nameless to yourself — it is too sad a way to be. Know your place in the world and evaluate yourself fairly, not in terms of the naïve ideals of your own youth, nor in terms of what you erroneously imagine your teacher’s ideals are.

Richard P. Feynman

Interview with Geoffrey Hinton,
October 20, 2020

A lot of the people in the field believe that common sense is the next big capability to tackle. Do you agree?
Geoffrey Hinton: I agree that that’s one of the very important things. I also think motor control is very important, and deep neural nets are now getting good at that. In particular, some recent work at Google has shown that you can do fine motor control and combine that with language so that you can open a drawer and take out a block, and the system can tell you in natural language what it’s doing.

For things like GPT-3, which generates this wonderful text, it’s clear it must understand a lot to generate that text, but it’s not quite clear how much it understands. But if something opens the drawer and takes out a block and says, “I just opened a drawer and took out a block,” it’s hard to say it doesn’t understand what it’s doing.

Reference: MIT Technology Review