Làm thế nào để giỏi trong việc nghiên cứu?
*Bài viết này lấy nghiên cứu máy học (machine learning) làm ví dụ xuyên suốt, nhưng phần lớn những gì tác giả nói có thể áp dụng cho bất kỳ lĩnh vực nào đòi hỏi tư duy độc lập và tạo ra cái mới.*
______
Không ai thực sự dạy bạn cách nghiên cứu. Bạn có một cái bàn, một vấn đề người khác đã chọn sẵn, và một chỉ thị mơ hồ rằng hãy tạo ra thứ gì đó mới. Thế là phần lớn người ta đảo ngược kỹ thuật (reverse-engineer) cái công việc này từ những gì họ nhìn thấy: các bài nghiên cứu, các thread trên các diễn đàn online, những công bố mới. Rốt cuộc, thứ họ học được là cách để trông giống một nhà nghiên cứu, chứ không phải cách để trở thành một người như vậy. Kỹ năng nghiên cứu thật sự là tập hợp những kỹ năng nhỏ hơn, và gần như mỗi kỹ năng trong số đó đều rèn luyện được, một cách có chủ đích.
Tự chọn lấy vấn đề của mình
Richard Hamming có một thói quen ở Bell Labs khiến ông dễ làm mất lòng người khác trong giờ ăn trưa. Ông sẽ hỏi bất kỳ ai ngồi gần rằng đâu là những vấn đề quan trọng trong lĩnh vực của họ, rồi hỏi tại sao họ không bắt tay vào giải quyết những vấn đề ấy. Người ta đổi bàn để tránh ông. Câu hỏi như vậy thường gây khó chịu vì hầu hết chúng ta chẳng có câu trả lời nào ra hồn. Ta không chọn vấn đề, ta hấp thụ chúng: từ người hướng dẫn, từ một công bố từ quý trước của một trung tâm nghiên cứu, từ một bài báo mà ai cũng đang quote-tweet cả tuần nay.
Cái dở của việc hấp thụ một vấn đề là bạn chỉ nắm lấy phần kết luận mà bỏ qua phần lập luận. Bạn biết một phòng nghiên cứu nổi tiếng nào đó quan tâm tới một hướng đi, nhưng không biết vì sao, không biết họ trông đợi tìm ra điều gì, không biết điều gì sẽ khiến họ bỏ cuộc. Đến lúc họ chuyển hướng, một năm sau bạn mới hay. Còn đối với một vấn đề đã phổ biến, bạn đang chạy đua với cả nghìn người đã xuất phát trước và nắm trong tay nhiều nguồn lực hơn.
Trong bài hướng dẫn nghiên cứu máy học (Machine Learning) của mình, John Schulman chia việc nghiên cứu ra làm hai hướng. Hướng thứ nhất, bạn đọc văn liệu và lùng sục những chỗ có thể cải thiện. Hướng thứ hai, bạn chọn một kết quả mà tự thân mình muốn nó tồn tại, rồi lần ngược về các thí nghiệm cần làm. Quan điểm của ông nghiêng về hướng thứ hai, với lý do là nó tạo ra sự độc bản. Một mục tiêu bạn thật lòng để tâm sẽ kéo bạn đến vùng đất mà chẳng bài khảo sát/tổng hợp nào từng chạm tới.
Trong khi đó, người ta bàn về gu như một thứ trời cho. Nó vận hành giống cơ bắp hơn. Hãy dự đoán kết quả của mỗi thí nghiệm trước khi chạy. Che phần kết quả của một bài báo lại và dự đoán các con số chỉ từ phương pháp. Đánh dấu xem trong những công bố tháng này, cái nào sẽ còn quan trọng sau hai năm nữa, rồi kiểm lại tỉ lệ trúng của mình sau đó. Một dự đoán cộng với một lần hiệu chỉnh, lặp đi lặp lại vài trăm lần, đó là cách mọi mô hình tốt thành hình, kể cả cái mô hình nằm trong đầu bạn.
Nâng cấp đầu vào
Một danh sách đọc giống nhau sẽ tạo ra những ý tưởng giống nhau. Nếu khẩu phần thông tin của bạn là trang trending của arXiv cộng với những gì lọt qua được bộ lọc của nhóm chat, bạn sẽ đều đặn đi tới đúng những kết luận như mọi người khác, vào đúng cùng một lúc, và như thế những kết luận ấy sẽ không có giá trị.
Những tài liệu cũ đang bị đánh giá thấp đến mức tội lỗi. Lĩnh vực này (Máy học) lặp lại lịch sử của chính nó với một độ trễ: mixture of experts có từ 1991, LSTM từ 1997, backprop phổ biến từ 1986. Năm 2019, Rich Sutton chỉ cần chừng nghìn chữ để viết “The Bitter Lesson” (Bài học cay đắng), vậy mà nó đoán đúng dáng hình của cả lĩnh vực hơn những bài khảo sát/tổng hợp dài gấp mười lần. Năm 1952, Claude Shannon có một bài nói về tư duy sáng tạo, và nước đi mở màn của ông là thu nhỏ một bài toán lại cho tới khi nó gần như tầm thường, giải xong phiên bản nhỏ, rồi từ từ trả lại độ khó từng mảnh một. Riêng mẹo đó thôi sẽ đưa bạn vượt qua nhiều bức tường hơn bất cứ lời khuyên năng suất nào thời nay.
Chiều rộng đáng giá ngang chiều sâu. Interpretability (khả năng diễn giải) vay mượn không chút ngượng ngùng từ khoa học thần kinh. Thiết kế eval là lý thuyết thiết kế cơ chế khoác áo blouse phòng thí nghiệm. Một cảm nhận vững vàng về cách GPU thật sự dịch chuyển bộ nhớ sẽ mách bạn bài báo kiến trúc nào cầm chắc thất bại, trước cả khi benchmark lên tiếng. Còn thống kê trung thực có lẽ là kỹ năng hiếm nhất trong ML, nơi phần lớn cái gọi là chặt chẽ trong các công bố chỉ là cảm tính gắn thêm thanh sai số.
Thêm một điều nữa. Hãy đọc bài báo gốc, đừng đọc bản tóm tắt của nó. Phần phụ lục là nơi cất giữ những bí mật, còn mục hạn chế thường là đoạn văn thành thật nhất trong cả tài liệu.
Viết mọi thứ ra
Paul Graham chỉ ra rằng: một ý tưởng có thể tưởng như đã thành hình trọn vẹn, cho tới khi bạn thử viết nó ra. Trang giấy sẽ giúp bạn phát hiện những lỗ hổng mà bộ não bạn vốn khéo che đậy: cái giả định bạn chưa từng kiểm chứng, cái quy trình thật ra chẳng dẫn tới đâu, hai luận điểm âm thầm mâu thuẫn với nhau.
Richard Feynman từng đề ra nguyên tắc là: người đầu tiên bạn phải tránh lừa dối chính là bản thân, vì bạn là con mồi dễ dãi nhất. Viết là hàng phòng thủ ít tốn kém nhất loài người từng phát minh ra. Charles Darwin còn đi xa hơn nữa. Ông biến nguyên tắc này thành một quy trình. Bất cứ dữ kiện nào nghịch với lý thuyết của mình, ông ghi xuống ngay tại chỗ, bởi ông từng bắt quả tang trí nhớ của chính mình xóa đi bằng chứng bất tiện nhanh hơn hẳn những bằng chứng thuận tiện. Trí nhớ của bạn cũng giở đúng trò đó với những lần thử nghiệm thất bại. Hãy giữ một cuốn nhật ký và liên tục cập nhật giả thuyết, thiết lập, kỳ vọng, kết quả, niềm tin của bản thân. Việc đọc lại các nội dung ghi chép của tháng trước là một trải nghiệm hạ bệ cái tôi theo cách mà không một người phản biện nào có thể sánh bằng.
Sau đó, hãy công khai một phần trong đó. Bài “Research Debt” (Nợ nghiên cứu) của Olah và Carter lập luận rằng các lĩnh vực thường dậm chân tại chỗ vì những ý tưởng chưa được tiêu hóa, và rằng một lời giải thích rõ ràng là một đóng góp thực thụ, chứ không phải chỉ là việc phục dịch. Rất nhiều người làm interpretability hôm nay đến với lĩnh vực này qua những bài viết dễ đọc, chứ không phải qua các bài báo được công bố ở các hội thảo học thuật. Một tập hợp các bài viết công khai cũng đóng vai trò như một chứng chỉ mạnh mẽ nhất mà bạn có thể có, bởi vì nó là mẫu vật không thể làm giả về cách bạn tư duy.
Siết chặt vòng lặp
Những câu chuyện về Alec Radford (người thường được biết đến là cha đẻ của ChatGPT) hiếm khi xoay quanh một khoảnh khắc thiên tài đơn lẻ. Chúng xoay quanh khối lượng công việc. Nhiều lần thử nghiệm hơn mỗi ngày, nhiều ý tưởng sai bị vứt bỏ hơn mỗi tuần, một mô hình về thực tại cập nhật nhanh hơn mô hình của bất kỳ ai. Đó mới là trò chơi thật sự. Tốc độ nghiên cứu phần lớn là tốc độ bạn phát hiện ra mình đã sai.
Điều đó khiến cho việc làm công cụ trở thành một hoạt động nghiên cứu hàng đầu. Khởi động một lần chạy chỉ nên gói gọn trong một câu lệnh. Vẽ đồ thị cho nó, thêm một câu lệnh nữa. Mọi thí nghiệm đều phải có khả năng tái lặp từ cấu hình của nó, và so sánh kết quả hai lần chạy chỉ nên tốn vài giây, chứ không phải cả buổi chiều. Công thức huấn luyện mạng nơ-ron của Karpathy có một bước mang lại giá trị gấp trăm lần chi phí bỏ ra: overfit một batch duy nhất trước khi huấn luyện ở quy mô lớn. Ba mươi giây, một nửa số bug biến mất. Co nhỏ mọi thứ cho tới lúc nó rẻ, làm cho đúng, rồi mới chi tài nguyên tính toán.
Và hãy gác lại cái ý nghĩ rằng kỹ thuật chỉ là kẻ phụ việc ở đây. Tại ranh giới tiên phong, hai công việc đã hòa làm một. Người nghiên cứu nào tự dựng được khung thử, eval và đường ống dữ liệu mới là người mà các giả thuyết của họ thực sự được kiểm chứng. Những người còn lại thì phải xếp hàng chờ đợi.
Nhìn chằm chằm vào kết quả
Một đường loss đi xuống không phải là phân tích, đó là một sự trấn an. Các thí nghiệm của bạn tạo ra lượng thông tin nhiều hơn rất nhiều so với những gì bạn tiêu thụ: các bản ghi, các trường hợp thất bại, phần đuôi kỳ lạ của phân phối. Hầu hết chúng đều rơi vào phần quên lãng của một thư mục logs vì không ai đọc.
Công thức của Karpathy bắt đầu trước khi bất kỳ đoạn code huấn luyện nào được viết ra, bằng nhiều giờ ngồi mân mê dữ liệu thô bằng tay. Hầu hết bug trong Máy học cư ngụ trong dữ liệu, và chúng thất bại một cách âm thầm. Không có gì sập cả. Bạn chỉ đơn giản nhận về một mô hình xoàng xĩnh và một lý thuyết sai về nguyên do.
Hơn một thập kỷ nay, Andrew Ng vẫn dạy đúng một bước đi không mấy hào nhoáng, vì chẳng có gì hơn được nó. Lôi ra một trăm ca hỏng, đọc hết, xếp chúng thành từng đống, rồi đánh vào cái đống lớn nhất. Cách ấy hiệu nghiệm với mô hình, và hiệu nghiệm với eval, nơi một benchmark mà bạn chưa từng đọc bản ghi của nó là một benchmark bạn thật ra không hiểu. Một bản ghi về hành vi kỳ lạ thật sự sẽ dạy bạn nhiều hơn con số thập phân kế tiếp của độ chính xác.
Lang thang có chủ đích
Tiểu lĩnh vực đầu tiên của bạn là một sự tình cờ, vì vậy hãy đối đãi với nó như thế. Hãy dành thời gian thật sự cho interpretability, cho eval, cho RL (Reinforcement Learning – Học tăng cường), cho các hệ thống, trước khi quyết định nơi bạn sẽ gắn bó lâu dài. Đâu đó trong lĩnh vực này có một góc mà cái dị biệt riêng của bạn hóa thành lợi thế, và cách duy nhất để định vị nó là chịu đóng học phí ở vài nơi. Chẳng ai miễn học phí cho bạn cả.
Hãy chạy phiên bản dùng một lần của mọi ý tưởng trước, và để phần lớn chúng chết yểu. Tinh chỉnh các đường cơ sở (baseline) cho tới khi thấy đau, bởi nghĩa địa của Machine Learning chất đầy những mức tăng trưởng đã chết yểu khi đối đầu với một đường cơ sở được tinh chỉnh đúng cách, và một người phản biện là người tệ nhất có thể để bạn học được bài học đó. Cứ thực hiện phân tích loại trừ (ablate) cho tới khi biết thành phần nào tác động nhiều nhất đến kết quả. Thường chỉ một thành phần thôi, và nó thường không phải là thành phần nằm trên tiêu đề.
Bề rộng cũng là một dạng bảo hiểm. Các tiểu lĩnh vực bão hòa, tất cả đều thế, thường ngay sau khi chúng lên đỉnh trên Twitter. Những người vẫn tiếp tục cho ra thành quả xuyên qua những giai đoạn chuyển giao đó là những người vốn đã biết đường đi nước bước ở các vùng lãnh thổ lân cận.
Tìm người của mình
Hamming nhận thấy một quy luật ở những người xây dựng thành công những công trình quan trọng: những đồng nghiệp đóng kín cửa văn phòng làm được nhiều việc hơn trong bất kỳ năm cụ thể nào, còn những đồng nghiệp mở cửa phòng lại làm được những công việc có tầm ảnh hưởng lớn, bởi vì những sự gián đoạn mang theo thông tin về những gì thế giới đâng thực sự cần. Cánh cửa mở của bạn thời nay có lẽ là một hộp thư đến. Cứ để nó mở.
Trong nghiên cứu, sự hào phóng tích lũy lãi theo cách không thứ gì khác sánh bằng. Hãy tái lập một kết quả và công bố điều bạn tìm thấy. Hãy phát hành cái công cụ mà bạn tự dựng cho riêng mình. Hãy giải thích một điều khó bằng ngôn ngữ bình dị. Lợi ích sẽ đến theo đường vòng, nhiều tháng sau đó, dưới dạng một sự hợp tác, một sự trích dẫn hoặc một vị trí công việc mà bạn vốn không thể nộp đơn ứng tuyển. Hãy thả cả những ý tưởng còn chưa thành hình trôi nổi trước công chúng, vì việc sai trên newsfeed các trang mạng xã hội thường nhẹ nhàng hơn việc sai trên các ấn phẩm . Và người cộng sự nói thẳng với bạn rằng một ý tưởng là tồi, trước khi bạn dìm ba tháng trời vào nó, còn đáng giá hơn cả tài nguyên tính toán. Quan hệ đó không thể mua được, bạn chỉ có thể xứng đáng nhận được mà thôi.
Ván cờ dài
Pasteur đã nói rằng may mắn ưu ái những tâm trí có sự chuẩn bị, và Hamming đã xây dựng cả một triết lý sự nghiệp trên nền tảng đó: tri thức và năng suất sinh lãi kép như tiền gửi ngân hàng. Những lợi thế thường nhật, đứng riêng ra thì trông cỏn con. Bạn đọc gì, bạn ghi lại gì, vòng lặp của bạn chạy nhanh đến đâu, bạn tranh cãi với ai. Cho chúng vài năm, chúng sẽ tạo ra những sự nghiệp mà nhìn từ bên ngoài cứ ngỡ là ăn may. Hãy bắt đầu tích lũy sớm hơn mức cần thiết. Bạn trong tương lai vốn đã biết rằng đây chính là phần dễ dàng và ít tốn kém nhất.
___
Bản dịch từ bài viết “how to be good at research” của tác giả Vivek – nhà nghiên cứu làm việc tại Anthropic, bạn đọc bản đầy đủ tại link sau: https://x.com/itsreallyvivek/status/2064686372737454155
