Paper offers perspective on future of brain-inspired AI as Python code library passes major milestone
Python 코드 라이브러리가 중요한 이정표를 통과함에 따라 뇌에서 영감을 받은 AI의 미래에 대한 관점을 제공하는 논문
뇌는 보다 효율적인 신경망을 개발하기 위한 영감을 찾기에 완벽한 장소입니다. 스파이킹 신경망은 저전력, 리소스 제한, 종종 휴대용 작동이 필요한 다양한 딥 러닝 스트림에 널리 퍼져 있습니다. The brain is the perfect place to look for inspiration to develop more efficient neural networks. Spiking neural networks are pervading many streams of deep learning which are in need of low-power, resource-constrained, and often portable operation. Credit: Jason Eshraghian
4년 전, UC Santa Cruz의 Jason Esraghian은 신경과학과 인공지능을 결합하여 데이터를 효율적으로 처리하는 뇌의 능력에서 영감을 얻은 기계학습방법인 스파이킹 신경망을 만드는 Python 라이브러리를 개발했습니다.
이제 그의 오픈 소스 코드 라이브러리인 'snnTorch'는 다운로드 수 10만 건을 돌파했으며 NASA 위성 추적 작업부터 AI용 칩을 최적화하는 반도체 회사에 이르기까지 다양한 프로젝트에서 사용되고 있습니다.
IEEE Proceedings 저널에 게재된 논문은 코딩 라이브러리를 문서화하고 있지만 뇌에서 영감을 받은 AI에 대해 학습하는 데 관심이 있는 학생 및 기타 프로그래머를 위한 솔직한 교육 리소스가 되도록 의도되었습니다.
전기 및 컴퓨터공학과 조교수 Esraghian은 "사람들이 뇌에 관심이 있고 신경망이 뇌에 비해 실제로 비효율적이라는 것을 사람들이 확인했다는 점을 보여주기 때문에 매우 흥미롭습니다"라고 말했습니다.
"사람들은 신경망과 대규모 언어모델이 환경에 미치는 영향(비용이 많이 드는 전력 수요)에 대해 우려하고 있습니다. 따라서 이는 매우 그럴듯한 방향입니다."
Four years ago, UC Santa Cruz's Jason Eshraghian developed a Python library that combines neuroscience with artificial intelligence to create spiking neural networks, a machine learning method that takes inspiration from the brain's ability to efficiently process data. Now, his open source code library, called "snnTorch," has surpassed 100,000 downloads and is used in a wide variety of projects, from NASA satellite tracking efforts to semiconductor companies optimizing chips for AI.
A paper published in the journal Proceedings of the IEEE documents the coding library but also is intended to be a candid educational resource for students and any other programmers interested in learning about brain-inspired AI.
"It's exciting because it shows people are interested in the brain, and that people have identified that neural networks are really inefficient compared to the brain," said Eshraghian, an assistant professor of electrical and computer engineering. "People are concerned about the environmental impact [of the costly power demands] of neural networks and large language models, and so this is a very plausible direction forward."
Building snnTorch
snnTorch 빌드
스파이킹 신경망은 뇌와 생물학적 시스템을 에뮬레이트하여 정보를 보다 효율적으로 처리합니다.
뇌의 뉴런은 처리할 정보가 있을 때까지 휴식을 취하며 이로 인해 활동이 급증합니다.
마찬가지로 스파이킹 신경망은 기존 신경망처럼 지속적으로 데이터를 처리하는 것이 아니라 시스템에 입력이 있을 때만 데이터처리를 시작합니다.
Esraghian은 "우리는 두뇌의 모든 이점과 전력 효율성을 인공지능의 기능에 통합하여 2가지 장점을 최대한 활용하고 싶습니다"라고 말했습니다.
Esraghian은 팬데믹 기간 동안 열정적 프로젝트로, 어느 정도 코딩 언어 Python을 독학하기 위한 방법으로 Python에서 급증하는 신경망용 코드를 구축하기 시작했습니다.
훈련을 통해 칩 설계자인 그는 소프트웨어와 하드웨어가 서로를 가장 잘 보완할 수 있도록 공동 설계함으로써 컴퓨팅 칩이 전력 효율성을 위해 최적화될 수 있다는 점을 고려하여 코딩 학습에 관심을 갖게 되었습니다.
이제 snnTorch는 NASA의 위성추적 프로젝트부터 Graphcore와 같은 주요 칩 설계자에 이르기까지 모든 것을 지원하는 다양한 프로젝트에서 전 세계 수천 명 프로그래머가 사용하고 있습니다.
Python 라이브러리를 구축하는 동안 Esraghian은 코딩언어를 독학하는 과정에서 자연스럽게 코드문서와 교육자료를 만들었습니다.
그가 만든 문서, 튜토리얼 및 대화형 코딩 노트북은 나중에 커뮤니티에서 폭발적으로 증가했으며 뉴로모픽 엔지니어링 및 급증하는 신경 네트워크 주제에 대해 배우는 많은 사람들의 첫 번째 진입점이 되었습니다.
너무 인기가 많아졌습니다.
Spiking neural networks emulate the brain and biological systems to process information more efficiently. The brain's neurons are at rest until there is a piece of information for them to process, which causes their activity to spike. Similarly, a spiking neural network only begins processing data when there is an input into the system, rather than constantly processing data like traditional neural networks.
"We want to take all the benefits of the brain and its power efficiency and smush them into the functionality of artificial intelligence—so taking the best of both worlds," Eshraghian said.
Eshraghian began building the code for a spiking neural network in Python as a passion project during the pandemic, somewhat as a method to teach himself the coding language Python. A chip designer by training, he became interested in learning to code when considering that computing chips could be optimized for power efficiency by co-designing the software and the hardware to ensure they best complement each other.
Now, snnTorch is being used by thousands of programmers around the world on a variety of projects, supporting everything from NASA's satellite tracking projects to major chip designers such as Graphcore.
While building the Python library, Eshraghian created code documentation and educational materials, which came naturally to him in the process of teaching himself the coding language. The documents, tutorials, and interactive coding notebooks he made later exploded in the community and became the first point of entry for many people learning about the topics of neuromorphic engineering and spiking neural networks, which he sees as one of the major reasons that his library became so popular.
An honest resource
정직한 자원
이러한 교육자료가 성장하는 컴퓨터과학자 커뮤니티와 해당 분야에 관심이 있는 사람들에게 매우 가치가 있을 수 있다는 것을 알고 Esraghian은 자신의 광범위한 문서를 논문으로 편집하기 시작했습니다.
이 논문은 snnTorch 코드 라이브러리의 동반자 역할을 하며 튜토리얼처럼 구성되어 있으며, 뇌에서 영감을 받은 딥 러닝 연구자들의 불확실성에 대해 논의하고 해당 분야의 미래에 대한 관점을 제공하는 독선적 논문입니다. .
Esraghian은 이 논문이 뉴로모픽 컴퓨팅분야가 진화하고 불안정하다는 점을 독자에게 의도적으로 솔직하게 설명했다고 말했습니다.
연구 커뮤니티가 이해조차 하지 못하는 코드 의사결정을 위한 이론적 기초를 찾으려는 학생들의 좌절감을 덜어주기 위한 노력입니다.
Esraghian은 "이 논문은 고통스러울 정도로 정직합니다. 왜냐하면 학생들은 그럴 자격이 있기 때문입니다"라고 말했습니다.
"우리가 딥러닝에서 하는 일이 많은데 왜 작동하는지 알 수 없습니다.
우리가 의도적으로 뭔가를 했다고 주장하고 싶은 경우가 많고, 일련의 엄격한 실험을 거쳤기 때문에 출판했습니다.
그러나 여기서는 단지 이것이 가장 잘 작동하며 그 이유는 알 수 없다고 말합니다."
Knowing that these educational materials could be very valuable to the growing community of computer scientists and beyond who were interested in the field, Eshraghian began compiling his extensive documentation into a paper.
The paper acts as a companion to the snnTorch code library and is structured like a tutorial, and an opinionated one at that, discussing uncertainty among brain-inspired deep learning researchers and offering a perspective on the future of the field. .
Eshraghian said that the paper is intentionally upfront to its readers that the field of neuromorphic computing is evolving and unsettled in an effort to save students the frustration of trying to find the theoretical basis for code decision-making that the research community doesn't even understand.
"This paper is painfully honest, because students deserve that," Eshraghian said. "There's a lot of things that we do in deep learning, and we just don't know why they work. A lot of times we want to claim that we did something intentionally, and we published because we went through a series of rigorous experiments, but here we say just: this is what works best and we have no idea why."
이 논문에는 일반적 연구논문과는 다른 형식의 코드블록이 포함되어 있습니다.
이러한 코드블록에는 때때로 특정 영역이 크게 불안정할 수 있다는 설명이 수반되지만 연구자가 특정 접근방식이 성공할 수 있다고 생각하는 이유에 대한 통찰력을 제공합니다.
The paper contains blocks of code, a format unusual to typical research papers. These code blocks are sometimes accompanied by explanations that certain areas may be vastly unsettled, but provide insight into why researchers think certain approaches may be successful.
Esraghian은 커뮤니티에서 이런 정직한 접근방식에 대해 긍정적 반응을 보였으며 심지어 이 논문이 뉴로모픽 하드웨어 스타트업의 온보딩 자료에 사용되고 있다는 말까지 들었습니다.
Eshraghian said he has seen a positive reception to this honest approach in the community, and has even been told that the paper is being used in onboarding materials at neuromorphic hardware startups.
그는 “내 연구가 사람들에게 내가 겪은 것과 같은 고통을 겪는 것을 원하지 않는다”고 말했습니다.
"I don't want my research to put people through the same pain I went through," he said.
Learning from and about the brain
뇌로부터 그리고 뇌에 대해 배우기
이 논문은 전반적으로 뇌가 기능하고 정보를 처리하는 방식에 대한 우리의 이해가 상당히 제한적이라는 사실에서 비롯된 뇌 영감 딥러닝의 한계 중 일부를 해당 분야 연구자들이 어떻게 탐색할 수 있는지에 대한 관점을 제공합니다.
AI 연구자들이 deep learning models을 위해 더욱 뇌와 유사한 학습 메커니즘으로 나아가려면 딥러닝과 생물학 사이의 상관관계와 불일치를 식별해야 한다고 Esraghian은 말했습니다.
The paper offers a perspective on how researchers in the field might navigate some of the limitations of brain-inspired deep learning that stem from the fact that overall, our understanding of how the brain functions and processes information is quite limited.
For AI researchers to move toward more brain-like learning mechanisms for their deep learning models, they need to identify the correlations and discrepancies between deep learning and biology, Eshraghian said.
이러한 주요 차이점 중 하나는 뇌가 AI 모델처럼 입력한 모든 데이터를 조사할 수 없고 대신 실시간 데이터에 집중하여 에너지 향상 효율 기회를 제공할 수 있다는 점입니다.
"뇌는 타임머신이 아닙니다.
돌아갈 수 없습니다.
세상을 경험하면서 모든 기억이 앞으로 밀려나므로 훈련과 처리가 함께 결합됩니다"라고 Esraghian은 말했습니다.
"제가 이 논문에서 중요하게 생각하는 것 중 하나는 학습을 실시간으로 적용하는 방법입니다."
One of these key differences is that brains can't survey all of the data they've ever inputted in the way that AI models can, and instead focus on the real-time data that comes their way, which could offer opportunities for enhanced energy efficiency.
"Brains aren't time machines, they can't go back—all your memories are pushed forward as you experience the world, so training and processing are coupled together," Eshraghian said. "One of the things that I make a big deal of in the paper is how we can apply learning in real time."
논문에서 탐구할 또 다른 영역은 함께 발화하는 뉴런이 서로 연결되어 있다는 신경과학의 기본 개념입니다.
즉, 2개의 뉴런이 동시에 신호를 보내도록 촉발되면 두 뉴런 사이의 경로가 강화된다는 의미입니다.
그러나 뇌가 기관 전반에 걸쳐 학습하는 방식은 여전히 미스터리로 남아 있습니다.
Another area of exploration in the paper is a fundamental concept in neuroscience that states that neurons that fire together are wired together—meaning when two neurons are triggered to send out a signal at the same time, the pathway between the two neurons is strengthened. However, the ways in which the brain learns on an organ-wide scale still remains mysterious.
"함께 불을 붙이고 함께 연결 fire together, wired together" 개념은 전통적으로 역전파로 알려진 딥러닝의 모델 훈련 방법에 반대되는 것으로 여겨져 왔지만 Esraghian은 이러한 프로세스가 상호보완적일 수 있으며 해당 분야에 대한 새로운 탐색 영역을 열 수 있다고 제안합니다.
The "fire together, wired together" concept has been traditionally seen as in opposition to deep learning's model training method known as backpropagation, but Eshraghian suggests that these processes may be complementary, opening up new areas of exploration for the field.
Esraghian은 또한 줄기세포에서 성장한 뇌조직 모델인 대뇌 유기체를 사용하여 뇌가 정보를 처리하는 방법에 대해 자세히 알아내는 것에 흥미를 갖고 있습니다.
그는 현재 UCSC Genomics Institute의 Braingeneers group의 생체분자공학 연구원과 협력하여 organoid 모델을 통해 이러한 질문을 탐구하고 있습니다.
Eshraghian is also excited about working with cerebral organoids, which are models of brain tissue grown from stem cells, to learn more about how the brain processes information. He's currently collaborating with biomolecular engineering researchers in the UCSC Genomics Institute's Braingeneers group to explore these questions with organoid models.
이는 UC Santa Cruz 엔지니어들이 컴퓨팅연구를 위한 생물학적 모델을 가리키는 용어 "wetware 습식소프트웨어"를 해당 분야에 널리 퍼져 있는 소프트웨어/하드웨어 공동 설계 패러다임에 통합할 수 있는 독특한 기회입니다.
snnTorch 코드는 실험실에서 유지관리하기 어려울 수 있는 오가노이드 시뮬레이션을 위한 플랫폼을 제공할 수도 있습니다.
"[Braingeneers]는 학습이 어떻게 일어날 수 있는지, 그리고 딥러닝을 보다 효율적으로 만들기 위해 어떻게 변환할 수 있는지에 대한 더 나은 느낌을 얻기 위해 사용할 수 있는 생물학적 기구와 도구를 구축하고 있습니다"라고 Esraghian은 말했습니다.
This is a unique opportunity for UC Santa Cruz engineers to incorporate "wetware"—a term referring to biological models for computing research—into the software/hardware co-design paradigm that is prevalent in the field. The snnTorch code could even provide a platform for simulating organoids, which can be difficult to maintain in the lab.
"[The Braingeneers] are building the biological instruments and tools that we can use to get a better feel for how learning can happen, and how that might translate in order to make deep learning more efficient," Eshraghian said.
Brain-inspired learning at UCSC and beyond
UCSC 및 그 이상에서의 뇌-영감 학습
Esraghian은 현재 자기 도서관에서 개발된 개념과 UC Santa Cruz의 뉴로모픽 컴퓨팅에 대한 수업 중 "Brain-Inspired Deep Learning"이라는 최근 논문을 사용하고 있습니다.
다양한 학문분야의 학부 및 대학원생들이 딥러닝의 기초를 배우고 snnTorch에 대한 튜토리얼을 직접 작성하고 잠재적으로 snnTorch에 기여하는 프로젝트를 완료하기 위해 수업을 듣고 있습니다.
Eshraghian is now using the concepts developed in his library and the recent paper in his class on neuromorphic computing at UC Santa Cruz called "Brain-Inspired Deep Learning." Undergraduate and graduate students across a range of academic disciplines are taking the class to learn the basics of deep learning and complete a project in which they write their own tutorial for, and potentially contributing to, snnTorch.
Esraghian은 "단순히 시험을 치르거나 A+를 받는 것이 아니라, 이제 무언가에 기여하고 실질적인 일을 했다고 말할 수 있게 되었습니다"라고 말했습니다.
Esraghian은 사람들과 협력하여 뇌에 대한 생물학적 발견부터 저전력 AI 워크로드를 처리하기 위한 뉴로모픽 칩의 한계를 뛰어넘는 것, 급증하는, 자연물리학 같은 다른 영역에 대한 컴퓨팅신경망 스타일의 AI를 제공하기 위한 협업 촉진에 이르기까지 다양한 방법으로 분야를 확장하고 있습니다.
"It's not just kind of coming out of the class with an exam or getting an A plus, it's now making a contribution to something, and being able to say that you've done something tangible," Eshraghian said.
Eshraghian is collaborating with people to push the field in a number of ways, from making biological discoveries about the brain, to pushing the limits of neuromorphic chips to handle low-power AI workloads, to facilitating collaboration to bring the spiking neural network-style of computing to other domains such as natural physics.
급증하는 신경망 코드에 대해 논의하는 데 전념하는 Discord 및 Slack 채널은 업계와 학계 전반에 걸쳐 활발한 협업 환경을 지원합니다.
Esraghian은 최근 snnTorch에 대한 능숙도를 원하는 자질로 나열한 채용 공고를 발견했습니다.
Discord and Slack channels dedicated to discussing the spiking neural network code support a thriving environment of collaboration across industry and academia. Eshraghian even recently came across a job posting that listed proficiency in snnTorch as a desired quality.
More information: Jason K. Eshraghian et al, Training Spiking Neural Networks Using Lessons From Deep Learning, Proceedings of the IEEE (2023). DOI: 10.1109/JPROC.2023.3308088
Journal information: Proceedings of the IEEE
Provided by University of California - Santa Cruz
Explore further
댓글