Das Modell verhält sich so, als würde es sich im 19. Jahrhundert befinden. Der Ansatz könnte relevant für Gessellschafts- und Geschichtsforschung sein.
arstechnica.com/information-...
Das Modell verhält sich so, als würde es sich im 19. Jahrhundert befinden. Der Ansatz könnte relevant für Gessellschafts- und Geschichtsforschung sein.
arstechnica.com/information-...
huggingface.co/haykgrigoria...
huggingface.co/bahree/londo...
huggingface.co/haykgrigoria...
huggingface.co/bahree/londo...
It's called TimeCapsuleLLM, not a fine-tuned modern model, but one trained entirely on historical data. No modern language or context.
Built on nanoGPT by Karpathy. github.com/haykgrigo3/...
It's called TimeCapsuleLLM, not a fine-tuned modern model, but one trained entirely on historical data. No modern language or context.
Built on nanoGPT by Karpathy. github.com/haykgrigo3/...
github.com/haykgrigo3/T...
huggingface.co/PleIAs/Pleia...
huggingface.co/blog/Pclangl...
github.com/haykgrigo3/T...
huggingface.co/PleIAs/Pleia...
huggingface.co/blog/Pclangl...
https://gigazine.net/news/20260114-timecapsulellm-trained-data-1800-1875/
https://gigazine.net/news/20260114-timecapsulellm-trained-data-1800-1875/
View Article | Join the HN Conversation
Summary of HN discussion 🧵👇
View Article | Join the HN Conversation
Summary of HN discussion 🧵👇
TimeCapsuleLLMは、特定の場所と時代に限定したデータで学習された言語モデルです。
現代のバイアスを減らし、当時の声、語彙、世界観をエミュレートします。
まるでAIモデルが歴史的な存在であるかのように振る舞います。
TimeCapsuleLLMは、特定の場所と時代に限定したデータで学習された言語モデルです。
現代のバイアスを減らし、当時の声、語彙、世界観をエミュレートします。
まるでAIモデルが歴史的な存在であるかのように振る舞います。
This person has been training an LLM on data up to the year 1875 only. A school kid recently reported training a capable small model for $1200. Allen Institute produces OLMO which is only trained on ethically-sourced data.
github.com/haykgrigo3/T...
This person has been training an LLM on data up to the year 1875 only. A school kid recently reported training a capable small model for $1200. Allen Institute produces OLMO which is only trained on ethically-sourced data.
github.com/haykgrigo3/T...
news.hada.io/topic?id=25780
흥미롭네요. 조선왕조실록만 학습시킨 AI는 완전 조선식 사고방식을 갖게 되는걸까요.
만약 이 LLM이 그 당시에 없는 과학적 발견을 혼자 할 수 있다면 학습(자료 먹임) 없이도 인공 지성이 발전할 수 있다는게 아니냐는 의견.
news.hada.io/topic?id=25780
흥미롭네요. 조선왕조실록만 학습시킨 AI는 완전 조선식 사고방식을 갖게 되는걸까요.
만약 이 LLM이 그 당시에 없는 과학적 발견을 혼자 할 수 있다면 학습(자료 먹임) 없이도 인공 지성이 발전할 수 있다는게 아니냐는 의견.
https://gigazine.net/news/20260114-timecapsulellm-trained-data-1800-1875/
https://gigazine.net/news/20260114-timecapsulellm-trained-data-1800-1875/
'For the past month, [Hayk] Grigorian has been developing what he calls TimeCapsuleLLM, a small AI language model (like a pint-sized distant cousin to ChatGPT) which has been trained entirely on texts from 1800–1875 London.'
arstechnica.com/information-...
'For the past month, [Hayk] Grigorian has been developing what he calls TimeCapsuleLLM, a small AI language model (like a pint-sized distant cousin to ChatGPT) which has been trained entirely on texts from 1800–1875 London.'
arstechnica.com/information-...
haykgrigo3による「TimeCapsuleLLM」リポジトリは、19世紀のテキスト(1800年から1875年)だけを用いて訓練された、歴史的なロンドンに焦点を当てた言語モデルのためのデータセットとスクリプトを提供しています。選択的時系列学習(STT)を用いることで、現代の偏りを最小限に抑えつつ、その時代に忠実な出力を生成することを目指しています。モデルは16Mから700Mパラメータまでのさまざまなアーキテクチャ(nanoGPT、Phi 1.5、Llamaなど)で構築されており、 (1/2)
haykgrigo3による「TimeCapsuleLLM」リポジトリは、19世紀のテキスト(1800年から1875年)だけを用いて訓練された、歴史的なロンドンに焦点を当てた言語モデルのためのデータセットとスクリプトを提供しています。選択的時系列学習(STT)を用いることで、現代の偏りを最小限に抑えつつ、その時代に忠実な出力を生成することを目指しています。モデルは16Mから700Mパラメータまでのさまざまなアーキテクチャ(nanoGPT、Phi 1.5、Llamaなど)で構築されており、 (1/2)
-Is it ethical to use TimeCapsuleLLM (all training data in public domain)?
-Is it ethical to use TimeCapsuleLLM (all training data in public domain)?
No benchmarks, no data card, and the Ascend NPU claim is unverified—"eval1" suggests the authors know.
Hard to see this outrunning a tuned Qwen2.5-0.5B until provenance is answered....
No benchmarks, no data card, and the Ascend NPU claim is unverified—"eval1" suggests the authors know.
Hard to see this outrunning a tuned Qwen2.5-0.5B until provenance is answered....
A 500M parameter model learns from 40B tokens of 1800-1875 English data.
https://theneuralfeed.com/share/post/1QbThzRV
#AINews #TechNews
Read the full story →
A 500M parameter model learns from 40B tokens of 1800-1875 English data.
https://theneuralfeed.com/share/post/1QbThzRV
#AINews #TechNews
Read the full story →
A 500M parameter model learns from 40B tokens of 1800-1875 English data.
https://theneuralfeed.com/share/post/1QbThzRV
#AINews #TechNews
Read the full story →
A 500M parameter model learns from 40B tokens of 1800-1875 English data.
https://theneuralfeed.com/share/post/1QbThzRV
#AINews #TechNews
Read the full story →