Prison break

[mike_bryant]

Посмотрел на все эти новости и тупо купил rtx-6000 ada. Мне кажется что следующее, что эти пидорасы заблокируют это LLM. даже облачный контроль их не устраивает, по сути комп с картами, которые позволяют запускать локальный модели ,становится признаком цифрового суверенитета (привет криптономикон). Лучше иметь карту в слоте прямо сейчас. Забудьте про дефицит VRAM и прочие отмазки. Это как читать киберпанк и видеть только кожаные плащи и зеленые буквы на заднем фоне. Смысл же в другом - в миграции точки сборки монопольного права государства на насилие с физического плана на духовный. Это и есть "киберпанк", что вставляет больше всего -это осознание хутинской РФ как пост-советского киберпанка. просто сорс код, сразу не виден.

Comments

[simbie]

Ага, я тоже прикидывала, как бы обзавестись оффлайн-моделью. Но мне не до того, финансы нужны для других целей. Вообще идея очень здравая, ибо пользоваться отечественными духовно-нравственными аналогами со встроенными традиционными ценностями не тянет.

[mike_bryant]

идея здравая, но абсурдно дорогая...не уверен, что если есть другие траты важные, разумно обменять многие к у.е. на VRAM

[simbie]

Да, приоритеты приходится расставлять в зависимости от обстоятельств. Так что пока всё на уровне "знаю, помню, иногда изучаю, но не спешу тратить бабки". В принципе, натыкалась на разные варианты размещения локальной LLM, в частности, без больших трат на VRAM, но с внушительным размером обычной ОЗУ и не самым вялым процессором. Понятное дело, это для движков попроще.

[mike_bryant]

это про apple silicon ,наверное, тоже недешево, но в допустимых лимитах. nvidia абсурдно дорого

[simbie]

И не только. Народ изворачивается, пробуя разные конфигурации, в том числе почти что бюджетные и скупая запчасти на Авито и прочих барахолках. А с NVidia я, как уважающий себя линуксоид, не буду, пардон, трахаться даже на обычном ноуте.

[cali4nickation]

gemma4:26b-a4b ?

[mike_bryant]

64gb всего. только через pcie, не nvlink. пока на какой-то конкретной модели не остановился

[cali4nickation]

На MacBook Pro М1 64GB как раз с ней Claude Code запускается. Если для литкода то даже работает :) А если с настоящим репозиторием то греется как четвертый энергоблок и выдает на гора токены но не каждую минуту.