Перейти на главную страницу форума
Логин:
Пароль:
Запомнить  
Забыли пароль?
Регистрация »
 

ФиФ-дуэли

   Версия для печати
 
Автор Предыдущая тема Темы Следующая тема  
Дан
Хранитель года - 2006


Россия
5221 сообщений
Послано - 28 Марта 2007 :  23:42:58  Показать инфо об авторе  Ответить с цитатой
Тема предназначена для ведения диспута на некую заданную ФиФ-тему между двумя Хранителями. Не вводя особо строгих правил, ограничимся только следующими общими пожеланиями. Целенаправленный диспут ведут двое. Остальные Хранители имеют право высказываться (советовать, подначивать и прочее ), но обладают статусом зрителей. Дуэль заканчивается, когда дуэлянты приходят либо к какому-либо компромиссу (например, к дружелюбному замирению или взаимному уничтожению ), либо когда все зрители в один голос настойчиво намекают, что кто-то из двоих явно проигрыват. Как только одна дуэль закончена, то можно начинать следующую.

Дуэль Первая.

Тема (перенесено из "Мира после Сингулярности"):

Цитата:
По некотором размышлении почему бы не обсудить автономный ИИ изолированный от человека - не связанный с киборгизацией.
1. Какова может быть технологическая база для автономного ИИ ?
2. Если автономный ИИ возникнет, то зачем ?

Дуэлянты: serg0, Дан.


Прежде, чем обсуждать возможную технологическую базу автономного ИИ, следует задаться как минимум двумя вопросами. Первый: а нужна ли она вообще, эта база? Точнее так, насколько она принципиальна для успешного функционирования ИИ? Второй вопрос более философский, и имеющий отношении к феномену ИИ вообще - с чего это проблема ИИ становится панацеей научной фантастики? Существует два традиционных научно-фантастических сюжета - это полеты в космос (межзвездные экспедиции, фотонные ракеты и их модификации, героические первопроходцы и прочая "космическая" атрибутика) и создание искуственного интеллекта. С космических полетов, как правило, начинали все писатели-фантасты. Некоторые так на этом уровне и оставались... Не являются ли и проблемы ИИ "молодостью" научной фантастики?

Начнем с первого вопроса. Что является определяющим для функционирования ИИ: его носитель (мозг, вычислительные устройства разной степени сложности или вообще некое виртуальное устройство) или просто программа или алгоритм? Достаточно ли перейти некую "пороговую" сложность алгоритма, чтобы он стал ИИ? Под словом "интеллект" буду понимать "сознание" (вообще мне кажется, интеллект - это частный случай сознания, но это уже нюанс, требующий отдельного рассмотрения). Вопрос не в том, что эта "пороговая сложность" может быть еще очень далека от тех сложностей, с которыми мы имеем дело сейчас. Это принципиальной вопрос о том, важны нам технологические носители или нет. Я думаю, что носитель все-таки имеет значение, имеет значения конкретная физико-биологическая-химическая структура носителя. Проблема создания ИИ упирается, в первую очередь, не в алгоритм, а в невозможность создать подходящий носитель. Мозг человека обладает гигантским преимуществом по сравнению с любыми другими возможными носителями. Его "логические элементы" (нейроны) содержат очень большое количество входов и выходов - до 80000. Кроме того, мозг - это динамическая изменяющаяся структура. Смогут ли квантовые компьютеры как-то имитировать мозг? Вообще-то не факт, что квантовые процессы слишком принципиальны для человеческого мозга, так что вряд ли это выход.
Технологическая база принципиально другой структуры, чем мозг, должна, видимо, обладать его достоинствами. Прежде создания ИИ надо бы получше понять устройство нашего собственнного мозга и главное, проблему сознания, его необходимых и достаточных условий.

Второй вопрос, о философском смысле ИИ. Не является ли такой повышенный интерес к этой проблеме аналогом модного в свое время увлечения "атомными движками"? Едва только изобрели атомную энергию, писатели-фантасты кинулись эксплуатировать и экстраполировать эти идеи, приделывая атомные движки чуть ли ни к кастрюлькам... Оправдан ли современный бурный интерес к ИИ? Эпохальными поворотными пунктами в судьбе человечества являются те, которые способны изменить жизнь ВСЕГО человечества, а не какой-то избранной элиты. Изобретение колеса являлось таким открытием, а вот что за дело до нанотехнологий жителям, например, Южной Америки или Африки? Мы все еще живем в век электричества и пытаемся экстраполировать его достижения, прогнозируя будущее. Но вполне может так случиться, что об ИИ через 50-100 лет забудут, как об атомных кастрюльках и человечество ринется в пучину каких-то совершенно новых идей и принципов, о которых сейчас мы не имеем ни малейшего понятия. Такая гипотеза имеет ненулевую вероятность - разве догадывался средневековый человек о теории относительности?

А чисто формально, придерживаясь позиции, что мы все-таки угадали с направлением развития науки именно в область ИИ и нанотехнологий... Зачем нужен ИИ? Тут простые ответы: заменять человека там, где он, человек, работать не сможет; пытаться сделать выводы об устройстве человеческого мозга. Для того, чтобы просто СДЕЛАТЬ и гнуть пальцы веером, в конце концов.

Преподобный отец Ричард Кентерберийский.

Отредактировано - Вольха Московская on 07 May 2007 20:34:36

serg0
Мастер Слова



1527 сообщений
Послано - 29 Марта 2007 :  01:19:50  Посмотреть инфо об авторе  Получить ссылку на сообщение  Ответить с цитатой
Просто замечательно! Я не согласен почти по всем основным пунктам Нет хуже обсуждения когда все со всеми согласны.

Цитата:

Первый: а нужна ли она вообще, эта база? Точнее так, насколько она принципиальна для успешного функционирования ИИ?
Начнем с первого вопроса. Что является определяющим для функционирования ИИ: его носитель (мозг, вычислительные устройства разной степени сложности или вообще некое виртуальное устройство) или просто программа или алгоритм? Достаточно ли перейти некую "пороговую" сложность алгоритма, чтобы он стал ИИ? Под словом "интеллект" буду понимать "сознание" (вообще мне кажется, интеллект - это частный случай сознания, но это уже нюанс, требующий отдельного рассмотрения).


Я не согласен. Моя позиция - интеллект возможен без сознания.
Неотьемлемой частью сознания являются мотивации. Если мы возьмём мозг например Перельмана и хирургически удалим центры мотивации, оставив только находитель решений - на входе проблема, на выходе решение - мы получаем творческий интеллект без сознания.
Можно ли это назвать интеллектом ? Мне кажется да, поскольку "творчество" присутствует. Можно ли это назвать сознанием ? Нет. поскольку предоставленный сам себе этот механизм бедействует. ЕМу нужно что бы кто то его включил.

Цитата:

Вопрос не в том, что эта "пороговая сложность" может быть еще очень далека от тех сложностей, с которыми мы имеем дело сейчас.


Скорее не согласен. Я читал что общая информацонная ёмкость мозна оценивается примерно в сто терабайт. Клнечно оценка может быть ошибочна, но это тем не менее некий старт. Сто терабайт - это означает что по крайней мере по обьёму мы уже у цели. Остаются вопросы быстродействия и алгоритмов.
Но - я постулировал не киборгизированный ИИ Копию или симуляцию мозга, основных его отделов и системы построенные на их базе я отношу к киборгам.

Цитата:

Это принципиальной вопрос о том, важны нам технологические носители или нет. Я думаю, что носитель все-таки имеет значение, имеет значения конкретная физико-биологическая-химическая структура носителя. Проблема создания ИИ упирается, в первую очередь, не в алгоритм, а в невозможность создать подходящий носитель. Мозг человека обладает гигантским преимуществом по сравнению с любыми другими возможными носителями. Его "логические элементы" (нейроны) содержат очень большое количество входов и выходов - до 80000. Кроме того, мозг - это динамическая изменяющаяся структура.
Смогут ли квантовые компьютеры как-то имитировать мозг? Вообще-то не факт, что квантовые процессы слишком принципиальны для человеческого мозга, так что вряд ли это выход.


1. Я читал что можно считать доказанным - мозг не квантовый компьютер. Я вообще не фанат квантовых комьютеров. Квантовые компьютеры дают не такое уж грандиозное преимущество в скорости (всего лишь квадрат количества операций, это далеко не экспонента) для узкого круга задач.
В основном факторизация, которая нужна по большому счёту только криптографам и преступникам. Единственное по настоящему полезное применение квантовых компьютеров - это вычисления в квантовой механике, что не удивительно.
2. По поводу того какая грандиозная структура мозг - см предыдущий абзац, каких-то сто терабайт. Конечно эта оценка спорна, но тут уж вопрос кого куда интуиция подтолкнёт. Мне кажется порядок величины где то близко.

Цитата:

Технологическая база принципиально другой структуры, чем мозг, должна, видимо, обладать его достоинствами. Прежде создания ИИ надо бы получше понять устройство нашего собственнного мозга и главное, проблему сознания, его необходимых и достаточных условий.


Здесь я снова возвращаюсь к терминологии. Тему которую я хотел обсудить - это альтернатива киборгизации. Мне кажется что путь изучения мозга - это путь киборгизации, поскольку на этом пути, по крайней мере на первом этапе возникает мозг близкий к человеческому, если не его копия.
Более интересна проблема мозга работающего на других алгоритмических принципах. Соответсвенно элементная база не обязана дублировать функциональность мозга и иметь те же сильные стороны. Она может быть слаба там где мозг силён и сильна там где мозг слаб.

Цитата:

Второй вопрос более философский, и имеющий отношении к феномену ИИ вообще - с чего это проблема ИИ становится панацеей научной фантастики? Существует два традиционных научно-фантастических сюжета - это полеты в космос (межзвездные экспедиции, фотонные ракеты и их модификации, героические первопроходцы и прочая "космическая" атрибутика) и создание искуственного интеллекта. С космических полетов, как правило, начинали все писатели-фантасты. Некоторые так на этом уровне и оставались... Не являются ли и проблемы ИИ "молодостью" научной фантастики?
...
Второй вопрос, о философском смысле ИИ. Не является ли такой повышенный интерес к этой проблеме аналогом модного в свое время увлечения "атомными движками"? Едва только изобрели атомную энергию, писатели-фантасты кинулись эксплуатировать и экстраполировать эти идеи, приделывая атомные движки чуть ли ни к кастрюлькам... Оправдан ли современный бурный интерес к ИИ? Эпохальными поворотными пунктами в судьбе человечества являются те, которые способны изменить жизнь ВСЕГО человечества, а не какой-то избранной элиты. Изобретение колеса являлось таким открытием, а вот что за дело до нанотехнологий жителям, например, Южной Америки или Африки? Мы все еще живем в век электричества и пытаемся экстраполировать его достижения, прогнозируя будущее. Но вполне может так случиться, что об ИИ через 50-100 лет забудут, как об атомных кастрюльках и человечество ринется в пучину каких-то совершенно новых идей и принципов, о которых сейчас мы не имеем ни малейшего понятия. Такая гипотеза имеет ненулевую вероятность - разве догадывался средневековый человек о теории относительности?


Космос или информационные технологии ?
Довольно распостранённое мнение среди любителей фантастики - что человечество прошло развилку где-то в пятидесятые годы. Была возможность повернуть на космический путь развития. Имя этой возможности - Орион.
Двигатель представляющий собой чашку толкаемую взрывами маломощных атомных бомб. Орион позволяет вывести на орбиту обьект массой линкора. Или разогнать корабль до пяти процентов скорости света и затормозить обратно. Если бы человечество пошло по пути Ориона сейчас строили бы не орбитальную станцию, а станцию на орбите Сатурна. Орион имеет свою цену. Один запуск Ориона с земли увеличивает смертность от рака на двух-трёх человек в год, за счёт радиоактивного загрязнения. Но я вобщем то доволен что мы туда не повернули. Это было бы наверное более скучное централизованное общество, без персоналок, программисты ходили бы в костюмах с галстуками (Ужас, Ужас, Ужас!) вместо стартапов - гигантские научно-производственные корпорации. Но на нашем пути развития какая-то более продвинутая форма интеллекта - киборг или ИИ мне кажется возникнет неизбежно. Кроме того мы всё равно быть может построим космическое общество даже без Ориона, если удастся создать орбитальный лифт. Кроме того сейчас появляются проекты "чистого" ориона - микровзрывы в закрытой камере. Микротермоядерные заряды с катализатором из антиматерии например.

Цитата:

А чисто формально, придерживаясь позиции, что мы все-таки угадали с направлением развития науки именно в область ИИ и нанотехнологий... Зачем нужен ИИ? Тут простые ответы: заменять человека там, где он, человек, работать не сможет;


Здесь мы наконец приходи к ключевому вопросу дискусии. Что есть сознание ? Моя позиция сознание это интеллект+мотивации. Под автономным ИИ мы понимаем не просто искуственный интеллект, но искуственное сознание. То есть нечто имеющее автономные мотивации. Автономные мотивации означает эволюционирующие мотивации, мотивации не берущие в расчёт интересы создателей. Вы предлагаете для облегчения труда человека создать субьектов, сильно отличающихся от человека - в противном случае это будут киборги - и умнее человека. Желания которых рано или поздно придут в конфликт с желаниями их создателей.
Я повторяю мою основную позицию: Мы определяемся и классифицируемся нашими мотивации. Киборги с человеческими мотивациями остаются "людьми" в обобщённом смыслк слова. Автономные ИИ с нечеловеческими мотивациями - явная угроза, которую на мой взгляд не оправдывют возможные выгоды. Автономные ИИ работающие на принципах сильно оличающихся от принципов работы мозга могут добится прогресса в областях где человекоподобный мозг не справится. Но насколько будет это полезно ? Вот вам ваши "чёрные ящики" - оракулы выдающие ответы на нектороые вопросы, но не обьясняющие как эти ответы получены. Субьекты сторящие машины которые работают, но которые невозможно воспроизвести. Субьекты мотивы поступков котрорых необьяснимы. Потенциально враждебные.
А нам это нужно ? Это всё рано что закачивать программу с подозрительного сайта в сети, и надеятся что в ней нет троянов и вирусов.

Цитата:

Для того, чтобы просто СДЕЛАТЬ и гнуть пальцы веером, в конце концов.


Вот это то то и есть главная опасность. Деструктивные техно-хакеры создающие что-то просто назло. Пытаться запретить это бесполезно. Стругацкие показали как КОМКОНы пытются удержать тигра расползающимся одеялом. Единственная альтернатива - обогнать. Если человекоподобне киборги с человеческими мотивациями будут постоянно обгонять по суммарной мощности "чуждые" автономные ИИ, преемственность цивилизации сохранится. В противном случае эволюционную линию человеческого сознания ожидает судьба трилобитов.


Дан
Хранитель года - 2006


Россия
5221 сообщений
Послано - 01 Апр 2007 :  23:22:25  Посмотреть инфо об авторе  Получить ссылку на сообщение  Ответить с цитатой
Цитата:
интеллект возможен без сознания.
Неотьемлемой частью сознания являются мотивации. Если мы возьмём мозг например Перельмана и хирургически удалим центры мотивации, оставив только находитель решений - на входе проблема, на выходе решение - мы получаем творческий интеллект без сознания.
Можно ли это назвать интеллектом ? Мне кажется да, поскольку "творчество" присутствует. Можно ли это назвать сознанием ? Нет. поскольку предоставленный сам себе этот механизм бедействует. ЕМу нужно что бы кто то его включил.

А почему Вы думаете, что этот самый "находитель решений" согласится работать, если у него будет отключен центр мотиваций? В примере про Перельмана Вы считаете, что наличие интеллекта подразумевает наличие и творчества. Это подмена одного нечетко определенного понятия другим. Заглянем в словарь. С одной строны, "творчество" - это деятельность, порождающая нечто качественно новое, и тогда сложный компьютер вполне может "творить". Но ведь есть и более широкое определение "творчества" - как, извините за штампованную фразу, деятельность по созданию культурных ценностей. А культурные ценности не отделимы от эмоционально-духовной сферы, от человеческих мотиваций и, следовательно, принадлежат уже епархии сознания. Таким образом, чтобы разграничить "интеллект" и "сознание" Вам придется определить и понятие "творчество", иначе Ваш пример не является доказательным. Кроме того, согласно общепринятой терминологии, слово "интеллект" подразумевает понимание той задачи, над которой ведется работа. Но понимание - это не свойство достаточно сложного алгоритма, это свойство сознания. В принципе, конечно, можно считать, что некое устройство "понимает" предложенные ему вопросы, если оно реагирует на них как человек. Другими словами, существует точка зрения, что полная "имитация понимания" и является "пониманием", коль скоро оно не отличимо от человеческой реакции. Но всегда находится вопрос, когда пусть даже самая искуссная имитация все-таки даст сбой. И еще интеллект подразумевает оперирование с такими понятиями, как "суждение об истинности" (что неалгоритмизируемо) и даже, возможно, художественную оценку... Видимо, под словом интеллект Вы понимаете слишком ограниченный набор действий. И, кроме того, разве отлючение центров мотивации (если предположить, что такое можно проделать в реальности) ведет к тому, что система "выключается"? Вообще говоря, она поддерживает свою жизнедеятельность, а это уже есть некая "мотивация".

Цитата:
Но - я постулировал не киборгизированный ИИ Копию или симуляцию мозга, основных его отделов и системы построенные на их базе я отношу к киборгам.

Это существенно меняет дело. Вообще говоря, под проблемой ИИ понимается как можно более приближенная к реальности имитация ЧЕЛОВЕЧЕСКОГО МОЗГА. Вы вводите свое, новое определение этой проблемы... Ваше право .

Цитата:
Я читал что можно считать доказанным - мозг не квантовый компьютер.

Значит, мы оба согласны, что квантовый компьютер плохо описывает деятельность человеческого мозга, и эту часть вопроса можно считать закрытой?

Цитата:
Более интересна проблема мозга работающего на других алгоритмических принципах.

Первый вопрос здесь такой. Идет ли речь о мозге других существ (инопланетных зеленых человечков, сгустков разумной слизи и прочая и прочая)? Или речь идет о возможности создания человеком искусственного нечеловеческого мозга? Второй вопрос сразу же наталкивается на почти непреодолимую трудность: а может ли В ПРИНЦИПЕ человеческий мозг "изобресть" такой алгоритм (Вы утверждали, что первичен алгоритм, а не носитель), чтобы он действовал существенно не по-человечески? Наиболее простым методом кажется создание некоего алгоритма, предназначенного для создания следующего и так далее, множество уровней вложенности. Некий аналог "самовоспроизводства системы" в синергетике, только примененное к чисто абстрактным конструкциям (алгоритмам). Тогда еще можно надеяться, что на каком-то этапе такая система вложенных алгоритмов будет, грубо говоря, вести себе "не по-человечески" (за счет ли нарастающей сложности или за счет накопления случайных отклонений). Вы постулируете, что человек может создать систему с нечеловеческими мотивациями. Давайте сначала с простого. Что конкретно Вы подразуменваете под "нечеловеческим" образом мышления? Шахматный компьютер действует тупо перебором вариантов - реальный живой человек так никогда не поступает. Но это не означает, что метод перебора "нечеловеческий". Так по-Вашему, шахматная машина уже является простейшим вариантом "нечеловеческого" поведения или нет, поскольку ее логика ясна человеку?

Преподобный отец Ричард Кентерберийский.

serg0
Мастер Слова



1527 сообщений
Послано - 07 Апр 2007 :  17:33:03  Посмотреть инфо об авторе  Получить ссылку на сообщение  Ответить с цитатой
Цитата:

Цитата:
интеллект возможен без сознания.
Неотьемлемой частью сознания являются мотивации. Если мы возьмём мозг например Перельмана и хирургически удалим центры мотивации, оставив только находитель решений - на входе проблема, на выходе решение - мы получаем творческий интеллект без сознания.
Можно ли это назвать интеллектом ? Мне кажется да, поскольку "творчество" присутствует. Можно ли это назвать сознанием ? Нет. поскольку предоставленный сам себе этот механизм бедействует. ЕМу нужно что бы кто то его включил.

А почему Вы думаете, что этот самый "находитель решений" согласится работать, если у него будет отключен центр мотиваций?



Потому что он не может не согласится. Это в общем автомат (по аналогии с "конечным автоматом" - на вход поступают сигнал, на выходе - другой сигнал. Ваш любимый чёрный ящик.

Цитата:

В примере про Перельмана Вы считаете, что наличие интеллекта подразумевает наличие и творчества. Это подмена одного нечетко определенного понятия другим.


Я согласен. Но поскольку все эти понятия трудно формализовать, я могу только пытатся обычными словами приблизительно выразить нечёткую мысль. В этом смысле синонимы очень полезны - каждое слово имеет свою область применения, и мысль лежит там где эти области перекрещиваются. Хмм, надеюсь мой ответ всё ёще связен и не превратился в бессмысленный набор слов

Цитата:

Заглянем в словарь. С одной строны, "творчество" - это деятельность, порождающая нечто качественно новое, и тогда сложный компьютер вполне может "творить". Но ведь есть и более широкое определение "творчества" - как, извините за штампованную фразу, деятельность по созданию культурных ценностей. А культурные ценности не отделимы от эмоционально-духовной сферы, от человеческих мотиваций и, следовательно, принадлежат уже епархии сознания. Таким образом, чтобы разграничить "интеллект" и "сознание" Вам придется определить и понятие "творчество", иначе Ваш пример не является доказательным.


Я не могу дать чёткого определения творчества.
По видмому под творчеством понимаются сложные задачи, вне возможности современных компьютеров или комбинаций шимпанзе-компьютер.(то есть скажем распознователь образов на базе шимпанзе как ввод компьютера) Хотя это конечно замкнутый круг - интеллект это то что творит, творчество - это то что делает интеллект. Как я уже говорил, что бы в этих рассужлениях быд смысл, нужно обратится к ассоциациям. Культурные ценности относятся к творчеству, но творчество ими не исчерпывается. Что такое культурные ценности мне не понятно. Скорее всего это сплав интеллекта и мотиваций. Чистый интеллект, "решатель задач", не будет способен к их оценке. То есть чистый интеллект может не быть способен к любому человеческому творчеству.

Цитата:

Кроме того, согласно общепринятой терминологии, слово "интеллект" подразумевает понимание той задачи, над которой ведется работа. Но понимание - это не свойство достаточно сложного алгоритма, это свойство сознания.


Мне кажется "понимание" может быть свойством алгоритма. Алгоритм "понимает" задачу, если он даёт полное решение и "минимален". То есть его сложность - это минимально возможная сложность для задачи. Это можно выразить через методологию теории категорий: Алгоритм понимает если любой способный к пониманию наблюдатель, понимает задачу после прохода по алгоритму. То есть для "понимания" нужен внешний контекст. Внешняя задача например.

Цитата:

И еще интеллект подразумевает оперирование с такими понятиями, как "суждение об истинности" (что неалгоритмизируемо) и даже, возможно, художественную оценку


А вот общее "суждение об истинности", вне рамок конкретной задачи - это уже мотивация. То есть не свойство "чистого интеллекта"

Цитата:

... Видимо, под словом интеллект Вы понимаете слишком ограниченный набор действий.


Да. В моём понимании интеллект = разум - мотивации.

Цитата:

И, кроме того, разве отлючение центров мотивации (если предположить, что такое можно проделать в реальности) ведет к тому, что система "выключается"? Вообще говоря, она поддерживает свою жизнедеятельность, а это уже есть некая "мотивация".


Здесь вы правы, пример не вполне удачен. Более точным было бы посадить искомый мозг в систему поддержания жизни. Просто подавить отдельные сигнальные процедуры недостаточно.
Цитата:

Цитата:
Но - я постулировал не киборгизированный ИИ Копию или симуляцию мозга, основных его отделов и системы построенные на их базе я отношу к киборгам.

Это существенно меняет дело. Вообще говоря, под проблемой ИИ понимается как можно более приближенная к реальности имитация ЧЕЛОВЕЧЕСКОГО МОЗГА. Вы вводите свое, новое определение этой проблемы... Ваше право


Просто это была бы уже совсем другая история. Нельзя обьять необьятное.

Цитата:

Цитата:
Более интересна проблема мозга работающего на других алгоритмических принципах.

Первый вопрос здесь такой. Идет ли речь о мозге других существ (инопланетных зеленых человечков, сгустков разумной слизи и прочая и прочая)? Или речь идет о возможности создания человеком искусственного нечеловеческого мозга?


Мы здесь обсуждаем ИИ.

Цитата:

Второй вопрос сразу же наталкивается на почти непреодолимую трудность: а может ли В ПРИНЦИПЕ человеческий мозг "изобресть" такой алгоритм (Вы утверждали, что первичен алгоритм, а не носитель), чтобы он действовал существенно не по-человечески? Наиболее простым методом кажется создание некоего алгоритма, предназначенного для создания следующего и так далее, множество уровней вложенности. Некий аналог "самовоспроизводства системы" в синергетике, только примененное к чисто абстрактным конструкциям (алгоритмам). Тогда еще можно надеяться, что на каком-то этапе такая система вложенных алгоритмов будет, грубо говоря, вести себе "не по-человечески" (за счет ли нарастающей сложности или за счет накопления случайных отклонений).


В целом что-то подобное.

Цитата:

Вы постулируете, что человек может создать систему с нечеловеческими мотивациями. Давайте сначала с простого. Что конкретно Вы подразуменваете под "нечеловеческим" образом мышления?

Шахматный компьютер действует тупо перебором вариантов - реальный живой человек так никогда не поступает.



шахматный компьютер работает не так. Не тупой и не перебор. В целом его работа отдалённо напоминает мышление шахматиста. В памяти хранится огромная база данных всевозможных дебютов, атак, позиций, комбинаций и прочее.
Компьютер определяет на что больше всего похожа позиция на доске и соответственно пытается модифицировать информацию из базы данных. Используя перебор вариантов, но не тупой - а с весами, идентификацией узлов и тп.

Цитата:

Но это не означает, что метод перебора "нечеловеческий". Так по-Вашему, шахматная машина уже является простейшим вариантом "нечеловеческого" поведения или нет, поскольку ее логика ясна человеку?

Метод шахматного компьютера отдалённо напоминает мышление игрока. Но я считаю что это как раз пример примитивного "нечеловеческого" мышления. Ясность логики как раз и является проявлением "нечеловечности" Человеческий мозг мыслит как статистик, как сеть Байеса, накапливая наблюдения и делая на их основе коррекции в предположениях. Всё это выражется в порогах возбуждения нейронов и их связях.
Шахматная программа ноборот - строгая база данных, на принципах "Если - то". Возвратимся к предыдущему обсуждению о "понимании". Я думаю даже если человек понимает отдельные концепции шахмат лучше, можно сказать что шахматная программа понимает игру в целом лучше. Если конечно она бьёт этого человеческого игрока и её база данных предельно оптимизирована и структурирована.

В заключение:
Об аналогии разума и шахматного компьютера/программы.

Именно это направление дискусии я и хотел получить с самого начала.
Олно из направлений "нечеловеческого" интеллекта - это интеллект основанный на более высоком уровне понимания, на более "чистых" и оптимальных алгоритмах.
Это подводит к ещё более интересному для ФиФ вопросу: что мы можем сказать о нечеловеческих мотивациях ?
Я повторяю свю позицию - мотивации могут быть в значительной степени отделены от интелекта. Поэтому мы можем их обсуждать даже безотносительно типа интеллекта.
Если же вы несогласны, то как пример мы можем взять сознание возникающее как синтез "шахматного интеллекта" и ещё не определённых нами мотиваций.
PS другой возможный "нечеловеческий" интеллект - это "решатель задач" на базе генетических алгоритмов. Эволюция в миниатюре.

Отредактировано - serg0 on 07 Apr 2007 18:11:05

Дан
Хранитель года - 2006


Россия
5221 сообщений
Послано - 10 Апр 2007 :  22:40:24  Посмотреть инфо об авторе  Получить ссылку на сообщение  Ответить с цитатой
Виу! Сейчас буду пытаться сделать из Вас винегрет! Виу-вирули!

Прежде всего еще немного поговорим о "человеческом» ИИ, поскольку нерешенные вопросы и недопонимания таки остались.

Цитата:
Потому что он не может не согласится. Это в общем автомат (по аналогии с "конечным автоматом" - на вход поступают сигнал, на выходе - другой сигнал. Ваш любимый чёрный ящик.

Будет ли (используя "человеческую" характеристику, согласится ли) «находитель решений» работать без центра мотиваций – вот в чем вопрос. Вы так уверены, что способность человеком решать математические задачи совершенно не зависят от его мотиваций, как глобальных, так и локальных, мелких, сиюминутных. Кто-то из великих, кажется, Эйнштейн, говорил, что ему «не показались» доводы квантовой механики только потому, что «так захотел его левый мизинец». Трудноопределимы понятия «сознание», «интеллект», «разум», «творчество»... А Вы, даже не дав точных определений, сразу беретесь разделять их физически! Смело...

Вы говорите, отрежьте мотивации и получите вместо человека чистый вычислитель, автомат. Вы говорите, мы получим "черный ящик" - на входе параметры, на выходе решение... Но Вы забываете о параметрах самого «черного ящика», поскольку для решения задачи важны не только входные данные, но и внутреннее состояние самой системы. И совсем не очевидно, что, например, эмоциональное состояние этого «вычислителя» никак не повлияет на выдаваемый им ответ. А эмоции напрямую связаны с мотивациями.

Так что "мотивации" и "интеллект" – это не два полушария мозга, которые можно разделить скальпелем, получив в большой степени самодостаточные "системы". Отняв мотивации, можно серьезно исказить работу "вычислителя".

Эта Ваша точка зрения – одно из следствие того, что Вы признаете "разумным" отдельно алгоритм, вне зависимости от носителя:


Цитата:
Мне кажется "понимание" может быть свойством алгоритма. Алгоритм "понимает" задачу, если он даёт полное решение и "минимален".

Это верно, только если под "задачей" Вы имеете ввиду что-то очень-очень простенькое... То есть буквально то, что понимают под этим словом студенты, а именно, "вычислительную математическую задачу". Но ИИ (а мы же говорим не вообще об алгоритмах, а об их применимости к ИИ) должен быть способен не только к задачам из области математики. По Вашему, достаточно сложный алгоритм может "понимать" ("чувствовать"?) и боль, и удовольствие, и голод? Мы можем только условно приписывать всяким "железякам" чисто человеческие характеристики, типа, "мой компьютер не захотел сегодня включиться", но это не имеет никакого отношения к тому, почему в действительности компьютер не включился.

А в конечном итоге Вы утверждаете, что ИИ может быть реализован на любом носителе, будь то теплая овсяная каша человеческого мозга, термостат или множество бильярдных шаров. Или даже галактика, если бы скорость передачи информации не была бы ограничена скоростью света... С этим я не согласна. Есть пример Роджера Шенка о имитации понимания – так называемая "китайская комната". Этот пример наглядно показывает, что понимание не является обязательным свойством алгоритма.


Цитата:
Алгоритм понимает если любой способный к пониманию наблюдатель, понимает задачу после прохода по алгоритму. То есть для "понимания" нужен внешний контекст.

Какая-то у Вас путаница получается. Сначала Вы говорите, что алгоритм – это основа ИИ, а теперь оказывается, что такой ИИ без "ридера", без того, кто бы его "почитал" будет мертв. Чем тогда этот ИИ от книжки отличается? Или Вы не собираетесь применять такие алгоритмы к созданию ИИ? Но к чему нам тогда такие абстрактные рассуждения об алгоритмах, не нужных для создания ИИ?


Цитата:
Цитата:
________________________________________

И еще интеллект подразумевает оперирование с такими понятиями, как "суждение об истинности" (что неалгоритмизируемо) и даже, возможно, художественную оценку
________________________________________

А вот общее "суждение об истинности", вне рамок конкретной задачи - это уже мотивация. То есть не свойство "чистого интеллекта"


А как у Вас соотносятся понятия «чистого интеллекта» и «понимающего алгоритма»?


Цитата:
В моём понимании интеллект = разум - мотивации.


Напоминает лозунг, помните, про электрификацию. Лозунги, они, как правило, не очень информативны...


Цитата:
Метод шахматного компьютера отдалённо напоминает мышление игрока.


Компьютер лишен ключевого человеческого понятия - "суждения", то есть лишен способности сообразить, какой алгоритм нужно выбрать в конкретной обстановке. Вообще задача выбора, какой алгоритм применять, - не алгоритмизируема. Компьютер выигрывает у равного по силе человека, если ходы надо делать быстро, но если дается время на размышления, на эти самые "суждения", то выигрывает человек. Не достаточно хранения в компьютерной памяти всяческих дебютов и этюдов, и тем более не достаточно просто просчета числа комбинаций.

Если Вы называете шахматный компьютер примитивным "нечеловеческим" интеллектом, значит, он априори проигрышный, потому что оперирует только алгоритмизируемыми категории. И никогда таким ИИ "не сбороть" людей, наделенных, благодаря своему уникальному природному носителю, способностью СУДИТЬ.


Цитата:
…это интеллект основанный на более высоком уровне понимания, на более "чистых" и оптимальных алгоритмах.


Более высокий уровень понимания основан на НЕАЛГОРИТМИЗИРУЕМОСТИ отдельных аспектов мышления. Если я не ошибаюсь, именно здесь уместно упомянуть теорему Геделя – нужно нечто большее, чем самый совершенный алгоритм, например, нужно "суждение" (или "интуиция"). Шахматный компьютер "интуицией" не обладает.

Цитата:
что мы можем сказать о нечеловеческих мотивациях ?
Я повторяю свю позицию - мотивации могут быть в значительной степени отделены от интелекта. Поэтому мы можем их обсуждать даже безотносительно типа интеллекта.

Интересно получается... По Вашему получается, что можно рассуждать о всяких разных мотивациях вообще абстрагируясь от понятия ИИ. Тогда зачем пытаться разграничивать человеческий и нечеловеческий ИИ, если, как Вы говорите, для обсуждения мотиваций ИИ нам не понадобится... Новую ветку тему задаете? "О-кей", как сказала Леону Матильда в известном фильме Люка Бессона .

Мотивации связаны не только с разумом, поскольку могут быть очень примитивными. Мотивации связаны с биологическим строением организма, с особенностями его жизнедеятельности. Базовые мотивации основаны на "желании выжить" и "желании продолжать свой род". И не важно, кто перед нами люди и нелюди – указанные две базовые мотивации универсальны для всего живого. Или Вы говорите о НЕ ЖИВЫХ объектах ("существах" или как еще их там назвать?) снабженных мотивацией? И вообще, я так подумала... Мне кажется, у НЕ ЖИВЫХ понятие мотивации вообще отсутствует. Человек, конечно, может сказать, что "робот ищет электрическую розетку с целью выжить", но это будет чисто человеческий оборот речи, подмена понятий. У робота нет "желания выжить", как нет и "желания продолжить род"...
И вообще, поведение робот алгоримизируемо. Если предположить, что когда-либо будет создан ИИ, умеющий "судить", как это делает человек, то есть, обладающий принципиально неалгоритмизируемой составляющей, то С НЕОБХОДИМОСТЬЮ ПОТРЕБУЕТСЯ ЖИВОЙ НОСИТЕЛЬ (пример – мозг, но это может быть и "субстанция" другого состава и другого размера). Так что можно сказать, что неалгоритмизирумые рассуждения свойственны только живым существам, поскольку соответствующий "софт" работает только на живом носителе. Таким образом, я считаю, что носитель (а не алгоритм!) имеет принципиальное значение при создании ИИ.

Сознание не может появиться в результате синтеза "шахматного компьютера" и "мотиваций" - это слишком простая схема (исходя из всего, сказанного выше).

Цитата:
"нечеловеческий" интеллект - это "решатель задач" на базе генетических алгоритмов. Эволюция в миниатюре.

На биологический носителе?

PS. Нечеловеческие мотивации - вещь очень интересная. Сюжеты ФиФ однозначно выигрывают, когда делается попытка ввести такой ИИ. Особенно, если эта попытка удачная, как в "Эдеме" и, в меньшей степени, в "Непобедимом" и "Солярисе".

Преподобный отец Ричард Кентерберийский.

serg0
Мастер Слова



1527 сообщений
Послано - 17 Апр 2007 :  21:53:34  Посмотреть инфо об авторе  Получить ссылку на сообщение  Ответить с цитатой
Цитата:

Будет ли (используя "человеческую" характеристику, согласится ли) «находитель решений» работать без центра мотиваций – вот в чем вопрос.


Будет. Такие решатели задач успешно работают уже десятки, если не сотни лет. Это - научные сообщества. Для простоты возьиём Сталинскую шаражку. Как единую монолитную систему, не считая всей остальной государственной машины. Она очевидно способна к решению задач которые мы считаем творческим. Она не имеет явно выраженных собственных мотиваций - например самосохранения. Уберите охрану - инженеры разбегутся, система самоуничтожится. Скорее всего она не имеет вообще никаких мотиваций.
В сущности систему можно упростить. Возьмите человека, заприте его в ящик, на вход - продукт первичный, и задачи, на выходе - продукт вторичный и ответы. Для поддержания работоспособности пропускать через стенки ток, если ответ не поступает. В целом вся система и есть тот же самый решателб задач. Без мотиваций. Вас смущает что отдельные компоненты системы имеют мотивации ? Но многие алгоритмы, например оптимизации включают подсистемы с примитивной мотивацией - например уменьшить какой либо параметр. Генетические алгоритмы даже включают элементы с "чуствром самосоранения"

Цитата:

А Вы, даже не дав точных определений,


Я об этом говорил очень подробно. Не хочу повторятся.

Цитата:

По Вашему, достаточно сложный алгоритм может "понимать" ("чувствовать"?) и боль, и удовольствие, и голод?


Безусловно. Вы - пример такого алгоритма.

Цитата:

Есть пример Роджера Шенка о имитации понимания – так называемая "китайская комната".


Он путет систему с её элементом. Для того что бы система понимала, её элемент вовсе не должен понимать. Понимание - свойство системы в целом.

Цитата:

Цитата:
Алгоритм понимает если любой способный к пониманию наблюдатель, понимает задачу после прохода по алгоритму. То есть для "понимания" нужен внешний контекст.


Какая-то у Вас путаница получается. Сначала Вы говорите, что алгоритм – это основа ИИ, а теперь оказывается, что такой ИИ без "ридера", без того, кто бы его "почитал" будет мертв.


Я хотел в предыдущем посте дать более развёрнутое обьяснение, но думал вы как физик, и следовательно эксперт в теории категорий и так поймёте. Ни какого выделенного ридера нет. Есть класс всех существующих ридеров. Контекст - это общее понимание ридеров. Если в категории ридеров композиция морфизма(стрелки) от ридера к алгоритму и морфизма от алгоритма к задаче даёт морфизм от ридера к задаче (понимание ридера) адгоритм понимет. Для общей завершённости добавим ещё морфизмы от ридера к ридеру и потребуем треугольника - композиция ридер-ридер ридер-алгоритм алгоритм-задача даёт ридер-задача. Это конечно не строго, но что-то похожее.

Цитата:

А как у Вас соотносятся понятия «чистого интеллекта» и «понимающего алгоритма»?


Интеллект на то и интеллект что может понимать.
Цитата:

Цитата:
В моём понимании интеллект = разум - мотивации.

Напоминает лозунг, помните, про электрификацию. Лозунги, они, как правило, не очень информативны...


Я вообще в чём-то марксист.

Цитата:

Компьютер лишен ключевого человеческого понятия - "суждения", то есть лишен способности сообразить, какой алгоритм нужно выбрать в конкретной обстановке.


Вы сами - компьютер который не имеет проблем с суждениями и выбором.

Цитата:

Вообще задача выбора, какой алгоритм применять, - не алгоритмизируема. Компьютер выигрывает у равного по силе человека, если ходы надо делать быстро, но если дается время на размышления, на эти самые "суждения", то выигрывает человек.


Вы простите сюда только что на машине времени из прошлого века прибыли ? Компьютер давно чемпиона мира бьёт.

Цитата:

И никогда таким ИИ "не сбороть" людей, наделенных, благодаря своему уникальному природному носителю, способностью СУДИТЬ.


Хмм,вы случайно не религиозны ?

Цитата:

Более высокий уровень понимания основан на НЕАЛГОРИТМИЗИРУЕМОСТИ отдельных аспектов мышления.


Всякое мышление алгоритмизируемо. Алгоритмы не обязаны быть детерминистическими (то есть могут включать генератор случайных чисел, или "бежать" на квантовых кубитах), но от этого не перестают быть алгоритмами.

Цитата:

Если я не ошибаюсь, именно здесь уместно упомянуть теорему Геделя – нужно нечто большее, чем самый совершенный алгоритм,


И при чём здесь теорема Гёделя ?

Цитата:

например, нужно "суждение" (или "интуиция"). Шахматный компьютер "интуицией" не обладает.


Я (и многие другие) полагаю интуиция массивно-паралельный вычислительный процесс бегущий где-то в нижних слоях или под сознанием. Никакой мистики там нет.

Цитата:

Цитата:
что мы можем сказать о нечеловеческих мотивациях ?
Я повторяю свю позицию - мотивации могут быть в значительной степени отделены от интелекта. Поэтому мы можем их обсуждать даже безотносительно типа интеллекта.


Интересно получается... По Вашему получается, что можно рассуждать о всяких разных мотивациях вообще абстрагируясь от понятия ИИ. Тогда зачем пытаться разграничивать человеческий и нечеловеческий ИИ, если, как Вы говорите, для обсуждения мотиваций ИИ нам не понадобится... Новую ветку тему задаете?


Я полагаю связь есть, но не функциональная а генетическая. Это самый интересный ворос - откуда берутся мотивации ? Они могут быть "запрограммированы" искуственно (современные религии и пропаганды например) или возникнуть как побочный продукт неконтролируемой эволюции системы. Именно это мне кажется наиболее интересно. То есть мне кажется что для "свободных" мотиваций систему никто не должен контролировать. Тогда если у системы возникает инстинкт самомохранения (а иначе она вряд ли выживет) то позднее могут возникнуть и другие мотивации. У контролируемой системы вряд ли много шансов - кому нужен компьютер вопящий и брыкающийся при попытке его выключить ?

Цитата:

Мне кажется, у НЕ ЖИВЫХ понятие мотивации вообще отсутствует.


Граница между живым и не живым размыта. Вирусы - живые ? А репликаторы Фон Неймана ?

Цитата:

Если предположить, что когда-либо будет создан ИИ, умеющий "судить", как это делает человек, то есть, обладающий принципиально неалгоритмизируемой составляющей, то С НЕОБХОДИМОСТЬЮ ПОТРЕБУЕТСЯ ЖИВОЙ НОСИТЕЛЬ (пример – мозг, но это может быть и "субстанция" другого состава и другого размера). Так что можно сказать, что неалгоритмизирумые рассуждения свойственны только живым существам, поскольку соответствующий "софт" работает только на живом носителе. Таким образом, я считаю, что носитель (а не алгоритм!) имеет принципиальное значение при создании ИИ.


Это уже какой-то мистицизм. Что является живым ? То что содержит "жизненную силу"?

Цитата:

Цитата:
"нечеловеческий" интеллект - это "решатель задач" на базе генетических алгоритмов. Эволюция в миниатюре.

На биологический носителе?


У меня возникает подозрение что вы не знаете что такое генетический алгоритм. Вы вообще по ним что нибудь читали ?

Цитата:

Нечеловеческие мотивации - вещь очень интересная. Сюжеты ФиФ однозначно выигрывают, когда делается попытка ввести такой ИИ. Особенно, если эта попытка удачная, как в "Эдеме" и, в меньшей степени, в "Непобедимом" и "Солярисе".


"Непобедимый" - те самые машины с мотивацией Не по теме, но ещё очень хорошо нечеловеческие мотивации показаны в "Фиаско"

Мне кажется наиболее интересный "шверпункт" дискусси к которому мы пришли - это возникновение мотиваций.

Отредактировано - serg0 on 17 Apr 2007 21:56:42

Дан
Хранитель года - 2006


Россия
5221 сообщений
Послано - 01 Мая 2007 :  12:42:11  Посмотреть инфо об авторе  Получить ссылку на сообщение  Ответить с цитатой
Я пока не отвечать, а так... "рекламная пауза". Во-первых, никуда я не делась и от дуэли не отказалась , так что "возмездие будет скорым и страшным" (с). А во-вторых, хотелось бы все-таки неких слов от сторонних наблюдателей, чтобы расставить приоритеты и прикинуть шансы... или ЭТО ВСЕ ваще никто не читает!?

Идите, месса окончена

smili4ek
Хранитель


Ukraine
374 сообщений
Послано - 10 Мая 2007 :  01:29:31  Посмотреть инфо об авторе Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
а почему именно в мысли вслух???

Кольтом и добрым словом можно достигнуть гораздо большего чем просто добрым словом (це)

gans
Посвященный



12 сообщений
Послано - 14 Мая 2007 :  09:56:58  Посмотреть инфо об авторе  Получить ссылку на сообщение  Ответить с цитатой
Ну, раз призвали сторонних, слушайте. Разум - самопрограммирующаяся система. После прохода барьера сложности (количества связей между нейронами) разум становится неизбежностью. Судя по текущим исследованиям - достичь на нынешней элементной базе уровня сложности разума человеческого мозга не получится. И дело не в ограничениии по количеству элементов. Придется воспроизвести процесс обучения.
А вот искинсы (искусственные инстинкты) вполне достижимы. Уровень муравья-муравейника, гораздо ближе. И не факт, что такая система окажется менее эффективной единичного разума.
Недавно проходил конкурс программ стратегий поведения в замкнутом искусственном мире. Победила программа, выполнявшая три инструкции, "1.Есть все вокруг, когда кончится - перейти к ближайшему источнику еды. 2. При приближении существа иной разновидности - убегать в противоположном направлении. 3. При обнаружении двигающегося существа своей разновидности - двигаться в ту же сторону с той же скоростью."
Этот простой алгоритм победил все остальные, объев их.
Так что сделать мотивированного робота легко. Разум - пока за пределом сложности.
А откуда берутся мотивации - вам к Докинзу
"Эгоистичный ген" и "Расширенный фенотип".
Дан
Хранитель года - 2006


Россия
5221 сообщений
Послано - 26 Мая 2007 :  00:41:13  Посмотреть инфо об авторе  Получить ссылку на сообщение  Ответить с цитатой
serg0

Цитата:
Цитата:

Будет ли (используя "человеческую" характеристику, согласится ли) «находитель решений» работать без центра мотиваций – вот в чем вопрос.

Будет. Такие решатели задач успешно работают уже десятки, если не сотни лет. Это - научные сообщества.


У научных сообществ ОЧЕНЬ много мотиваций - начиная от элементарного ужаса и опасения за собственную жизнь (и как научной школы в целом, и как индивидуумов в частности) и заканчивая жаждой поощрений разных "степеней вкусности".

Цитата:
Она не имеет явно выраженных собственных мотиваций - например самосохранения.

Страный вывод какой-то... Если бы эта ваша система не имела мотивации самосохранения, она бы и не работала - убьют, не убьют - без разницы.

Цитата:
Для поддержания работоспособности пропускать через стенки ток, если ответ не поступает. В целом вся система и есть тот же самый решателб задач. Без мотиваций.

Ток поступает, вам тупо больно, вы тупо не хотите, чтобы боль повторялась и стараетесь ее избежать... Мотивация выжить. Нет?

Цитата:
Цитата:

Есть пример Роджера Шенка о имитации понимания – так называемая "китайская комната".

Он путет систему с её элементом. Для того что бы система понимала, её элемент вовсе не должен понимать. Понимание - свойство системы в целом.


Ситуация, когда целая страна понимает некую историю, в то время как каждый из ее жителей не имеет ни малейшего понятия об этой истории... Вы - сторонник "сильного ИИ", а я все-таки больше согласна с Пенроузом.

Цитата:
но думал вы как физик, и следовательно эксперт в теории категорий и так поймёте.

Я эксперт в космологии. Физика - наука большая. Поскольку речб идет о неслишком очевидных вещах - уж потрудитесь некоторые вещи расписывать подробнее и доступнее, это ведь признак мастера, а вовсе не умение отделаться туманной терминологической фразой.

Цитата:
Ни какого выделенного ридера нет. Есть класс всех существующих ридеров. Контекст - это общее понимание ридеров. Если в категории ридеров композиция морфизма(стрелки) от ридера к алгоритму и морфизма от алгоритма к задаче даёт морфизм от ридера к задаче (понимание ридера) адгоритм понимет. Для общей завершённости добавим ещё морфизмы от ридера к ридеру и потребуем треугольника - композиция ридер-ридер ридер-алгоритм алгоритм-задача даёт ридер-задача.

Можно еще раз и более внятно, для тупеньких-то?

Давайте заодно уж и понятие "живого" определим, коль скоро мы его используем, а с моим определением Вы не согласны. Это важно, потому как мотивации начинаются именно с "живого".

Цитата:
У меня возникает подозрение что вы не знаете что такое генетический алгоритм. Вы вообще по ним что нибудь читали ?

Нет , не читала.

Идите, месса окончена

Earl
Хранитель


Ukraine
344 сообщений
Послано - 29 Мая 2007 :  11:19:49  Посмотреть инфо об авторе Посмотреть читательский профиль  Получить ссылку на сообщение  Ответить с цитатой
Я за обоих Хранителей! У них у обоих мыли хорошие проскальзывают. Они стараются быть логичными и , хотя бы, не "говорят" научной чепухой
Есть разумные доводы с обеих сторон. Не буду говорить какие именно, для каждого свои.
Так держать!

Кто я такая, чтоб судить вас?..

   
Перейти к:

Ответить на тему "ФиФ-дуэли"

Экран:   
Логин:  
Пароль:  
Авторизовать на форуме:  
Форматирование:   Жирный Курсив Подчеркнуть Зачеркнуть Вставить кавычки Выравнивание по левому краю Центрировать Выравнивание по правому краю Горизонтальная линия Вставить ссылку Вставить E-mail Вставить картинку Вставить цитату Спойлер Вставить список
   
Сообщение:  
* HTML разрешен
* Внутренний язык включен


радость [:)]
радость!!! [:D]
стыд [:I]
язык [:P]
злость [}:)]
подмигивание [;)]
шутка [:o)]
черный глаз [B)]
грусть [:(]
скромность [8)]
шок [:O]
гнев [:(!]
смерть [xx(]
поцелуй [:X]
одобрение [^]
несогласие [V]

  Отметьте для добавления собственной подписи из вашего профайла.
Отметьте для получения ответов по e-mail.
     

Последние 10 сообщений | Активные форумы | Тематические разделы | Хранители | Инквизиторы | Поиск | Вопросы и ответы
© Wilmark Design Пользовательское соглашение
Политика конфиденциальности
Snitz Forums 2001
Русификация: Wilmark Design